ローカルカタログレイヤーパーティション
OLP CLI は、次のものをサポートしています。
- ローカルレイヤーのパーティションを一覧表示します
- ローカルレイヤーからパーティションを取得します
- パーティションをローカルレイヤーに配置します
- ローカルレイヤーのパーティションを削除します
ローカルカタログレイヤーのパーティションリスト
指定したカタログレイヤー内のすべてのパーティションの名前を、バージョン管理、揮発性、またはインデックスのいずれかで一覧表示します。
olp local catalog layer partition list <catalog HRN> <layer ID> [command options]
注
olp catalog layer partition list
コマンド出力は 100,000 パーティションに制限されています。 この制限を超えると、次の警告メッセージが表示されます。 " 警告 : パーティションの上限 100,000 に達しまし た " この警告メッセージは、コマンドが--json
または--quiet
フラグなしで実行された場合にのみ表示されます。
必須パラメータ :
オプションのパラメータ :
--json
コマンドの結果を JSON 形式で表示します。 -
--quiet
新しい行にパーティション名を表示します。
バージョン付レイヤーのオプションのパラメータ :
-
--version <catalog version>
カタログのメタデータバージョン。
ボラタイル レイヤーのオプションのパラメータ :
-
--modified-since <YYYY-MM-DDThh:mm:ss>
揮発性レイヤーのパーティションを最終変更日時に基づいてフィルタリングします。 タイムスタンプは、 YYYY-MM-DDThh:mm:ss という形式の ISO-8601 に一致する必要 がありますが、 YYYY のみが必須です。 タイムスタンプの値をスキップするには、最下位の値から右から左に開始する必要があります。
例 :
以下のコマンドは layer1
、カタログ内のすべてのパーティションを一覧表示 catalog1
します。
olp local catalog layer partition list hrn:local:data:::catalog1 layer1
ローカルカタログレイヤーのパーティション GET
--partitions
ローカルカタログレイヤーのパラメーターで指定されたパーティションをダウンロードします。
olp local catalog layer partition get <catalog HRN> <layer ID> [command options]
注
olp local catalog layer partition get
レイヤーが --content-encoding <gzip>
パラメーターで作成された場合、コマンドの実行中にパーティションが自動的に解凍されます。
必須パラメータ :
-
<catalog HRN>
カタログの HERE リソースネーム 。 <layer ID>
使用するレイヤーの ID 。バージョン管理、揮発性、またはインデックスのいずれかです。 ストリーム レイヤーについて は、ローカルカタログレイヤーのストリーム コマンドを参照してください。
インデックス レイヤーの必須パラメータ :
-
--filter <filter query>
インデックスレイヤーに必要なクエリー文字列。 は <filter query>
、フィードアイテムのクエリ言語で記述する必要があります。 Windows では、 <
、 <=
、 >
、または >=
の代わりに、 =lt=
、 =le=
、 =gt=
、または =ge=
の比較演算子を使用することをお勧めします。 内のすべての特殊文字 <filter query>
はエスケープまたは引用符で囲む必要があります。 このパラメータは、バージョン管理された揮発性レイヤーではオプションです partition name
。このレイヤーでは、パーティションをフィルタリングするためのプレフィックスとして使用されます。
オプションのパラメータ :
-
--partitions <partitionID1 partitionID2 ...>
ダウンロードするパーティション。 パーティションが 1 つだけ指定され、出力フォルダーが指定されていない場合、パーティションの内容が標準出力に取得されます。 パーティションコンテンツが標準出力に取得され、 --modified-since
パラメーターが使用され、指定された日付以降に変更がない場合、コマンドの実行は終了コード 4 で終了します。 -
--all
レイヤー内のすべてのパーティションをダウンロードします。 -
--output <path to dir>
ダウンロードしたパーティションを保存する出力ディレクトリ。 指定したディレクトリが存在しない場合は、自動的に作成されます。 ディレクトリが指定されていない場合、デフォルト値はです <current dir>/<catalog HRN>
。 -
--quiet
出力ディレクトリへの絶対パスを表示します。
注
バージョン管理されたレイヤーまたは揮発性レイヤーの場合は、 --all
または --partitions
パラメーターのいずれかを指定する必要があります。
バージョン付レイヤーのオプションのパラメータ :
-
--version <catalog version>
カタログのメタデータバージョン。 -
--decode <true|false>
パーティションコンテンツを Protobuf からデコードし、その場で JSON に変換するかどうかを指定します。 デフォルト値はです false
。つまり、コンテンツはデコードされません。 を使用して、ローカルファイルシステムのスキーマへのパスを指定 --decode <true|false:[path/to/schema.zip]>
できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get
コマンドを使用してダウンロードできます。 --decode true
With --output
または --all
パラメーターを使用すると、次の名前パターンが使用されているファイルが作成されます。 <partition-name>-decoded.json
ボラタイル レイヤーのオプションのパラメータ :
-
--modified-since <YYYY-MM-DDThh:mm:ss>
揮発性レイヤーのパーティションを最終変更日時に基づいてフィルタリングします。 タイムスタンプは、 YYYY-MM-DDThh:mm:ss という形式の ISO-8601 に一致する必要 がありますが、必須の形式は YYYY だけです。 タイムスタンプの値をスキップするには、最下位の値から右から左に開始する必要があります。 -
--decode <true|false>
パーティションコンテンツを Protobuf からデコードし、その場で JSON に変換するかどうかを指定します。 デフォルト値はです false
。つまり、コンテンツはデコードされません。 を使用して、ローカルファイルシステムのスキーマへのパスを指定 --decode <true|false:[path/to/schema.zip]>
できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get
コマンドを使用してダウンロードできます。 --decode true
With --output
または --all
パラメーターを使用すると、次の名前パターンが使用されているファイルが作成されます。 <partition-name>-decoded.json
例 :
1 つのパーティションのみを指定した場合、次のコマンドはパーティションコンテンツを標準出力に取得します。
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
--partitions partition1 partition2
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--partitions partition1 partition2
例 :
以下のコマンドは、 layer1
catalog1
からダウンロード partition1
されます。
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
--partitions partition1 > output.txt
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--partitions partition1 > output.txt
例 :
以下のコマンドは、 versioned-layer
catalog1
の version 1
およびから指定した出力ディレクトリにダウンロード partition1
partition2
されます。
olp local catalog layer partition get hrn:local:data:::catalog1 versioned-layer \
--partitions partition1 partition2 --output <path_for_partitions> --version 1
olp local catalog layer partition get hrn:local:data:::catalog1 versioned-layer ^
--partitions partition1 partition2 --output <path_for_partitions> --version 1
例 :
パーティションが保存されるパスをカスタマイズするに:
は、相対パスまたは絶対パスをパーティション名でコロン () を使用して連結します。
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
--partitions partition_name:path/to/partition
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--partitions partition_name:path/to/partition
例 :
以下のコマンド locationTag
は、 2020 年 1 月 1 日にアップロードされたインデックス レイヤーから、 00 : 01 : 00 AM ~ 00 : 05 : 00 AM ( 4242 )の間のすべてのパーティションを取得します。
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
--filter "ingestionTime>1577836860;ingestionTime<1577837100;locationTag==4242"
--output <path_for_partitions>
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--filter "ingestionTime>1577836860;ingestionTime<1577837100;locationTag==4242"
--output <path_for_partitions>
注
--filter
この値は --index-fields
、パーティションのアップロード時に指定された値(olp local catalog layer partition put
コマンドの実行時)に応じて異なります。 また --index-fields
、この値は --index-definitions
、インデックス レイヤー作成 catalog layer add
コマンドの実行時に指定された値に依存することに注意してください。
ローカルカタログレイヤーのパーティション PUT
指定したファイルを指定したローカルパーティションに公開します。
olp local catalog layer partition put <catalog HRN> <layer ID> [command options]
注
olp local catalog layer partition put
レイヤーが --content-encoding <gzip>
パラメーターを使用して作成された場合、コマンドの実行中にパーティションの内容が自動的に圧縮されます。
必須パラメータ :
-
<catalog HRN>
カタログの HERE リソースネーム 。 <layer ID>
パーティションをアップロードするレイヤーの ID 。バージョン管理、揮発性、またはインデックスのいずれかです。 ストリーム レイヤーについて は、ローカルカタログレイヤーのストリームコマンドを参照してください。
インデックス レイヤーの必須パラメータ :
-
--index-fields <bool|int|string|heretile|timewindow>:<index-key>:<index-value>
このパブリケーションのインデックスフィールドのリストです。 <timewindow>
インデックスフィールドの定義は必須で、レイヤーのインデックス定義で指定されたものと同じである必要があります。
--index-fields
パラメータが渡されず、 --input
パラメータが渡された場合、アプリケーションは --input
パス内の index.properties
ファイルからインデックス設定を読み取りようとします。 index.properties
ファイルの形式は次のとおりです。
-
fileMask
入力ディレクトリ内のファイルをフィルタリングするために使用される正規表現。 -
indexType
次の許容値を持つインデックスタイプの名前 : bool
、 int
、 string
、 heretile
timewindow
。 timewindow
レイヤーで指定したものと同じにするように定義する必要 index-definitions
があります。 -
indexKey
インデックス名。 このキーは、インデックスパーティションの一覧表示に使用されます。 indexValue
インデックスの値。 の値 timewindow
は、レイヤーで指定されている値と同じ index-definitions
にする必要があります。
次の例では、名前が file で始まり、 、 file1.bin
、 file2.txt
などの 1 桁のすべてのファイルの timewindow
インデックス myIndex
を 50000
に設定します。 ブール型インデックスキー myBoolIndex
セットを true
file1.bin
ファイルに追加します。
fileMask=file[0-9].*
indexType=timewindow
indexKey=myIndex
indexValue=50000
fileMask=file1.bin
indexType=bool
indexKey=myBoolIndex
indexValue=true
インデックス定義の間に空の行を入力する必要はありませんが、設定の読みやすさが向上します。 すべての設定キーの値 (fileMask
、 indexType
、 indexKey
、 indexValue
) が必要です。
--index-fields
と --input
の両方のパラメータが渡され index.properties
た場合、からの設定は無視されます。
オプションのパラメータ :
-
--partitions <partition ID>:<path to file>
アップロードするパーティションおよびファイル。 -
--input <path to dir>
ファイルのアップロード元の入力ディレクトリ。相対パスをサポートします。非表示のファイルはスキップされます。 -
--dependency <catalog-hrn:version[:direct]>
このパブリケーションの依存関係のリスト です。direct
は任意 で、デフォルト値は true です。 -
--quiet
空の出力を追加情報なしで表示します。
注
--partitions
オプションと --input
オプションの両方を使用する場合 --input
は、オプションを使用して、配置するファイルが含まれているディレクトリを指定します。 次に --partitions
、パラメーターを使用して、そのディレクトリから配置する個々のファイルへの相対パスを指定します。
バージョン付レイヤーのオプションのパラメータ :
-
--encode <true|false:[path/to/schema.zip]>
パーティションコンテンツが JSON からエンコードされ、その場で Protobuf に変換されるかどうかを指定します。 デフォルト値はです false
。つまり、コンテンツがエンコードされていません。 ローカルファイルシステム上のスキーマへのパスを指定できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get
コマンドを使用してダウンロードできます。
ボラタイル レイヤーのオプションのパラメータ :
-
--encode <true|false:[path/to/schema.zip]>
パーティションコンテンツが JSON からエンコードされ、その場で Protobuf に変換されるかどうかを指定します。 デフォルト値はです false
。つまり、コンテンツがエンコードされていません。 ローカルファイルシステム上のスキーマへのパスを指定できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get
コマンドを使用してダウンロードできます。
インデックス レイヤーのオプションのパラメータ :
-
--metadata <key1=val1 key2=val2 ...>
追加情報を保存できるすべてのユーザー定義フィールドのリスト。 --input
パラメータを指定すると、メタデータは入力ディレクトリにあるすべてのファイルに適用されます。
例 :
以下のコマンドは、現在のフォルダーを基準にして、フォルダーから、 partition1
および partition2
へそれぞれアップロード file1
file2
します。
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 \
--partitions partition1:path/to/file1 partition2:path/to/file2
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 ^
--partitions partition1:path/to/file1 partition2:path/to/file2
パーティションを 1 つだけ指定した場合、コマンドはパーティションの内容を標準出力に取得します。 詳細については、を参照 olp local catalog layer partition get
してください。
OLP CLI では、コンテンツを標準出力に取得するときに、 get
と put
の両方のコマンドをチェーン化できます。 つまり、パーティションへのパスを省略し-
て、代わりにハイフン()を使用できます。
例 :
olp local catalog layer partition get hrn:local:data:::catalog-1 versioned-layer1 \
--partitions partition1 | olp local catalog layer partition put hrn:local:data:::catalog-2 \
versioned-layer1 --partitions partition1:-
olp local catalog layer partition get hrn:local:data:::catalog-1 versioned-layer1 ^
--partitions partition1 | olp local catalog layer partition put hrn:local:data:::catalog-2 ^
versioned-layer1 --partitions partition1:-
例 :
以下のコマンドは、 --index-fields
パラメーターが timewindow:ingestionTime:1577836960 int:locationTag:4242
に等しいインデックス レイヤーに、 file1
および file2
をそれぞれアップロード partition1
partition2
します
注
--index-fields
この値は --index-definitions
、インデックス レイヤー作成 catalog layer add
コマンドの実行時に指定された値に応じて異なります。
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 \
--partitions partition1:<path/to/file1> partition2:<path/to/file2>
--index-fields timewindow:ingestionTime:1577836960 int:locationTag:4242
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 ^
--partitions partition1:path/to/file1 partition2:path/to/file2
--index-fields timewindow:ingestionTime:1577836960 int:locationTag:4242
ローカルカタログレイヤーのパーティション削除
--filter
クエリによってインデックス レイヤーからパーティションを削除します。 このコマンドでは、バージョン管理されたレイヤーおよび揮発性のレイヤーからのデータの削除はサポートされていません。
olp local catalog layer partition delete <catalog HRN> <layer ID> [command options]
必須パラメータ :
-
<catalog HRN>
カタログの HERE リソースネーム 。 -
<layer ID>
パーティションを削除するレイヤーの ID 。 -
--filter <filter query>
インデックス レイヤーから削除するデータのクエリーに必要なクエリー文字列。 <filter query>
値は フィードアイテムのクエリ言語で記述する必要があります。 Windows では、 <
、 <=
、 >
、または >=
の代わりに、 =lt=
、 =le=
、 =gt=
、または =ge=
の比較演算子を使用することをお勧めします。 内部のすべての特殊文字 <filter query>
はエスケープまたは引用符で囲む必要があります。
オプションのパラメータ :
-
--timeout <duration in seconds>
削除リクエストのタイムアウト時間 ( 秒 ) 。 指定しない場合、デフォルトはです 3600
。 -
--quiet
空の出力を追加情報なしで表示します。
例 :
以下のコマンドを実行すると、キー testIndex==3600000
および env==4242
を持つパーティションが削除されます。
olp local catalog layer partition delete hrn:local:data:::catalog1 indexLayer1 \
--filter "testIndex==3600000;env==4242"
olp local catalog layer partition delete hrn:local:data:::catalog1 indexLayer1 ^
--filter "testIndex==3600000;env==4242"