ローカルカタログレイヤーパーティション

OLP CLI は、次のものをサポートしています。

  • ローカルレイヤーのパーティションを一覧表示します
  • ローカルレイヤーからパーティションを取得します
  • パーティションをローカルレイヤーに配置します
  • ローカルレイヤーのパーティションを削除します

ローカルカタログレイヤーのパーティションリスト

指定したカタログレイヤー内のすべてのパーティションの名前を、バージョン管理、揮発性、またはインデックスのいずれかで一覧表示します。

olp local catalog layer partition list <catalog HRN> <layer ID> [command options]

olp catalog layer partition list コマンド出力は 100,000 パーティションに制限されています。 この制限を超えると、次の警告メッセージが表示されます。 " 警告 : パーティションの上限 100,000 に達しまし た " この警告メッセージは、コマンドが--jsonまたは--quietフラグなしで実行された場合にのみ表示されます。

必須パラメータ :

  • <catalog HRN> カタログの HERE リソースネーム 。
  • <layer ID> レイヤーの ID 。バージョン管理、揮発性、またはインデックスのいずれかです。 ストリーム レイヤーについて は、ローカルカタログレイヤーのストリーム コマンドを参照してください。
  • --filter <filter query> インデックスレイヤーに必要なクエリー文字列。 は <filter query>、フィードアイテムのクエリ言語で記述する必要があります。 Windows では、 <<=> 、または >= の代わりに、 =lt==le==gt= 、または =ge= の比較演算子を使用することをお勧めします。 内のすべての特殊文字 <filter query> はエスケープまたは引用符で囲む必要があります。

    --filter <filter query> は、パーティションをフィルタリングするための接頭辞として使用さ partition nameれる、バージョン化レイヤーおよび揮発性レイヤーの場合はオプションです。

オプションのパラメータ :

  • --json コマンドの結果を JSON 形式で表示します。
  • --quiet 新しい行にパーティション名を表示します。

バージョン付レイヤーのオプションのパラメータ :

  • --version <catalog version> カタログのメタデータバージョン。

ボラタイル レイヤーのオプションのパラメータ :

  • --modified-since <YYYY-MM-DDThh:mm:ss> 揮発性レイヤーのパーティションを最終変更日時に基づいてフィルタリングします。 タイムスタンプは、 YYYY-MM-DDThh:mm:ss という形式の ISO-8601 に一致する必要 がありますが、 YYYY のみが必須です。 タイムスタンプの値をスキップするには、最下位の値から右から左に開始する必要があります。

例 :

以下のコマンドは layer1 、カタログ内のすべてのパーティションを一覧表示 catalog1します。


olp local catalog layer partition list hrn:local:data:::catalog1 layer1

ローカルカタログレイヤーのパーティション GET

--partitions ローカルカタログレイヤーのパラメーターで指定されたパーティションをダウンロードします。

olp local catalog layer partition get <catalog HRN> <layer ID> [command options]

olp local catalog layer partition get レイヤーが --content-encoding <gzip> パラメーターで作成された場合、コマンドの実行中にパーティションが自動的に解凍されます。

必須パラメータ :

  • <catalog HRN> カタログの HERE リソースネーム 。
  • <layer ID> 使用するレイヤーの ID 。バージョン管理、揮発性、またはインデックスのいずれかです。 ストリーム レイヤーについて は、ローカルカタログレイヤーのストリーム コマンドを参照してください。

インデックス レイヤーの必須パラメータ :

  • --filter <filter query> インデックスレイヤーに必要なクエリー文字列。 は <filter query>、フィードアイテムのクエリ言語で記述する必要があります。 Windows では、 <<=> 、または >= の代わりに、 =lt==le==gt= 、または =ge= の比較演算子を使用することをお勧めします。 内のすべての特殊文字 <filter query> はエスケープまたは引用符で囲む必要があります。 このパラメータは、バージョン管理された揮発性レイヤーではオプションです partition name。このレイヤーでは、パーティションをフィルタリングするためのプレフィックスとして使用されます。

オプションのパラメータ :

  • --partitions <partitionID1 partitionID2 ...> ダウンロードするパーティション。 パーティションが 1 つだけ指定され、出力フォルダーが指定されていない場合、パーティションの内容が標準出力に取得されます。 パーティションコンテンツが標準出力に取得され、 --modified-since パラメーターが使用され、指定された日付以降に変更がない場合、コマンドの実行は終了コード 4 で終了します。
  • --all レイヤー内のすべてのパーティションをダウンロードします。
  • --output <path to dir> ダウンロードしたパーティションを保存する出力ディレクトリ。 指定したディレクトリが存在しない場合は、自動的に作成されます。 ディレクトリが指定されていない場合、デフォルト値はです <current dir>/<catalog HRN>
  • --quiet 出力ディレクトリへの絶対パスを表示します。

バージョン管理されたレイヤーまたは揮発性レイヤーの場合は、 --all または --partitions パラメーターのいずれかを指定する必要があります。

バージョン付レイヤーのオプションのパラメータ :

  • --version <catalog version> カタログのメタデータバージョン。
  • --decode <true|false> パーティションコンテンツを Protobuf からデコードし、その場で JSON に変換するかどうかを指定します。 デフォルト値はです false。つまり、コンテンツはデコードされません。 を使用して、ローカルファイルシステムのスキーマへのパスを指定 --decode <true|false:[path/to/schema.zip]>できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get コマンドを使用してダウンロードできます。 --decode true With --output または --all パラメーターを使用すると、次の名前パターンが使用されているファイルが作成されます。 <partition-name>-decoded.json

ボラタイル レイヤーのオプションのパラメータ :

  • --modified-since <YYYY-MM-DDThh:mm:ss> 揮発性レイヤーのパーティションを最終変更日時に基づいてフィルタリングします。 タイムスタンプは、 YYYY-MM-DDThh:mm:ss という形式の ISO-8601 に一致する必要 がありますが、必須の形式は YYYY だけです。 タイムスタンプの値をスキップするには、最下位の値から右から左に開始する必要があります。
  • --decode <true|false> パーティションコンテンツを Protobuf からデコードし、その場で JSON に変換するかどうかを指定します。 デフォルト値はです false。つまり、コンテンツはデコードされません。 を使用して、ローカルファイルシステムのスキーマへのパスを指定 --decode <true|false:[path/to/schema.zip]>できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get コマンドを使用してダウンロードできます。 --decode true With --output または --all パラメーターを使用すると、次の名前パターンが使用されているファイルが作成されます。 <partition-name>-decoded.json

例 :

1 つのパーティションのみを指定した場合、次のコマンドはパーティションコンテンツを標準出力に取得します。

Linux
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
 --partitions partition1 partition2
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--partitions partition1 partition2

例 :

以下のコマンドは、 layer1 catalog1 からダウンロード partition1 されます。

Linux
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
 --partitions partition1 > output.txt
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--partitions partition1 > output.txt

例 :

以下のコマンドは、 versioned-layer catalog1version 1 およびから指定した出力ディレクトリにダウンロード partition1 partition2 されます。

Linux
olp local catalog layer partition get hrn:local:data:::catalog1 versioned-layer \
 --partitions partition1 partition2 --output <path_for_partitions> --version 1
olp local catalog layer partition get hrn:local:data:::catalog1 versioned-layer ^
--partitions partition1 partition2 --output <path_for_partitions> --version 1

例 :

パーティションが保存されるパスをカスタマイズするに:は、相対パスまたは絶対パスをパーティション名でコロン () を使用して連結します。

Linux
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
 --partitions partition_name:path/to/partition
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--partitions partition_name:path/to/partition

例 :

以下のコマンド locationTag は、 2020 年 1 月 1 日にアップロードされたインデックス レイヤーから、 00 : 01 : 00 AM ~ 00 : 05 : 00 AM ( 4242 )の間のすべてのパーティションを取得します。

Linux
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 \
 --filter "ingestionTime>1577836860;ingestionTime<1577837100;locationTag==4242"
--output <path_for_partitions>
olp local catalog layer partition get hrn:local:data:::catalog1 layer1 ^
--filter "ingestionTime>1577836860;ingestionTime<1577837100;locationTag==4242"
--output <path_for_partitions>

--filter この値は --index-fields 、パーティションのアップロード時に指定された値(olp local catalog layer partition put コマンドの実行時)に応じて異なります。 また --index-fields 、この値は --index-definitions 、インデックス レイヤー作成 catalog layer add コマンドの実行時に指定された値に依存することに注意してください。

ローカルカタログレイヤーのパーティション PUT

指定したファイルを指定したローカルパーティションに公開します。

olp local catalog layer partition put <catalog HRN> <layer ID> [command options]

olp local catalog layer partition put レイヤーが --content-encoding <gzip> パラメーターを使用して作成された場合、コマンドの実行中にパーティションの内容が自動的に圧縮されます。

必須パラメータ :

  • <catalog HRN> カタログの HERE リソースネーム 。
  • <layer ID> パーティションをアップロードするレイヤーの ID 。バージョン管理、揮発性、またはインデックスのいずれかです。 ストリーム レイヤーについて は、ローカルカタログレイヤーのストリームコマンドを参照してください。

インデックス レイヤーの必須パラメータ :

  • --index-fields <bool|int|string|heretile|timewindow>:<index-key>:<index-value> このパブリケーションのインデックスフィールドのリストです。 <timewindow> インデックスフィールドの定義は必須で、レイヤーのインデックス定義で指定されたものと同じである必要があります。

    --index-fields パラメータが渡されず、 --input パラメータが渡された場合、アプリケーションは --input パス内の index.properties ファイルからインデックス設定を読み取りようとします。 index.properties ファイルの形式は次のとおりです。

    • fileMask 入力ディレクトリ内のファイルをフィルタリングするために使用される正規表現。
    • indexType 次の許容値を持つインデックスタイプの名前 : boolintstringheretile timewindowtimewindow レイヤーで指定したものと同じにするように定義する必要 index-definitionsがあります。
    • indexKey インデックス名。 このキーは、インデックスパーティションの一覧表示に使用されます。
    • indexValue インデックスの値。 の値 timewindow は、レイヤーで指定されている値と同じ index-definitionsにする必要があります。

    次の例では、名前が file で始まり、 、 file1.binfile2.txt などの 1 桁のすべてのファイルの timewindow インデックス myIndex50000 に設定します。 ブール型インデックスキー myBoolIndex セットを true file1.bin ファイルに追加します。

    fileMask=file[0-9].*
    indexType=timewindow
    indexKey=myIndex
    indexValue=50000
    
    fileMask=file1.bin
    indexType=bool
    indexKey=myBoolIndex
    indexValue=true
    

    インデックス定義の間に空の行を入力する必要はありませんが、設定の読みやすさが向上します。 すべての設定キーの値 (fileMaskindexTypeindexKeyindexValue) が必要です。

    --index-fields--input の両方のパラメータが渡され index.properties た場合、からの設定は無視されます。

オプションのパラメータ :

  • --partitions <partition ID>:<path to file> アップロードするパーティションおよびファイル。
  • --input <path to dir> ファイルのアップロード元の入力ディレクトリ。相対パスをサポートします。非表示のファイルはスキップされます。
  • --dependency <catalog-hrn:version[:direct]> このパブリケーションの依存関係のリスト です。directは任意 で、デフォルト値は true です。
  • --quiet 空の出力を追加情報なしで表示します。

--partitions オプションと --input オプションの両方を使用する場合 --input は、オプションを使用して、配置するファイルが含まれているディレクトリを指定します。 次に --partitions 、パラメーターを使用して、そのディレクトリから配置する個々のファイルへの相対パスを指定します。

バージョン付レイヤーのオプションのパラメータ :

  • --encode <true|false:[path/to/schema.zip]> パーティションコンテンツが JSON からエンコードされ、その場で Protobuf に変換されるかどうかを指定します。 デフォルト値はです false。つまり、コンテンツがエンコードされていません。 ローカルファイルシステム上のスキーマへのパスを指定できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get コマンドを使用してダウンロードできます。

コマンドから取得した JSON ファイルのみをエンコードでき olp local catalog layer partition get ます。

ボラタイル レイヤーのオプションのパラメータ :

  • --encode <true|false:[path/to/schema.zip]> パーティションコンテンツが JSON からエンコードされ、その場で Protobuf に変換されるかどうかを指定します。 デフォルト値はです false。つまり、コンテンツがエンコードされていません。 ローカルファイルシステム上のスキーマへのパスを指定できます。指定しない場合は、レイヤーにリンクされているデフォルトのスキーマが使用されます。 レイヤーにリンクされているスキーマがないか、ローカルのスキーマ ZIP へのパスが指定されていない場合は、例外がスローされます。 スキーマは、 HERE platform ポータルまたは olp schema get コマンドを使用してダウンロードできます。

コマンドから取得した JSON ファイルのみをエンコードでき olp local catalog layer partition get ます。

インデックス レイヤーのオプションのパラメータ :

  • --metadata <key1=val1 key2=val2 ...> 追加情報を保存できるすべてのユーザー定義フィールドのリスト。 --input パラメータを指定すると、メタデータは入力ディレクトリにあるすべてのファイルに適用されます。

例 :

以下のコマンドは、現在のフォルダーを基準にして、フォルダーから、 partition1 および partition2 へそれぞれアップロード file1 file2 します。

Linux
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 \
 --partitions partition1:path/to/file1 partition2:path/to/file2
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 ^
--partitions partition1:path/to/file1 partition2:path/to/file2

パーティションを 1 つだけ指定した場合、コマンドはパーティションの内容を標準出力に取得します。 詳細については、を参照 olp local catalog layer partition getしてください。

OLP CLI では、コンテンツを標準出力に取得するときに、 getput の両方のコマンドをチェーン化できます。 つまり、パーティションへのパスを省略し-て、代わりにハイフン()を使用できます。

例 :

Linux
olp local catalog layer partition get hrn:local:data:::catalog-1 versioned-layer1 \
 --partitions partition1 | olp local catalog layer partition put hrn:local:data:::catalog-2 \
 versioned-layer1 --partitions partition1:-
olp local catalog layer partition get hrn:local:data:::catalog-1 versioned-layer1 ^
--partitions partition1 | olp local catalog layer partition put hrn:local:data:::catalog-2 ^
versioned-layer1 --partitions partition1:-

例 :

以下のコマンドは、 --index-fields パラメーターが timewindow:ingestionTime:1577836960 int:locationTag:4242 に等しいインデックス レイヤーに、 file1 および file2 をそれぞれアップロード partition1 partition2 します

--index-fields この値は --index-definitions 、インデックス レイヤー作成 catalog layer add コマンドの実行時に指定された値に応じて異なります。

Linux
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 \
 --partitions partition1:<path/to/file1> partition2:<path/to/file2>
--index-fields timewindow:ingestionTime:1577836960 int:locationTag:4242
olp local catalog layer partition put hrn:local:data:::catalog1 layer1 ^
--partitions partition1:path/to/file1 partition2:path/to/file2
--index-fields timewindow:ingestionTime:1577836960 int:locationTag:4242

ローカルカタログレイヤーのパーティション削除

--filter クエリによってインデックス レイヤーからパーティションを削除します。 このコマンドでは、バージョン管理されたレイヤーおよび揮発性のレイヤーからのデータの削除はサポートされていません。

olp local catalog layer partition delete <catalog HRN> <layer ID> [command options]

必須パラメータ :

  • <catalog HRN> カタログの HERE リソースネーム 。
  • <layer ID> パーティションを削除するレイヤーの ID 。
  • --filter <filter query> インデックス レイヤーから削除するデータのクエリーに必要なクエリー文字列。 <filter query> 値は フィードアイテムのクエリ言語で記述する必要があります。 Windows では、 <<=> 、または >= の代わりに、 =lt==le==gt= 、または =ge= の比較演算子を使用することをお勧めします。 内部のすべての特殊文字 <filter query> はエスケープまたは引用符で囲む必要があります。

オプションのパラメータ :

  • --timeout <duration in seconds> 削除リクエストのタイムアウト時間 ( 秒 ) 。 指定しない場合、デフォルトはです 3600
  • --quiet 空の出力を追加情報なしで表示します。

例 :

以下のコマンドを実行すると、キー testIndex==3600000 および env==4242 を持つパーティションが削除されます。

Linux
olp local catalog layer partition delete hrn:local:data:::catalog1 indexLayer1 \
 --filter "testIndex==3600000;env==4242"
olp local catalog layer partition delete hrn:local:data:::catalog1 indexLayer1 ^
--filter "testIndex==3600000;env==4242"

」に一致する結果は 件です

    」に一致する結果はありません