設定ファイルリファレンス

内容

概要

このトピックでは、 HERE platform パイプラインで使用されているさまざまな設定ファイルの概要を示します。 ほとんどは、 CLI などの特定の場所でのみ使用され、適宜特定されます。 場合によっては、設定ファイルが特定の使用例でのみ使用されることがあります。この使用例については、 HERE も参照してください。

メモ

まれな例外がありますが、パイプライン API を直接使用する場合、設定ファイルは不要です。 これらの設定ファイルで検出されるほとんどのパラメータは、さまざまな API 機能で必要なパラメータです。 CLI とプラットフォームポータルの両方を使用すると、パイプラインの操作が簡単になりますが、パイプライン API ではデータが引き続き必要です。 したがって、 SDK および CLI では設定ファイルを使用し、プラットフォームポータルではフォームを使用します。

pipeline-job.conf

CLI only

このファイルは、スケジューラを使用せ ずに(つまり、今すぐ実行モードで)バッチ パイプラインバージョンをアクティブ化する場合にのみ適用されます。

内容の例 pipeline-job.conf:

    pipeline.job.catalog-versions {
        output-catalog { base-version = 42 }
        input-catalogs {
            test-input-1 {
                processing-type = "no_changes"
                version = 19
                }
            test-input-2 {
                processing-type = "changes"
                since-version = 70
                version = 75
                }
            test-input-3 {
                processing-type = "reprocess"
                version = 314159
            }
        }
    }

ここで、

  • base-version of 出力カタログは、新しいデータを公開する、すでに存在するカタログのバージョンを示します。 このパラメータは今後必要になることはなく、削除されます。 現在、出力カタログの更新済みデータにコミットする必要があります。
  • input-catalogs 各入力ソースについて、最新バージョンのが含まれています。 これは処理するバージョンです。 また、ジョブが最後に実行されてから変更された内容を指定する情報も含まれます ( 上記の例を参照 ) 。 カタログは、パイプライン設定ファイルにあるものと同じ識別子を使用して識別できます。
  • processing-type 最後に正常に実行されてから各入力で変更された内容について説明します。 指定できる値は no_changes、、 changes、および reprocessです。

    • no_changes 最後の実行以降に入力カタログが変更されていないことを示します。
    • changes 入力カタログが変更されたことを示します。 2 番目のパラメーター since-version が含まれ、最後の実行時にそのカタログのどのバージョンが処理されたかを示します。
    • reprocess 入力カタログが変更されたかどうかを指定しません。 パイプラインは、何らかの増分処理を試みるのではなく、そのカタログ全体を再処理するよう要求されます。 これは、明示的なユーザー要求、またはパイプラインの初回実行などのシステム条件が原因である可能性があります。

↑ページトップへ

pipeline-config.conf

CLI only

CLI を使用してパイプラインバージョンを作成すると pipeline-config.conf 、新しいパイプラインバージョンの設定がファイル、テンプレートファイル ID 、およびパイプライン ID で指定 pipeline-config.conf されます。がメインユーザープロセスのクラスパスに追加されます。

注 : 入力カタログの考慮事項

pipeline template ( 以下の説明を参照 ) には、このパイプラインバージョンで使用する入力カタログに関する情報が含まれているため、 pipeline-config.confファイル内の情報は、次のようにpipeline templateの情報と一致する必要があります。

  • pipeline templateは、入力カタログ ID の値が識別されます。
  • pipeline-config.conf ファイルでは、テンプレートの同じ入力カタログ ID 値を使用して、各カタログの HERE リソースネーム 値を関連付けます。
  • pipeline-job.conf このファイルは、特定のバージョンの入力カタログまたは処理タイプでバッチ パイプラインバージョンを実行する必要がある場合にのみ使用してください。 このファイルには pipeline-config.conf 、ファイルで定義されているカタログに関するバージョン情報が含まれています。 ただし、スケジューラを使用してバッチ パイプラインバージョンを実行する場合、スケジューラによって、処理するバージョンと新しいデータが決定されます。 または 、詳細情報を入力せずにバッチ パイプラインバージョンをオンデマンドで実行する場合、サービスはデフォルトで最新のカタログバージョンを選択して再処理します。

内容の例 pipeline-config.conf:


    pipeline.config {
         billing-tag = "test-billing-tag"
         output-catalog { hrn = "hrn:here:data:::example-output" }
         input-catalogs {
             test-input-1 { hrn = "hrn:here:data:::example1" }
             test-input-2 { hrn = "hrn:here:data:::example2" }
             test-input-3 { hrn = "hrn:here:data:::example3" }
         }
     }

ここで、

  • billing-tag は、パイプラインの請求エントリをグループ化するオプションのタグを指定します。
  • output-catalog は、パイプラインの出力カタログを識別する HERE リソースネーム を指定します。
  • 入力カタログ は、パイプラインの 1 つ以上の入力カタログを指定します。各入力カタログについて、その固定 ID が実際のカタログの HERE リソースネーム とともに提供されます。

注 : 同じ入力および出力カタログを使用しています

HERE platform リリース 2.1 では、ストリーム パイプラインバージョンは入力と出力に同じカタログを使用できます。 これは、別の出力カタログを使用する必要があるバッチ パイプラインバージョンには適用されません。

↑ページトップへ

パイプライン テンプレート

パイプライン テンプレートは、パイプラインがパイプライン API バージョンを作成するために必要とするエンティティです。 プラットフォームポータルから、 UI の質問に答えることで作成されます。 pipeline template create CLI コマンドを使用して作成することもできます。 いずれの場合も、次のパラメータが使用されます。

必須 :

パラメーター 必須です 説明 形式
名前 はい パイプライン テンプレートのわかりやすい名前 文字列
クラスタタイプ はい パイプライン テンプレートの実行に使用される分散処理フレームワーク 文字列指定できる
値 :
  • ストリーム -2.0.0
  • ストリーム -3.0.0
  • batch-2.0.0
  • batch-2.1.0
JAR ファイル はい アップロードするローカルファイルシステムのパスを含むパイプライン JAR ファイル の場所。 文字列
クラス名 はい パイプライン テンプレートメインクラスの名前 文字列
グループ ID はい テンプレートへのアクセスを許可されたグループの ID 。 文字列
--input-catalog-ids <catalog IDs...> はい パイプラインで想定さ pipeline-config.conf れている入力カタログの ID 。複数の ID はスペースで区切ります。このリストは、ファイルで使用されているカタログ ID と一致する必要があります。
: --input-catalog-ids カタログ ID を含む構成ファイルへのパスステートメントを受け入れることもできます。
文字列
-- 説明 いいえ パイプライン テンプレートの説明 文字列
-- スーパーバイザユニット いいえ スーパーバイザノードのデフォルトサイズ( 1 ~ 15 単位) 整数
--worker-units. いいえ ワーカーノードのデフォルトサイズ (1 ~ 15 単位 ) 整数
-- 労働者 いいえ 割り当てるデフォルトのワーカー数 整数
--default-runtime-config いいえ key1 = value1 \nkey2 = value2 ... フォームで指定されたパイプラインアプリケーションのデフォルト設定値のマップ。 パイプライン API は、 application.properties これらをメイン JVM プロセスのクラスパスに追加することで、ファイルとしてパイプラインに渡します。 キーと値の組み合わせ
最大プロパティ名 ( キー ) のサイズは 256 で、最大プロパティ値は 1024 です。
-- 資格情報 いいえ ポータルからダウンロードしたコマンドで使用する資格情報ファイル。
-- プロファイル いいえ olpcli.iniファイルから使用される資格情報プロファイルの名前 文字列
-- JSON いいえ 作成したパイプライン テンプレートの内容を JSON 形式で表示します。 文字列

ただし、 API を使用してテンプレートを作成する場合、パラメータは異なります。 これは、プラットフォームポータルと CLI がパイプライン JAR ファイル をパイプラインにアップロードする処理を行っているためです。 API を使用する場合、これはアップロードされたパイプライン JAR ファイル に基づいてパッケージを作成し 、パッケージ ID を割り当てる別個の手順です。 これは、すべてのパイプライン JAR ファイルの識別および追跡方法です。

パラメーター 必須です 説明 形式
名前 はい パイプライン テンプレートのユーザー指定の名前。 文字列 [3] 。 64 文字以上で入力してください
RuntimeEnvironment はい ランタイム環境タイプ。 文字列
の値 :
  • "stream-2.0.0"
  • "stream-3.0.0"
  • "stream-4.0"
  • " ストリーム -5.0"
  • "batch-2.0.0"
  • "batch-2.1.0"
  • "batch-3.0"
パッケージ ID はい パイプライン JAR ファイル によって生成されたパッケージ(つまり、パイプライン テンプレート)の識別子( UUID )。このパイプラインと組み合わせると、パイプライン API バージョンが作成されます。
注 : パッケージ ID は package upload API 関数によって返されます。
文字列
entryPointClassName はい このパイプライン テンプレートのエントリポイントの完全修飾クラス名。 文字列
グループ ID はい パイプライン テンプレートの所有権を持つグループ ID 。 パイプラインバージョンへのアクセスを制限するために使用されます。 文字列
defaultClusterConfiguration はい パイプラインバージョンを実行するためのクラスタの設定。以下の例を参照してください。 クラスタ設定
inputCatalogIds はい パイプライン テンプレートの入力カタログ識別子のリスト。 この ID のリストは、有効なパイプラインバージョンに必要な HRNS のリストを記述するためにクライアントが使用できます。 文字列各
識別子は、カタログ HERE リソースネーム のラベルを提供する英数字の文字列 (_ および - も使用できます ) です。
説明 いいえ パイプライン テンプレートについて説明する追加のテキスト。 文字列 [0..] 512] 文字です
defaultRuntimeConfiguration はい Java プロパティ形式のデフォルトのランタイム設定 ( 文字列 ) 。 この PipelineTemplate で指定されたランタイム設定値は、このテンプレートを使用するパイプラインバージョンのデフォルト値を提供します。 パイプラインバージョンに独自のランタイム設定値がある場合、それらの値は親パイプライン テンプレートから利用できる任意のデフォルトに追加されます。 同じキーを持つパイプラインバージョンランタイム設定値は、パイプライン テンプレートからのデフォルト設定値を上書きします。 これらのデフォルト値の適用は、パイプラインバージョンが実行されるたびに動的に行われます。 パイプライン API は、 application.properties これらをメイン JVM プロセスのクラスパスに追加することで、ファイルとしてパイプラインに渡します。 文字列
キーと値のペア
最大プロパティ名 ( キー ) のサイズは 256 で、最大プロパティ値は 1024 です。

pipeline template list CLI コマンドの結果 :

{"pipelineTemplates": [{
    "created": "2018-03-01T15:16:53.796Z",
    "groupId": "GROUP-9479863e-a13b-4d35-9eb1-5a054669046e",
    "defaultClusterConfiguration": {
        "supervisorUnits": 1,
        "workerUnits": 1,
        "workers": 1
    },
    "name": "sparktestcompiler",
    "packageId": "68d723f6-2ae7-40e4-8c24-61512d511852",
    "entryPointClassName": "com.example.Main",
    "description": "",
    "id": "5c0660a3-0fb4-4f35-bcd0-be6ce25075f6",
    "state": "created",
    "defaultRuntimeConfiguration": "",
    "updated": "2018-03-01T15:16:53.796Z",
    "runtimeEnvironment": "batch-2.1.0"
}]}

↑ページトップへ

credentials.properties

HERE platform 内で機能するすべてのアプリケーション(パイプラインなど)は、 HERE platform に登録する必要があります。 これは Apps and keys 、プラットフォームポータルの関数の下で行います。 登録すると credentials.properties 、ファイルが作成され、その特定のパイプラインを HERE platform にロードするときに必ず使用する必要があります。 credentials.properties ファイルの例を次に示します。

here.user.id = HERE-01966c94-aaf1-4ae2-a1y6-6516b3f9b6c1
here.client.id = mzLcb1rL8nskvDQpCAAO
here.access.key.id = BELUTk45QdaYGgZ9A_IMTA
here.access.key.secret = 108lI7w9m8G_6sIw9kng-PXGoeHQQ-cv6xByNOuMcRYixZZp...
here.token.endpoint.url = https://account.api.here.com/oauth2/token

このファイルの使用方法の詳細について は、『資格情報の入手方法』または『 ID およびアクセス管理ガイド』を参照してください。

↑ページトップへ

olpcli.ini

CLI only

このファイルは credentials.properties 、ファイルから作成されます。 詳細について は、 SDK for Java & Scala Developers を参照してください。

↑ページトップへ

application.properties

実行中のパイプラインのクラスパスで利用可能になったカスタム構成ファイル ( Java プロパティーファイル形式 ) このファイルは、パイプラインテンプレート defaultRuntimeConfig のプロパティの値( API & CLI のみ)から作成 customRuntimeConfig され、キーごとにパイプラインバージョンのプロパティの値で上書きされます。 defaultRuntimeConfig およびの値 customRuntimeConfig は、コンテンツが有効な Java プロパティファイルを表す文字列です。

メモ

ストリーム ランタイムでは、Uber jar がapplication.properties を含んでいる場合、ランタイムによって提供された application.properties を超えるクラスパスで優先されます。

    # Value of Pipeline Template's "defaultRuntimeConfig" property
    "myexample.threads = 3\nmyexample.language = \"en_US\"\nmyexample  .processing.window=300\nmyexample.processing.mode=stateless"

    # Value of Pipeline Version’s "customRuntimeConfig" property
    "myexample.threads=5\n\n myexample.processing.mode=    \"stateful\"\nmyexample.processing.filterInvalid = true"

    # The resulting Application.properties file on the pipeline classpath
    # (for the given values of "defaultRuntimeConfig" and "customRuntimeConfig")
    myexample.threads = 5
    myexample.language = "en_US"
    myexample.processing.window = 300
    myexample.processing.mode = "stateful"
    myexample.processing.filterInvalid = true

↑ページトップへ

も参照してください

」に一致する結果は 件です

    」に一致する結果はありません