設定ファイルリファレンス

内容

• pipeline-job.conf
• pipeline-config.conf
• パイプライン テンプレート
• credentials.properties
• olpcli.ini
• application.properties

概要

このトピックでは、 HERE platform パイプラインで使用されているさまざまな設定ファイルの概要を示します。 ほとんどは、 CLI などの特定の場所でのみ使用され、適宜特定されます。 場合によっては、設定ファイルが特定の使用例でのみ使用されることがあります。この使用例については、 HERE も参照してください。

pipeline-job.conf

CLI only

このファイルは、スケジューラを使用せ ずに（つまり、今すぐ実行モードで）バッチ パイプラインバージョンをアクティブ化する場合にのみ適用されます。

内容の例 pipeline-job.conf:

    pipeline.job.catalog-versions {
        output-catalog { base-version = 42 }
        input-catalogs {
            test-input-1 {
                processing-type = "no_changes"
                version = 19
                }
            test-input-2 {
                processing-type = "changes"
                since-version = 70
                version = 75
                }
            test-input-3 {
                processing-type = "reprocess"
                version = 314159
            }
        }
    }

ここで、

• base-version of 出力カタログは、新しいデータを公開する、すでに存在するカタログのバージョンを示します。 このパラメータは今後必要になることはなく、削除されます。 現在、出力カタログの更新済みデータにコミットする必要があります。
• input-catalogs 各入力ソースについて、最新バージョンのが含まれています。 これは処理するバージョンです。 また、ジョブが最後に実行されてから変更された内容を指定する情報も含まれます ( 上記の例を参照 ) 。 カタログは、パイプライン設定ファイルにあるものと同じ識別子を使用して識別できます。

• processing-type 最後に正常に実行されてから各入力で変更された内容について説明します。 指定できる値は no_changes、、 changes、および reprocessです。

  • no_changes 最後の実行以降に入力カタログが変更されていないことを示します。
  • changes 入力カタログが変更されたことを示します。 2 番目のパラメーター since-version が含まれ、最後の実行時にそのカタログのどのバージョンが処理されたかを示します。
  • reprocess 入力カタログが変更されたかどうかを指定しません。 パイプラインは、何らかの増分処理を試みるのではなく、そのカタログ全体を再処理するよう要求されます。 これは、明示的なユーザー要求、またはパイプラインの初回実行などのシステム条件が原因である可能性があります。

↑ページトップへ

pipeline-config.conf

CLI only

CLI を使用してパイプラインバージョンを作成すると pipeline-config.conf 、新しいパイプラインバージョンの設定がファイル、テンプレートファイル ID 、およびパイプライン ID で指定 pipeline-config.conf されます。がメインユーザープロセスのクラスパスに追加されます。

内容の例 pipeline-config.conf:

    pipeline.config {
         billing-tag = "test-billing-tag"
         output-catalog { hrn = "hrn:here:data:::example-output" }
         input-catalogs {
             test-input-1 { hrn = "hrn:here:data:::example1" }
             test-input-2 { hrn = "hrn:here:data:::example2" }
             test-input-3 { hrn = "hrn:here:data:::example3" }
         }
     }

ここで、

• billing-tag は、パイプラインの請求エントリをグループ化するオプションのタグを指定します。
• output-catalog は、パイプラインの出力カタログを識別する HERE リソースネーム を指定します。
• 入力カタログ は、パイプラインの 1 つ以上の入力カタログを指定します。各入力カタログについて、その固定 ID が実際のカタログの HERE リソースネーム とともに提供されます。

↑ページトップへ

パイプライン テンプレート

パイプライン テンプレートは、パイプラインがパイプライン API バージョンを作成するために必要とするエンティティです。 プラットフォームポータルから、 UI の質問に答えることで作成されます。 pipeline template create CLI コマンドを使用して作成することもできます。 いずれの場合も、次のパラメータが使用されます。

必須 :

ただし、 API を使用してテンプレートを作成する場合、パラメータは異なります。 これは、プラットフォームポータルと CLI がパイプライン JAR ファイル をパイプラインにアップロードする処理を行っているためです。 API を使用する場合、これはアップロードされたパイプライン JAR ファイル に基づいてパッケージを作成し 、パッケージ ID を割り当てる別個の手順です。 これは、すべてのパイプライン JAR ファイルの識別および追跡方法です。

例

pipeline template list CLI コマンドの結果 :

{
    "pipelineTemplates": [
        {
            "created": "2018-03-01T15:16:53.796Z",
            "groupId": "GROUP-9479863e-a13b-4d35-9eb1-5a054669046e",
            "defaultClusterConfiguration": {
                "workerResourceProfileId": "HS1B",
                "supervisorResourceProfileId": "HS1B",
                "supervisorUnits": 1,
                "workerUnits": 1,
                "workers": 1
            },
            "name": "sparktestcompiler",
            "packageId": "68d723f6-2ae7-40e4-8c24-61512d511852",
            "entryPointClassName": "com.example.Main",
            "description": "",
            "id": "5c0660a3-0fb4-4f35-bcd0-be6ce25075f6",
            "state": "created",
            "defaultRuntimeConfiguration": "",
            "updated": "2018-03-01T15:16:53.796Z",
            "runtimeEnvironment": "batch-3.0"
        }
    ]
}

↑ページトップへ

credentials.properties

HERE platform 内で機能するすべてのアプリケーション（パイプラインなど）は、 HERE platform に登録する必要があります。 これは Apps and keys 、プラットフォームポータルの関数の下で行います。 登録すると credentials.properties 、ファイルが作成され、その特定のパイプラインを HERE platform にロードするときに必ず使用する必要があります。 credentials.properties ファイルの例を次に示します。

here.user.id = HERE-01966c94-aaf1-4ae2-a1y6-6516b3f9b6c1
here.client.id = mzLcb1rL8nskvDQpCAAO
here.access.key.id = BELUTk45QdaYGgZ9A_IMTA
here.access.key.secret = 108lI7w9m8G_6sIw9kng-PXGoeHQQ-cv6xByNOuMcRYixZZp...
here.token.endpoint.url = https://account.api.here.com/oauth2/token

このファイルの使用方法の詳細について は、『資格情報の入手方法』または『 ID およびアクセス管理ガイド』を参照してください。

↑ページトップへ

olpcli.ini

CLI only

このファイルは credentials.properties 、ファイルから作成されます。 詳細について は、 HERE Workspace for Java & Scala Developers を参照してください。

↑ページトップへ

application.properties

実行中のパイプラインのクラスパスで利用可能になったカスタム構成ファイル ( Java プロパティーファイル形式 ) このファイルは、パイプラインテンプレート defaultRuntimeConfig のプロパティの値（ API & CLI のみ）から作成 customRuntimeConfig され、キーごとにパイプラインバージョンのプロパティの値で上書きされます。 defaultRuntimeConfig およびの値 customRuntimeConfig は、コンテンツが有効な Java プロパティファイルを表す文字列です。

例

    # Value of Pipeline Template's "defaultRuntimeConfig" property
    "myexample.threads = 3\nmyexample.language = \"en_US\"\nmyexample  .processing.window=300\nmyexample.processing.mode=stateless"

    # Value of Pipeline Version’s "customRuntimeConfig" property
    "myexample.threads=5\n\n myexample.processing.mode=    \"stateful\"\nmyexample.processing.filterInvalid = true"

    # The resulting Application.properties file on the pipeline classpath
    # (for the given values of "defaultRuntimeConfig" and "customRuntimeConfig")
    myexample.threads = 5
    myexample.language = "en_US"
    myexample.processing.window = 300
    myexample.processing.mode = "stateful"
    myexample.processing.filterInvalid = true

↑ページトップへ

も参照してください

• パイプラインプロセスとのインターフェース