Web ポータル経由でパイプラインを展開しています

トピック

概要

パイプラインのライフサイクル ページで説明されているように、データカタログを処理するにはパイプラインを展開する必要があります。 プラットフォームポータル UI のこのセクションでは、パイプラインを実行するように設定するプロセスに焦点を当てています。 この演習のオブジェクトは、パイプライン JAR ファイル をパイプラインサービスにロードし、 パイプラインバージョンの作成に必要な実行時間パラメータを定義することです。このパラメータは、パイプラインの運用形式です。 コマンド ラインから OLP CLI を使用するか、またはパイプライン API と直接インターフェイスするカスタムアプリケーションを介してこの操作を行うことができますが、プラットフォームポータルでは、パイプラインを迅速かつ簡単に展開および実行できます。

パイプラインの展開に使用される 2 つの GUI ページがあります。 名前の横にアスタリスク (*) が付いているすべてのフィールドには、必須情報が入力されています。 その他のフィールドはオプションです。 必要なすべての情報が完了していない限り、展開の最終処理を試行しないでください。

パイプラインを追加します

パイプラインをパイプラインサービスに追加するには、まずパイプラインインスタンスを作成します。 パイプラインの名前、説明を入力し、パイプラインへのアクセスを共有するグループを指定する必要があります。 通知電子メール情報は、 HERE platform がメッセージを送信する必要がある場合に使用されます。 1 つのメールアドレスのみが許可されています。そのため、複数のユーザーに通知する必要がある場合は、グループのメールアドレスを使用する必要があります。

新しいパイプラインを追加するためのポータル GUI 画面
図 1. 新しいパイプラインを追加します

注 : パイプラインの説明は任意です

パイプラインの説明 は任意で、 512 文字を超えることはできません。

この手順を完了すると、パイプラインによって一意 のパイプライン ID ( UUID )が作成 され、この新しいパイプラインエンティティが識別されます。

注 : ID ( UUID )

HERE platform は通常 、汎用一意識別子を使用してパイプライン ID およびパイプラインバージョン ID などの ID を割り当てます。これは UUID と呼ばれます。 グローバル一意識別子 (GUID) という用語 は、この ID の別の名前です。 HERE platform のドキュメントでは、 ID 名に UUID が追加された参照を検索することがよくあります。 これは、 ID が一意の識別子として UUID 指定を使用したことを意味します。 UUID の詳細 については、 Universally Unique Identifier の記事を参照してください。

[ 次へ ] ボタンをクリックして次のページに進み 、パイプライン テンプレートを使用してパイプラインバージョンのランタイムパラメータを定義します。

パイプラインバージョンとテンプレートを設定します

次に、パイプライン テンプレート and パイプラインバージョンを作成する必要があります。 この画面のほとんどは、パイプラインサービスによってパイプライン JAR ファイル に適用されるランタイム情報を扱います。この情報の組み合わせは、実行可能なパイプラインバージョンとして一意に識別されます。 このテンプレート情報は、パイプライン ID によって作成したパイプラインインスタンスに適用されます。 また、少なくとも 1 つの入力カタログレイヤーをデータソースとして、 1 つの出力カタログレイヤーをデータシンクとして指定する必要があります。これらは、実行時に特定のジョブ情報によって上書きされない限り、デフォルトで使用されます。 複数の入力データカタログを指定できます。 ストリーム パイプラインの場合、入力と出力カタログを同じ目的で設定することができます。

パイプラインの実行方法を記述するすべてのパラメータを入力または選択します。 パイプラインサービスで実行する JAR ファイル は、ファイル名と場所で正しく指定する必要があります。 パイプラインサービスは、送信時に、テンプレートを識別する一意のパイプライン テンプレート ID (UUID) を割り当てます。 次に、テンプレート ID が指定された JAR ファイルのパイプライン ID に関連付けられ、独自の一意のパイプラインバージョン ID (UUID) を持つ新しいパイプラインバージョンが作成されます。

次の例 ( 図 2) では、ストリーム処理パイプラインを設定しています。 必須フィールドはアスタリスク (*) で示され、その他のフィールドは任意です。 他のフィールドの入力内容によって、フィールドが変更されることがあります。 たとえば、ストリームパイプラインとバッチパイプラインには同じ実行オプションがないため、使用可能な実行オプションは、指定されたパイプラインタイプに応じて画面で変化します。

ストリームタイプのパイプラインバージョンを設定するためのポータル GUI 画面
図 2. パイプラインバージョン(ストリーム)の設定

既存のテンプレートを使用します

このアカウントに接続されている既存のテンプレートがある場合は、図 2 に示すように、このページのレイアウトが変更され、選択できるようになります。 この場合、既存のテンプレートを再利用すると、そのテンプレートによって指定されたパイプライン JAR ファイル およびランタイム設定も再利用されます。 選択したテンプレートに関連付けられている JAR ファイル が表示され、正しい JAR ファイル であることを確認できます。 それ以外の場合 は、 [Upload JAR ファイル (アップロードオプション) ] ボタンをクリックして、新しいテンプレートを作成できます。 この場合、画面が変更され、アップロードする JAR ファイル の場所が尋ねられます。

新しいテンプレートを使用します

使用する既存のテンプレートがない場合は、続行するには新しいテンプレートを作成する必要があります。 まず、 [Upload JAR ファイル( ファイルのアップロード )] をクリック

エントリポイントのクラス名

エントリポイントのクラス名は、テンプレートで識別されたパイプライン JAR ファイル に固有のものであり、正しく指定する必要があります。 ケースが重要な HERE です。

入力データ

ここでパイプラインの入力カタログを指定します。 複数のカタログを指定できますが、パイプラインが複数の入力カタログを処理するように設計されている場合に限ります。 使用可能なカタログのドロップダウンリストからカタログを選択する。

注意 : 入力カタログ ID

入力カタログ ID フィールドに は入力カタログ ID 値が必要です。 使用する HERE の値は 、ローカル pipeline-conf.conf ファイルの対応する入力カタログで使用されている入力カタログ ID の値と同じである必要があります。 入力カタログ ID の値が両方の場所で一致しない場合、生成されたランタイムエラーが問題の原因を正しく示していない可能性があります。

複数リージョンの設定

プラットフォームのプライマリリージョンに障害が発生してもパイプラインが動作し続けるようにするには、パイプラインバージョンの作成中に [ マルチリージョン ] オプションを有効にして、プライマリリージョンに障害が発生したときにパイプラインが自動的にセカンダリリージョンに切り替わるようにします。 これは、パイプラインの状態をプライマリリージョンからセカンダリリージョンに定期的に転送することで実現されます。 この保存済み状態は、プライマリリージョンに障害が発生したときにセカンダリリージョンの処理を復元するために使用されます。

注 : 複数リージョンの設定にかかる追加コスト

2 つのリージョン間でのパイプライン状態の転送は、パイプライン I/O として請求されます

このオプションの詳細については、「パイプラインの複数リージョンの設定を有効にする」セクションを参照してください。

複数リージョンオプションを設定するためのポータル GUI 画面
図 3. 複数リージョンを有効にします

上記の図 3 のように、カタログも複数リージョンに設定する必要があります。

複数リージョンのカタログを選択するためのポータル GUI 画面
図 4. [ 複数リージョンのカタログ ] を選択します

出力カタログ

ドロップダウンリストから出力カタログを選択します。 出力カタログは 1 つだけ指定できます。

注 : 入力と出力に同じカタログを使用します

ストリーム パイプラインバージョンでは、入力と出力に同じカタログを使用できます。 これは、別の出力カタログを使用する必要があるバッチ パイプラインバージョンには適用されません。

クラスタ設定

クラスタ設定は、変数の照合方法に制限されています。 Spark ドライバのサイズドロップダウンリスト、 Spark 実行者のサイズドロップダウンリスト、および実行者の数を使用して、次に示すようにバッチ パイプラインに適したクラスタ設定を指定します。 これでクラスタの設定は完了です。

クラスタを設定するためのドロップダウンウィンドウ
図 5. クラスタを設定します

ランタイムパラメータ

これはオプションのフィールドです ( 図 5) 。 特定の環境で必要となる可能性のある他のランタイムパラメータの場所を提供します。 次の例は、そこに含めることができる情報の種類を示しています。 これらのパラメータの詳細については、『パイプライン開発者ガイド』の「設定ファイルリファレンス」を参照してください。

カスタム実行時間パラメータの例
図 6. カスタム実行時間パラメータの例

パイプラインバージョン名

パイプラインバージョンはパイプラインの実行可能形式であるため、わかりやすい名前を割り当てることをお勧めします。 このパラメータはページの下部付近にあります ( 図 7 を参照 ) 。

コスト割り当てタグとバージョン名のポータル GUI 画面
図 7. コスト割り当てタグおよびバージョン名のフィールド

コスト割り当てタグ

このフィールドには、使用されたパイプライン処理時間に基づいて請求されるアカウントが示されます ( 図 7 を参照 ) 。 使用量の計算方法の詳細 については、「割り当て量と制限」を参照してください。

パイプラインバージョンとテンプレートを保存します

すべての必須フィールドに入力したら 、画面下部の [ 保存 ] ボタンをクリックしてパイプラインバージョンを保存し、パイプライン テンプレートの作成プロセスを開始します。 パイプラインバージョンには一意 のパイプラインバージョン ID ( UUID)が割り当てられます。この ID は、すべての操作コマンドが正しいパイプラインバージョンに送信されるようにするために使用されます。 新しいパイプラインバージョンは 、次の画面の準備完了状態で利用できます ( 図 8 を参照 ) 。このパイプラインで利用可能なすべてのパイプラインバージョンのリストと、利用可能なアクションが表示されます。 [ 保存] をクリックすると、新しいパイプラインバージョンの実行がただちに開始されません。 詳細について は、「パイプラインの実行」を参照してください。

ピエラインの詳細を表示するポータル GUI 画面
図 8. 保存されたパイプラインバージョン

↑ページトップへ

」に一致する結果は 件です

    」に一致する結果はありません