Web ポータル経由でパイプラインを展開しています

トピック

• 概要
• パイプラインを追加します
• パイプラインバージョンとテンプレートを設定します
  • 既存のテンプレートを使用します
  • エントリポイントのクラス名
  • 新しいテンプレートを使用します
  • 入力データ
  • 複数リージョンの設定
  • 出力カタログ
  • クラスタ設定
  • ランタイムパラメータ
  • パイプラインバージョン名
  • コスト割り当てタグ
  • パイプラインバージョンとテンプレートを保存します

概要

パイプラインのライフサイクル ページで説明されているように、データカタログを処理するにはパイプラインを展開する必要があります。 プラットフォームポータル UI のこのセクションでは、パイプラインを実行するように設定するプロセスに焦点を当てています。 この演習のオブジェクトは、パイプライン JAR ファイル をパイプラインサービスにロードし、 パイプラインバージョンの作成に必要な実行時間パラメータを定義することです。このパラメータは、パイプラインの運用形式です。 コマンド ラインから OLP CLI を使用するか、またはパイプライン API と直接インターフェイスするカスタムアプリケーションを介してこの操作を行うことができますが、プラットフォームポータルでは、パイプラインを迅速かつ簡単に展開および実行できます。

パイプラインの展開に使用される 2 つの GUI ページがあります。 名前の横にアスタリスク (*) が付いているすべてのフィールドには、必須情報が入力されています。 その他のフィールドはオプションです。 必要なすべての情報が完了していない限り、展開の最終処理を試行しないでください。

パイプラインを追加します

パイプラインをパイプラインサービスに追加するには、まずパイプラインインスタンスを作成します。 パイプラインの名前、説明を入力し、パイプラインへのアクセスを共有するグループを指定する必要があります。 通知電子メール情報は、 HERE platform がメッセージを送信する必要がある場合に使用されます。 1 つのメールアドレスのみが許可されています。そのため、複数のユーザーに通知する必要がある場合は、グループのメールアドレスを使用する必要があります。

この手順を完了すると、パイプラインによって一意 のパイプライン ID （ UUID ）が作成 され、この新しいパイプラインエンティティが識別されます。

[ 次へ ] ボタンをクリックして次のページに進み 、パイプライン テンプレートを使用してパイプラインバージョンのランタイムパラメータを定義します。

パイプラインバージョンとテンプレートを設定します

次に、パイプライン テンプレート and パイプラインバージョンを作成する必要があります。 この画面のほとんどは、パイプラインサービスによってパイプライン JAR ファイル に適用されるランタイム情報を扱います。この情報の組み合わせは、実行可能なパイプラインバージョンとして一意に識別されます。 このテンプレート情報は、パイプライン ID によって作成したパイプラインインスタンスに適用されます。 また、少なくとも 1 つの入力カタログレイヤーをデータソースとして、 1 つの出力カタログレイヤーをデータシンクとして指定する必要があります。これらは、実行時に特定のジョブ情報によって上書きされない限り、デフォルトで使用されます。 複数の入力データカタログを指定できます。 ストリーム パイプラインの場合、入力と出力カタログを同じ目的で設定することができます。

パイプラインの実行方法を記述するすべてのパラメータを入力または選択します。 パイプラインサービスで実行する JAR ファイル は、ファイル名と場所で正しく指定する必要があります。 パイプラインサービスは、送信時に、テンプレートを識別する一意のパイプライン テンプレート ID (UUID) を割り当てます。 次に、テンプレート ID が指定された JAR ファイルのパイプライン ID に関連付けられ、独自の一意のパイプラインバージョン ID (UUID) を持つ新しいパイプラインバージョンが作成されます。

次の例 ( 図 2) では、ストリーム処理パイプラインを設定しています。 必須フィールドはアスタリスク (*) で示され、その他のフィールドは任意です。 他のフィールドの入力内容によって、フィールドが変更されることがあります。 たとえば、ストリームパイプラインとバッチパイプラインには同じ実行オプションがないため、使用可能な実行オプションは、指定されたパイプラインタイプに応じて画面で変化します。

既存のテンプレートを使用します

このアカウントに接続されている既存のテンプレートがある場合は、図 2 に示すように、このページのレイアウトが変更され、選択できるようになります。 この場合、既存のテンプレートを再利用すると、そのテンプレートによって指定されたパイプライン JAR ファイル およびランタイム設定も再利用されます。 選択したテンプレートに関連付けられている JAR ファイル が表示され、正しい JAR ファイル であることを確認できます。 それ以外の場合 は、 [Upload JAR ファイル （アップロードオプション） ] ボタンをクリックして、新しいテンプレートを作成できます。 この場合、画面が変更され、アップロードする JAR ファイル の場所が尋ねられます。

新しいテンプレートを使用します

使用する既存のテンプレートがない場合は、続行するには新しいテンプレートを作成する必要があります。 まず、 [Upload JAR ファイル( ファイルのアップロード )] をクリック

エントリポイントのクラス名

エントリポイントのクラス名は、テンプレートで識別されたパイプライン JAR ファイル に固有のものであり、正しく指定する必要があります。 ケースが重要な HERE です。

入力データ

ここでパイプラインの入力カタログを指定します。 複数のカタログを指定できますが、パイプラインが複数の入力カタログを処理するように設計されている場合に限ります。 使用可能なカタログのドロップダウンリストからカタログを選択する。

複数リージョンの設定

プラットフォームのプライマリリージョンに障害が発生してもパイプライン が動作し続けるようにするには、パイプライン バージョンの作成中に複数リージョンオプションを有効にして、プライマリリージョンに障害が発生したときにパイプライン が自動的にセカンダリリージョンに切り替えることを許可します。 これは、パイプライン の状態をプライマリリージョンからセカンダリリージョンに定期的に転送することで実現されます。 この保存済み状態は、プライマリリージョンに障害が発生したときにセカンダリリージョンの処理を復元するために使用されます。

このオプションの詳細については、「パイプラインの複数リージョンの設定を有効にする」セクションを参照してください。

上記の図 3 のように、カタログも複数リージョンに設定する必要があります。

出力カタログ

ドロップダウンリストから出力カタログを選択します。 出力カタログは 1 つだけ指定できます。

クラスタ設定

クラスタ設定は、変数の照合方法に制限されています。 Spark ドライバのサイズドロップダウンリスト、 Spark 実行者のサイズドロップダウンリスト、および実行者の数を使用して、次に示すようにバッチ パイプラインに適したクラスタ設定を指定します。 これでクラスタの設定は完了です。

ランタイムパラメータ

これはオプションのフィールドです ( 図 5) 。 特定の環境で必要となる可能性のある他のランタイムパラメータの場所を提供します。 次の例は、そこに含めることができる情報の種類を示しています。 これらのパラメータの詳細については、『パイプライン開発者ガイド』の「設定ファイルリファレンス」を参照してください。

パイプラインバージョン名

パイプラインバージョンはパイプラインの実行可能形式であるため、わかりやすい名前を割り当てることをお勧めします。 このパラメータはページの下部付近にあります ( 図 7 を参照 ) 。

コスト割り当てタグ

このフィールドには、使用されたパイプライン処理時間に基づいて請求されるアカウントが示されます ( 図 7 を参照 ) 。 使用量の計算方法の詳細 については、「割り当て量と制限」を参照してください。

パイプラインバージョンとテンプレートを保存します

すべての必須フィールドに入力したら 、画面下部の [ 保存 ] ボタンをクリックしてパイプラインバージョンを保存し、パイプライン テンプレートの作成プロセスを開始します。 パイプラインバージョンには一意 のパイプラインバージョン ID （ UUID）が割り当てられます。この ID は、すべての操作コマンドが正しいパイプラインバージョンに送信されるようにするために使用されます。 新しいパイプラインバージョンは 、次の画面の準備完了状態で利用できます ( 図 8 を参照 ) 。このパイプラインで利用可能なすべてのパイプラインバージョンのリストと、利用可能なアクションが表示されます。 [ 保存] をクリックすると、新しいパイプラインバージョンの実行がただちに開始されません。 詳細について は、「パイプラインの実行」を参照してください。

↑ページトップへ