パイプラインを実行しています

トピック

概要

記事 「パイプラインの展開」では、パイプラインの展開およびパイプラインバージョンの作成プロセスについて説明します。 この新しいパイプラインバージョンを実行するために使用できるオプションは、作成するパイプラインのタイプ(バッチまたはストリーム)によって異なります。 新しいパイプラインバージョンを作成した後の一般的な手順は、このバージョンをアクティブ化して、入力カタログからデータの処理を開始することです。 パイプラインバージョンでは、他にもいくつかのアクションを実行できます。 次のものがあります。

メモ

使用可能なコマンドの一覧については 、『コマンド ライン インターフェース開発者ガイド 』または 『 API リファレンス』を参照してください。 一部のアクションは、プラットフォームポータルの GUI では利用できない場合があります。

パイプラインバージョンをアクティブ化します

パイプラインバージョンを作成すると、図 1 のようなポータル画面に表示されます。 このパイプラインの複数のバージョンが使用可能な場合 、バージョン 1 よりも下の追加の行に表示されます。

新しいパイプラインバージョンをアクティブ化できる画面のスクリーンキャプチャ
図 1. パイプラインのアクティブ化

このサンプル画面の情報 ( 図 1) から、これがバッチ パイプラインであることがわかります。この情報には、ターゲット出力カタログとその実行モード ( オンデマンド ) の簡単な説明が含まれています。 パイプラインの展開時にグループが選択されている場合は、その一意のパイプライン ID ( UUID )およびグループの割り当ても表示され、正しいパイプラインが使用されていることを確認できます。

ヒント

パイプライン ID の末尾にあるボタンをクリックして、 ID をクリップボードにコピーします。

ストリーム パイプラインのアクティブ化オプション

Activate 図 1 のストリーム パイプラインバージョンをクリックします。 [ アクティブ化オプション ] ダイアログボックスが開きます ( 図 2 を参照 ) 。

このパイプラインバージョンを実行するランタイム資格情報を指定できます。 ユーザーの作成者番号、またはユーザーが作成した資格情報(アプリ)が表示されます。 詳細について は、『 Identity & Access Management Guide 』を参照してください。

このダイアログには、ストリーム( Flink )パイプラインバージョンのジョブマネージャーを高可用性モードで実行するためのスイッチも含まれています。 有効にすると、別のジョブマネージャーがパイプラインのスタンバイとして展開されます。 これらの複数のジョブマネージャーは、リーダーの選出とパイプラインの状態を調整するズーキーパーを介して管理されます。 この 2 番目のジョブマネージャーは、最初のジョブマネージャーとは異なる可用性ゾーンに展開されます。 プライマリジョブマネージャがクラッシュした場合、スタンバイジョブマネージャが迅速に引き継ぎ、パイプラインの実行を続行します。 また、障害が発生したプライマリジョブマネージャが再起動され、新しいスタンバイジョブマネージャになり、高可用性を再確立して将来の障害から保護します。

高可用性を有効化するオプションは、アクティブ化、再開、およびアップグレード操作中に使用できます。

注意 : 追加コスト

Flink ジョブマネージャーの高可用性オプションを使用すると、 Flink パイプラインの実行コストが増加します。 以下を参照してください。

Flink パイプラインのジョブマネージャーを高可用性で実行するには、追加のリソースが必要です。

  • 2 番目のジョブマネージャーのリソース ( 最初のジョブマネージャーと同じサイズ )
  • Zookeeper のリソース : 1.5 CPU および 1.5 GB の RAM

これらの追加リソースのコストは、パイプラインの元のコストに追加されます。

パイプライン Flink HA アクティブ化オプションのスクリーンキャプチャ
図 2. パイプライン Flink HA アクティブ化オプション

Flink ジョブマネージャーの高可用性の詳細について は、「ストリーム処理のベストプラクティス」を参照してください。

バッチ パイプラインのアクティブ化オプション

Activate 図 1 のバッチ パイプラインバージョンをクリックします。 [ アクティブ化オプション ] ダイアログボックスが開きます ( 図 3 を参照 ) 。 バッチ パイプラインバージョンをアクティブ化するには、次の 2 つのオプションを使用できます。 今すぐ実行 ( オンデマンド ) またはスケジュール。 デフォルトは [ 今すぐ実行 ( オンデマンド )] です。

このパイプラインバージョンを実行するランタイム資格情報を指定できます。 ユーザーの作成者番号、またはユーザーが作成した資格情報(アプリ)が表示されます。 詳細について は、『 Identity & Access Management Guide 』を参照してください。

Run now ラジオボタンを選択すると、処理する入力カタログについての追加情報を要求するダイアログが表示されます。 オプションには、 (a) 最新のカタログバージョンを再処理するか、 (b) 特定のカタログバージョンを再処理することがあります。 このオプションを選択すると Reprocess latest catalog version、最新のカタログバージョンが識別され、再処理されます ( 図 3 を参照 ) 。 デフォルトでは、 (A) オプションが使用されています。 をクリック Activate して、デフォルトを受け入れます。

[Run Now] オプションを指定して [Activate Option] ダイアログを開き、最新の入力カタログを再処理する画面を表示します
図 3. [ 今すぐ実行 ] オプションを使用して、最新のカタログバージョンを再処理します

Reprocess specific catalog version このオプションを選択すると、ダイアログが再度変更され、詳細情報が要求されます。 図 4 に、処理する入力カタログの特定のバージョンを要求するダイアログを示します。 カタログのバージョン番号を入力し、をクリック Activate して処理を開始します。

[ 今すぐ実行 ] オプションを使用して [ オプションをアクティブ化 ] ダイアログをスクリーンキャプチャし、指定したカタログバージョンを処理します
図 4. [ 今すぐ実行 ] オプションを選択し、指定したカタログバージョンを再処理します

Schedule オプションのラジオボタンを選択すると、次の 2 つのオプションが表示されます。 データの変更 または 時間のスケジュール[ データの変更 ] オプションを選択し、 [ アクティブ化 Scheduled ] をクリックして、入力カタログが新しいデータで更新されるまで新しいパイプラインバージョンを待機状態にします。

スケジュールとデータ変更オプションが選択された状態でのアクティブ化オプションダイアログのスクリーンキャプチャ
図 5. データ変更オプション

[ 時間スケジュール ] ラジオボタンを選択してダイアログを展開し、 CRON スケジュールを要求します。 CRON スケジュールは、有効な UNIX CRON 表現である必要があります。 パイプラインバージョンの連続試行の間隔は 1 時間未満にすることはできません。 提供された CRON 式は UTC タイムゾーンで評価されます。 たとえば、 cron 式が「 30 」の場合、パイプラインバージョンの実行は UTC クロックの 1 時間ごとに 30 分後に試行されます。 次回の試行時にパイプラインバージョンがまだ実行中の場合、パイプラインバージョンの実行はスキップされます。 デフォルトでは、入力カタログで処理される保留中の変更がある場合にのみ、ジョブが実行されます。 CLI および パイプライン API には、時間ごとにバッチ パイプラインバージョンをスケジュールするためのオプションが追加されています。

スケジュールと時間スケジュールオプションが選択された状態でのアクティブ化オプションダイアログのスクリーンキャプチャ
図 6. タイムスケジュールオプション

情報 : 実行レーテンシー

パイプラインが実際に処理を開始する前に、遅延が発生するまでの時間が常に数分 scheduled あります(その間、パイプラインは状態で待機します)。 Run Now (on-demand) このオプションを使用した場合も同様です。 Scheduled データおよびシステムリソースの可用性によって処理が開始されるため、操作がさらに遅延する可能性があります。

CLI および パイプライン API を使用すると、オンデマンドバッチパイプラインに使用できる処理の種類を増やすことができます。

アクティブ化されたパイプラインバージョンの管理

アクティブ化されたパイプラインバージョンが実行状態で表示される画面のスクリーンキャプチャ
図 7. パイプラインバージョンを実行しています

状態が 「実行中」に変更されると、画面の操作の選択肢も変更されます。 実行中のパイプラインバージョンを一時停止するか 、キャンセルするかを選択 できるようになりました。

情報 : [ メトリクス ] ボタン

このボタンをクリックすると、実行中のパイプラインバージョンのメトリクスを監視するコンパニオンアプリケーション( Splunk や Grafana など)に移動します。 メトリクスの詳細 については、 Logs 、 Monitoring and Alerts ユーザー ガイドを参照してください。

パイプラインの予定バージョンの場合、一覧表は次のようになります。

スケジュール設定されたパイプラインバージョンの一覧表の例
図 8. パイプライン予定バージョン

Run Now パイプラインバージョンの場合、一覧表は次のようになります。

実行中のパイプラインの詳細を表示する画面のスクリーンキャプチャ
図 9. 今すぐパイプラインを実行します

ヒント

ページの右上隅にある [ その他 ] メニューには、追加の機能があります。

注釈付きの詳細メニュー
図 10. 注釈付きの詳細メニュー

パイプラインの詳細

一覧表示されているパイプラインバージョン名をクリックすると、そのパイプラインの詳細にアクセスできます。 次に、サンプルパイプラインの詳細の例を示します。

パイプライン詳細画面のスクリーンキャプチャ
図 11. パイプラインバージョンの詳細画面

[ 詳細 ] タブでは、パイプラインバージョンについて利用できるすべてのランタイム情報を表示できます。 このパイプラインバージョンのログレベルにアクセスして編集することもできます。 ログレベルを変更するに Edit は、「ログ設定」の横にあるボタンをクリックして、ダイアログに新しいログレベルまたは追加のログレベルを入力します。 変更内容を保存すると、その特定のパイプラインバージョンの変更内容が保存されますが、そのパイプラインバージョンで新しいジョブが開始されるまで有効になりません。

操作

[ 操作 ] タブには、パイプラインバージョンでの操作の概要が表示されます。 利用可能な情報を以下に示します。

Run Now 操作タブのデータのスクリーンキャプチャ
図 12. パイプラインバージョン操作画面

実行中のジョブ

[ ジョブ ] タブをクリックして、このパイプラインバージョンの現在および古いジョブを確認します。

パイプラインバージョンのジョブ表示のスクリーンキャプチャ
図 13. パイプラインバージョンのジョブ画面

実行中のパイプラインバージョンを一時停止します

実行中のパイプラインバージョンを一時停止する場合は、「一時停止」の結果が実行中のパイプラインジョブの種類に応じて異なるため、特別な考慮事項が必要です。

スケジュール モードを使用して実行するバッチ パイプラインのバージョンが後で一時停止された場合、ただちに処理は停止されません。 代わり Paused に、現在のジョブが完了するまで実行され、その後バッチ パイプラインバージョンが状態に変わります。 オンデマンドで実行されているバッチ パイプラインバージョン は一時停止できません。キャンセルのみ可能です。

ただし pause 、実行中のストリーム パイプラインジョブの場合、ジョブの現在の状態が保存され、その時点でジョブが正常に停止されます。 resume コマンドが発行されると、新しいジョブが開始され、以前に保存された状態からパイプラインバージョンが再起動されます。 ジョブの一時停止時間には制限があります。 データ保持のデフォルト設定は 1 時間です。 この情報は、以下に示すように、パイプラインジョブを一時停止するとリマインダとして表示されます。 一時停止したジョブがcancelledの場合 、一時停止したジョブの保存済み状態は破棄され、パイプラインバージョンは準備完了状態に移行します。

ストリーミングパイプラインジョブを一時停止するための GUI 表示のスクリーンキャプチャ
図 14. ストリーミングパイプラインバージョンを一時停止します
一時停止したストリーミングパイプラインジョブの GUI 表示のスクリーンキャプチャ
図 15. パイプラインを一時停止しました ( 警告あり

実行中のパイプラインを再開します

このresume操作は、パイプライン が一時停止された後でデータ処理を再開するために使用されます。 一時停止した パイプラインバージョン が再開されると、通常の遅延時間は 30 ~ 90 秒です。 ただし、リソースが限られている場合、この遅延は数分間続く可能性があります。 また resume 、次のような場合には、操作が影響を受けないことがあります。

  • パイプラインバージョン は、一時停止 状態で 1 時間の制限時間を超えて一時停止されたため 、一時停止状態にありません。この時間が経過すると、resumeは使用できなくなります
  • パイプラインバージョン が一時停止 状態になっていません

ストリーム パイプラインバージョン が再開されるとpause 発生した時点から新しいジョブが再開されます。 ただし、バッチ パイプラインのバージョン を同じ方法で再開することはできません。 これは、「一時停止」が有効になる前に、バッチジョブの実行が完了まで許可されているためです。 パイプラインバージョン が再開 され、新しいジョブが利用可能になるまで、以降のジョブは処理されません。

ヒント

この一覧表ページでは、次のボタンをクリックして、新しいパイプラインバージョンの作成プロセスを開始できます。 パイプライン一覧表ページの [ 新しいバージョンを作成 ] ボタンのスクリーンショット

実行中のパイプラインバージョンをキャンセルします

実行中のパイプラインバージョンをキャンセルするには、通常、キャンセルリクエストとともにパイプライン ID とパイプラインバージョン ID を送信する必要があります。 サービスは、状態を保存せずに実行中のジョブをキャンセルし、新しいパイプラインステータスを返します。 ポータルでは、このプロセスが HERE に示されているように単純化され

実行中のパイプラインジョブの [ キャンセル ] ボタンをクリックします。

実行中のパイプラインジョブのスクリーンショット
図 16. 実行中のジョブをキャンセルします

確認を求められます。

キャンセル確認ダイアログのスクリーンショット
図 17. キャンセルを確認してください

次の画面には、ジョブのステータスと Cancelled パイプラインバージョンが Ready 表示されます。 パイプラインのバージョンが更新さ Cancelled れているかどうかにかかわら Deletedず、新しいジョブで再度アクティブ化することができます。 バッチジョブの場合、ジョブは完了するまで実行されてから、以降のスケジュール済みジョブがキャンセルされます。 ストリームジョブの場合、ジョブはただちに中断され、中断されたジョブを再開することなくキャンセルされます。 ストリーム パイプラインバージョンが 準備完了 状態に戻ります。

完了したジョブのスクリーンショット
図 18. パイプラインジョブがキャンセルされました

パイプラインバージョンを削除します

同じパイプライン JAR ファイル を使用する他のパイプラインバージョンに影響を与えることなく、パイプラインサービスからパイプラインバージョンを削除できます。 パイプラインバージョンを削除するには、リストページから削除するパイプラインバージョンを選択する必要があります。 次に ellipsis 、以下の図に示すようにメニューをクリックします。 「パイプラインを削除」をクリックして、削除処理を開始します。

削除ボタンが表示されているドロップダウンメニューのスクリーンキャプチャ
図 19. Delete パイプラインボタン

UI には、パイプラインバージョンの削除が元に戻すことができない破壊的なアクションであることを確認するよう要求する警告ダイアログが表示されます。 Delete Version パイプラインバージョンの削除を完了 Cancel するか、削除アクションを停止する場合にクリックします。

最後に、削除されたパイプラインバージョンを一覧表示せずに、パイプラインリストページが更新されます。 ただし、削除操作を確認する警告メッセージがページの上部に表示されます。

スクリーンショット of パイプライン削除アラート
図 20: 削除後のパイプラインリストページ

パイプラインバージョンを非アクティブ化します

アクティブ化後にパイプラインバージョンがまだスケジュール済みの状態にある場合 は、以下のように [ 非アクティブ化 ] ボタンをクリックして非アクティブ化します。 非アクティブ化すると、パイプラインバージョンは Ready 再度アクティブ化できる状態に戻ります。

最近アクティブ化され、スケジュール設定されたパイプラインバージョンの非アクティブ化ボタンのスクリーンショット
図 21. 選択したパイプラインバージョンを非アクティブ化します

パイプラインが非アクティブ化されると ready 、アクティブ化を待っている状態で一覧表示されます。

非アクティブ化されているパイプラインの GUI のスクリーンショット
図 22. パイプラインバージョンを非アクティブ化しています

↑ページトップへ

」に一致する結果は 件です

    」に一致する結果はありません