パイプラインを実行しています

トピック

• 概要
• パイプラインバージョンをアクティブ化します
• パイプラインの詳細
• 操作
• 実行中のジョブ
• 実行中のパイプラインバージョンを一時停止します
• 実行中のパイプラインを再開します
• 実行中のパイプラインバージョンをキャンセルします
• パイプラインバージョンを削除します
• パイプラインバージョンを非アクティブ化します

概要

記事 「パイプラインの展開」では、パイプラインの展開およびパイプラインバージョンの作成プロセスについて説明します。 この新しいパイプラインバージョンを実行するために使用できるオプションは、作成するパイプラインのタイプ（バッチまたはストリーム）によって異なります。 新しいパイプラインバージョンを作成した後の一般的な手順は、このバージョンをアクティブ化して、入力カタログからデータの処理を開始することです。 パイプラインバージョンでは、他にもいくつかのアクションを実行できます。 次のものがあります。

• アクティブ化します
• 一時停止
• 再開
• キャンセル
• 削除
• 非アクティブ化

パイプラインバージョンをアクティブ化します

パイプラインバージョンを作成すると、図 1 のようなポータル画面に表示されます。 このパイプラインの複数のバージョンが使用可能な場合 、バージョン 1 よりも下の追加の行に表示されます。

このサンプル画面の情報 ( 図 1) から、これがバッチ パイプラインであることがわかります。この情報には、ターゲット出力カタログとその実行モード ( オンデマンド ) の簡単な説明が含まれています。 パイプラインの展開時にグループが選択されている場合は、その一意のパイプライン ID （ UUID ）およびグループの割り当ても表示され、正しいパイプラインが使用されていることを確認できます。

ストリーム パイプラインのアクティブ化オプション

Activate 図 1 のストリーム パイプラインバージョンをクリックします。 [ アクティブ化オプション ] ダイアログボックスが開きます ( 図 2 を参照 ) 。

このパイプライン バージョンを実行するランタイム資格情報 を指定できます。 これらは、ユーザーの資格情報 またはユーザーが生成した資格情報 （アプリ）です。 詳細について は、『 Identity & Access Management Guide 』を参照してください。

このダイアログには、ストリーム（ Flink ）パイプラインバージョンのジョブマネージャーを高可用性モードで実行するためのスイッチも含まれています。 有効にすると、別のジョブマネージャーがパイプラインのスタンバイとして展開されます。 これらの複数のジョブマネージャーは、リーダーの選出とパイプラインの状態を調整するズーキーパーを介して管理されます。 この 2 番目のジョブマネージャーは、最初のジョブマネージャーとは異なる可用性ゾーンに展開されます。 プライマリジョブマネージャがクラッシュした場合、スタンバイジョブマネージャが迅速に引き継ぎ、パイプラインの実行を続行します。 また、障害が発生したプライマリジョブマネージャが再起動され、新しいスタンバイジョブマネージャになり、高可用性を再確立して将来の障害から保護します。

高可用性を有効化するオプションは、アクティブ化、再開、およびアップグレード操作中に使用できます。

Flink パイプラインのジョブマネージャーを高可用性で実行するには、追加のリソースが必要です。

• 2 番目のジョブマネージャーのリソース ( 最初のジョブマネージャーと同じサイズ )
• Zookeeper のリソース : 1.5 CPU および 1.5 GB の RAM

これらの追加リソースのコストは、パイプラインの元のコストに追加されます。

Flink ジョブマネージャーの高可用性の詳細について は、「ストリーム処理のベストプラクティス」を参照してください。

バッチ パイプラインのアクティブ化オプション

Activate 図 1 のバッチ パイプラインバージョンをクリックします。 [ アクティブ化オプション ] ダイアログボックスが開きます ( 図 3 を参照 ) 。 バッチ パイプラインバージョンをアクティブ化するには、次の 2 つのオプションを使用できます。 今すぐ実行 ( オンデマンド ) またはスケジュール。 デフォルトは [ 今すぐ実行 ( オンデマンド )] です。

このパイプライン バージョンを実行するランタイム資格情報 を指定できます。 これらは、ユーザーの資格情報 またはユーザーが生成した資格情報 （アプリ）です。 詳細について は、『 Identity & Access Management Guide 』を参照してください。

Run now ラジオボタンを選択すると、処理する入力カタログについての追加情報を要求するダイアログが表示されます。 オプションには、 (a) 最新のカタログバージョンを再処理するか、 (b) 特定のカタログバージョンを再処理することがあります。 このオプションを選択すると Reprocess latest catalog version、最新のカタログバージョンが識別され、再処理されます ( 図 3 を参照 ) 。 デフォルトでは、 (A) オプションが使用されています。 をクリック Activate して、デフォルトを受け入れます。

Reprocess specific catalog version このオプションを選択すると、ダイアログが再度変更され、詳細情報が要求されます。 図 4 に、処理する入力カタログの特定のバージョンを要求するダイアログを示します。 カタログのバージョン番号を入力し、をクリック Activate して処理を開始します。

Schedule オプションのラジオボタンを選択すると、次の 2 つのオプションが表示されます。 データの変更 または 時間のスケジュール。 [ データの変更 ] オプションを選択し、 [ アクティブ化 Scheduled ] をクリックして、入力カタログが新しいデータで更新されるまで新しいパイプラインバージョンを待機状態にします。

[ 時間スケジュール ] ラジオボタンを選択してダイアログを展開し、 CRON スケジュールを要求します。 CRON スケジュールは、有効な UNIX CRON 表現である必要があります。 パイプラインバージョンの連続試行の間隔は 1 時間未満にすることはできません。 提供された CRON 式は UTC タイムゾーンで評価されます。 たとえば、 cron 式が「 30 」の場合、パイプラインバージョンの実行は UTC クロックの 1 時間ごとに 30 分後に試行されます。 次回の試行時にパイプラインバージョンがまだ実行中の場合、パイプラインバージョンの実行はスキップされます。 デフォルトでは、入力カタログで処理される保留中の変更がある場合にのみ、ジョブが実行されます。 CLI および パイプライン API には、時間ごとにバッチ パイプラインバージョンをスケジュールするためのオプションが追加されています。

CLI および パイプライン API を使用すると、オンデマンドバッチパイプラインに使用できる処理の種類を増やすことができます。

アクティブ化されたパイプラインバージョンの管理

状態が 「実行中」に変更されると、画面の操作の選択肢も変更されます。 実行中のパイプラインバージョンを一時停止するか 、キャンセルするかを選択 できるようになりました。

パイプラインの予定バージョンの場合、一覧表は次のようになります。

Run Now パイプラインバージョンの場合、一覧表は次のようになります。

パイプラインの詳細

一覧表示されているパイプラインバージョン名をクリックすると、そのパイプラインの詳細にアクセスできます。 次に、サンプルパイプラインの詳細の例を示します。

[ 詳細 ] タブでは、パイプラインバージョンについて利用できるすべてのランタイム情報を表示できます。 このパイプラインバージョンのログレベルにアクセスして編集することもできます。 ログレベルを変更するに Edit は、「ログ設定」の横にあるボタンをクリックして、ダイアログに新しいログレベルまたは追加のログレベルを入力します。 変更内容を保存すると、その特定のパイプラインバージョンの変更内容が保存されますが、そのパイプラインバージョンで新しいジョブが開始されるまで有効になりません。

操作

[ 操作 ] タブには、パイプラインバージョンでの操作の概要が表示されます。 利用可能な情報を以下に示します。

実行中のジョブ

[ ジョブ ] タブをクリックして、このパイプラインバージョンの現在および古いジョブを確認します。

実行中のパイプラインバージョンを一時停止します

実行中のパイプラインバージョンを一時停止する場合は、「一時停止」の結果が実行中のパイプラインジョブの種類に応じて異なるため、特別な考慮事項が必要です。

スケジュール モードを使用して実行するバッチ パイプラインのバージョンが後で一時停止された場合、ただちに処理は停止されません。 代わり Paused に、現在のジョブが完了するまで実行され、その後バッチ パイプラインバージョンが状態に変わります。 オンデマンドで実行されているバッチ パイプラインバージョン は一時停止できません。キャンセルのみ可能です。

ただし pause 、実行中のストリーム パイプラインジョブの場合、ジョブの現在の状態が保存され、その時点でジョブが正常に停止されます。 resume コマンドが発行されると、新しいジョブが開始され、以前に保存された状態からパイプラインバージョンが再起動されます。 ジョブの一時停止時間には制限があります。 データ保持のデフォルト設定は 1 時間です。 この情報は、以下に示すように、パイプラインジョブを一時停止するとリマインダとして表示されます。 一時停止したジョブがcancelledの場合 、一時停止したジョブの保存済み状態は破棄され、パイプラインバージョンは準備完了状態に移行します。

実行中のパイプラインを再開します

このresume操作は、パイプライン が一時停止された後でデータ処理を再開するために使用されます。 一時停止した パイプラインバージョン が再開されると、通常の遅延時間は 30 ～ 90 秒です。 ただし、リソースが限られている場合、この遅延は数分間続く可能性があります。 また resume 、次のような場合には、操作が影響を受けないことがあります。

• パイプラインバージョン は、一時停止 状態で 1 時間の制限時間を超えて一時停止されたため 、一時停止状態にありません。この時間が経過すると、resumeは使用できなくなります
• パイプラインバージョン が一時停止 状態になっていません

ストリーム パイプラインバージョン が再開されると、 pause 発生した時点から新しいジョブが再開されます。 ただし、バッチ パイプラインのバージョン を同じ方法で再開することはできません。 これは、「一時停止」が有効になる前に、バッチジョブの実行が完了まで許可されているためです。 パイプラインバージョン が再開 され、新しいジョブが利用可能になるまで、以降のジョブは処理されません。

実行中のパイプラインバージョンをキャンセルします

実行中のパイプラインバージョンをキャンセルするには、通常、キャンセルリクエストとともにパイプライン ID とパイプラインバージョン ID を送信する必要があります。 サービスは、状態を保存せずに実行中のジョブをキャンセルし、新しいパイプラインステータスを返します。 ポータルでは、このプロセスが HERE に示されているように単純化され

実行中のパイプラインジョブの [ キャンセル ] ボタンをクリックします。

確認を求められます。

次の画面には、ジョブのステータスと Cancelled パイプラインバージョンが Ready 表示されます。 パイプラインのバージョンが更新さ Cancelled れているかどうかにかかわら Deletedず、新しいジョブで再度アクティブ化することができます。 バッチジョブの場合、ジョブは完了するまで実行されてから、以降のスケジュール済みジョブがキャンセルされます。 ストリームジョブの場合、ジョブはただちに中断され、中断されたジョブを再開することなくキャンセルされます。 ストリーム パイプラインバージョンが 準備完了 状態に戻ります。

パイプラインバージョンを削除します

同じパイプライン JAR ファイル を使用する他のパイプラインバージョンに影響を与えることなく、パイプラインサービスからパイプラインバージョンを削除できます。 パイプラインバージョンを削除するには、リストページから削除するパイプラインバージョンを選択する必要があります。 次に ellipsis 、以下の図に示すようにメニューをクリックします。 「パイプラインを削除」をクリックして、削除処理を開始します。

UI には、パイプラインバージョンの削除が元に戻すことができない破壊的なアクションであることを確認するよう要求する警告ダイアログが表示されます。 Delete Version パイプラインバージョンの削除を完了 Cancel するか、削除アクションを停止する場合にクリックします。

最後に、削除されたパイプラインバージョンを一覧表示せずに、パイプラインリストページが更新されます。 ただし、削除操作を確認する警告メッセージがページの上部に表示されます。

パイプラインバージョンを非アクティブ化します

アクティブ化後にパイプラインバージョンがまだスケジュール済みの状態にある場合 は、以下のように [ 非アクティブ化 ] ボタンをクリックして非アクティブ化します。 非アクティブ化すると、パイプラインバージョンは Ready 再度アクティブ化できる状態に戻ります。

パイプラインが非アクティブ化されると ready 、アクティブ化を待っている状態で一覧表示されます。

↑ページトップへ