プラットフォーム で Flink アプリケーションを実行します

目的: プラットフォーム でシンプルな Flink アプリケーションを実行し、アプリケーションの実行を監視します。

複雑さ: 初心者向け

所要時間: 40 分

前提条件: Flink アプリケーションを開発し、 プロジェクトで作業内容を整理します

このチュートリアルでは、プラットフォームでの「Flink アプリケーションの開発」チュートリアルで開発した Flink アプリケーションを実行する方法を示します。 Grafana 、 Splunk 、 Flink UI 、およびプラットフォーム 請求ページを使用して、アプリケーションの実行に関する情報を取得する方法を示します。

このチュートリアルでは、次のトピックについて説明します。

• プラットフォーム でリソースを設定します
• プラットフォーム で Flink アプリケーションを実行します
• Flink UI を使用して実行プランを表示します
• Splunk からアプリケーションログを取得します
• Grafana ホーム を使用してアプリケーションデータを監視します
• 実行コストを取得します

プラットフォーム でリソースを設定します

アプリケーションをプロジェクトで実行します。 プロジェクトは、アプリ 、サービス、またはその他の作業用製品をビルドするために使用する HERE platform リソースのコンテナです。 カタログ、パイプライン、スキーマ、サービスなどのリソースを含めることができます。 プロジェクトは、プロジェクト内のリソースにアクセスできるユーザー、アプリ、およびグループを制御します。 すべてのプラットフォーム リソースを管理するには、プロジェクトを使用することをお勧めします。 プロジェクトの詳細については、「プロジェクトの管理」ドキュメントを参照してください。

OLP CLI を使用してプロジェクトを作成してみましょう。

olp project create {{PROJECT_ID}} {{PROJECT_NAME}}

OLP CLI から次のメッセージが返されます。

Project {{YOUR_PROJECT_HRN}} has been created.

{{YOUR_PROJECT_HRN}} この値を console 変数に保存すると、コマンドの実行が簡単になります。

次のステップでは、前に作成したプロジェクトに入力ストリーミングカタログを作成します。 --scope このパラメーターは、 OLP CLI のプロジェクトを指定するために使用されます。

catalog-with-stream-layer.json次のコマンドを実行して、 Flink アプリケーションの開発 チュートリアルで使用したものとまったく同じ設定 ファイルを使用してカタログを作成してみましょう。

 olp catalog create <catalog-id> <catalog-name> --config catalog-with-stream-layer.json --scope YOUR_PROJECT_HRN

OLP CLI から次のメッセージが返されます。

Catalog YOUR_CATALOG_HRN has been created.

次の手順では、前に作成したカタログを使用するようにソースコードを設定します。 pipeline-config.conf ファイル内の INPUT_CATALOG_HRN プレースホルダーと OUTPUT_CATALOG_HRN プレースホルダーを置き換えます。

プラットフォーム に展開するには、アプリケーションに Fat JAR のすべての依存関係をパッケージ化する必要があります。 java/Scala SDK は platform 、ファット JAR を生成するプロファイルを提供します。 次のコマンドは、プロファイルを使用して Fat JAR を生成します。

 mvn -Pplatform clean package

develop-flink-application-<tutorial-version>-platform.jar Fat JAR は ターゲット フォルダに作成する必要があります。

プラットフォーム で Flink アプリケーションを実行します

プラットフォーム で Flink アプリケーションを実行するには、 パイプライン API について理解しておく必要があります。

次の図は、 OLP CLI を使用したパイプライン の完全な展開フローを示しています。

パイプラインの詳細については、『パイプライン開発者ガイド』を参照してください。

これで、アプリケーションで使用されているすべてのリソースと、それらを使用するように設定されたアプリケーションが、プラットフォーム に展開できるようになりました。 アプリケーションを起動してみましょう。

次の OPL CLI コマンドを使用して、プロジェクト範囲にパイプライン を作成してみましょう。

 olp pipeline create {{PIPELINE_ID}} --scope {{YOUR_PROJECT_HRN}}

OLP CLI から次のメッセージが返されます。

Pipeline {{YOUR_PIPELINE_ID}} has been created.

次のステップでは、パイプライン テンプレート を作成します。 パイプラインの作成を支援するパイプライン テンプレートが提供されています。 これらのテンプレートには、再利用可能なパイプライン 定義 ( 実装、入力スキーマ、出力カタログ スキーマ ) が含まれています。

パイプライン テンプレート を作成するために必要なパラメータを理解してみましょう。 テンプレート 名と streamランタイム環境 を指定する必要stream があります。このチュートリアルでは、 Flink アプリケーションを実行し、プラットフォーム で環境を使用します。 次のパラメータは mvn package -Dplatform 、コマンドによって作成された Fat JAR と、メインクラスの名前です。 次に、パイプライン バージョンの設定で想定されている入力カタログ ID を指定する必要があります。 最後のパラメーターは、プロジェクト内のすべてのリソースを作成するときのプロジェクト HERE リソースネーム です。

次の OLP CLI コマンドを使用してパイプライン テンプレート を作成してみましょう。

 
olp pipeline template create {{TEMPLATE_NAME}} \
stream-5.0 target/develop-flink-application-<version>-platform.jar \ 
DevelopFlinkApplication --input-catalog-ids \
pipeline-config.conf --scope {{YOUR_PROJECT_HRN}} 
 

 
olp pipeline template create {{TEMPLATE_NAME}} \
stream-5.0 target/develop-flink-application-<version>-platform.jar \
DevelopFlinkApplicationScala --input-catalog-ids \
pipeline-config.conf --scope {{YOUR_PROJECT_HRN}} 

OLP CLI から次のメッセージが返されます。

Pipeline template {{YOUR_PIPELINE_TEMPLATE_ID}} has been created.

次のステップでは、パイプライン バージョンを作成します。 パイプライン API では、パイプライン のバージョンはパイプライン およびパイプライン テンプレート の形式になります。

次の OLP CLI コマンドを使用して、「請求と使用状況」の章の「パイプライン」で作成した、請求と使用状況を取得できる develop-flink 請求タグを使用して、プロジェクト範囲にパイプライン バージョンを作成してみましょう。

  olp pipeline version create test-flink-version {{YOUR_PIPELINE_ID}} {{YOUR_PIPELINE_TEMPLATE_ID}} pipeline-config.conf --billing-tag develop-flink  --scope {{YOUR_PROJECT_HRN}}

OLP CLI から次のメッセージが返されます。

 Pipeline {{YOUR_PIPELINE_ID}} has been created.

パイプライン 、パイプライン テンプレート 、およびパイプライン バージョンを作成したら、次のコマンドを使用してパイプライン バージョンをアクティブ化することで、プラットフォーム でアプリケーションを実行できます。

  olp pipeline version activate {{YOUR_PIPELINE_ID}} {{PIPELINE_VERSION_ID}} --scope {{YOUR_PROJECT_HRN}}

OLP CLI から次のメッセージが返されます。

 Pipeline version {{YOUR_PIPELINE_ID}} has been activated.

このコマンドを実行すると、プラットフォーム でパイプライン が開始されます。 パイプライン の現在の状態は 、パイプライン ページで確認するか、または次の OLP CLI コマンドを使用して確認できます。

  olp pipeline version show {{YOUR_PIPELINE_ID}} {{PIPELINE_VERSION_ID}} --scope {{YOUR_PROJECT_HRN}}

OLP CLI は、指定されたパイプライン バージョンに関する情報（設定、 logging URL、、など）を返す必要 pipeline UI URLがあります。 logging URL は Splunk ログへの URL で pipeline UI URL あり、 Flink UI への URL です。次の章で使用する logging と pipeline UI の URL を覚えておいてください。

Details of the {{YOUR_PIPELINE_ID}} pipeline:
ID                       21b73602-325c-4379-b7f7-0757fcada214
version number           1
pipeline template ID     b6b8ac6e-9180-4ab4-ba4f-a371606d7785
output catalog HRN       {{YOUR_CATALOG_HRN}}
state                    running
created                  2022-02-18T09:28:04.767735Z
updated                  2022-02-18T09:29:33.611167Z
highAvailability         false
multi-region enabled     false
input catalogs
    ID                            HRN
    {{YOUR_CATALOG_ID}}     {{YOUR_CATALOG_HRN}}
logging URL              https://splunk.metrics.platform.here.com/en-US/app/olp-here-test/search?q=search%20index%3Dolp-here-test_common%20namespace%3Dolp-here-test-j-8a1763f4-3356-4bee-8001-a5642bbf30d7
pipeline UI URL          https://eu-west-1.pipelines.platform.here.com/jobs/8a1763f4-3356-4bee-8001-a5642bbf30d7/ui
schedule                 none

アプリケーションがプラットフォーム で起動し、実行されています。 実行プランとログを確認し、アプリケーションの監視を設定しましょう。

Flink UI を使用して実行プランを表示します

Flink には、実行中のアプリケーションの検査、監視、デバッグを行うための Web UI があります。

実行中のパイプライン がある場合は、 Flink UI にアクセスできます。前の章の olp pipeline version show コマンドの結果から、pipeline UI の URL を使用します。

アプリケーションの Apache Flink ホーム を使用して、ストリーミングアプリケーションのヘルスを監視できます。

アプリケーションのホーム には、次の情報が表示されます。

• タスク管理者やタスクスロットなど、使用中のリソース。

• 実行中、完了、キャンセル済み、失敗したジョブを含む、ジョブに関する情報。

上の画像では、特にアプリケーションのステータス、実行時間、タスク数、 スレッド数、および物理メモリ、 JVM ヒープサイズ、タスクヒープサイズなどの Flink メモリモデルに関する情報。

Apache Flink タスクマネージャ、タスクスロット、およびジョブの詳細については、Apache Flink Web サイトの「Apache Flink アーキテクチャ」を参照してください。

Splunk からアプリケーションログを取得します

Splunk は、 Web サイト、アプリケーション、センサー、デバイス、その他のソースから収集された機械生成データを検索、分析、および視覚化するためのソフトウェアプラットフォーム です。 IT インフラストラクチャとビジネスを構成します。 Splunk の使用方法については 、 Splunk エンタープライズユーザーマニュアルを参照してください。

HERE platform では、ログレベルがパイプライン バージョンに設定されています。 すべてのジョブで、対応するパイプライン バージョンに関連付けられているログレベルが使用されます。 ログレベルは、パイプライン 全体のルートレベル、または指定したクラスの個別のログレベルとして設定できます。 デフォルトでは、エラーおよび警告のログエントリが確認のために Splunk に送信されます。 ログに報告される情報量は、実行時に各パイプライン バージョンで選択したログレベルによって異なります。 運用の遅延により、変更が有効になるまでに数分かかります。 これにより、 Splunk の新しいレベルでログが利用できなくなる可能性があります。

パイプライン バージョンの現在のログレベルを確認するには、次の OLP CLI コマンドを実行します。

olp pipeline version log level get {{YOUR_PIPELINE_ID}} {{YOUR_PIPELINE_VERSION_ID}} --scope {{YOUR_PROJECT_HRN}}

OLP CLI から次のメッセージが返されます。

Current logging configuration
root         warn

結果の出力から、デフォルトのログレベルがであることがわかり warnます。 つまり、Splunk は、log4j ライブラリの Logger.info() メソッドを使用してすべてのデータをログに記録するため、アプリケーションからのログを表示しません。 Splunk でログを表示するに infoは、ログレベルをに設定する必要があります。

OLP CLI には olp pipeline version log level set 、パイプライン バージョンのログを設定するためのコマンドが用意されています。

olp pipeline version log level set {{YOUR_PIPELINE_ID}} {{YOUR_PIPELINE_VERSION_ID}} --root info --scope {{YOUR_PROJECT_HRN}}

OLP CLI から次のメッセージが返されます。

Current logging configuration
root      info

アプリケーションでログを設定する方法の詳細については、『Pipelines 開発者ガイド 』を参照してください。

これまでのところ、アプリケーションは Splunk にログを送信していません。 アプリケーションは、入力カタログ からのデータを処理する場合にのみログを送信します。 First HERE Platform Flink Application 次のスクリプトを実行してデータを送信してみましょう。このスクリプトは、コンテンツのデータを 5 秒ごとに 10 回ストリーム レイヤー にアップロードします。

#!/usr/bin/env bash

# Copyright (c) 2018-2023 HERE Europe B.V.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.



# catalog hrn with stream layer
CATALOG_HRN=$1
# project hrn
PROJECT_SCOPE=$2
# folder with data that is uploaded to the stream layer
FOLDER_WITH_DATA="./src/main/resources/data"


# Upload data to the stream layer 10 times every 5 seconds
for i in {1..10}
do
  olp catalog layer stream put ${CATALOG_HRN} streaming-layer --input "${FOLDER_WITH_DATA}" --scope ${PROJECT_SCOPE}
  sleep 5
done

次のコマンドを実行して、スクリプトを実行します。

bash scripts/populate-streaming-data-platform.sh {{YOUR_CATALOG_HRN}} {{YOUR_PROJECT_HRN}}

実行中の各パイプライン バージョンには、そのパイプライン のログが保存される一意の URL があります。 CLI を使用する場合、パイプライン バージョンがアクティブ化、アップグレードされたとき、またはステータスリクエストが送信されたときに、ログ URL 情報がパイプライン によって提供されます。

logging URL 前の章のを使用して、 Splunk UI にアクセスします。

Splunk で特定のログを検索する必要がある場合 Search lineは、の最後のパラメータとしてフィルタを追加できます。 パイプライン ログは olp-<realm>_common インデックスに保存されます。 たとえば、アカウントが olp-here レルム内にある場合、インデックスはになり olp-here_commonます。

次の図から、 Search line インデックスで名前空間 が指定され、パイプライン バージョンで生成 First HERE Platform Flink Application されていることがわかります。最後のパラメーターは、カタログにアップロードされたデータを以前に検索するためのフィルターにすぎません。

Splunk からログを取得する方法の詳細については、「アプリケーションログの検索」ページを参照してください。

このようにすると、 Splunk UI を使用してアプリケーションによって作成された情報を取得するように、アプリケーションのログを設定できます。

Grafana ホーム を使用してアプリケーションデータを監視します

アプリケーションがプラットフォーム で実行されており、 Flink UI および Splunk で正しく動作していることを確認したので、次のステップで監視を設定します。

Grafana は、メトリクス、ログ、およびトレースを監視および分析できる完全な監視可能なスタックです。 データがどこに保存されていても、データのクエリ、視覚化、警告、理解を行うことができます。

リージョンごとに 1 つの Grafana があります。 ダッシュボードに表示されるメトリクスは、その地域にのみ属します。 そのため、プラットフォーム にはプライマリリージョンとセカンダリリージョンの監視ページが用意されています。

このチュートリアルはプライマリリージョンで実行され、プライマリリージョン Grafana の手順を示します。

このチュートリアルでは、アプリケーションの実行を監視する方法、または既存の Grafana ホーム を使用してパイプライン ステータスを確認する方法を示します。独自の Grafana ホーム を作成して、実行中のジョブの数を監視し、 Grafana アラートによってジョブが実行されていない場合に電子メールで警告が送信されます。

パイプライン のステータスを監視 Pipeline Status するために、 Grafana でホーム を利用できます。

プラットフォーム ポータル に移動し Launcher 、メニューを開いてを選択 Primary Region Monitoring します。 Grafana のホームページに移動します。

ホームページでは、複数のダッシュボードにアクセスできます。 ページ Default Dashboards の左側に複数のページが一覧表示されます。 デフォルトのダッシュボードのリストから OLP Pipeline Status 、ホーム を探します。 ホーム 名をクリックして開きます。 OLP Pipeline Status ホーム には、レルム内のすべてのパイプラインの現在の状態が表示されます。 Flink_1_X パイプライン タイプと pipelines_jobs_runnings ジョブステータスを選択すると、実行中のすべてのパイプラインのリストにパイプライン バージョンが表示されます。 次の図は、現在実行中の、指定したパイプライン バージョンの実行中のジョブの数を示しています。

プラットフォーム では、既存の Grafana ダッシュボードを使用できるだけでなく、独自のダッシュボードを作成することもできます。

独自の Grafana ホーム を作成するには、次の手順を実行します。

• Create > をクリックします Dashboard
• Add Query クエリーを選択して設定します。
• sum({__name__="flink_jobmanager_numRunningJobs", pipelineId="YOUR_PIPELINE_ID"}) 実行中のジョブの数を監視するクエリーを追加します。 上記のクエリで __name__ は、パラメーターはに設定 flink_jobmanager_numRunningJobsされています。 つまり、 Grafana ホーム に pipelineId は、このフィールドで指定したパイプライン の実行中のジョブの合計数が表示されます。

その結果、現在実行中の指定したパイプライン ID の実行中のジョブの数を示す Grafana ホーム が表示されます。

Flink アプリケーションを監視するように Grafana クエリを設定する方法の詳細については『Logs, Monitoring and Alerts ユーザー ガイド』を参照してください。

次のステップでは、パイプライン の実行中のジョブがあることを監視するアラートを作成します。 Grafana では、条件またはしきい値に達したときにアラートを設定し、電子メール通知を要求できます。

まず、次の手順で通知チャネルを作成する必要があります。

• Grafana で左上にあるドロップダウンメニューをクリックし、Alerting > Notification Channels > New channel を選択します。
• チャネル名 Example Channel を指定し、タイプフィールドで email を選択して Email settings チャプタで電子メールアドレス email@example.com を指定します。

詳細およびオプションについては、通知に関する Grafana ドキュメントを参照してください。

アラートを作成するには、次の手順を実行します。

• 上記の説明に従って作成した Grafana ホーム をクリック Panel Title し、を選択して編集 Editします。
• Alert タブを選択して、アラートに値を追加します。
• Name フィールドにルール名を指定します。 この例では Name 、はです Develop Flink Application Tutorial alert。
• ルールをチェックインする頻度を Evaluate every:1m および For: 1 分で指定します。
• Conditions この章でルールをチェックする条件を指定します。 この例では condition 、はです WHEN max() OF query(B, 1m,now) IS WITHIN RANGE 1 TO 1。 この条件は B 、ボード上の 1 分あたりの範囲のクエリーの最大結果が 1 と等しくない場合に警告を受け取ることを意味します。
  条件の詳細については、『Grafana 開発者ガイド』を参照してください。
• Send to タブで以前に作成した通知チャネルを指定し、通知チャネルに送信するメッセージを追加します。 この例では、メッセージはです The number of running jobs reached 0。

Grafana ホーム とアラートが設定されたら、パイプライン バージョンをキャンセルして、 Grafana アラートが動作し、電子メールでアラートを受信したことを確認します。

パイプライン バージョンをキャンセルするには、次の OLP CLI コマンドを使用します。

olp pipeline version cancel {{YOUR_PIPELINE_ID}} {{YOUR_PIPELINE_TEMPLATE_ID}} --scope {{YOUR_PROJECT_HRN}}

パイプライン をキャンセルしてから数分後に、アラートの設定時に指定したメッセージを含むアラートが電子メールで送信されます。

請求と使用状況

組織は、組織、プロジェクト、アプリ の使用量を取得し、さまざまな次元で使用量の上限を設定することで、プラットフォーム の支出を管理できます。 プラットフォーム でソリューションのスタックを構築する場合は、選択したサービスの使用状況を監視して、支出をより適切に管理できます。 HERE platform には、コスト管理のニーズを支援するコスト管理ツールのセットが用意されています。

コストは、次の 2 つの方法で区別できます。

• Project HERE リソースネーム を使用する。特に、このチュートリアルで行うように、プロジェクトスコープでパイプライン を実行します。
• billingTag を使用 すると、請求書の経費を結合するための文字列を作成できます。 たとえば、特定のコストを強調表示するプロジェクトまたはアクティビティの複数のパイプラインをグループ化できます。 請求タグを使用して使用状況および請求についての情報を取得できるようにする --billing-tag には、パラメータを使用してパイプライン バージョンを作成する必要があります。

請求および使用状況を確認するには、次の手順に従います。

• プラットフォームの [請求と使用状況] タブを開きます。
• 時間範囲を選択し て、 Download.Download csv をクリックします。
• パイプライン バージョンの作成時にプロジェクトの HERE リソースネーム または請求タグを指定した場合は、そのタグを使用して請求および使用状況を検索します。

プログラム中に使用されたサービス、使用されたデータ量、および請求されたアイテムに関する情報が、 csv ファイルからテーブルに抽出されます。

この表には、作成したプロジェクトの請求メトリクスが表示されます。 請求タグはパイプライン バージョンにのみ設定され、ストリーム レイヤー には設定されていないため、パイプライン メトリックにのみ関連付けられていることも確認できます。

Data カテゴリの課金メトリックは、プラットフォーム のストリーム カタログの使用状況、およびアプリケーションの実行中に使用された次のサービスとリソースに接続されます。

• Stream- ストリーミングデータに割り当てられたストレージキューの容量
• Stream TTL - ストリーム レイヤー 作成時に設定された TTL データ保持設定 (10 分 ～ 3 日 ) と「 MB/s 受信」スループット ( ボリューム ) の組み合わせによって計算された割り当て済みディスクストレージ。 ストレージコストは、これらの値のいずれかを上下に操作することで制御できます。
• Data IO - HERE platform 内のデータを社内外から保存してアクセスする際に発生する転送。 データの取り込み、データの公開、 HERE platform コンポーネント間でのデータの転送を行う場合にも、データ IO が発生します。 データ クライアント ライブラリ を介した直接接続プロトコルを使用してストリーム レイヤー との間でデータの書き込みまたは読み取りを行う場合は、例外が発生します。 この場合、データ IO は発生しません。

Pipelines カテゴリの課金メトリックは実行中のパイプラインに接続され、アプリケーションの実行中に次のサービスとリソースが使用されました。

• Log Search IO - パイプライン によって生成されたログ情報がデバッグ目的で書き込まれ、インデックスが作成されたときに発生するデータ転送。
• Pipeline IO - パイプライン がパブリックインターネットとの間でデータの読み取りまたは書き込みを行ったときに発生するデータ転送。
• Compute Core - HERE platform でデータを処理する際に、パイプラインおよびノートブックで使用される CPU コア時間。
• Compute RAM - HERE platform でデータを処理する際に、パイプラインおよびノートブックで使用される RAM 時間。

使用状況の詳細に関するレポートを取得するもう 1 つの方法は、[請求と使用状況] ページの View ドロップダウンにプロジェクト ID を指定することです。

その結果、プロジェクトの使用状況の詳細が表形式で集計されます。

HERE platform のコスト概念の概要については、「請求可能なサービス」を参照してください。

結論

このチュートリアルでは、 Flink プログラムの開発段階、 Flink アプリケーションのデバッグ方法、 Splunk 、 Grafana 、 Flink UI などの監視ツールについて学習し、プラットフォーム の請求情報を取得する方法について学習しました。

詳細情報

このチュートリアルで扱うトピックの詳細については、次のソースを参照してください。

• Flink アプリケーションの開発方法の詳細については、Apache Flink のドキュメントを参照してください。
• パイプラインでアプリケーションを実行する方法の詳細については、『Pipelines 開発者ガイド』を参照してください。
• OLP CLI を使用してパイプライン でアプリケーションを実行する方法の詳細については、『OLP CLI Guide』を参照してください。
• Splunk の使用方法については 、 Splunk エンタープライズユーザーマニュアルを参照してください。
• Grafana の使用方法については 、「 Grafana の概要」を参照してください。
• コストの概念については 、「課金可能サービス」を参照してください。