ストリーミングパイプライン

ストリーミングパイプラインを使用すると、ストリーム レイヤー内のデータを変換できます。 これらのパイプラインの例としては、車両センサーデータを処理するパイプラインがあります。このパイプラインを使用して、情報をただちに使用するか、履歴分析のためにアーカイブします。 ストリーム レイヤーの詳細については、Data API を参照してください。

次の図は、ストリーミングパイプラインの作成プロセスを示しています。

ストリーミングパイプラインを作成する場合は、次の手順を実行する必要があります。

1. データソースとして機能する 1 つ以上のストリームレイヤーを指定します。 これらのレイヤーには、バージョン管理レイヤー、揮発性レイヤー、またはストリーミングレイヤーがあります。
   • データカタログの操作の詳細については、Data API を参照してください。
   • たとえば、 HERE では、センサーデータインジェストインターフェイス (SDII) に基づいてセンサーデータカタログが提供されます。 SDII カタログのデータ構造について詳しく は、 SDII データ仕様を参照してください。
2. 出力カタログを作成します。
   • ポータル には、データカタログを管理するための UI が用意されています。 カタログの作成の詳細については、Data API を参照してください。
   • OLP CLI には、データカタログを管理するためのコマンド ラインオプションがあります。 OLP CLI データコマンドの詳細については 、『 OLP CLI ユーザー ガイド』を参照してください。
   • REST リクエストを使用する場合、 Data API はデータカタログを管理するための一連のエンドポイントを提供します。 詳細については 、 Data API 開発者ガイドを参照してください。
3. パイプラインを作成し、出力カタログに書き込みます。
   • ロケーション ライブラリには、クラスタリング、マップマッチング、およびその他の機能などの操作のためのクラスとメソッドがあります。 ロケーション ライブラリの詳細については 、『ロケーション ライブラリ開発者ガイド』を参照してください。
   • データ クライアント ライブラリを使用して入力を取得し、出力に書き込むことができます。 データ クライアント ライブラリの使用方法の詳細について は、『データ クライアント ライブラリ開発者ガイド』を参照してください。
   • ストリーミングライブラリの作成方法を示すチュートリアルについては、「 Flink ストリーミングジョブをローカルで実行する」チュートリアルを参照してください。

4. Fat JAR ファイル としてパイプラインを構築します。

   • パイプラインをファット JAR として構築するには、以下のコマンドを使用します。

   mvn -Pplatform clean package
   

   • このコマンドは、環境 POM を親 POM として使用する場合にのみ使用できます。
   • パイプラインをローカルで実行する方法、およびパイプラインのビルド方法を示す例については、「コード例」ページを参照してください。
5. 展開
   • ポータルには、パイプラインを管理するための UI が用意 されています。パイプラインの展開の詳細については、『 Pipeline 開発者ガイド』を参照してください。
   • OLP CLI には、ワークスペースで JAR ファイル を展開および管理するためのコマンドツールが用意されています。 OLP CLI パイプラインコマンドの詳細については 、『 OLP CLI ユーザー ガイド』を参照してください。
   • REST 要求を使用する場合、パイプライン API は一連のエンドポイントを提供します。 詳細については 、パイプライン API 開発者ガイドを参照してください。

SDK では、ストリーミングパイプラインの Maven アーカイブタイプを提供しており、ストリーミングパイプラインプロジェクトを設定できます。 パイプラインのアーカイブタイプのストリーミングの詳細 については、「ストリーミングパイプラインを作成する」を参照してください。