は Pipeline 、指定されたのパイプライン API によってインスタンス化 PipelineTemplateされます。
パイプラインは、 HERE Workspace によって動的に提供されるランタイム環境に展開され、入力および出力カタログに接続されます。 パイプラインは自動的にパイプライン API を資格情報から受信し、 Data API 、設定、予期されている各入出力カタログの HRNS 、ジョブの説明など、他のプラットフォームサービスへの認証を行います ( 該当する場合 ) 。
パイプライン API は、 Apache Flink および Apache Spark をベースとするランタイム環境をサポートしています。
パイプラインの実装では、 1 つの出力カタログと 1 つ以上の入力カタログのみが存在することを前提としています。 各入力カタログは、コードで複数の入力を区別するために使用される、シンボリックな実装固有の ID でマークされます。 また、コードには特定のレイヤーの読み取りおよび書き込みロジックが含まれているため、この実装では、各カタログのレイヤーのリストおよびタイプも暗黙的に想定されます。
レイヤーには、次のような種類があります。
versioned レイヤーにはパーティション分割されたデータが含まれています。 Data API は、各パーティションの経時的な変化を追跡します。 バージョニングレイヤーの一般的なユースケースは、データセットのスナップショット(通常はマップ データ)を保存することです。このデータセットは、時々更新されます。
stream レイヤーにはライブデータストリームが含まれ、 Data API はストリームをメッセージキューとして公開します。 ストリームレイヤーの一般的なユースケースは、車両、 IoT デバイス、その他のウェブイベントやサービスからのイベントやセンサーの読み取り値をレポートすることです。