パイプラインパターン

HERE platform パイプラインは、特定の使用パターンに対応するように設計されています。 使用可能なパターンを以下に示します。最も単純なパターンから始まり、より複雑な使用例に進みます。 追加情報は開発者ガイド全体に提供されます。

一般パターン

これは、パイプラインを使用するための一般的なパターンです。

一般的なパイプラインパターン
図 1. 基本的なパイプラインパターン

注 : データソースとシンク

特定のカタログレイヤーはソースまたはシンクとして機能できますが、両方を同時に使用することはできません。 使用できるカタログレイヤーのタイプは、使用するパイプラインのタイプによって異なります。 たとえば、ストリーム配信されたレイヤーはバッチ パイプラインでは使用できません。

複数の入力

複数の入力を持つことはできますが、パイプラインからの出力は 1 つだけです。

複数の入力パターン
図 2. 複数の入力パターン

ストリーム処理パターン

パイプラインを使用すると、 Apache Flink を使用して継続的なデータストリームを処理できます。 [ ストリームツーストリーム ]

ストリーム処理パターン
図 3. ストリーム処理パターン
  • データカタログは 設定ファイルで定義されます。
  • 使用されているレイヤーがコードで定義されています。

メモ

データソースとデータシンクに別々のレイヤーが使用されている限り、ストリームパイプラインの入力と出力に同じデータカタログを使用できます。

バッチ処理パターン

これは、 Apache Spark を使用した一般的なバッチ処理パターンです。 [ バージョン管理されたバージョンからバージョン管理されたバージョン ]

バッチ処理パターン
図 4. バッチ処理パターン

揮発性パターン

これは、揮発性レイヤーを使用する一般的なパターンです。

揮発性パターン
図 5. 揮発性パターン

インデックスパターン

これらは、インデックスレイヤーを使用する一般的なパターンです。

インデックスパターン 1
図 6. インデックス レイヤー出力 1
インデックスパターン 2
図 7. インデックス レイヤー出力 2.

注 : インデックス レイヤーの使用制限

パイプライン ソース 流し
バッチ はい はい
ストリーム いいえ はい

拡張パターン

拡張パターンでは、カタログのボラタイル レイヤーが参照データとして使用されます。

この場合、出力カタログはストリーム レイヤーを使用します。

拡張パターン
図 8. 拡張パターン

情報

ストリーム レイヤー HERE では通常、ウィンドウ機能が使用されます。

ただし、この場合、出力カタログは「データスナップショット」にのみ関心があるため、ボラタイル レイヤーが使用されます。

ボラタイル レイヤーを使用する
図 9. ボラタイル レイヤーパターン

または、出力カタログのバージョン付レイヤーを使用して、時間帯を越えてデータを集約することもできます。 このアプローチは、データのアーカイブ、処理の改善の有無にかかわらず有効です。 また、ノートブックでの履歴分析にも役立ちます。

バージョン付レイヤーを使用する
図 10. バージョン付レイヤーパターン

または、出力カタログのインデックス レイヤーを使用して、イベント時間ごとに履歴データを整理できます。

拡張インデックス レイヤーパターン
図 11. インデックス レイヤーパターン 1

別のパターンでは、バージョン管理されたデータセットの入力データとインデックス レイヤーのデータが結合されます。

拡張インデックス レイヤーパターン 2
図 12. インデックス レイヤーパターン 2

」に一致する結果は 件です

    」に一致する結果はありません