コンパイルパターン

データ プロセッシング ライブラリの主な機能の 1 つに、コンパイルパターンがあります。 これらのパターンを使用すると、インクリメンタル分散コンパイラを実装できます。 各タスクでは、 1 つのコンパイラーが実行されます。コンパイラーは、コードのみで構成することも、コードの組み合わせと提供されているパターンのいずれかで構成することもできます。

パターンには次の 2 つのタイプがあります。

• 機能パターン: コンパイラーをより正確に開発するための特定のインターフェイスを提供します。 これらのパターンでは、 Spark はパターンの実装で非表示になり、コンパイラーはビジネスロジックに重点を置いています。 処理ライブラリは、分散処理およびインクリメンタル・コンパイルの詳細を処理します。
• Spark RDD ベースのパターン: Spark RDD を公開します。これにより、ジョイン、コグループ、フィルタ、マップなどの Spark を使用して、コンパイラーの実装でデータおよびメタデータに対する並列操作を実行できます。 これらのパターンでは、インターフェイスの剛性が低く、インクリメンタル・コンパイルをアクティブにサポートする必要がある場合があります。

表 1 ： コンパイルパターンの概要

注 : 可能な場合は、 Spark RDD ベースのパターンの代わりに機能パターンを使用することをお勧めします。