Spark with HERE Data SDK for Python ( 廃止 )

Data SDK for Python with Spark は、 Spark を使用してプラットフォームデータの大規模な分析を行ったり、パイプラインにソリューションを実装したいと考えており、同じ言語 / フレームワークを使用して展開を簡素化したいと考えているデータ科学者を対象としたツールです プロダクションに移行します。

SDK は、ローカルモードまたはクラスタモードで Spark で Spark ジョブを実行するために、 Jupyter の Sparkmagic 拡張機能を使用します。

Data SDK for Python with Spark HERE をインストールして設定する手順について説明します。

前提条件

• Data SDK for Python

インストール

Data SDK for Python with Local Spark は、 Linux/MacOS でのみ動作します。 EMR Spark クラスタオプションは、すべてのプラットフォームで使用できます。 SDK を設定するには、次の手順を実行します。

1. Sparkmagic 拡張機能をインストールして設定します。
2. 必要な Livy Server の展開を選択します。
   • ローカル Spark (Linux/MacOS のみ ): Hadoop 、 Spark 、および Livy をローカルでインストールおよび展開する方法について説明します。 これは最も簡単でデフォルトのオプションです。
   • EMR Spark クラスタ （オプション）： でジョブを実行する場合は、リモートの EMR クラスタの展開および接続方法を参照してください。