Sparkmagic 拡張機能 (Windows)

Sparkmagic は、 Jupyter サーバーの Livy を介して Spark REST ノートブック内のリモート Spark クラスタを対話的に操作するためのツールセットです。 Sparkmagic プロジェクトには、複数の言語で Spark コードを対話的に実行するための MAGICS のセットと、 Jupyter を統合 Spark 環境にするために使用できるカーネルが含まれています。

インストール

まず 、 Sparkmagic 拡張機能ユーティリティファイルをダウンロードします。

SDK conda 環境をアクティブ化します。

conda activate olp-sdk-for-python-1.12-env

Sparkmagic 拡張機能ユーティリティスクリプトを実行するには、ターミナルを開き、 Sparkmagic 拡張機能ユーティリティスクリプトファイルを実行します。 実行内容は次の例のようになります。

C:\Users\OLP> sparkmagic-extensions.bat

...
Sparkmagic Configured Successfully..

Sparkmagic の設定が完了しました。