Sparkmagic 拡張機能 (Linux/MacOS)

Sparkmagic は、 Jupyter サーバーの Livy を介して Spark REST ノートブック内のリモート Spark クラスタを対話的に操作するためのツールセットです。 Sparkmagic プロジェクトには、複数の言語で Spark コードを対話的に実行するための MAGICS のセットと、 Jupyter を統合 Spark 環境にするために使用できるカーネルが含まれています。

インストール

SDK conda 環境をアクティブ化します。

conda activate olp-sdk-for-python-1.12-env

Jupyter のデフォルト設定を生成します。

jupyter notebook --generate-config

pipsetuptools モジュールをアップグレードしてインストールします。

pip install --upgrade pip
pip install --upgrade --ignore-installed setuptools

sparkmagic 拡張機能をインストールします。

pip install sparkmagic ipyleaflet geomet

Jupyter で Sparkmagic 拡張機能を設定します。

jupyter nbextension enable --py widgetsnbextension
jupyter nbextension enable --py --sys-prefix ipyleaflet
jupyter-kernelspec install $(pip show sparkmagic | grep Location | cut -d" " -f2)/sparkmagic/kernels/sparkkernel --user
jupyter-kernelspec install $(pip show sparkmagic | grep Location | cut -d" " -f2)/sparkmagic/kernels/pysparkkernel --user
jupyter-kernelspec install $(pip show sparkmagic | grep Location | cut -d" " -f2)/sparkmagic/kernels/sparkrkernel --user
jupyter serverextension enable --py sparkmagic

次のコマンドを実行します。

sed -i -e 's/return self._pyspark_command(sql_context_variable_name)/return self._pyspark_command(sql_context_variable_name, False)/g' $(pip show sparkmagic | grep Location | cut -d" " -f2)/sparkmagic/livyclientlib/sqlquery.py

rm -rf $(pip show sparkmagic | grep Location | cut -d" " -f2)/sparkmagic/livyclientlib/sqlquery.py-e

Configuration

Sparkmagic 設定ディレクトリを作成します。

mkdir -p ~/.sparkmagic

このリンクを使用して、 Spark 設定ファイルをダウンロードします。

ダウンロードしたファイルを解凍し、 unziped フォルダのターミナルを開きます。

unzip spark-conf-files.zip
cd spark-conf-files/

sparkmagic 設定ファイルには、バージョン 2.11.7 の Data SDK jar が含まれています。 Data SDK JAR の最新バージョンは、 [BOM] サブセクションのこのリンクを使用して特定できます。 最新の Data SDK jar を取得するには config_file_updater.py 、次のコマンドを使用してスクリプトを実行します。

python config_file_updater.py --version <version_to_upgrade_to>

sparkmagic 設定ファイルを次の場所にコピー ~/.sparkmagicします。

cp config.json ~/.sparkmagic/config.json

設定 sparkmagic ファイル内のホームディレクトリパスをコピーするには、次のコマンドを実行します。

sed -i -e "s|\${HOME}|$HOME|g" ~/.sparkmagic/config.json
rm -rf ~/.sparkmagic/config.json-e

Sparkmagic の設定が完了しました。