Spark ツールのインストール手順 ( 廃止 )

Java

ご使用のオペレーティングシステムに応じて Java 開発キットをインストールします。

Debian 、 Ubuntu などのインストールコマンドのサンプル

sudo apt-get install openjdk-8-jdk

Fedora 、 Oracle Linux 、 Red Hat Enterprise Linux などのインストールコマンドのサンプル

su -c "yum install java-1.8.0-openjdk-devel"

MacOS のインストールコマンドの例

conda install -c anaconda openjdk

Hadoop

Hadoop バイナリファイルをダウンロードします。

curl -L --retry 3 -o /tmp/hadoop-2.7.3.tar.gz \
    "https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz"

Hadoop フォルダを /usr/local/ 次のディレクトリに置きます。

sudo tar -xzf /tmp/hadoop-2.7.3.tar.gz -C /usr/local/
cd /usr/local/
sudo mv hadoop-2.7.3/ hadoop/
rm -rf /tmp/hadoop-2.7.3.tar.gz

Spark

Spark バイナリファイルをダウンロードします。

curl -L --retry 3 -o /tmp/spark-2.4.0-bin-hadoop2.7.tgz \
    "https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz"

Spark フォルダを /usr/local/ 次のディレクトリに置きます。

sudo tar -xf /tmp/spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local/
sudo mv spark-2.4.0-bin-hadoop2.7/ spark/
rm -rf /tmp/spark-2.4.0-bin-hadoop2.7.tgz

リヴィー

Livy バイナリファイルをダウンロードします。

curl -L --retry 3 -o /tmp/livy-0.5.0-incubating-bin.zip \
    "https://www-us.apache.org/dist/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip"

Livy フォルダをホームフォルダに追加します。

unzip -q /tmp/livy-0.5.0-incubating-bin.zip -d ~/
mv ~/livy-0.5.0-incubating-bin ~/livy
mkdir -p ~/livy/logs
rm -rf /tmp/livy-0.5.0-incubating-bin.zip