Spark UI

概要

バッチパイプラインには、バッチジョブの実行を監視および検査するための便利なツールがあります。 Spark フレームワークには、実行中状態のすべての Spark ジョブでアクティブな Web コンソールが含まれています。 これは Spark UI と呼ば れ、プラットフォーム内から直接アクセスできます。 ここ では、 Spark UI およびその基本的な機能の一部にアクセスする方法について説明します。

Spark UI を使用しています

Spark ジョブが開始されると、バッチ パイプライン UI が自動的に開始されます。 HERE platform ポータルまたはターミナルからアクセスできます。

Spark UI にアクセスする最適な方法は、 HERE platform ポータルを使用することです。 図 1 は、実行中のバッチ パイプラインの一般的なディスプレイを示しています。 画面の右側に See Log は、との 2 つのリンクがあります Open Spark UI。

または、 OLP CLI コマンド pipeline job show を使用して pipeline UI URL 、バッチ パイプラインの Spark UI のを取得することもできます。

Open Spark UI 図 pipeline UI URL 2 に示すように、プラットフォームポータルのリンクまたは CLI のリンクを使用すると、ブラウザで Spark UI が開きます。

5 つのタブから、さまざまなカテゴリの情報にアクセスできます。 次のものがあります。

• ジョブ -- このタブには、ジョブ、そのステージ、および現在の状態のタスクが表示されます。
• ステージ -- このタブには、選択したステージの詳細が表示されます。
• ストレージ -- このタブには ' ジョブで使用可能なサーバーストレージに関する情報が表示されます
• 環境 -- このタブには ' ジョブの実行時情報が表示されます
• 実行 者 -- このタブには ' 実行者のステータスおよびリソースの割り当てに関する情報が表示されます

リンクされているパイプラインジョブの説明をクリックすると、図 3 に示す詳細ページが開きます。

[ 実行者 ] タブには、図 4 に示すような役立つ情報も表示されます。

このバージョンの Spark UI は、プラットフォームと互換性があるように変更されています。 これは、ネイティブ Spark 環境で利用できる HERE では利用できない機能があることを意味します。 他の Spark UI ドキュメントリファレンスを参照すると、 HERE がない機能についてのディスカッションが表示されることがあります。 不足している機能はプラットフォームと互換性がありません。

も参照してください

• Spark 監視および計測
• Spark アプリケーションの Web コンソール