パイプラインを新しいランタイム環境に移行します

内容

Batch-2.0.0 パイプラインを Batch-2.1.0 環境に移行(履歴サーバーをサポートする Apache Spark 2.4.2 )

バッチ パイプラインを Batch-2.1.0 環境(履歴サーバをサポートする Apache Spark 2.4.2 )に移行するには、次の手順を実行します。

  1. 新しい sdk-batch-bom.pom 環境ファイルが含まれている HERE platform SDK 2.12 以降をダウンロードします。 新しい sdk-batch-bom.pom ファイルの使用方法の詳細について は、『 SDK 依存関係管理』を参照してください。
  2. 新しい sdk-batch-bom.pom ファイルを使用してパイプラインコードを再コンパイルし、新しい JAR ファイル を作成します。 詳細については 、バッチ パイプラインを参照してください。
  3. 既存のバッチ パイプラインの場合は、 CLI または Web ポータルを使用 batch-2.1.0 して、ランタイム環境で新しいパイプライン テンプレートおよびパイプラインバージョンを作成し、上記のステップ 2 で作成した新しい JAR ファイル を作成します。 Web ポータルから、以前のバージョンのバッチ環境を使用する既存のパイプラインバージョンのコピーを作成し、ランタイム環境をに変更 batch-2.1.0して、新しいパイプラインバージョンに新しい JAR ファイル を使用することで、時間を節約できます。 詳細については 、「パイプラインの展開」を参照してください。
  4. 新しいパイプラインバージョンにアップグレードします。 詳細について は、「ポータル経由のアップグレード」および「 CLI 経由のアップグレード」を参照してください。

注意 : AWS SDK のバージョンに起因する互換性の問題

batch-2.1.0 現在、パイプラインで履歴サーバーをサポートするには、 Spark 2.4.2 ランタイム環境の AWS SDK 1.7.4 が必要です。 このバージョンは、 AWS SDK の最新バージョン( 1.10.x 以降)と互換性がありません。 ラン batch-2.1.0 タイム環境でパイプラインで AWS SDK を使用するには、 AWS SDK 1.7.4 でパイプライン JAR を構築することをお勧めします。

パイプラインの Apache Spark に対する一般的なサポートの詳細について は、「バッチパイプライン - Apache Spark サポート FAQ 」を参照してください。

↑ページトップへ

Batch-2.1.0 パイプラインを Batch-3.0 環境に移行( Apache Spark 2.4.7 )

パイプラインランタイムの観点からは、変更は必要ありません。 Batch-3.0 の変更については、 HERE Data SDK for Java および Scala のドキュメントを参照してください

↑ページトップへ

Stream-2.0.0 パイプラインを Stream-3.0.0 環境( Apache Flink 1.10.1 )に移行するには、次の手順を実行します。

注意 : 移行前に考慮するメモリの変更

パイプラインを移行する前に、以下の Stream-3.0.0 メモリの変更を確認してください。

  1. 新しい sdk-stream-bom.pom 環境ファイルが含まれている HERE Data SDK for Java および Scala の 2.17 以降のバージョンを使用してください。 新しい sdk-stream-bom.pom ファイルの使用方法の詳細について は、『 SDK 依存関係管理』を参照してください。
  2. 新しい sdk-stream-bom.pom ファイルを使用してパイプラインコードを再コンパイルし、新しい JAR ファイル を作成します。 詳細については 、ストリーム パイプラインを参照してください。
  3. 既存のストリーム パイプラインの場合は、 CLI または Web ポータルを使用 stream-3.0.0 して、ランタイム環境で新しいパイプライン テンプレートおよびパイプラインバージョンを作成し、上記のステップ 2 で作成した新しい JAR ファイル を作成します。 Web ポータルから、 stream-2.0.0 ランタイム環境を使用する既存のパイプラインバージョンのコピーを作成し、ランタイム環境をに変更 stream-3.0.0して、新しいパイプラインバージョンに新しい JAR ファイル を使用することで、時間を節約できます。 詳細については 、「パイプラインの展開」を参照してください。
  4. 新しいパイプラインバージョンにアップグレードします。 詳細について は、「ポータル経由のアップグレード」および「 CLI 経由のアップグレード」を参照してください。

Apache Flink 1.10 では、 TaskManagers のメモリ設定が改善されました。 Stream-3.0.0 にはこれらの改善が含まれており、パイプラインユーザーは TaskManager のメモリ設定を詳細に制御できます。 Stream-3.0.0 では、以下に示すように、 Stream-2.0.0 と比較して、これらの変更には 2 つのカテゴリがあります。

  • Stream-2.0.0 では、ワーカーユニットのメモリがとして設定されるように変換 taskmanager.heap.sizeされます。 ただし、 JVM ヒープだけでなく、他の「オフヒープ」メモリコンポーネントも含まれています。 Stream-3.0.0 では、ワーカーユニットのメモリがtaskmanager.memory.process.sizeに変換 され、 TaskManager JVM プロセスに割り当てられます。 Flink は、デフォルト値または追加で設定されたオプションに基づいて、メモリコンポーネントの REST を調整します ( 詳細については、以下を参照してください ) 。
  • Stream-3.0.0 では、パイプラインユーザーは ストリーム設定 オプションを使用してすべてのメモリ設定オプションを使用できます。 パイプラインユーザーが利用できるメモリ構成には 、公式の Flink ドキュメントに記載されているすべての構成が含まれています。 これらのメモリコンポーネントに設定されている値が、 TaskManager に設定されている作業者ユニットに従って調整されていることを確認することが重要です。

メモリの改善、設定オプション、およびデフォルト値の詳細については、以下の Flink の公式ドキュメントを参照してください。

パイプラインの Apache Flink に対する一般的なサポートの詳細について は、ストリームパイプライン - Apache Flink サポート FAQ を参照してください。

既知の問題

以前にリンクテーブルの依存関係を持っていたユーザーは、 Java または Scala のいずれかが使用されているかどうかに応じて、flink-table-plannerの依存関係およびflink-table-api-*の正しい依存関係を更新する必要があります。flink-table-api-java-bridgeflink-table-api-scala-bridge

stream-2.0.0 flink-table 依存関係が含ま stream-3.0.0 れていませんが、含まれていました。

に移行し stream-3.0.0 、警告関連 scalac のオプションが有効になっているユーザー ( 例 -Xfatal-warnings,) は -Ywarn-unused:*、コンパイルエラーに直面し、 local val in method createSerializer is never used次のメッセージが表示されることがあり *.scala:1: Unused importます。 これらのメッセージは、実際にはマクロで拡張されたコード検査の結果として表示されます。

のコンパイルエラーを回避 Scala 2.11するには、次のいずれかのオプションを選択します。

  1. sbtを使用して、プロジェクトのbuild.sbt 設定に scalacOptions ~= (_.filterNot(_.startsWith("-Ywarn-unused")))行を追加します。
  2. Mavenを使用する場合は、次のように com.github.ghik:silencer-plugin_${scala.version}プラグインを使用します。
<configuration>
  <compilerPlugins>
    <compilerPlugin>
      <groupId>com.github.ghik</groupId>
      <artifactId>silencer-plugin_${scala.version}</artifactId>
      <version>1.7.0</version>
    </compilerPlugin>
  </compilerPlugins>
  <args>
    <!-- Unused val in a Flink macro instantiation -->
    <arg>
      -P:silencer:globalFilters=local val in method createSerializer is never used
    </arg>
    <!-- Unused import in a Flink macro instantiation, that is reported on line '1' of the source file -->
    <arg>
      -P:silencer:lineContentFilters=^/\*$;^package;^//
    </arg>
  </args>
</configuration>

-P:silencer:lineContentFilters=^/\*$;^package;^// この引数の目的は、 Flink マクロからの未使用のインポートを無視することです。このマクロは、ソースコードの 1 行目にあると報告されます。 必要に応じてこの行を変更できます。

環境の比較

グループ ID アーティファクト ID stream-4.0.0 stream-3.0.0
com.fasterxml.cackson.core に移動します Jackson - 注釈 2.7.9 削除されました
com.fasterxml.cackson.core に移動します ジャクソンコア 2.7.9 削除されました
com.fasterxml.cackson.core に移動します Jackson - データバインド 2.7.9 削除されました
com.fasterxml.jackson.data 形式 Jackson-dataformat-CSV 2.7.9 削除されました
com.fasterxml.jackson.data 形式 Jackson-dataformat-yaml 2.7.9 削除されました
com.github.scopt scopt_2.11 3.5.0 削除されました
com.google.code.findbugs jsr305. 1.3.9 削除されました
com.google.protobuf protobuf-java 2.6.1 削除されました
com.twitter chill - Java 0.7.6 削除されました
com.twitter CHILL_2.11 0.7.6 削除されました
com.tesafe 設定 1.3.0 削除されました
com.tesafe ssl-config-core_2.11 0.2.1 削除されました
com.tesaf.akka akka-actor_2.11 2.4.20 削除されました
com.tesaf.akka akka-camel_2.11 2.4.20 削除されました
com.tesaf.akka akka-protobuf_2.11 2.4.20 削除されました
com.tesaf.akka akka-slF4J_2.11 2.4.20 削除されました
com.tesaf.akka akka-stream_2.11 2.4.20 削除されました
Commons - CLI Commons - CLI 1.3.1 削除されました
Commons コレクション Commons コレクション 3.2.2 削除されました
Commons - IO Commons - IO 2.4 削除されました
io.netty netty - すべて 4.1.24. 最終版 削除されました
jline jline 2.14.3 削除されました
org.apache.camel キャメルコア 2.17.7 削除されました
org.apache.curator です curator - クライアント 2.12.0 削除されました
org.apache.curator です 学芸員 - フレームワーク 2.12.0 削除されました
org.apache.curator です キュレーター - レシピ 2.12.0 削除されました
org.apache.flink にアクセスします flink-python_2.11 1.7.1 削除されました
org.apache.flink にアクセスします flink-queryable-state-client-java_2.11 1.7.1 削除されました
org.apache.flink にアクセスします flink-s3-fs-hadoop 1.7.1 削除されました
org.apache.flink にアクセスします flink-hished-asm 5.0.4-5.0 削除されました
org.apache.flink にアクセスします flink-shaded-asm-6 6.2.1-5.0 削除されました
org.apache.flink にアクセスします flink-table_2.11 1.7.1 削除されました
org.clapper グリズド - SLF4J_2.11 1.3.2 削除されました
org.javassist javassist 3.19.0-GA 削除されました
組織の客観的評価 客観的 2.1 削除されました
org.reactivestreams を参照してください リアクティブストリーム 1.0.0 削除されました
org.rocksdb rocksdbcni 5.7.5 削除されました
org.Scala-lang Scala-compiler 2.11.12 削除されました
org.Scala-lang Scala-library 2.11.12 削除されました
org.Scala-lang Scala - リフレクト 2.11.12 削除されました
org.scala-lang.modules. Scala-java8-compat_2.11 0.7.0 削除されました
org.scala-lang.modules. scala-parser-combinators_2.11 1.0.4 削除されました
org.scala-lang.modules. Scala-xml_2.11 1.0.5 削除されました
org.tukaani XZ 1.5 削除されました
org.xerial.snappy. snappy-java 1.1.4 削除されました
org.yaml スナック屋 1.15 削除されました
Ch.qos.logback です ログバック-クラシック 1.2.3 1.2.3
Ch.qos.logback です logback-core 1.2.3 1.2.3
com.esotericsoftware.kryo 京料理 2.24.0 2.24.0
com.esotericsoftware.minlog ミニログ 1.2 1.2
com.esotericsoftware.reflectasm リフレクタズム 1.09 1.09
org.apache.calcite カルシテコア 1.17.0 1.21.0
org.apache.calcite calcite-linq4j 1.17.0 1.21.0
org.apache.calcite.avatica アバティカ - コア 1.12.0 1.15.0
org.apache.commons Commons - compress 1.4.1 1.18
org.apache.commons commons-lang3. 3.3.2 3.3.2
org.apache.commons Commons-math3. 3.5 3.5
org.apache.flink にアクセスします flink - 注釈 1.7.1 1.10.1
org.apache.flink にアクセスします flink-clients_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-container_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-core 1.7.1 1.10.1
org.apache.flink にアクセスします flink-dist_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-hadoo-fs 1.7.1 1.10.1
org.apache.flink にアクセスします flink - Java 1.7.1 1.10.1
org.apache.flink にアクセスします flink-mapr-fs 1.7.1 1.10.1
org.apache.flink にアクセスします Flink-Mesos_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-metrics-core 1.7.1 1.10.1
org.apache.flink にアクセスします flink-metrics-jx_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-optimizer_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-runtime-web_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-runtime_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-calara-shell_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします Flink-Scala_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします リンクシェイディングキュレータ 1.7.1 1.10.1
org.apache.flink にアクセスします flink-hyed-guava 18.0-5.0 18.0-9.0
org.apache.flink にアクセスします リンクシェイディングジャクソン 2.7.9-5.0 2.10.1-9.0
org.apache.flink にアクセスします flink-shaded-netty 4.1.24. 最終 -5.0 4.1.39. 最終版 -9.0.
org.apache.flink にアクセスします flink-statebackend-rocksdb_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-streaming-java_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-streaming-scala_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします flink-table-common 1.7.1 1.10.1
org.apache.flink にアクセスします FILINK-YAR_2.11 1.7.1 1.10.1
org.apache.flink にアクセスします 網かけを強制します 1.7.1 1.10.1
org.apache.mesos です メソス 1.0.1 1.0.1
org.codehaus.janino Commons - コンパイラ 3.0.7 3.0.9
org.codehaus.janino 清掃係 3.0.7 3.0.9
組織 SLF4J log4j-over-SLF4J 1.7.25 1.7.25
組織 SLF4J SLF4J - API 1.7.15 1.7.15
org.apache.flink にアクセスします FLINK-CEP_2.11 - 1.10.1
org.apache.flink にアクセスします flink-queryable-state-client-java を参照してください - 1.10.1
org.apache.flink にアクセスします flink-shaded-asm-7 - 7.1-9.0
org.apache.flink にアクセスします flink-sql-parser - 1.10.1
org.apache.flink にアクセスします flink-table-api-java - 1.10.1
org.apache.flink にアクセスします flink-table-api-java-bridge_2.11 - 1.10.1
org.apache.flink にアクセスします frink-table-api-scala-bridge_2.11 - 1.10.1
org.apache.flink にアクセスします flink-table-api-scala_2.11 - 1.10.1
org.apache.flink にアクセスします flink-table-planner-blink_2.11 - 1.10.1
org.apache.flink にアクセスします flink-table-planner_2.11 - 1.10.1
org.apache.flink にアクセスします flink-table-runtime-bink_2.11 - 1.10.1
org.apache.flink にアクセスします flink-table-uber-blink_2.11 - 1.10.1
org.apache.flink にアクセスします flink-table-uber_2.11 - 1.10.1

詳細については 、「ストリーム処理の SDK 依存関係」を参照してください

↑ページトップへ

パイプラインランタイムの観点からは、変更は必要ありません。 Stream-4.0 の変更については、 HERE Data SDK for Java and Scala のドキュメントを参照してください

↑ページトップへ

Stream-4.0 パイプラインを Stream-5.0 環境( Apache Flink 1.13.5 )に移行するには、次の手順を実行します。

注意 : 移行前に考慮するメモリの変更

パイプラインを移行する前に、以下の Stream-5.0 メモリの変更を確認してください。

  1. 新しい sdk-stream-bom.pom 環境ファイルが含まれている HERE Data SDK for Java および Scala の 2.34 以降のバージョンを使用してください。 新しい sdk-stream-bom.pom ファイルの使用方法の詳細について は、『 SDK 依存関係管理』を参照してください。
  2. 新しい sdk-stream-bom.pom ファイルを使用してパイプラインコードを再コンパイルし、新しい JAR ファイル を作成します。 詳細については 、ストリーム パイプラインを参照してください。
  3. 既存のストリーム パイプラインの場合は、 CLI または Web ポータルを使用 stream-5.0 して、ランタイム環境で新しいパイプライン テンプレートおよびパイプラインバージョンを作成し、上記のステップ 2 で作成した新しい JAR ファイル を作成します。 Web ポータルから、 stream-4.0 ランタイム環境を使用する既存のパイプラインバージョンのコピーを作成し、ランタイム環境をに変更 stream-5.0して、新しいパイプラインバージョンに新しい JAR ファイル を使用することで、時間を節約できます。 詳細については 、「パイプラインの展開」を参照してください。
  4. 新しいパイプラインバージョンにアップグレードします。 詳細について は、「ポータル経由のアップグレード」および「 CLI 経由のアップグレード」を参照してください。

Apache Flink 1.11 では、ジョブマネージャーのメモリ設定が改善されました。 Flink 1.10 から 1.13 に移行した Stream-5.0 では、これらの改善が行われ、パイプラインユーザーが JobManager のメモリ設定を詳細に制御できるようになりました。 Stream-5.0 では、以下に示すように、 Stream-4.0 と比較して、これらの変更には 2 つのカテゴリがあります。

  • Stream-4.0 では、スーパーバイザユニットのメモリがとして設定されるように変換 jobmanager.heap.sizeされます。 ただし、 JVM ヒープだけでなく、他の「オフヒープ」メモリコンポーネントも含まれています。 Stream-5.0 では、スーパーバイザユニットのメモリがjobmanager.memory.process.sizeに変換 され、 JobManager JVM プロセスに割り当てられます。 Flink は、デフォルト値または追加で設定されたオプションに基づいて、メモリコンポーネントの REST を調整します ( 詳細については、以下を参照してください ) 。
  • Stream-5.0 では、パイプラインユーザーは ストリーム設定 オプションを使用してすべてのメモリ設定オプションを使用できます。 パイプラインユーザーが利用できるメモリ構成には 、公式の Flink ドキュメントに記載されているすべての構成が含まれています。 これらのメモリコンポーネントに設定されている値が、 JobManager に設定されているスーパーバイザユニットに従って調整されていることを確認することが重要です。

メモリの改善、設定オプション、およびデフォルト値の詳細については、以下の Flink の公式ドキュメントを参照してください。

パイプラインの Apache Flink に対する一般的なサポートの詳細について は、ストリームパイプライン - Apache Flink サポート FAQ を参照してください。

既知の問題

なし

環境の比較

グループ ID アーティファクト ID stream-4.0 stream-5.0
org.apache.calcite.avatica アバティカ - コア 1.15.0 1.17.0
org.apache.calcite カルシテコア 1.21.0 1.26.0
org.apache.calcite calcite-linq4j 1.21.0 1.26.0
org.apache.commons Commons - compress 1.18 1.21
org.apache.flink にアクセスします flink - 注釈 1.10.3 1.13.5
org.apache.flink にアクセスします FLINK-CEP_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-clients_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします リンク - コネクタ - ベース 利用できません 1.13.5
org.apache.flink にアクセスします flink-connector- ファイル 利用できません 1.13.5
org.apache.flink にアクセスします flink-container_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-core 1.10.3 1.13.5
org.apache.flink にアクセスします FLINK-CSV 利用できません 1.13.5
org.apache.flink にアクセスします flink-file-sink-common 利用できません 1.13.5
org.apache.flink にアクセスします flink-hadoo-fs 1.10.3 1.13.5
org.apache.flink にアクセスします flink - Java 1.10.3 1.13.5
org.apache.flink にアクセスします flink-json 利用できません 1.13.5
org.apache.flink にアクセスします flink-mapr-fs 1.10.3 1.13.5
org.apache.flink にアクセスします flink-metrics-core 1.10.3 1.13.5
org.apache.flink にアクセスします flink-metrics-jx_2.12 1.10.3 削除されました
org.apache.flink にアクセスします flink-optimizer_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-queryable-state-client-java を参照してください 1.10.3 1.13.5
org.apache.flink にアクセスします flink-runtime_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-runtime-web_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします Flink-calara_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-shaded-asm-7 7.1-9.0 7.1-13.0
org.apache.flink にアクセスします リンクシェイディングキュレータ 1.10.3 削除されました
org.apache.flink にアクセスします flink-hyed-guava 18.0-9.0 18.0-13.0
org.apache.flink にアクセスします リンクシェイディングジャクソン 2.10.1-9.0 2.12.1-13.0
org.apache.flink にアクセスします flink-shaded-netty 4.1.39. 最終版 -9.0. 4.1.49. 最終 -13.0
org.apache.flink にアクセスします flink-shaded-zookeeper-3 利用できません 3.4.14-13.0
org.apache.flink にアクセスします flink-sql-parser 1.10.3 1.13.5
org.apache.flink にアクセスします flink-sql-parser-hive 利用できません 1.13.5
org.apache.flink にアクセスします flink-statebackend-rocksd_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-streaming-java_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-streaming-scala_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-api-java 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-api-java-bridge_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-api-scala_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします frink-table-api-scala-bridge_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-common 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-planner_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-planner-blink_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-runtime-bink_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします flink-table-uber_2.12 1.10.3 削除されました
org.apache.flink にアクセスします flink-table-uber-blink_2.12 1.10.3 削除されました
org.apache.flink にアクセスします FILINK-YAR_2.12 1.10.3 1.13.5
org.apache.flink にアクセスします 網かけを強制します 1.10.3 1.13.5
org.codehaus.janino Commons - コンパイラ 3.0.9 3.0.11
org.codehaus.janino 清掃係 3.0.9 3.0.11

詳細については 、「ストリーム処理の SDK 依存関係」を参照してください

↑ページトップへ

も参照してください

」に一致する結果は 件です

    」に一致する結果はありません