パイプラインのクォータと制限
パイプラインテンプレートを構成するときは 、スーパーバイザー と ワーカーに割り当てるリソースの量を選択する必要があります。 リソースはユニットとして割り当てられ、各ユニットには事前に定義された数のCPU、RAMサイズ、およびディスク容量が含まれます。
各スーパーバイザ または ワーカー ( スーパーバイザユニット および ワーカーユニットとも呼ばれます)には、次のサイズ制限が適用されます。
- 最小サイズ : 1 ユニット
- 最大サイズ : 15 台
パイプラインには、次のものが含まれます
ユニットあたりのリソースの量は 'パイプラインテンプレートごとに選択できるリソースプロファイルによって定義されます
リソースプロファイル
HEREプラットフォームは、CPU数、RAMサイズ、およびユニットあたりのディスク容量の異なる組み合わせを持つ複数のリソースプロファイルをサポートしており、最も効果的なリソース消費を保証します。 メモリを大量に消費する、CPUを大量に消費する、およびデフォルトのリソースプロファイルがあります。 データ処理の種類とパイプラインが実行するように設計されているタスクに応じて、プロジェクトの目標に最適なリソースプロファイルを選択できます。
次のデフォルトリソースプロファイルを使用できます。
- ストリームパイプライン: ユニットあたりの1 CPU' 7 GB RAM'および8 GBのディスク容量
- バッチパイプライン: ユニットあたりの1 CPU' 7 GB RAM'および32 GBのディスク容量
メモリ集約型およびCPU集約型のリソースプロファイルには、それぞれRAM容量が大きいか小さいかが含まれます。 HEREプラットフォームで現在使用可能なリソースプロファイルと、対応する単位あたりのリソース比率を確認するには、次のいずれかのエンドポイントにリクエストを送信します。
/v2/resourceProfiles
or
/v3/resourceprofiles
応答には、使用可能なリソースプロファイルのリストと、ユニットあたりのリソースの量が含まれます。
{
"availableResourceProfiles": [
{
"id": "profileId",
"label": "User-friendly label for display",
"name": "Description of the profile",
"cpuPerUnit": 1,
"memoryInGiBPerUnit": 2,
"diskInGiBPerUnit": 3
}
]
}
特定のランタイム環境で使用可能なリソースプロファイルを検索するには、次のエンドポイントを照会します。
/v2/runtimeenvironments
or
/v3/listRuntimeEnvironments
応答には、使用可能なリソースプロファイルとデフォルトリソースプロファイルを示すランタイム環境のリストが含まれます。
{
"availableRuntimes": [
{
"id": "batch-x.y.z",
"availableResourceProfileIds": [
[
"HS1"
]
],
"defaultWorkerResourceProfileId": "HS1",
"defaultSupervisorResourceProfileId": "HS1",
"maxWorkerUnits": 15,
"maxSupervisorUnits": 15,
"description": "Spark x.y.z, Java x, Scala y",
"deprecationPeriodAnnounced": "2007-12-03T10:15:30+01:00",
"deprecationPeriodEnd": "2007-12-03T10:15:30+01:00",
"displayName": "Batch x.y.z"
}
]
}
注意 : リソース要件に限りがあります
ここでもプラットフォームの制限が適用されます。 パイプラインは、最大で200 CPUと1.4 TBのRAMしか消費できません。 つまり、次のようになります。
Supervisorのサイズ+ (各ワーカーのサイズ*ワーカーの数)≤200 CPUおよび1.4 TB RAM
これらの制限内でリソースプロビジョニングの問題が発生した場合は、こちらのサポート/サービスにお問い合わせください。
例 :
Spark バッチ パイプラインの 場合、スーパーバイザ ( Spark ドライバ)および ワーカー ( Spark Executor )のリソース割り当てには、次の単位を選択します。
- スパークドライバ: 2ユニット(2 CPU、14 GB RAM、64 GBディスク容量に相当)
- Spark エグゼクティブ :
- 各実行者のサイズ: 3ユニット(3 CPU、21 GB RAM、96 GBディスク容量に相当)
- 実行者数 : 2.
- 合計リソース要件: 8ユニット(8 CPU、56 GB RAM、256 GBディスク容量に相当)