Flink メトリクス

Flink メトリクスは、 Grafana で利用できるデフォルトのホームで、次のメトリクスを示します。 HERE に一覧表示されている標準的なメトリクスは、 Flink パイプラインで利用できます。 カスタムメトリクスは、パイプラインコードに追加できます。 Flink メトリクスの詳細については、 Flink の公式ドキュメントを参照してください。

Flink では、アキュムレーターを使用してカスタム数値メトリクスを作成できます。 Apache Flink を使用するストリームパイプラインは、以下のタイプのアキュムレーターをサポートしています。 Long と Double 。 これらのアキュムレータが作成されると、 Grafana がクエリーを実行してダッシュボードに追加できる名前付きメトリクスとして利用できるようになります。 一般的 flink_accumulators_に、メトリック名の先頭には語句が付きます。

アキュムレーターの使用方法の詳細について は、カスタムメトリクスおよび Flink アキュムレーターのドキュメントを参照してください。

標準メトリクス

CPU/ メモリメトリクス

メートル法 単位 説明
flink_jobmanager_Status_JVM_CPU_Load 割合 JobManager - 不明な理由により、 JVM の最近の CPU 使用量が予想どおりに機能していません ( 回避策の詳細については、次のサイトを参照してください : ジョブマネージャーまたはストリーム パイプラインのタスクマネージャーの CPU 使用率を確認する方法について説明します ) 。
flink_jobmanager_Status_JVM_CPU_Time ナノ秒 JobManager - JVM が使用する CPU 時間
flink_jobmanager_Status_JVM_Memory_Heap_Used バイト数 JobManager - 現在使用されているヒープメモリの量
flink_jobmanager_Status_JVM_Memory_Heap_Committed バイト数 JobManager - JVM で使用できることが保証されているヒープメモリの量
flink_jobmanager_Status_JVM_Memory_Heap_Max バイト数 JobManager - メモリ管理に使用できるヒープメモリの最大量
flink_jobmanager_Status_JVM_Memory_NonHeap_Used バイト数 JobManager - 現在使用されている非ヒープメモリの量
flink_jobmanager_Status_JVM_Memory_NonHeap_Committed バイト数 JobManager - JVM で使用できることが保証されている非ヒープメモリの量
flink_jobmanager_Status_JVM_Memory_NonHeap_Max バイト数 JobManager - メモリ管理に使用できる非ヒープメモリの最大量
flink_jobmanager_Status_JVM_Memory_Direct_Count カウント JobManager - 直接バッファプール内のバッファの数
flink_jobmanager_Status_JVM_Memory_Direct_MemoryUsed バイト数 JobManager - JVM が直接バッファプールに使用するメモリ量
flink_jobmanager_Status_JVM_Memory_Direct_TotalCapacity バイト数 JobManager - 直接バッファプール内のすべてのバッファの合計容量
flink_jobmanager_Status_JVM_Memory_Mapped_Count カウント JobManager - マップされたバッファプール内のバッファの数
flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed バイト数 JobManager - マップされたバッファプールの JVM が使用するメモリ量
flink_jobmanager_Status_JVM_Memory_Mapped_TotalCapacity バイト数 JobManager - マップされたバッファプール内のバッファの数
flink_taskmanager_Status_JVM_CPU_Load 割合 TaskManager - 不明な理由により、 JVM の最近の CPU 使用率が期待どおりに機能していません ( 回避策の詳細については、次のサイトを参照してください : ジョブマネージャーまたはストリーム パイプラインのタスクマネージャーの CPU 使用率を確認する方法について説明します ) 。
flink_taskmanager_Status_JVM_CPU_Time ナノ秒 TaskManager - JVM が使用する CPU 時間
flink_taskmanager_Status_JVM_Memory_Heap_Used バイト数 TaskManager - 現在使用されているヒープメモリの量
flink_taskmanager_Status_JVM_Memory_Heap_Committed バイト数 TaskManager - JVM が利用できることが保証されているヒープメモリの量
flink_taskmanager_Status_JVM_Memory_Heap_Max バイト数 TaskManager - メモリ管理に使用できるヒープメモリの最大量
flink_taskmanager_Status_JVM_Memory_NonHeap_Used バイト数 TaskManager - 現在使用されている非ヒープメモリの量
flink_taskmanager_Status_JVM_Memory_NonHeap_Committed バイト数 TaskManager - JVM が利用できることが保証されている非ヒープメモリの量
flink_taskmanager_Status_JVM_Memory_NonHeap_Max バイト数 TaskManager - メモリ管理に使用できる非ヒープメモリの最大量
flink_taskmanager_Status_JVM_Memory_Direct_Count カウント TaskManager - 直接バッファプール内のバッファの数
flink_taskmanager_Status_JVM_Memory_Direct_MemoryUsed バイト数 TaskManager - 直接バッファプールの JVM が使用するメモリ量
flink_taskmanager_Status_JVM_Memory_Direct_TotalCapacity バイト数 TaskManager - 直接バッファプール内のすべてのバッファの合計容量
flink_taskmanager_Status_JVM_Memory_Mapped_Count カウント TaskManager - マップされたバッファプール内のバッファの数
flink_taskmanager_Status_JVM_Memory_Mapped_MemoryUsed バイト数 TaskManager - マッピングされたバッファプールの JVM によって使用されたメモリ量
flink_taskmanager_Status_JVM_Memory_Mapped_TotalCapacity バイト数 TaskManager - マップされたバッファプール内のバッファの数
メートル法 説明
flink_jobmanager_numRegisteredTaskManagers 登録済みのタスク管理者の合計数
flink_jobmanager_numRunningJobs 実行中のジョブの合計数
flink_jobmanager_taskSlotsTotal 割り当てられているタスクスロットの合計数
flink_jobmanager_taskSlotsAvailable 利用可能なタスクスロットの合計数
メートル法 説明
flink_taskmanager_job_task_currentLowWatermark task-currentLowWatermark : このタスクが受信した最小のウォーターマーク
flink_taskmanager_job_task_numBytesInLocal task-numBytesInLocal ：このタスクがローカルソースから読み取った合計バイト数
flink_taskmanager_job_task_numBytesInLocalPerSecond task-numBytesInLocalPerSecond ：このタスクがローカルソースから 1 秒あたりに読み取るバイト数
flink_taskmanager_job_task_numBytesInRemote task-numBytesInRemote ：リモートソースからこのタスクが読み取った合計バイト数
flink_taskmanager_job_task_numBytesInRemotePerSecond task-numBytesInRemotePerSecond ：このタスクがリモートソースから 1 秒あたりに読み取るバイト数
flink_taskmanager_job_task_numBytesOut task-numBytesOut: このタスクが送信した合計バイト数
flink_taskmanager_job_task_numBytesOutPerSecond task-numBytesOutPerSecond ：このタスクが 1 秒あたりに送信するバイト数
flink_taskmanager_job_task_numRecordsIn タスク / オペレータ - numRecordsIn ：このオペレータ / タスクが受信したレコードの合計数
flink_taskmanager_job_task_numRecordsInPerSecond タスク / オペレータ - numRecordsInPerSecond : このオペレータ / タスクが 1 秒あたりに受け取るレコード数
flink_taskmanager_job_task_numRecordsOut Task/Operator-numRecordsOut ：このオペレータまたはタスクが発信したレコードの合計数
flink_taskmanager_job_task_numRecordsOutPerSecond タスク / オペレータ - numRecordsOutPerSecond : このオペレータ / タスクが 1 秒あたりに送信するレコード数
flink_taskmanager_job_task_operator_latency operator-latency ：すべての着信ソースからの遅延の分布

Kafka Producer and Consumer Metrics の略

HERE platform データクライアントの設定で有効になっている場合、標準の Kafka メトリクスを使用できます。これらのメトリクスの名前の先頭には、次のプレフィックスが付きます。

メートル法 説明
flink_taskmanager_job_task_operator_KafkaProducer Kafka Producer のメトリクス
flink_taskmanager_job_task_operator_KafkaConsumer Kafka の消費者メトリクス

Kafka Producer および Consumer メトリクスの完全な一覧については、 Apache Kafka のドキュメントを参照してください ( 以下のリンクを参照 ) 。

注 : Prometheus に問い合わせています

PromQL (Prometheus Query Language) を使用してこれらのメトリクスをクエリする場合 __name__ 、内部ラベルと照合することで、メトリクス名のラベルマッチャーを利用できます。 たとえば、式 flink_taskmanager_job_task_operator_KafkaConsumer_client_id_consumer_fetch_manager_metrics_fetch_rate はと同じ {__name__=~".*consumer_fetch_manager_metrics_fetch_rate"}です。

も参照してください

「」に一致する結果は 件です

    「」に一致する結果はありません