次の方法で共有


イベントストリームの状態とパフォーマンスの監視

Microsoft Fabric イベント ストリーム機能を使用すると、ストリーミング イベント データ、インジェストの状態、インジェストのパフォーマンスを簡単に監視できます。 この記事では、イベントストリームの状態を監視する方法、ログ、エラー、データ分析情報をメトリックでチェックする方法について説明します。

イベントストリームには、データ分析情報ランタイム ログの 2 種類の監視エクスペリエンスがあります。 選択するソースまたはターゲットに応じて、いずれかのビューまたは両方のビューが表示されます。

前提条件

開始する前に、以下が必要になります:

  • Eventstream アイテムがあるワークスペースに、閲覧者以上のアクセス許可を使ってアクセスします。
  • Azure Event Hubs ソースまたはレイクハウス ターゲットがイベントストリームに追加されます。

データの分析情報

[データ分析情報] タブは、メイン エディターの下部ペインに表示されます。 このタブに、イベントストリーム、ソース、ターゲットの状態とパフォーマンスを監視するために使用できるメトリックが表示されます。 ソースとターゲットごとに異なるメトリックがあります。 メイン エディター キャンバスでノードを選択すると、その特定のノードのメトリックが [データ分析情報] タブに表示されます。

イベントストリーム ノードのデータ分析情報

[データ分析情報] タブには、イベントストリーム ノードに関する次のメトリックが表示されます。

メトリック ユニット 説明
IncomingMessages Count 指定された期間にイベントストリームに送信されたイベントまたはメッセージの数。
OutgoingMessages Count 指定された期間にイベントストリームから流出したイベントまたはメッセージの数。
IncomingBytes バイト 指定した期間にわたるイベントストリームの受信バイト数。
OutgoingBytes バイト 指定した期間にわたるイベントストリームの送信バイト数。

イベントストリームのデータ分析情報を表示するには、次の手順に従います。

  1. メイン エディター キャンバスでイベントストリーム ノードを選択します。

  2. 下部のペインで、[データ分析情報] タブを選択します。

  3. イベント ストリーム内にデータがある場合、メトリック グラフは Data insights タブに表示されます。

  4. タブの右側で、表示するメトリックの横にあるチェック ボックスをオンにします。

イベントストリームのメトリックを示すスクリーンショット。

Azure イベント ハブ、Azure IoT ハブ、lakehouse、Eventhouse、派生ストリーム、および Fabric アクティベーター ノードのデータ分析情報

次のメトリックは、Azure イベント ハブ、Azure IoT ハブ、lakehouse、Eventhouse ('インジェストモード前のイベント処理)、派生ストリーム、ファブリック アクティベーター ノードの Data insights タブで使用できます。

メトリック ユニット 説明
入力イベント Count イベントストリーム エンジンによって (レイクハウス、Eventhouse、派生ストリーム、または Fabric アクティベーターの宛先の) イベントストリームまたは (Azure イベント ハブまたは Azure IoT Hub ソース内の) イベント ソースからプルされるイベント データの数。
入力イベントのバイト数 バイト イベントストリーム エンジンによって (レイクハウス、Eventhouse、派生ストリーム、または Fabric アクティベーターの宛先の) イベントストリームまたは (Azure イベント ハブまたは Azure IoT Hub ソース内の) イベント ソースからプルされるイベント データの量。
出力イベント Count イベントストリーム エンジンによって (レイクハウス、Eventhouse、派生ストリーム、または Fabric アクティベーターの宛先の) イベントストリームまたは Eventhouse に送信されるか、(Azure イベント ハブまたは Azure IoT Hub ソース内の) イベント ソースから送信されるイベント データの数。
バックログされた入力イベント Count イベントストリーム エンジンでバックログされる入力イベントの数。
実行時エラー Count イベント処理に関連するエラーの総数。
データ変換エラー Count 想定の出力スキーマに変換できなかった出力イベントの数。
逆シリアル化エラー Count イベントストリーム エンジン内で逆シリアル化できなかった入力イベントの数。
ウォーターマークの遅延 Second このソースまたはターゲットのすべての出力のすべてのパーティションにわたる最大のウォーターマーク遅延。 これは、ウォール クロック時間から最大のウォーターマークを差し引いて計算されます。

Azure イベント ハブ、Azure IoT ハブ、lakehouse、Eventhouse ('インジェスト前のイベント処理' モード)、派生ストリーム、および Fabric アクティベーターのデータ分析情報を表示するには、

  1. メイン エディター キャンバスで、Azure イベント ハブ、Azure IoT ハブ、lakehouse、Eventhouse、派生ストリーム、または Fabric アクティベーター ノードを選択します

  2. 下部のペインで、[データ分析情報] タブを選択します。

  3. Azure イベント ハブ、Azure IoT ハブ、lakehouse、Eventhouse、派生ストリーム、または Fabric アクティベーター内にデータがある場合は、メトリック グラフが Data insights タブに表示されます。

  4. タブの右側で、表示するメトリックの横にあるチェック ボックスをオンにします。

ソースとターゲットのメトリックを示すスクリーンショット。

ストリーミング コネクタ ソース ノードのデータ分析情報

ストリーミング コネクタのソース ノードには、次のソースが含まれます。

  • Azure SQL データベースの変更データキャプチャ(CDC)
  • Azure Service Bus
  • PostgreSQL データベースの CDC
  • MySQL Database CDC
  • Azure Cosmos DB の CDC
  • SQL Server on VM DB (CDC)
  • Azure SQL Managed Instance CDC
  • Google Cloud Pub/Sub
  • Amazon Kinesis Data ストリーム
  • Confluent Cloud Kafka
  • Apache Kafka
  • Amazon MSK Kafka

ストリーミング コネクタのソース ノードの [データ分析情報] タブでは、次のメトリックを使用できます。

メトリック ユニット 説明
ソース発信イベント Count 変換 (ある場合) から出力されて、worker の指定されたソース コネクタに属するタスクの Eventstream に書き込まれたレコードの数 (タスクが最後に再起動されてから)。
ソース着信イベント Count 変換が適用される前に、worker の指定されたソース コネクタに属するタスクによって生成またはポーリングされたレコードの数 (タスクが最後に再起動されてから)。
ログされたコネクタ エラー数 Count このコネクタ タスクでログされたエラーの数。
コネクタ処理エラー数 Count このコネクタ タスクでのレコード処理エラーの数。
コネクタ処理失敗数 Count このコネクタ タスクでレコード処理失敗の数 (再試行の失敗を含む)。
スキップされたコネクタ イベント数 Count このコネクタ タスク内でエラーのためにスキップされたレコードの数。

ストリーミング コネクタ ソースのデータ分析情報を表示するには:

  1. [外部ソースを使用する] を選んでから、ストリーミング コネクタ ソースを選びます。
  2. ストリーミング コネクタ ソースを構成して発行します。
  3. ライブ ビューの下部ペインで、[データ分析情報] タブを選びます。
  4. ストリーミング コネクタ ソース内にデータがある場合は、[データ分析情報] タブにメトリックのグラフが表示されます。
  5. タブの右側で、表示するメトリックの横にあるチェック ボックスをオンにします。

コネクタ ソースのメトリックを示すスクリーンショット。

ランタイム ログ

[ランタイム ログ] タブでは、イベントストリーム エンジンで発生する詳細なログを確認できます。 ランタイム ログには、警告、エラー、情報の 3 つの重大度レベルがあります。

Azure イベント ハブ、Azure IoT ハブ、ストリーミング コネクタ ソース、lakehouse、Eventhouse ('インジェストモード前のイベント処理) または Fabric アクティベーターのランタイム ログを表示するには:

  1. メイン エディター キャンバスでノードを選択します。

  2. 下部のペインで、[ランタイム ログ] タブを選択します。

  3. Azure イベント ハブ、Azure IoT ハブ、ストリーミング コネクタ ソース、lakehouse、Eventhouse、または Fabric アクティベーター内にデータがある場合、ログは ランタイム ログ タブに表示されます。

  4. [キーワードでフィルター] オプションを使用してログを検索するか、重大度または種類を変更して一覧をフィルター処理します。

  5. 最新のログを表示するには、[最新の情報に更新] を選択します。

ソースとターゲットのランタイム ログを示すスクリーンショット。