生成 AI アプリケーションを監視する (プレビュー)

重要

この記事で "(プレビュー)" と付記されている項目は、現在、パブリック プレビュー段階です。 このプレビューはサービス レベル アグリーメントなしで提供されており、運用環境ではお勧めしません。 特定の機能はサポート対象ではなく、機能が制限されることがあります。 詳細については、「 Microsoft Azure プレビューの追加使用条件」を参照してください。

AI 業界の複雑さと急速な進化により、生成 AI アプリケーションの監視はこれまで以上に重要ではありませんでした。 Azure Monitor Application Insights と統合された Azure AI Foundry Observability を使用すると、デプロイされた AI アプリケーションを継続的に監視して、運用環境でパフォーマンスが高く、安全で、高品質の結果が得られるようにすることができます。 継続的な監視機能に加えて、エージェントの継続的な評価機能も提供し、追加の重要な品質および安全性のメトリクスへの可視性を備えてFoundry Observabilityダッシュボードをさらに強化します。

注

この機能には Foundry プロジェクト を使用する必要があります。 ハブ ベースのプロジェクトはサポートされていません。 「 自分が持っているプロジェクトの種類を確認する方法 」と「 Foundry プロジェクトを作成する」を参照してください。

監視を有効にする方法

Azure AI Foundry で監視機能を使用するには、Application Insights リソースを Azure AI Foundry プロジェクトに接続する必要があります。

1. Azure AI Foundry ポータルの左側のナビゲーション ウィンドウで [ 監視 ] に移動します。
2. [ アプリケーション分析 ] タブを選択します。
3. まだお持ちでない場合は、新しい Application Insights リソースを作成します。
4. リソースを AI Foundry プロジェクトに接続します。

監視のための運用データの収集

ここから、組み込みのビューで監視できるアプリケーションのテレメトリの収集を開始します。 これを行うには、次のことをお勧めします。

• トレースをインストルメント化すると、アプリケーションから詳細なテレメトリ データをキャプチャできます。 このデータは、運用環境でのアプリケーションのパフォーマンス、待機時間、動作に関する分析情報を提供します。

• 継続的な評価は、 定義済みのメトリックとしきい値に対して出力を評価することで、運用環境のエージェントの品質と安全性を監視するのに役立ちます。

監視結果の表示

Azure AI Foundry ポータルの Application Analytics ダッシュボード ビューでは、 Azure Monitor Application Insights からのシグナルを使用し、 Azure ブック を介してクエリを実行し、視覚化を作成します。

これらのビューは、主要なメトリック (トークン消費量、待機時間、例外、応答品質) を 1 つのウィンドウにまとめ、チームが運用の正常性と品質を追跡し、傾向を理解し、継続的に評価してアプリケーションを改善するための透明性を提供するように設計されています。

AI Foundry プロジェクトの組み込みの監視ビューにアクセスして利用するには、次の手順に従います。

1. Azure AI Foundry ポータルで AI Foundry プロジェクトに移動します。
2. 左側のナビゲーション ウィンドウから [ 監視 ] を選択します。
3. [ アプリケーション分析 ] タブで、アプリケーションの正常性の概要を確認します。
4. フィルターを使用して時間範囲、アプリケーション、モデルを指定し、詳細な分析情報を抽出します。
5. 品質メトリックの低下などの問題が発生した場合は、「 トレース 」に移動して 、アプリケーションの問題をデバッグします。
6. 監視エクスペリエンスをさらにカスタマイズし、Azure Monitor で高度な機能を使用するには、一番下までスクロールし、[ Azure Monitor Application Insights で表示] を選択します。

注

このブックをチーム メンバーと共有する場合、表示される情報を表示するには、接続された Application Insights リソースに対する少なくとも "閲覧者" ロールが必要です。

ダッシュボードをカスタマイズして共有する

Application Insights は、アプリケーションの正常性とパフォーマンスに関する分析情報を提供する、アプリケーション パフォーマンス監視 (APM) 用の強力なツールです。

ページの最後にある [Azure Monitor Application Insights で見る] リンクを選択すると、Azure Monitor Application Insights ワークブック ギャラリーで アプリケーション分析 ダッシュボードを開くことができます。

このダッシュボードは編集可能なブックとして開き、必要に応じてブックをカスタマイズして保存できます。

1. コマンド バーで、[編集] を選択します。

2. ユース ケースに応じて、必要に応じて要素を変更します。 編集、追加、移動/サイズ変更、複製、または削除する要素で 、 ... を選択します。 たとえば、KQL を使用してタイルを追加することで、収集しているカスタム属性を追跡でき、これが組み込みビューに表示されていないことを確認できます。

3. [保存] を選択して、最新の変更を保存し、必要に応じて別のビューを作成 します。

4. コマンド バーの [共有] アイコンを選択して、チームと共有します。

Kusto クエリ言語 (KQL) を使用した探索と分析

KQL (Kusto クエリ言語) は、大量のテレメトリとログ データを探索、分析、視覚化するために Azure で使用される強力なクエリ言語です。

Application Analytics ダッシュボード ビューでは、特定のタイルまたはグラフの右上にあるアイコンを選択することで、クエリ リンクを開くことができます。

これを選択すると、監視ビューを利用して同じ KQL クエリを表示して実行し、関連するデータを詳しく調べることができます。

Azure アラートを設定する

前の KQL クエリに基づいて Azure アラート ルールを定義して、将来の運用後の操作に関する問題を事前に検出できます。 [ ... ] を選択すると、 新しいアラート ルールなどのその他のオプションが表示されます。

[ 新しいアラート ルール ] ボタンを選択すると、関連するシグナルに対してアラート ルールを作成するウィザードが開きます。

問題に事前に対処するための Azure アラートの設定と管理の詳細については、 Azure Monitor のアラートに関するページを参照してください。

関連コンテンツ

• モデルのデプロイを監視する