監視結果を解釈する
ここでは、監視する内容と、Azure Monitor がすぐに使用できる軽量の監視をサポートする方法について説明します。 実地に進む前の最後のステップは、 監視データを理解する方法を調べ、さらに重要なのは、実際の意思決定を導く方法です。
このユニットでは、解釈に焦点を当て、特定のアクションを規定するのではなく、データの意味とソリューション開発への適用方法について重要に考えるのに役立ちます。
監視はフィードバック ループです
監視をパッシブ アクティビティにしないでください。 代わりに、フィードバック ループを形成します。 サービスをデプロイしたら、その動作を観察し、目的と比較し、必要に応じて調整します。
このフィードバック ループは、必要に応じて繰り返すことができます。各ラウンドを使用すると、パフォーマンスとコストのバランスを適切に絞り込むことができます。
ブックを使用して分析情報を視覚化する
Workbooks を使用すると、Azure portal でデータを分析し、高度な視覚的レポートを作成するための柔軟なキャンバスが提供されます。 ブックでは、複数のデータ ソースのデータに対してクエリを実行し、複数のデータ セットのデータを 1 つの視覚化で結合および関連付けることができ、システムを視覚的に表現できます。 Workbooks は対話型であり、データはリアルタイムで更新され、チーム間で共有できます。
Azure Monitor の分析情報で提供されるブックを使用したり、ブック テンプレート ライブラリを使用したり、独自のブックを作成したりできます。
プレビルドのワークブックにアクセスする
Application Insights インスタンスを Microsoft Foundry プロジェクトに接続すると、重要なメトリックは、 Insights for Generative AI アプリケーション ダッシュボードで既に視覚化されています。
ダッシュボードを選択すると、Azure Monitor の事前構築済みの Azure Workbook にリンクされます。このブックは、AI アプリケーションのパフォーマンス メトリック、使用パターン、運用効率に関するリアルタイムの分析情報を提供します。 セッション間で実行時間、トークン消費量、エラー率などのデータを追跡できます。 これらの詳細なログと視覚化を使用して、ボトルネックを特定し、ワークフローを最適化できます。
トークンの使用状況を解釈する方法
トークン数によって、プロンプトと出力の設計がコストとパフォーマンスに与える影響が明らかになります。
- 入力トークンの数が多い場合は、過度に詳細なプロンプトや不要なプリアンブルが提案される可能性があります。
- 高い出力トークン数は、モデルが必要以上に多くを返していることを示している可能性があります。 たとえば、直接の回答ではなく長い説明などです。
- トークン使用量の急増は、多くの場合、待機時間が長く、要求あたりのコストが高いと関連しています。
トークン パターンを監視することで、デプロイ インフラストラクチャをまったく変更せずに、より効率的にアプリを微調整できます。
エラーを軽減する
エラーは、デプロイが制限に達したときに通知します。 例えば次が挙げられます。
- タイムアウト エラーは、現在のコンピューティング サイズが小さすぎる可能性があります。
- レート制限エラーは、スループットがサービス クォータを超っていることを示します。
- フロー ステップ内のエラーは、ロジック エラーまたはデータ品質の問題を示す可能性があります。
エラー率が使用量に応じて増加する場合は、コンピューティング容量またはフロー設計でアプリに最適化が必要な兆候です。