生成 AI アプリケーションの運用化 (GenAIOps)

コードファーストの開発アプローチを使用して、言語モデルを使用してチャット アプリケーションを開発する方法について説明します。 生成型 AI アプリをコードファーストで開発することで、生成 AI 運用 (GenAIOps) に不可欠な堅牢で再現可能なフローを作成できます。

GitHub を使用して、AI プロンプトをバージョン管理された資産として管理する方法について説明します。 ソフトウェア エンジニアリングのベスト プラクティスを適用して、Microsoft Foundry での GenAIOps ワークフローの一環として使用されるプロンプト バージョンを作成、テスト、およびリリースします。

推測を証拠ベースのエンジニアリング上の決定に変換する構造化された評価を通じて AI エージェントを最適化する方法について説明します。 品質、コスト、パフォーマンスに関する明確なメトリックを使用して評価実験を設計する方法について説明します。Git ベースのワークフローを使用して実験を整理する。一貫したスコアリングのための評価ルーブリックを作成する。結果を比較して、情報に基づいた最適化の決定を行います。

Microsoft Foundry エバリュエーターを使用して AI エージェント応答の自動評価を実装する方法、運用データと合成生成から評価データセットを作成する方法、Python スクリプトでバッチ評価を実行する方法、評価ワークフローを GitHub Actions に統合して継続的な品質保証を行う方法について説明します。

Microsoft Foundry を使用して生成 AI アプリケーションのパフォーマンスを監視する方法について説明します。 このモジュールでは、待機時間やトークンの使用状況などの主要なメトリックを追跡して、情報に基づいてコスト効率の高いデプロイの決定を行う方法について説明します。

Microsoft Foundry と OpenTelemetry を使用して、生成型 AI アプリケーションにトレースを実装する方法について説明します。 このモジュールでは、詳細な実行フローをキャプチャし、複雑なワークフローをデバッグし、信頼性と最適化を向上させるためにアプリケーションの動作を理解する方法について説明します。