Microsoft Foundry と GitHub Actions を使用して AI 評価を自動化する
中級
データ サイエンティスト
AI エンジニア
DevOps エンジニア
開発者
Azure
Foundry Tools
GitHub
Microsoft Foundry エバリュエーターを使用して AI エージェント応答の自動評価を実装する方法、運用データと合成生成から評価データセットを作成する方法、Python スクリプトでバッチ評価を実行する方法、評価ワークフローを GitHub Actions に統合して継続的な品質保証を行う方法について説明します。
学習の目的
このモジュールを終了すると、次のことが可能になります。
- 自動評価が AI 品質保証における人間の評価を補完する理由を説明します。
- 検証のための人間の評価基準に合ったエバリュエーターを選択します。
- 包括的なテストに適した構成で評価データセットを作成します。
- Microsoft Foundry で Python スクリプトを使用してバッチ評価を実装します。
- 継続的なテストのために、自動評価ワークフローを GitHub Actions に統合します。
前提条件
このモジュールを開始する前に、Azure の基本的な生成 AI の概念とサービスについて理解しておく必要があります。 まず、 ジェネレーティブ AI モジュールの基礎 を完了することを検討してください。 Python と GitHub ワークフローに関する基本的な知識をお勧めします。
Azure を使ってみる
適切な Azure アカウントを選択します。 Azure は、従量課金制でご利用いただくことも、最大 30 日間無料でお試しいただくこともできます。 サインアップします。