GPT-4 Turbo with Vision を使用した画像付きの Azure OpenAI エンタープライズ チャット

重要

この記事で "(プレビュー)" と付記されている項目は、現在、パブリック プレビュー段階です。 このプレビューはサービス レベル アグリーメントなしで提供されており、運用環境ではお勧めしません。 特定の機能はサポート対象ではなく、機能が制限されることがあります。 詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

この記事では、Azure OpenAI のビジョン モデルである GPT-4 Turbo with Vision に独自の画像データを提供する方法について説明します。 GPT-4 Turbo with Vision エンタープライズ チャットを使用すると、モデルは独自の画像と画像メタデータに基づく取得拡張生成を使用して、よりカスタマイズされ、対象をさらに絞った回答を生成できます。

ヒント

この記事は、GPT-4 Turbo with Vision での独自の画像データの使用について取り上げます。 テキスト データを使用してチャット Web アプリをデプロイする方法のチュートリアルについては、「エンタープライズ チャット Web アプリをデプロイする」を参照してください。

前提条件

• Azure サブスクリプション。無料で作成できます。
• GPT-4 Turbo with Vision モデルがデプロイされた Azure OpenAI リソース。 モデル デプロイの詳細については、リソース デプロイ ガイドを参照してください。
• 少なくとも Azure OpenAI リソースに対する Cognitive Services 共同作成者ロールが割り当てられていることを確認してください。
• Azure AI Search リソース。 「ポータルで Azure AI Search サービスを作成する」を参照してください。 Azure AI 検索リソースがない場合、このガイドで後ほどデータ ソースを追加するときに、リソースを作成するように求められます。
• Azure OpenAI リソースと Azure AI Search リソースが接続として追加された AI Studio ハブ。

GPT-4 Turbo with Vision モデルをデプロイする

1. Azure AI Studio にサインインし、作業するハブを選択します。
2. 左側のナビゲーション メニューで [AI サービス] を選択します。 [GPT-4 Turbo を試す] パネルを選択します。
3. gpt-4 ページで [展開] を選択します。 表示されたウィンドウで、Azure OpenAI リソースを選択します。 モデル バージョンとして vision-preview を選択します。
4. 展開 を選択します。
5. 次に、新しいモデルのページに移動し、[プレイグラウンドで開く] を選択します。 チャット プレイグラウンドに、[展開] ドロップダウンで作成した GPT-4 の展開が選択されます。

画像データ ソースを選択する

1. 左側のウィンドウで、[データの追加] タブを選択し、[データ ソースの追加] を選択します。
2. 表示されるウィンドウで、データ ソース オプションを選択します。 各オプションは、画像でトレーニングされた Azure AI Search インデックスを使用し、チャット プレイグラウンドで取得拡張生成に使用できます。
   • Azure AI 検索: 既存の Azure AI 検索インデックスがある場合、それをデータ ソースとして使用できます。
   • Azure Blob Storage: [Azure Blob Storage] オプションは、大量の画像ファイルがあり、それらを 1 つずつ手動でアップロードしたくない場合に特に便利です。 Azure AI Studio で画像検索インデックスが生成されます。
   • 画像ファイルとメタデータのアップロード: プレイグラウンドを使用して画像ファイルとメタデータをアップロードできます。 このオプションは、画像ファイルの数が少ない場合に役立ちます。 Azure AI Studio で画像検索インデックスが生成されます。

画像データを追加する

Azure AI Search

既存の Azure AI 検索インデックスがある場合、それをデータ ソースとして使用できます。 検索インデックスはまだないが、自分自身で作成する場合、GitHub の AI Search ベクトル検索リポジトリを利用して作成できます。このリポジトリからは、自分の画像ファイルでインデックスを作成するためのスクリプトが提供されます。

1. プレイグラウンドの [データ ソースの選択または追加] ウィンドウで、[Azure AI Search] を選択し、インデックスの詳細を入力します。 デプロイと接続によってアカウントで使用量が発生することに同意するボックスをオンにします。
2. オプションで、[カスタム フィールド マッピングの使用] オプションを有効にします。 これにより、検索インデックスのカスタム フィールドと、Azure OpenAI チャット モデルで取得拡張生成時に使用される標準フィールドの間のマッピングを制御できます。
3. [次へ] を選択し、次のページで設定を確認します。 次に、保存して終了 を選択します。
4. チャット プレイグラウンドで、データが追加されたことを確認できます。

Azure BLOB Storage

画像を含む既存の Azure Blob Storage コンテナーがある場合、それを使用して画像検索インデックスを作成できます。 新しい Blob Storage アカウントを作成する場合は、Azure Blob Storage のクイックスタート ドキュメントを参照してください。

Azure Blob Storage アカウントに、画像ファイルと、画像ファイルのパスとメタデータを含む JSON ファイルが含まれている必要があります。

メタデータ JSON ファイルには、次の制限があります。

• ファイル名は、単語 metadata で始まります (すべて小文字で、スペースを含めることはできません)。
• 画像ファイル数は 10,000 ファイル以下にしてください。 コンテナーに格納するファイルの方が多い場合、複数の JSON ファイルを作成し、それぞれに、この最大数までのファイルを格納できます。

JSON メタデータ ファイルは次のような形式にする必要があります。

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

画像ファイルと少なくとも 1 つのメタデータ JSON ファイルを Blob Storage コンテナーに入力したら、データ ソースとして Blob Storage を追加する用意が整います。

1. プレイグラウンドの [データ ソースの選択または追加] ウィンドウで、[Azure Blob Storage] を選択し、データ ソースの詳細を入力します。 また、作成される Azure AI Search インデックスの名前も選択します。

   Note

   Azure OpenAI では、データにアクセスしてインデックスを付けるために、ストレージ アカウント リソースと検索リソースの両方が必要です。 データは、Azure サブスクリプションに安全に保存されます。

   Azure AI Studio で、選択したストレージ アカウントにデータを初めて追加する場合、クロスオリジン リソース共有 (CORS) を有効にするように求められることがあります。 Azure AI Studio と Azure OpenAI は、Azure Blob Storage アカウントにアクセスする必要があります。

   

2. デプロイと接続によってアカウントで使用量が発生することに同意するボックスをオンにします。 [次へ] を選択します。

3. 入力した詳細を確認し、[保存して閉じる] を選択します。

   

4. これで、チャット プレイグラウンドでデータ インジェストが進行中であることを確認できます。 先に進む前に、状態の代わりにデータ ソースとインデックス名が表示されるまで待機します。

画像ファイルとメタデータをアップロードする

1. [データ ソースの選択または追加] ページで、[データ ソースの選択] ドロップダウンから [ファイルのアップロード] を選択します。

2. 次のデータ ソースの詳細を入力します。 また、作成される Azure AI Search インデックスの名前も選択します。

   Note

   Azure OpenAI では、データにアクセスしてインデックスを付けるために、ストレージ アカウント リソースと検索リソースの両方が必要です。 データは、Azure サブスクリプションに安全に保存されます。

   Azure AI Studio で、選択したストレージ アカウントにデータを初めて追加する場合、クロスオリジン リソース共有 (CORS) を有効にするように求められることがあります。 Azure AI Studio と Azure OpenAI は、Azure Blob Storage アカウントにアクセスする必要があります。

   

3. デプロイと接続によってアカウントで使用量が発生することに同意するボックスをオンにします。 [次へ] を選択します。

4. [ファイルのアップロード] ページで、[ファイルの参照] を選択し、アップロードするファイルを選択します。 複数のファイルをアップロードする場合は、今すぐ実行してください。 同じプレイグラウンド セッションで、後からファイルを追加することはできません。

   画像ファイルとしてサポートされているファイルの種類は次のとおりです。最大サイズは 16 MB です。

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

5. [アップロード] を選択して、ファイルを Azure Blob Storage アカウントにアップロードします。 [次へ] を選択します。

   

6. [メタデータの追加] ページで、各画像のテキスト説明を対応するテキスト フィールドに入力します。 [次へ] を選択します。

   

7. 入力した詳細を確認します。 作成されるストレージ コンテナーと検索インデックスの名前を確認できます。 保存して閉じるを選択します。

   

8. これで、チャット プレイグラウンドでデータ インジェストが進行中であることを確認できます。 先に進む前に、状態の代わりにデータ ソースとインデックス名が表示されるまで待機します。

データを GPT-4 Turbo with Vision モデルで使用する

画像データを追加したら、画像データに基づいてチャットの会話を試すことができます。

1. 新しい画像をアップロードするには、チャット ウィンドウの添付ファイル ボタンを使用します。 データ セットの他の画像との関係について質問してください。

2. モデルから、画像データに基づく回答が返されます。

データ ソースの追加と削除

Azure OpenAI では、チャット セッションあたりに使用できるデータ ソースは 1 つのみです。 新しいデータ ソースを追加する場合は、まず、既存のデータ ソースを削除する必要があります。 これを行うには、データ ソース情報の下で [データ ソースの削除] を選択します。

データ ソースを削除するとき、警告メッセージが表示されます。 データ ソースを削除すると、チャット セッションがクリアされ、すべてのプレイグラウンド設定がリセットされます。

次のステップ

• Azure AI Studio でプロジェクトを作成する方法について確認してください。
• エンタープライズ チャット Web アプリをデプロイする