Azure OpenAI Service に関してよく寄せられる質問

Azure OpenAI では、モデルの再トレーニングに顧客データは使用されません。 詳細については、Azure OpenAI のデータ、プライバシー、セキュリティのガイドを参照してください。

現在の API では、パイプラインを通過して返されるカスタム ヘッダーを最大 10 個使用できます。 一部のお客様がこのヘッダー数を超えたため、HTTP 431 エラーが発生しています。 ヘッダー ボリュームを減らす以外に、このエラーの解決策は存在しません。 今後の API バージョンでは、カスタム ヘッダーの通過を停止します。 今後のシステム アーキテクチャでは、カスタム ヘッダーに依存しないことをお勧めします。

Azure OpenAI は、OpenAI Python ライブラリの最新リリース (バージョン>=1.0) でサポートされています。 ただし、openai migrate を使用したコードベースの移行はサポートされておらず、Azure OpenAI を対象とするコードでは動作しないことに注意してください。

GPT-4 Turbo (プレビュー) は、gpt-4 (1106-preview) モデルです。 このモデルをデプロイするには、[デプロイ] でモデル gpt-4 を選択します。 [モデル バージョン] には、1106-preview を選択します。 このモデルを利用できるリージョンを確認するには、モデルのページをご覧ください。

Azure OpenAI では、最新の GPT-4 モデルがサポートされています。 GPT-4 と GPT-4-32K の両方をサポートしています。

Azure OpenAI Service では、OpenAI GPT-3、Codex、DALL-E モデルを使用した高度な言語 AI を顧客に提供し、Azure のセキュリティとエンタープライズの約束を実現します。 Azure OpenAI は OpenAI と共に API を共同開発しており、互いの互換性とスムーズな移行を可能にしています。

Azure OpenAI を使用すると、顧客は OpenAI と同じモデルを実行しながら、Microsoft Azure のセキュリティ機能を使用できます。

はい。Azure AI サービスの一部として、Azure OpenAI は VNET とプライベート エンドポイントをサポートしています。 詳細については、Azure AI サービス仮想ネットワークに関するガイダンスを参照してください。

いいえ、GPT-4 は OpenAI によってマルチモーダルになるように設計されていますが、現在サポートされているのはテキストの入出力のみです。

以前は、新しいユース ケースを追加するプロセスで、お客様がサービスに再適用する必要がありました。 現在、サービスの使用に新しいユース ケースを迅速に追加できる、新しいプロセスをリリースしています。 このプロセスは、Azure AI サービス内で確立されている制限付きアクセス プロセスに従っています。 既存のお客様は、こちらからすべての新しいユース ケースを証明できます。 これは、最初に申請しなかった新しいユース ケースでサービスを使用するときに必ず必要になるので注意してください。

このエラーは通常、テキストのバッチを送信して単一の API 要求に配列として埋め込もうとしたときに発生します。 現在、Azure OpenAI では、text-embedding-ada-002 バージョン 2 モデルに対して、複数の入力を含む埋め込みの配列のみがサポートされています。 このモデル バージョンでは、API 要求あたり最大 16 個の入力で構成される配列がサポートされています。 text-embedding-ada-002 (バージョン 2) モデルを使用する場合、配列の長さは最大 8191 トークンです。

「プロンプト エンジニアリングの概要」を参照してください。 これらのモデルは強力ですが、その動作はユーザーから受け取るプロンプトの影響も大きく受けます。 このため、プロンプトの構築が開発のための重要なスキルになります。 概要を完了したら、システム メッセージに関する記事をご確認ください。

これは、Azure AI Studio の既定のサインイン エクスペリエンスを使用する場合に想定される動作です。

Azure AI リソースへのアクセスが許可されているゲスト アカウントから Azure OpenAI Studio にアクセスするには:

1. プライベート ブラウザー セッションを開き、https://ai.azure.com に移動します。
2. ゲスト アカウントの資格情報をすぐに入力するのではなく、Sign-in options を選択してください
3. 次に、[組織へのサインイン] を選びます。
4. ゲスト アカウントに Azure OpenAI リソースへのアクセス権を付与した組織のドメイン名を入力します。
5. ここで、ゲスト アカウントの資格情報でサインインします。

これで、Azure AI Studio を使用してリソースにアクセスできるようになりました。

または、Azure OpenAI リソースの [概要] ペインから Azure portal にサインインしている場合は、[Azure AI Studio に移動する] を選択して、適切な組織のコンテキストで自動的にサインインできます。

Azure OpenAI モデル (GPT-4 を含む) が実行されているモデルを正しく識別できないのは、想定される動作です。

この問題が発生する理由

最終的に、モデルは質問に応じて次の トークン 予測を行います。 このモデルには、質問に答えるために現在実行されているバージョンについてクエリを実行するネイティブ機能がありません。 この質問に答えるには、いつでも [Azure AI Studio]>[管理]>[デプロイ]> に移動し、モデル名列を参照して、特定のデプロイ名に現在関連付けられているモデルを確認することができます。

"どのモデルを実行していますか?" または "OpenAI の最新モデルは何ですか" という質問では、今日の天気をモデルに尋ねるのと同様の品質の結果が得られます。 正しい結果が返される可能性はありますが、単なる偶然です。 それ自体では、モデルには、トレーニングまたはトレーニング データの一部であったもの以外の実際の情報はありません。 GPT-4 の場合、2023 年 8 月の時点で、基になるトレーニング データは 2021 年 9 月までしかありません。 GPT-4 は 2023 年 3 月までリリースされませんでした。したがって、OpenAI が更新されたトレーニング データを含む新しいバージョン、またはそれらの特定の質問に答えるために微調整された新しいバージョンをリリースしない限り、「GPT-3 が OpenAI の最新モデル リリースである」と GPT-4 が応答するのは、想定される動作です。

GPT ベースのモデルが "どのモデルを実行しますか?" という質問に正確に対応できるようにしたい場合は、モデルのシステム メッセージのプロンプト エンジニアリング、データに対して Azure OpenAI によって使用される手法であり、クエリの実行時に最新の情報がシステム メッセージに挿入される取得確認生成 (RAG) などの手法を使用して、モデルにその情報を提供する必要があります。 または微調整を使用して、モデルの特定のバージョンを微調整して、モデルのバージョンに基づいて特定の方法でその質問に答えることができます。

GPT モデルのトレーニングと動作のしくみの詳細については、 GPT の状態に関する Build 2023 の Andrej Karpathy の話をご覧になることをお勧めします。

これは正しい動作です。 モデルは、それ自体に関する質問に答えることはできません。 モデルのトレーニング データのナレッジ カットオフがいつか知りたい場合は、モデルのページをご覧ください。

これは正しい動作です。 まず、最近のすべてのイベントがモデルのトレーニング データの一部であるという保証はありません。 また、情報がトレーニング データの一部であったとしても、Retrieval Augmented Generation (RAG) などの追加の手法を使ってモデルの応答の根拠にしないと、常に根拠のない応答が発生する可能性があります。 Azure OpenAI の独自データ使用機能と Bing チャットの両方で、Azure OpenAI モデルと Retrieval Augmented Generation を組み合わせて使って、モデルの応答の根拠がさらに強化されます。

特定の情報がトレーニング データに出現した頻度も、モデルが特定の方法で応答する可能性に影響する場合があります。

"ニュージーランドの首相は誰か" のような最近変わった事柄について最新の GPT-4 Turbo (プレビュー) モデルに尋ねると、Jacinda Ardern という正しくない応答になる可能性があります. 一方、モデルに "Jacinda Ardern はいつ首相を退陣したか?" と尋ねると、トレーニング データの知識が少なくとも 2023 年 1 月まで進んでいることを示す正しい応答を生成する傾向があります。

そのため、質問によってモデルを調査して、トレーニング データのナレッジ カットオフを推測することは可能ですが、モデルのナレッジ カットオフを調べるには、モデルのページが最善の場所です。

従来の価格情報は、ダウンロード可能な PDF ファイルから入手できます。 その他のすべてのモデルについては、公式の価格ページを参照してください。

プロンプトの温度を 1 未満に減らし、再試行ロジックでクライアントを使用していることを確認することで、これらのエラーの発生を最小限に抑えることができます。 要求を再試行すると、多くの場合、応答が成功します。

サービスで処理が実行されると、状態コードが成功でない場合 (200 以外) でも課金されます。 この一般的な例には、コンテンツ フィルターまたは入力制限による 400 エラー、タイムアウトによる 408 エラーなどがあります。 content_filter の finish_reason で status 200 を受信したときにも料金が発生します。 この場合、プロンプトに問題はありませんでしたが、モデルによって生成された補完がコンテンツ フィルタリング規則に違反することが検出されたため、結果として補完がフィルター処理されます。 サービスで処理が実行されていない場合は、課金されません。 たとえば、認証による 401 エラーや、レート制限を超えた場合の 429 エラーなどです。

制限付きアクセス登録フォームは、ほとんどの Azure OpenAI モデルへのアクセスには必要ありません。 詳細については、Azure OpenAI の制限付きアクセスに関するページを参照してください。

毎月の最新情報については、新着情報に関するページを参照してください。

Azure OpenAI トレーニング コースの概要を確認してください。

• Microsoft Q&A に質問を投稿することをお勧めします。
• または、Stack Overflow に質問を投稿できます。

Azure OpenAI は Azure AI サービスの一部です。 Azure AI サービスのすべてのサポート オプションについては、サポート オプションとヘルプ オプションのガイドを参照してください。

Azure OpenAI の使用可能なモデルに関するガイドを参照してください。

どのリージョンで使用できるかについては、Azure OpenAI の使用可能なモデルに関するガイドを参照してください。

微調整に正常にアクセスするには、Cognitive Services OpenAI 共同作成者が割り当てられている必要があります。 高度なサービス管理者のアクセス許可を持つユーザーでも、微調整にアクセスするためにはこのアカウントを明示的に設定する必要があります。 詳細については、ロールベースのアクセス制御のガイダンスに関するページを参照してください。

基本モデルは、特定のユース ケースに合わせてカスタマイズまたは微調整されていないモデルです。 微調整されたモデルは、基本モデルのカスタマイズされたバージョンであり、モデルの重みがプロンプトの一意のセットに基づいてトレーニングされます。 微調整されたモデルを使用すると、完了プロンプトの一部としてコンテキスト内学習のために詳細な例を提供しなくても、より多くのタスクでより良い結果を得ることができます。 詳細については、微調整のガイドを参照してください。

100

現時点では、API 応答時間サービス レベル アグリーメント (SLA) は定義されていません。 Azure OpenAI Service の SLA の詳細については、オンライン サービスのサービス レベル アグリーメント (SLA) ページを参照してください。

カスタマイズされた (微調整された) モデルが 15 日間を超えてデプロイされ、候補呼び出しやチャット候補呼び出しが行われなかった場合、デプロイは自動的に削除されます (そのデプロイに対するホスティング料金は発生しません)。 基になるカスタマイズされたモデルは引き続き使用でき、いつでも再デプロイできます。 詳しくは、操作方法に関する記事をご覧ください。

現在、モデル デプロイが可能な 2 つの異なる REST API があります。 モデルのデプロイ時に text-embedding-ada-002 Version 2 のようにモデル バージョンを指定する機能などの最新のモデル デプロイ機能については、「デプロイ - Create または Update」の REST API 呼び出しを使用してください。

いいえ、クォータ TPM (Tokens-per-Minute) 割り当ては、モデルの最大入力トークン制限とは関係ありません。 モデル入力トークンの制限はモデル テーブルで定義され、TPM に加えられた変更の影響を受けません。

いいえ。現時点では、GPT-4 の画像機能の微調整はサポートされていません。

いいえ。dall-e-3 を使用して画像を生成し、gpt-4-vision-preview を使用して画像を理解できます。

現在のところ、PNG (.png)、JPEG (.jpeg と .jpg)、WEBP (.webp)、アニメーションのない GIF (.gif) がサポートされています。

はい。画像のアップロードは、画像あたり 20 MB に制限されています。

いいえ。モデルによって処理された後、画像は自動的に削除されます。

画像はトークン レベルで処理します。そのため、画像は処理されるたびに、TPM (1 分あたりのトークン数) 制限に到達するまで数えられます。 画像あたりのトークン数の決定に使用される数式の詳細については、「概要」の「画像トークン」セクションを参照してください。

いいえ。モデルは画像メタデータを受け取りません。

画像があいまいであったり、不明瞭であったりする場合、モデルはそれを解釈するために最善を尽くします。 ただし、結果の精度が低下する可能性があります。 経験則として、低または高解像度モードで使用されている解像度で普通の人が画像から情報を読み取れない場合、モデルも読み取れません。

GPT-4 Turbo with Vision 概念ガイドの「制限事項」セクションを参照してください。

既定では、GPT-4 vision-preview と GPT-4 turbo-2024-04-09 の max_tokens 値は 16 です。 要求によっては、この値が低すぎることが多く、応答が切り捨てられる場合があります。 この問題を解決するには、チャットの完了 API 要求の一部として、より大きな max_tokens 値を渡します。 GPT-4o の既定値は 4096 max_tokens です。

はい。 Chat Completions API とは異なり、Azure OpenAI Assistants はステートフル API です。つまり、データが保持されます。 Assistants API には、次の 2 種類のデータが格納されます。

• ステートフル エンティティ: Assistants の使用中に作成されたスレッド、メッセージ、実行。
• ファイル: Assistants のセットアップ中またはメッセージの一部としてアップロードされます。

データは、論理的に分離され、セキュリティで保護された Microsoft が管理するストレージ アカウントに格納されます。

使用されているすべてのデータは、明示的に削除しない限り、このシステムに保持されます。 削除するスレッドのスレッド ID で delete 関数を使用します。 アシスタント プレイグラウンドでの実行をクリアしてもスレッドは削除されませんが、delete 関数を使用してスレッドを削除すると、それらはスレッド ページに一覧表示されません。

いいえ。 現在、Assistants では、Assistants で管理されるストレージにアップロードされたローカル ファイルのみがサポートされています。 Assistants でプライベート ストレージ アカウントを使用することはできません。

現在、Assistants のスレッドとファイルの CMK がサポートされています。 この機能の使用可能なリージョンについては、新機能のページを参照してください。

いいえ。 データは、モデルのトレーニングに使用されない Microsoft には使用されません。 詳細については、責任ある AI のドキュメントを参照してください。

Azure OpenAI Assistants エンドポイントはリージョン ベースであり、データはエンドポイントと同じリージョンに格納されます。 詳細については、Azure データ所在地のドキュメントをご覧ください。

• 各アシスタントで使用している基本モデルの推論コスト (入力と出力) (gpt-4-0125 など)。 複数のアシスタントを作成した場合は、各アシスタントにアタッチされている基本モデルに対して課金されます。
• コード インタープリター ツールを有効にしている場合。 たとえば、アシスタントが 2 つの異なるスレッドでコード インタープリターを同時に呼び出すと、2 つのコード インタープリター セッションが作成され、それぞれが課金されます。 各セッションは既定で 1 時間アクティブになります。つまり、ユーザーが同じスレッドで最大 1 時間、コード インタープリターに指示を与え続ける場合は、この料金を 1 回だけ支払います。
• ファイル検索は、使用されたベクター ストレージに基づいて課金されます。

詳細については、 価格に関するページを参照してください。

いいえ。 Assistants でのモデルの使用にはすべてのクォータが適用されます。

Assistants API では、Azure OpenAI モデルのみがサポートされます。

Assistants API は現在パブリック プレビュー段階です。 定期的に最新情報ページにアクセスして、最新の製品更新情報を入手してください。

Assistants の概要と使用方法については、概念、クイックスタート、方法に関する記事を参照してください。 GitHub で Azure OpenAI Assistants のコード サンプルを確認することもできます。

発行した Web アプリは、Azure portal でカスタマイズできます。 発行された Web アプリのソース コードは GitHub で入手できます。ここでは、アプリ フロントエンドの変更に関する情報と、アプリのビルドとデプロイの手順を確認できます。

アプリを更新しても、アプリ コードは上書きされません。 アプリは、Azure OpenAI リソース、Azure AI Search インデックス (データで Azure OpenAI を使用している場合)、Azure AI Studio で選択されたモデル設定を使用するように更新されます。外観や機能は変更されません。

独自のデータに基づく Azure OpenAI は Azure OpenAI サービスの機能であり、組織が指定されたデータ ソースを使用してカスタマイズされた分析情報、コンテンツ、検索を生成するのに役立ちます。 Azure OpenAI の OpenAI モデルの機能と連携することで、自然言語のユーザー クエリに対するより正確で関連性の高い応答が提供されます。 独自のデータに基づく Azure OpenAI を使用すると、お客様の既存のアプリケーションやワークフローと統合でき、主要業績評価指標に関する分析情報が提供され、ユーザーとシームレスに対話できます。

すべての Azure OpenAI のお客様は、Azure AI Studio と REST API を介して、独自のデータに基づく Azure OpenAI を使用できます。

独自のデータに基づく Azure OpenAI では、Azure AI Search、Azure Blob Storage、およびローカル ファイルのアップロードからのインジェストがサポートされます。 独自のデータに基づく Azure OpenAI の詳細については、概念に関する記事とクイックスタートを参照してください。

独自のデータに基づく Azure OpenAI を使用する場合、Azure AI Search、Azure Blob Storage、Azure Web App Service、セマンティック検索、OpenAI モデルを使用するとコストが発生します。 Azure AI Studio での "独自のデータ" 機能の使用については追加コストはかかりません。

GitHub で提供されているスクリプトを使用して、インデックスを自分で準備できます。 このスクリプトを使用すると、データをより適切に活用するために必要なすべての情報を含む Azure AI Search インデックスが作成され、ドキュメントは管理可能なチャンクに分割されます。 実行方法の詳細については、README ファイルとデータ準備コードを参照してください。

インデックスの自動更新をスケジュールするか、または、Azure BLOB コンテナーに追加のデータをアップロードし、新しいインデックスを作成するときにデータ ソースとして使用できます。 新しいインデックスには、コンテナー内のすべてのデータが含まれます。

サポートされているファイルの種類の詳細については、「データの使用」を参照してください。

はい。独自のデータに基づく Azure OpenAI は Azure OpenAI Service の一部であり、Azure OpenAI で使用可能なモデルと連携します。 Azure OpenAI のコンテンツのフィルター処理と不正使用の監視機能は引き続き適用されます。 詳細については、「Azure OpenAI モデルに対する責任ある AI プラクティスの概要」を参照してください。独自のデータに基づく Azure OpenAI の責任ある使用に関するその他のガイダンスについては、Azure OpenAI の透過性のためのメモに関するページを参照してください。

はい、システム メッセージのトークン制限は 400 です。 システム メッセージのトークンが 400 を超える場合、最初の 400 を超えた残りのトークンは無視されます。 この制限は、データ機能の Azure OpenAI にのみ適用されます。

現在、データ上の Azure OpenAI は関数呼び出しをサポートしていません。

独自のデータと同じ言語でクエリを送信する必要があります。 データは、Azure AI Search でサポートされている任意の言語にすることができます。

データ ソースに [Azure AI Search] を選択すると、セマンティック検索を適用することができます。 データ ソースに [Azure BLOB コンテナー] または [ファイルのアップロード] を選択した場合は、通常どおりインデックスを作成できます。 その後、[Azure AI Search] オプションを使用してデータを再び取り込み、同じインデックスを選択して、セマンティック検索を適用します。 そうすることで、セマンティック検索が適用された状態でデータをチャットする準備が整います。

データ ソースとして "Azure BLOB コンテナー"、"Azure AI Search"、または "ファイルのアップロード" を選択するとき、データの取り込み時に使用する Ada 埋め込みモデル デプロイを選択することもできます。 これにより、ベクトル埋め込みを含む Azure AI Search インデックスが作成されます。

Ada 埋め込みモデル デプロイのレート制限が低すぎる場合、またはドキュメント セットが非常に大きい場合、インデックスに埋め込みを追加するときインデックスの作成が失敗する可能性があります。 GitHub で提供されているこのスクリプトを使用すると、埋め込みありでインデックスを手動で作成できます。

Customer Copyright Commitment は、2023 年 12 月 1 日の Microsoft の製品条項に含まれる規定であり、出力コンテンツに関連する特定のサードパーティの知的財産権に関するクレームから顧客を保護するための Microsoft の義務を説明するものです。 クレームの対象が Azure OpenAI Service (または顧客が安全システムを構成できる他の対象製品) から生成された出力コンテンツである場合は、カバレッジを受けるために、顧客は出力コンテンツを提供するオファリングで Azure OpenAI Service ドキュメントで必要とされるすべての軽減策を実装している必要があります。 必要な軽減策については、こちらに記載されており、継続的に更新されています。 新しいサービス、機能、モデル、またはユース ケースの場合、新しい CCC 要件が投稿され、そのようなサービス、機能、モデル、またはユース ケースの開始時または開始後に有効になります。 それ以外の場合、CCC のカバレッジを維持するために、顧客は公開から 6 か月以内に新しい軽減策を実装することになります。 顧客がクレームを申し立てる場合、その顧客は関連する要件への準拠を示す必要があります。 これらの軽減策は、Azure OpenAI Service を含め、顧客が安全システムを構成できる対象製品に必要です。他の対象製品を使っている顧客のカバレッジには影響しません。

次のステップ

• Azure OpenAI のクォータと制限
• Azure OpenAI の新着情報
• Azure OpenAI のクイックスタート