LLM ツール
プロンプト フローの大規模言語モデル (LLM) ツールを使用すると、OpenAI、Azure OpenAI Service などの広く使用されている大規模な言語モデル、または自然言語処理のために Azure AI モデル推論 API でサポートされている任意の言語モデルを利用できます。
プロンプト フローには、以下のように、いくつかの異なる大規模言語モデル API が用意されています。
- 入力候補: OpenAI の入力候補モデルを使うと、指定されたプロンプトに基づいてテキストを生成できます。
- チャット: OpenAI のチャット モデルと Azure AI チャット モデルは、テキストベースの入力と応答を使用した対話型の会話を容易にします。
Note
LLM ツール API 設定からオプションを削除しました embedding 。 埋め込みツールで埋め込み API を使用できます。
Azure OpenAI 接続では、キーベースの認証のみがサポートされています。
Azure OpenAI リソースのリソース グループ名に ascii 以外の文字を使用しないでください。プロンプト フローではこのケースはサポートされていません。
前提条件
次の OpenAI のリソースを作成します。
OpenAI:
- OpenAI の Web サイトでアカウントをサインアップします。
- サインインして個人用 API キーを見つけます。
Azure OpenAI:
- 次の手順を使用して、Azure OpenAI リソースを 作成します。
サーバーレス API エンドポイントにデプロイされたモデル
- 関心 のあるカタログからモデルを使用してエンドポイントを作成し、サーバーレス API エンドポイントを使用してデプロイします。
- Mistral、Cohere、Meta Llama、Microsoft ファミリのモデルなど、Azure AI モデル推論 API で サポートされているサーバーレス API エンドポイントにデプロイされたモデルを使用するには、プロジェクト内でエンドポイントへの接続を作成する 必要があります
つながり
プロビジョニングされたリソースへの接続をプロンプト フローで設定します。
| 型 | 名前 | API キー | [API の種類] | API バージョン |
|---|---|---|---|---|
| OpenAI | 必須 | 必須 | - | - |
| Azure OpenAI - API キー | 必須 | 必須 | 必須 | 必須 |
| Azure OpenAI - Microsoft Entra ID | 必須 | - | - | 必須 |
| サーバーレス モデル | 必須 | 必須 | - | - |
ヒント
- Azure OpenAI 接続に Microsoft Entra ID 認証タイプを使用するには、ユーザーまたはユーザー割り当てマネージド ID に
Cognitive Services OpenAI UserまたはCognitive Services OpenAI Contributor roleを割り当てる必要があります。 - ユーザー ID を使用してフロー実行を送信するように指定する方法の詳細を確認します。
- 詳細については、「マネージド ID を使用して Azure OpenAI Service を構成する方法」を参照してください。
入力
次のセクションでは、さまざまな入力を示します。
テキスト入力候補
| Name | 種類 | 内容 | 必須 |
|---|---|---|---|
| prompt | string | 言語モデルのテキスト プロンプト。 | はい |
| model、deployment_name | string | 使用する言語モデル。 | はい |
| max_tokens | integer | 完了時に生成するトークンの最大数。 既定値は 16 です。 | いいえ |
| 温度 | float | 生成されるテキストのランダム性。 既定値は 1 です。 | いいえ |
| stop | list | 生成されるテキストの停止シーケンス。 既定値は Null です。 | いいえ |
| suffix | string | 入力候補の末尾に追加されたテキスト。 | いいえ |
| top_p | float | 生成されたトークンから一番上の選択肢を使う確率。 既定値は 1 です。 | いいえ |
| logprobs | integer | 生成するログ確率の数。 既定値は Null です。 | いいえ |
| echo | boolean | 応答でプロンプトをエコー バックするかどうかを示す値。 既定値は false です。 | いいえ |
| presence_penalty | float | 繰り返しフレーズのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| frequency_penalty | float | まれなフレーズを生成するためのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| best_of | integer | 生成する最適な完了の数。 既定値は 1 です。 | いいえ |
| logit_bias | ディクショナリ | 言語モデルの Logit バイアス。 既定値は空のディクショナリです。 | いいえ |
チャット
| Name | 種類 | 内容 | 必須 |
|---|---|---|---|
| prompt | string | 言語モデルが応答に使用するテキスト プロンプト。 | はい |
| model、deployment_name | string | 使用する言語モデル。 モデルがサーバーレス API エンドポイントにデプロイされている場合、このパラメーターは必要ありません。 | あり* |
| max_tokens | integer | 応答で生成するトークンの最大数。 既定は inf です。 | いいえ |
| 温度 | float | 生成されるテキストのランダム性。 既定値は 1 です。 | いいえ |
| stop | list | 生成されるテキストの停止シーケンス。 既定値は Null です。 | いいえ |
| top_p | float | 生成されたトークンから一番上の選択肢を使う確率。 既定値は 1 です。 | いいえ |
| presence_penalty | float | 繰り返しフレーズのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| frequency_penalty | float | まれなフレーズを生成するためのモデルの動作を制御する値。 既定値は 0 です。 | いいえ |
| logit_bias | ディクショナリ | 言語モデルの Logit バイアス。 既定値は空のディクショナリです。 | いいえ |
出力
| API | 返り値の種類 | 説明 |
|---|---|---|
| Completion | string | 1 つの予測完了のテキスト |
| チャット | string | 会話の 1 つの応答のテキスト |
LLM ツールを使用する
- OpenAI リソースまたはサーバーレス API エンドポイントへの接続を設定して選択します。
- 大規模言語モデル API とそのパラメーターを構成します。
- ガイダンスを参考にしてプロンプトを準備します。