Get Chat Completions - Get Chat Completions

服務:: Microsoft Foundry

API 版本:: 2024-05-01-preview

會收到提供的聊天訊息完成訊息。完成函數支援多種任務，並產生從提供提示資料延續或「完成」的文字。該方法會對指定端點的路由進行 REST API 呼叫 /chat/completions 。

已棄用：此 API 已被棄用。建議改用 OpenAI API。請參閱遷移指南。

POST https://{resource}.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview

URI 參數

名稱	位於	必要	類型	Description
resource	path	True	string	Azure AI 服務資源名稱，例如 'my-resource'
api-version	query	True	string minLength: 1	用於此作業的 API 版本。

要求標頭

名稱	必要	類型	Description
extra-parameters		ExtraParameters	控制如果 REST API 未定義的額外參數在 JSON 請求有效載荷中傳遞，會發生什麼事。此時會設定 HTTP 請求標頭 `extra-parameters`。

要求本文

名稱	必要	類型	Description
messages	True	ChatRequestMessage[]: ChatRequestAssistantMessage[] ChatRequestSystemMessage[] ChatRequestToolMessage[] ChatRequestUserMessage[]	與此聊天完成請求相關的上下文訊息集合。典型使用方式從系統角色的聊天訊息開始，提供助理行為的指示，接著在使用者與助理角色間交替傳遞訊息。
frequency_penalty		number (float) minimum: -2 maximum: 2	根據生成的令牌在生成文本中的累積頻率影響生成的標記出現的概率的值。正值將使標記隨著頻率的增加而不太可能出現，並降低模型逐字重複相同陳述的可能性。支援範圍為 [-2， 2]。
max_tokens		integer (int32) minimum: 0	要產生的令牌數目上限。
modalities		ChatCompletionsModality[]	模型允許用於聊天完成回應的模態。預設模態為 `text`。表示不支援的模態組合則會產生 422 錯誤。
model		string	如果端點上有多個模型，該模型的識別碼。
presence_penalty		number (float) minimum: -2 maximum: 2	根據生成的令牌在生成文本中的現有存在，影響生成的標記出現的概率的值。正值將使標記在已經存在時不太可能出現，並增加模型輸出新主題的可能性。支援範圍為 [-2， 2]。
response_format		ChatCompletionsResponseFormat: ChatCompletionsResponseFormatJsonObject ChatCompletionsResponseFormatJsonSchema ChatCompletionsResponseFormatText	物件，指定模型必須輸出的格式。設定為 `{ "type": "json_schema", "json_schema": {...} }` 啟用結構化輸出，確保模型與你提供的 JSON 架構相符。設定啟用 `{ "type": "json_object" }` JSON 模式，確保模型產生的訊息是有效的 JSON。重要提示：使用 JSON 模式時，你也必須指示模型透過系統或使用者訊息自行產生 JSON。若無此，模型可能會產生無盡的空白流，直到產生達到代幣上限，導致請求長時間且看似「卡住」。另外請注意，若 `finish_reason="length"`，訊息內容可能會部分中斷，表示產生 `max_tokens` 次數或對話超過最大上下文長度。
seed		integer (int64)	若有指定，系統會盡力以確定性方式取樣，使重複請求使用相同的種子與參數應返回相同結果。決定論並非必然。
stop		string[]	一組將結束完備生成的文字序列。
stream		boolean	一個值，指示是否應該串流聊天完成。
temperature		number (float) minimum: 0 maximum: 1	要使用的取樣溫度，用於控制所產生完成的表觀創意。較高的值將使輸出更加隨機，而較低的值將使結果更加集中和確定。不建議針對相同的完成要求修改溫度和top_p，因為這兩個設定的互動很難預測。支援範圍為 [0， 1]。
tool_choice			若有指定，模型將配置可用於聊天完成回應的提供工具中。
tools		ChatCompletionsToolDefinition[]	模型可能請求呼叫的工具清單。目前僅支援函式作為工具。模型可能會回應函式呼叫請求，並以 JSON 格式提供該函式的輸入參數。
top_p		number (float) minimum: 0 maximum: 1	另一種以溫度為基礎的取樣方法稱為核取樣。這個值會讓模型考慮具有該機率質量的代幣結果。例如，值為 0.15 時，僅考慮機率質量前 15% 的代幣。不建議針對相同的完成要求修改溫度和top_p，因為這兩個設定的互動很難預測。支援範圍為 [0， 1]。

回應

名稱	類型	Description
200 OK	ChatCompletions	要求已成功。
Other Status Codes	Azure.Core.Foundations.ErrorResponse	未預期的錯誤回應。標題 x-ms-error-code: string

名稱

類型

Description

200 OK

ChatCompletions

要求已成功。

Other Status Codes

Azure.Core.Foundations.ErrorResponse

未預期的錯誤回應。

標題

x-ms-error-code: string

安全性

api-key

類型: apiKey
位於: header

OAuth2Auth

類型: oauth2
Flow: implicit
授權 URL: https://login.microsoftonline.com/common/oauth2/v2.0/authorize

範圍

名稱	Description
https://cognitiveservices.azure.com/.default

範例

Audio modality chat completion

maximum set chat completion

minimum set chat completion

Audio modality chat completion

範例要求

HTTP

POST https://{resource}.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview


{
  "modalities": [
    "text",
    "audio"
  ],
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant"
    },
    {
      "role": "user",
      "content": [
        {
          "type": "input_audio",
          "input_audio": {
            "data": "<base64 encoded audio data>",
            "format": "wav"
          }
        }
      ]
    },
    {
      "role": "assistant",
      "content": null,
      "audio": {
        "id": "abcdef1234"
      }
    },
    {
      "role": "user",
      "content": [
        {
          "type": "input_audio",
          "input_audio": {
            "data": "<base64 encoded audio data>",
            "format": "wav"
          }
        }
      ]
    }
  ],
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "temperature": 0,
  "top_p": 0,
  "seed": 21,
  "model": "my-model-name"
}

範例回覆

狀態碼:: 200

{
  "id": "kgousajxgzyhugvqekuswuqbk",
  "object": "chat.completion",
  "created": 1696522361,
  "model": "my-model-name",
  "usage": {
    "completion_tokens": 19,
    "prompt_tokens": 28,
    "total_tokens": 16,
    "completion_tokens_details": {
      "audio_tokens": 5,
      "total_tokens": 5
    },
    "prompt_tokens_details": {
      "audio_tokens": 10,
      "cached_tokens": 0
    }
  },
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": null,
        "audio": {
          "id": "abcdef1234",
          "format": "wav",
          "data": "<base64 encoded audio data>",
          "expires_at": 1896522361,
          "transcript": "This is a sample transcript"
        }
      }
    }
  ]
}

maximum set chat completion

範例要求

HTTP

POST https://{resource}.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview


{
  "modalities": [
    "text"
  ],
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant"
    },
    {
      "role": "user",
      "content": "Explain Riemann's conjecture"
    },
    {
      "role": "assistant",
      "content": "The Riemann Conjecture is a deep mathematical conjecture around prime numbers and how they can be predicted. It was first published in Riemann's groundbreaking 1859 paper. The conjecture states that the Riemann zeta function has its zeros only at the negative even integers and complex numbers with real part 1/21. Many consider it to be the most important unsolved problem in pure mathematics. The Riemann hypothesis is a way to predict the probability that numbers in a certain range are prime that was also devised by German mathematician Bernhard Riemann in 18594."
    },
    {
      "role": "user",
      "content": "Ist it proved?"
    }
  ],
  "frequency_penalty": 0,
  "stream": true,
  "presence_penalty": 0,
  "temperature": 0,
  "top_p": 0,
  "max_tokens": 255,
  "response_format": {
    "type": "text"
  },
  "stop": [
    "<|endoftext|>"
  ],
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "my-function-name",
        "description": "A function useful to know if a theroem is proved or not"
      }
    }
  ],
  "seed": 21,
  "model": "my-model-name"
}

範例回覆

狀態碼:: 200

{
  "id": "kgousajxgzyhugvqekuswuqbk",
  "object": "chat.completion",
  "created": 18,
  "model": "my-model-name",
  "usage": {
    "completion_tokens": 19,
    "prompt_tokens": 28,
    "total_tokens": 16
  },
  "choices": [
    {
      "index": 7,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "id": "yrobmilsrugmbwukmzo",
            "type": "function",
            "function": {
              "name": "my-function-name",
              "arguments": "{ \"arg1\": \"value1\", \"arg2\": \"value2\" }"
            }
          }
        ]
      }
    }
  ]
}

minimum set chat completion

範例要求

HTTP

POST https://{resource}.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview

{
  "messages": [
    {
      "role": "user",
      "content": "Explain Riemann's conjecture"
    }
  ]
}

範例回覆

狀態碼:: 200

{
  "id": "kgousajxgzyhugvqekuswuqbk",
  "object": "chat.completion",
  "created": 1234567890,
  "model": "my-model-name",
  "usage": {
    "prompt_tokens": 205,
    "completion_tokens": 5,
    "total_tokens": 210
  },
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "The Riemann Conjecture is a deep mathematical conjecture around prime numbers and how they can be predicted. It was first published in Riemann's groundbreaking 1859 paper. The conjecture states that the Riemann zeta function has its zeros only at the negative even integers and complex numbers with real part 1/21. Many consider it to be the most important unsolved problem in pure mathematics. The Riemann hypothesis is a way to predict the probability that numbers in a certain range are prime that was also devised by German mathematician Bernhard Riemann in 18594"
      }
    }
  ]
}

定義

名稱	Description
AudioContentFormat	這是音訊可能格式的表示。
Azure.Core.Foundations.Error	error 物件。
Azure.Core.Foundations.ErrorResponse	包含錯誤詳細數據的回應。
Azure.Core.Foundations.InnerError	物件，包含有關錯誤的更特定資訊。根據 Azure REST API 指引 - https://aka.ms/AzureRestApiGuidelines#handling-errors。
ChatChoice	將單一提示完成作為整體聊天完成請求的一部分表示。通常， `n` 選擇會依照所提供的提示產生，預設值為 1。代幣限制及其他設定可能會限制產生的選擇數量。
ChatCompletions	聊天完成請求回應資料的表示方式。完成函數支援多種任務，並產生從提供提示資料延續或「完成」的文字。
ChatCompletionsAudio	模型產生的音訊表示。
ChatCompletionsModality	模型允許用於聊天完成回應的模態。
ChatCompletionsOptions	聊天完成請求的設定資訊。完成函數支援多種任務，並產生從提供提示資料延續或「完成」的文字。
ChatCompletionsResponseFormatJsonObject	一種用於聊天完成的回應格式，限制回應只能發出有效的 JSON 物件。請注意，啟用 JSON 模式時，有些 AI 模型可能需要你透過系統或使用者訊息指示模型產生 JSON。
ChatCompletionsResponseFormatJsonSchema	一種用於聊天完成的回應格式，限制回應只能發出有效的 JSON 物件，並由呼叫者指定 JSON 架構。
ChatCompletionsResponseFormatJsonSchemaDefinition	回應中所需的 JSON 架構定義，以及相關的元資料。
ChatCompletionsResponseFormatText	一種用於聊天完成的回應格式，會發出文字回應。這是預設的回應格式。
ChatCompletionsToolCall	AI 模型請求的函式工具呼叫。
ChatCompletionsToolDefinition	定義一個可以呼叫函式的聊天完成工具。
ChatRequestAssistantMessage	請求聊天訊息，代表助理的回應或行動。
ChatRequestAudioReference	參考模型產生的音訊回應。
ChatRequestSystemMessage	一個請求聊天訊息，包含系統指令，影響模型如何產生聊天完成回應。
ChatRequestToolMessage	一個請求聊天訊息，代表已設定工具的請求輸出。
ChatRequestUserMessage	一個請求聊天訊息，代表使用者對助理的輸入。
ChatResponseMessage	回應中收到的聊天訊息的表示。
ChatRole	描述聊天完成互動中訊息的預期目的。
CompletionsFinishReason	完備反應結束方式的表示。
CompletionsUsage	完成請求所處理的令牌計數表示。計數會考慮所有代幣，涵蓋提示、選擇、選擇替代、best_of世代及其他消費者。
CompletionsUsageDetails	完成過程中使用的代幣分解。
ExtraParameters	控制如果 REST API 未定義的額外參數在 JSON 請求有效載荷中傳遞，會發生什麼事。
FunctionCall	模型產生的函式名稱與參數。
FunctionDefinition	定義一個呼叫者指定的函式，聊天完成時可因應匹配的使用者輸入而呼叫。
PromptUsageDetails	提示/聊天歷史中使用的代幣分類。

AudioContentFormat

列舉型別

這是音訊可能格式的表示。

值	Description
wav	指定以 WAV 格式呈現音訊。
mp3	指定以 MP3 格式播放音訊。

Azure.Core.Foundations.Error

Object

error 物件。

名稱	類型	Description
code	string	其中一組伺服器定義的錯誤碼。
details	Azure.Core.Foundations.Error[]	導致此錯誤之特定錯誤的詳細數據陣列。
innererror	Azure.Core.Foundations.InnerError	物件，包含與目前對象有關錯誤更具體的資訊。
message	string	錯誤的人類可讀取表示法。
target	string	錯誤的目標。

Azure.Core.Foundations.ErrorResponse

Object

包含錯誤詳細數據的回應。

名稱	類型	Description
error	Azure.Core.Foundations.Error	error 物件。

Azure.Core.Foundations.InnerError

Object

物件，包含有關錯誤的更特定資訊。根據 Azure REST API 指引 - https://aka.ms/AzureRestApiGuidelines#handling-errors。

名稱	類型	Description
code	string	其中一組伺服器定義的錯誤碼。
innererror	Azure.Core.Foundations.InnerError	內部錯誤。

ChatChoice

Object

將單一提示完成作為整體聊天完成請求的一部分表示。通常， n 選擇會依照所提供的提示產生，預設值為 1。代幣限制及其他設定可能會限制產生的選擇數量。

名稱	類型	Description
finish_reason	CompletionsFinishReason	這個聊天完成選項完成生成的原因。
index	integer (int32)	與此聊天完成選項相關的排序索引。
message	ChatResponseMessage	針對特定聊天完成提示的聊天訊息。

ChatCompletions

Object

聊天完成請求回應資料的表示方式。完成函數支援多種任務，並產生從提供提示資料延續或「完成」的文字。

名稱	類型	Description
choices	ChatChoice[]	與此完備回應相關的完備選項集合。通常， `n` 選擇會依照所提供的提示產生，預設值為 1。代幣限制及其他設定可能會限制產生的選擇數量。
created	integer (unixtime)	此完成回應的第一個與生成活動相關的時間戳記，表示為自 1970 年 1 月 1 日 Unix 時代 00：00 開始以來的秒數。
id	string	與此聊天完成回應相關的唯一識別碼。
model	string	聊天完成所使用的模型。
object	enum: chat.completion	回應物件類型，永遠 `chat.completion`為。
usage	CompletionsUsage	作為完成操作一部分，處理並產生的代幣使用資訊。

ChatCompletionsAudio

Object

模型產生的音訊表示。

名稱	類型	Description
data	string	Base64 編碼音訊資料
expires_at	integer (unixtime)	Unix 時間戳記（以秒計），音訊片段在這段時間過期，且在多回合對話中無法再以 ID 來參考。
format	AudioContentFormat	音訊內容的格式。若未提供格式，則會與輸入音訊請求中使用的格式相符。
id	string	音訊回應的唯一識別碼。此值可用於聊天歷史訊息，而非傳遞完整音訊物件。
transcript	string	音頻檔案的逐字稿。

ChatCompletionsModality

列舉型別

模型允許用於聊天完成回應的模態。

值	Description
text	模型只能產生文字。
audio	模型被允許產生音訊。

ChatCompletionsOptions

Object

聊天完成請求的設定資訊。完成函數支援多種任務，並產生從提供提示資料延續或「完成」的文字。

名稱	類型	預設值	Description
frequency_penalty	number (float) minimum: -2 maximum: 2	0	根據生成的令牌在生成文本中的累積頻率影響生成的標記出現的概率的值。正值將使標記隨著頻率的增加而不太可能出現，並降低模型逐字重複相同陳述的可能性。支援範圍為 [-2， 2]。
max_tokens	integer (int32) minimum: 0		要產生的令牌數目上限。
messages	ChatRequestMessage[]: ChatRequestAssistantMessage[] ChatRequestSystemMessage[] ChatRequestToolMessage[] ChatRequestUserMessage[]		與此聊天完成請求相關的上下文訊息集合。典型使用方式從系統角色的聊天訊息開始，提供助理行為的指示，接著在使用者與助理角色間交替傳遞訊息。
modalities	ChatCompletionsModality[]		模型允許用於聊天完成回應的模態。預設模態為 `text`。表示不支援的模態組合則會產生 422 錯誤。
model	string		如果端點上有多個模型，該模型的識別碼。
presence_penalty	number (float) minimum: -2 maximum: 2	0	根據生成的令牌在生成文本中的現有存在，影響生成的標記出現的概率的值。正值將使標記在已經存在時不太可能出現，並增加模型輸出新主題的可能性。支援範圍為 [-2， 2]。
response_format	ChatCompletionsResponseFormat: ChatCompletionsResponseFormatJsonObject ChatCompletionsResponseFormatJsonSchema ChatCompletionsResponseFormatText		物件，指定模型必須輸出的格式。設定為 `{ "type": "json_schema", "json_schema": {...} }` 啟用結構化輸出，確保模型與你提供的 JSON 架構相符。設定啟用 `{ "type": "json_object" }` JSON 模式，確保模型產生的訊息是有效的 JSON。重要提示：使用 JSON 模式時，你也必須指示模型透過系統或使用者訊息自行產生 JSON。若無此，模型可能會產生無盡的空白流，直到產生達到代幣上限，導致請求長時間且看似「卡住」。另外請注意，若 `finish_reason="length"`，訊息內容可能會部分中斷，表示產生 `max_tokens` 次數或對話超過最大上下文長度。
seed	integer (int64)		若有指定，系統會盡力以確定性方式取樣，使重複請求使用相同的種子與參數應返回相同結果。決定論並非必然。
stop	string[]		一組將結束完備生成的文字序列。
stream	boolean		一個值，指示是否應該串流聊天完成。
temperature	number (float) minimum: 0 maximum: 1	0.7	要使用的取樣溫度，用於控制所產生完成的表觀創意。較高的值將使輸出更加隨機，而較低的值將使結果更加集中和確定。不建議針對相同的完成要求修改溫度和top_p，因為這兩個設定的互動很難預測。支援範圍為 [0， 1]。
tool_choice			若有指定，模型將配置可用於聊天完成回應的提供工具中。
tools	ChatCompletionsToolDefinition[]		模型可能請求呼叫的工具清單。目前僅支援函式作為工具。模型可能會回應函式呼叫請求，並以 JSON 格式提供該函式的輸入參數。
top_p	number (float) minimum: 0 maximum: 1	1	另一種以溫度為基礎的取樣方法稱為核取樣。這個值會讓模型考慮具有該機率質量的代幣結果。例如，值為 0.15 時，僅考慮機率質量前 15% 的代幣。不建議針對相同的完成要求修改溫度和top_p，因為這兩個設定的互動很難預測。支援範圍為 [0， 1]。

ChatCompletionsResponseFormatJsonObject

Object

一種用於聊天完成的回應格式，限制回應只能發出有效的 JSON 物件。請注意，啟用 JSON 模式時，有些 AI 模型可能需要你透過系統或使用者訊息指示模型產生 JSON。

名稱	類型	Description
type	string: json_object	用於聊天完成的回應格式類型。

ChatCompletionsResponseFormatJsonSchema

Object

一種用於聊天完成的回應格式，限制回應只能發出有效的 JSON 物件，並由呼叫者指定 JSON 架構。

名稱	類型	Description
json_schema	ChatCompletionsResponseFormatJsonSchemaDefinition	回應中所需的 JSON 架構定義，以及相關的元資料。
type	string: json_schema	用於聊天完成的回應格式類型。

ChatCompletionsResponseFormatJsonSchemaDefinition

Object

回應中所需的 JSON 架構定義，以及相關的元資料。

名稱	類型	預設值	Description
description	string		回應格式的描述，AI 模型用來判斷如何以此格式產生回應。
name	string		回應格式的名稱。必須是 a-z、A-Z、0-9，或包含底線和破折號，長度最多為 64。
schema			JSON 架構的定義
strict	boolean	False	是否要在產生輸出時啟用嚴格的架構遵循。若設為 true，模型將始終遵循欄位中定義 `schema` 的精確模式。當 `strict` 為時 `true`，僅支援部分 JSON 架構。

ChatCompletionsResponseFormatText

Object

一種用於聊天完成的回應格式，會發出文字回應。這是預設的回應格式。

名稱	類型	Description
type	string: text	用於聊天完成的回應格式類型。

ChatCompletionsToolCall

Object

AI 模型請求的函式工具呼叫。

名稱	類型	Description
function	FunctionCall	AI 模型所請求的函式呼叫細節。
id	string	工具呼叫的ID。
type	enum: function	工具呼叫的類型。目前僅支援 `function`。

ChatCompletionsToolDefinition

Object

定義一個可以呼叫函式的聊天完成工具。

名稱	類型	Description
function	FunctionDefinition	函數工具的函式定義細節。
type	enum: function	工具的類型。目前僅支援 `function`。

ChatRequestAssistantMessage

Object

請求聊天訊息，代表助理的回應或行動。

名稱	類型	Description
audio	ChatRequestAudioReference	多回合對話中先前回應所產生的音訊。
content	string	訊息的內容。
role	string: assistant	與此訊息相關的聊天角色。
tool_calls	ChatCompletionsToolCall[]	必須解析的工具呼叫，並將其輸出附加在後續輸入訊息中，聊天完成請求才能依配置方式解決。

ChatRequestAudioReference

Object

參考模型產生的音訊回應。

名稱	類型	Description
id	string	音訊回應的唯一識別碼。此值對應於先前音訊補全的 ID。

ChatRequestSystemMessage

Object

一個請求聊天訊息，包含系統指令，影響模型如何產生聊天完成回應。

名稱	類型	Description
content	string	系統訊息的內容。
role	string: system	與此訊息相關的聊天角色。

ChatRequestToolMessage

Object

一個請求聊天訊息，代表已設定工具的請求輸出。

名稱	類型	Description
content	string	訊息的內容。
role	string: tool	與此訊息相關的聊天角色。
tool_call_id	string	工具呼叫的 ID 由所提供的內容解析。

ChatRequestUserMessage

Object

一個請求聊天訊息，代表使用者對助理的輸入。

名稱	類型	Description
content		使用者訊息的內容，以及可選輸入類型依所選型號而異。
role	string: user	與此訊息相關的聊天角色。

ChatResponseMessage

Object

回應中收到的聊天訊息的表示。

名稱	類型	Description
audio	ChatCompletionsAudio	如果模型設定為產生音訊，則該模型作為回應訊息所產生的音訊。
content	string	訊息的內容。
role	ChatRole	與訊息相關的聊天角色。
tool_calls	ChatCompletionsToolCall[]	必須解析的工具呼叫，並將其輸出附加在後續輸入訊息中，聊天完成請求才能依配置方式解決。

ChatRole

列舉型別

描述聊天完成互動中訊息的預期目的。

值	Description
system	負責指導或設定助理行為的角色。
developer	提供指令給模型，優先於使用者訊息。
user	提供聊天完成輸入的職務。
assistant	這個角色負責回應系統指示、使用者提示的輸入。
tool	代表聊天完成作業中擴充工具活動的角色。

CompletionsFinishReason

列舉型別

完備反應結束方式的表示。

值	Description
stop	完成活動正常結束，並達到代幣生成的結束階段。
length	完成完成後，代幣限制會用盡，才能完成生產。
content_filter	完成事件產生的回應被認定為可能敏感，符合內容審核政策。
tool_calls	完成時，模型呼叫提供的輸出工具。

CompletionsUsage

Object

完成請求所處理的令牌計數表示。計數會考慮所有代幣，涵蓋提示、選擇、選擇替代、best_of世代及其他消費者。

名稱	類型	Description
completion_tokens	integer (int32)	所有完成物排放中產生的代幣數量。
completion_tokens_details	CompletionsUsageDetails	完成過程中使用的代幣分解。
prompt_tokens	integer (int32)	完成請求所提供提示中的代幣數量。
prompt_tokens_details	PromptUsageDetails	提示/聊天紀錄中使用的代幣分布。
total_tokens	integer (int32)	完成請求與回應所處理的代幣總數。

CompletionsUsageDetails

Object

完成過程中使用的代幣分解。

名稱	類型	Description
audio_tokens	integer (int32)	對應音訊輸入的標記數量。
total_tokens	integer (int32)	完成請求與回應所處理的代幣總數。

ExtraParameters

列舉型別

控制如果 REST API 未定義的額外參數在 JSON 請求有效載荷中傳遞，會發生什麼事。

值	Description
error	如果服務偵測到請求有效載荷中有額外參數，則會出錯。這是服務的預設值。
drop	服務會忽略（丟棄）請求有效載荷中的額外參數。它只會將已知參數傳給後端 AI 模型。
pass-through	該服務會將額外參數傳給後端 AI 模型。

FunctionCall

Object

模型產生的函式名稱與參數。

名稱	類型	Description
arguments	string	呼叫函式的參數，由模型以 JSON 格式產生。請注意，模型並不總是產生有效的 JSON，且可能會產生未由函式結構定義的參數。在呼叫函式前，先驗證程式碼中的參數。
name	string	要呼叫的函式名稱。

FunctionDefinition

Object

定義一個呼叫者指定的函式，聊天完成時可因應匹配的使用者輸入而呼叫。

名稱	類型	Description
description	string	描述這個函數的功能。模型在選擇函數並解釋其參數時，會使用此描述。
name	string	要呼叫之函式的名稱。
parameters		函式所接受的參數，描述為 JSON Schema 物件。

PromptUsageDetails

Object

提示/聊天歷史中使用的代幣分類。

名稱	類型	Description
audio_tokens	integer (int32)	對應音訊輸入的標記數量。
cached_tokens	integer (int32)	快取的代幣總數。