Узнайте, как использовать режим JSON

Режим JSON позволяет задать формат отклика моделей для возврата допустимого объекта JSON в рамках завершения чата. При создании допустимого JSON было возможно ранее, могут возникнуть проблемы с согласованность ответов, что приведет к созданию недопустимых объектов JSON.

Примечание.

Хотя режим JSON по-прежнему поддерживается, по возможности рекомендуется использовать структурированные выходные данные. Как и структурированные выходные данные в режиме JSON, создают допустимые json, но с добавленным преимуществом, которое можно ограничить моделью для использования определенной схемы JSON.

Примечание.

В настоящее время структурированные выходные данные не поддерживаются при переносе собственного сценария данных .

Поддержка режима JSON

В настоящее время режим JSON поддерживается только в следующих моделях:

Поддерживаемые модели

• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (1106-preview)
• gpt-4 (0125-preview)
• gpt-4o
• gpt-4o-mini

поддержка API

Поддержка режима JSON была добавлена в версию API 2023-12-01-preview

Пример

Python

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-03-01-preview"
)

response = client.chat.completions.create(
  model="YOUR-MODEL_DEPLOYMENT_NAME", # Model = should match the deployment name you chose for your model deployment
  response_format={ "type": "json_object" },
  messages=[
    {"role": "system", "content": "You are a helpful assistant designed to output JSON."},
    {"role": "user", "content": "Who won the world series in 2020?"}
  ]
)
print(response.choices[0].message.content)

Выходные данные

{
  "winner": "Los Angeles Dodgers",
  "event": "World Series",
  "year": 2020
}

PowerShell

В этом примере пользователь запрашивает историческую информацию в определенной схеме JSON, так как планирует использовать выходные данные для дальнейшего скрипта.

$openai = @{
   api_key     = $Env:AZURE_OPENAI_API_KEY
   api_base    = $Env:AZURE_OPENAI_ENDPOINT # like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
   api_version = '2024-03-01-preview' # may change in the future
   name        = 'YOUR-DEPLOYMENT-NAME-HERE' # name you chose for your deployment
}

$headers = @{
  'api-key' = $openai.api_key
}

$messages  = @()
$messages += @{
  role     = 'system'
  content  = 'You are a helpful assistant designed to output JSON.'
}
$messages += @{
  role     = 'user'
  content  = 'Who threw the final pitch during the world series each year from 1979 to 1989?'
}
$messages += @{
  role     = 'user'
  content  = 'Respond using schema. response:{year, team, player, player_height}.'
}

$body      = @{
  response_format = @{type = 'json_object'}
  messages = $messages
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/chat/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
$response.choices[0].message.content

Выходные данные

Возможность вывода JSON упрощает преобразование ответа в объект .NET в PowerShell. Передайте данные через канал для выполнения дополнительных действий по скриптам | , таких как сортировка.

if ($response.choices[0].finish_reason -eq 'stop') {
  $response.choices[0].message.content | ConvertFrom-Json | ForEach-Object response | Sort player_height -Descending
} else { write-warning 'the JSON response was incomplete'}

year team                  player           player_height
---- ----                  ------           -------------
1979 Pittsburgh Pirates    Kent Tekulve     6' 4"
1984 Detroit Tigers        Willie Hernandez 6' 3"
1988 Los Angeles Dodgers   Orel Hershiser   6' 3"
1982 St. Louis Cardinals   Bruce Sutter     6' 2"
1985 Kansas City Royals    Dan Quisenberry  6' 2"
1986 New York Mets         Jesse Orosco     6' 2"
1989 Oakland Athletics     Dennis Eckersley 6' 2"
1981 Los Angeles Dodgers   Steve Howe       6' 1"
1980 Philadelphia Phillies Tug McGraw       6' 0"
1987 Minnesota Twins       Jeff Reardon     6' 0"
1983 Baltimore Orioles     Tippy Martinez   5' 10"

Существует два ключевых фактора, которые должны присутствовать для успешного использования режима JSON:

• response_format={ "type": "json_object" }
• Мы сказали модели выводить JSON в составе системного сообщения.

В том числе руководство по модели, которая должна создавать JSON в рамках беседы с сообщениями, требуется. Рекомендуется добавить инструкцию в составе системного сообщения. В соответствии с ошибкой OpenAI для добавления этой инструкции модель может привести к "созданию непрерывного потока пробелов и запрос может выполняться постоянно, пока он не достигнет предела маркера".

Не указать json в сообщениях возвращается следующее:

Выходные данные

BadRequestError: Error code: 400 - {'error': {'message': "'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.", 'type': 'invalid_request_error', 'param': 'messages', 'code': None}}

Другие вопросы

Перед анализом ответа необходимо проверить finish_reason значение length . Модель может создать частичный JSON. Это означает, что выходные данные модели были больше доступных max_tokens, которые были заданы как часть запроса, или сам разговор превысил ограничение маркера.

В режиме JSON создается недопустимый код JSON и синтаксический анализ без ошибок. Однако выходные данные не будут соответствовать определенной схеме, даже если они запрошены в запросе.