Aprenda a usar el modo JSON

El modo JSON permite establecer el formato de respuesta de los modelos para devolver un objeto JSON válido como parte de una finalización del chat. Aunque la generación de JSON válido era posible antes, podría haber problemas con la coherencia de la respuesta que provocaría que se generaran objetos JSON no válidos.

Compatibilidad con el modo JSON

El modo JSON solo es compatible actualmente con los siguientes modelos:

Modelos admitidos

• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (1106-Preview)
• gpt-4 (0125-Preview)

Compatibilidad con API

La compatibilidad con el modo JSON se agregó por primera vez en la versión de API 2023-12-01-preview

Ejemplo

Python

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-03-01-preview"
)

response = client.chat.completions.create(
  model="gpt-4-0125-Preview", # Model = should match the deployment name you chose for your 0125-Preview model deployment
  response_format={ "type": "json_object" },
  messages=[
    {"role": "system", "content": "You are a helpful assistant designed to output JSON."},
    {"role": "user", "content": "Who won the world series in 2020?"}
  ]
)
print(response.choices[0].message.content)

Output

{
  "winner": "Los Angeles Dodgers",
  "event": "World Series",
  "year": 2020
}

PowerShell

En este ejemplo, el usuario solicita información histórica en un esquema JSON específico porque planea usar la salida para crear scripts adicionales.

$openai = @{
   api_key     = $Env:AZURE_OPENAI_API_KEY
   api_base    = $Env:AZURE_OPENAI_ENDPOINT # like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
   api_version = '2024-03-01-preview' # may change in the future
   name        = 'YOUR-DEPLOYMENT-NAME-HERE' # name you chose for your deployment
}

$headers = @{
  'api-key' = $openai.api_key
}

$messages  = @()
$messages += @{
  role     = 'system'
  content  = 'You are a helpful assistant designed to output JSON.'
}
$messages += @{
  role     = 'user'
  content  = 'Who threw the final pitch during the world series each year from 1979 to 1989?'
}
$messages += @{
  role     = 'user'
  content  = 'Respond using schema. response:{year, team, player, player_height}.'
}

$body      = @{
  response_format = @{type = 'json_object'}
  messages = $messages
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/chat/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
$response.choices[0].message.content

Output

La funcionalidad de salida JSON facilita a PowerShell la conversión de la respuesta en un objeto .NET. Pase los datos a través de una canalización de | para ejecutar más pasos de scripting, como la ordenación.

if ($response.choices[0].finish_reason -eq 'stop') {
  $response.choices[0].message.content | ConvertFrom-Json | ForEach-Object response | Sort player_height -Descending
} else { write-warning 'the JSON response was incomplete'}

year team                  player           player_height
---- ----                  ------           -------------
1979 Pittsburgh Pirates    Kent Tekulve     6' 4"
1984 Detroit Tigers        Willie Hernandez 6' 3"
1988 Los Angeles Dodgers   Orel Hershiser   6' 3"
1982 St. Louis Cardinals   Bruce Sutter     6' 2"
1985 Kansas City Royals    Dan Quisenberry  6' 2"
1986 New York Mets         Jesse Orosco     6' 2"
1989 Oakland Athletics     Dennis Eckersley 6' 2"
1981 Los Angeles Dodgers   Steve Howe       6' 1"
1980 Philadelphia Phillies Tug McGraw       6' 0"
1987 Minnesota Twins       Jeff Reardon     6' 0"
1983 Baltimore Orioles     Tippy Martinez   5' 10"

Hay dos factores clave que deben estar presentes para usar correctamente el modo JSON:

• response_format={ "type": "json_object" }
• Hemos dicho al modelo que genere JSON como parte del mensaje del sistema.

Se requieren instrucciones para el modelo que debe generar JSON como parte de la conversación de mensajes. Se recomienda agregar instrucciones como parte del mensaje del sistema. Según el error de OpenAI, agregar esta instrucción puede provocar que el modelo "genere una secuencia de espacios en blanco no deseada y la solicitud se ejecute continuamente hasta que alcance el límite del token".

Si no se incluye "JSON" en los mensajes se devuelve:

Output

BadRequestError: Error code: 400 - {'error': {'message': "'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.", 'type': 'invalid_request_error', 'param': 'messages', 'code': None}}

Otras consideraciones

Debe comprobar finish_reason para el valor length antes de analizar la respuesta. El modelo puede generar JSON parcial. Esto significa que la salida del modelo era mayor que la max_tokens disponible que se establecieron como parte de la solicitud, o la propia conversación superó el límite de tokens.

El modo JSON genera JSON que es válido y analiza sin errores. Sin embargo, no hay ninguna garantía de que la salida coincida con un esquema específico, incluso si se solicita en el mensaje.