Erfahren Sie, wie Sie den JSON-Modus verwenden

Im JSON-Modus können Sie das Antwortformat der Modelle festlegen, um ein gültiges JSON-Objekt als Teil eines Chatabschlusses zurückzugeben. Bisher war es zwar möglich, gültiges JSON zu generieren, aber es konnte Probleme mit der Antwortkonsistenz geben, die dazu führten, dass ungültige JSON-Objekte generiert wurden.

Unterstützung des JSON-Modus

Der JSON-Modus wird derzeit nur mit folgenden Modellen unterstützt:

Unterstützte Modelle

• gpt-35-turbo (1106)
• gpt-35-turbo (0125)
• gpt-4 (1106-Vorschau)
• gpt-4 (0125-Preview)

API-Unterstützung

Die Unterstützung für den JSON-Modus wurde zuerst in der API-Version 2023-12-01-preview hinzugefügt.

Beispiel

Python

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-03-01-preview"
)

response = client.chat.completions.create(
  model="gpt-4-0125-Preview", # Model = should match the deployment name you chose for your 0125-Preview model deployment
  response_format={ "type": "json_object" },
  messages=[
    {"role": "system", "content": "You are a helpful assistant designed to output JSON."},
    {"role": "user", "content": "Who won the world series in 2020?"}
  ]
)
print(response.choices[0].message.content)

Output

{
  "winner": "Los Angeles Dodgers",
  "event": "World Series",
  "year": 2020
}

PowerShell

In diesem Beispiel fragt ein*e Benutzer*in nach Verlaufsdaten in einem bestimmten JSON-Schema, da er oder sie die Ausgabe für weitere Skripts verwenden möchte.

$openai = @{
   api_key     = $Env:AZURE_OPENAI_API_KEY
   api_base    = $Env:AZURE_OPENAI_ENDPOINT # like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
   api_version = '2024-03-01-preview' # may change in the future
   name        = 'YOUR-DEPLOYMENT-NAME-HERE' # name you chose for your deployment
}

$headers = @{
  'api-key' = $openai.api_key
}

$messages  = @()
$messages += @{
  role     = 'system'
  content  = 'You are a helpful assistant designed to output JSON.'
}
$messages += @{
  role     = 'user'
  content  = 'Who threw the final pitch during the world series each year from 1979 to 1989?'
}
$messages += @{
  role     = 'user'
  content  = 'Respond using schema. response:{year, team, player, player_height}.'
}

$body      = @{
  response_format = @{type = 'json_object'}
  messages = $messages
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/chat/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
$response.choices[0].message.content

Output

Die JSON-Ausgabefunktion erleichtert PowerShell das Konvertieren der Antwort in ein .NET-Objekt. Übergeben Sie die Daten über eine |-Pipe, um weitere Skriptingschritte wie das Sortieren auszuführen.

if ($response.choices[0].finish_reason -eq 'stop') {
  $response.choices[0].message.content | ConvertFrom-Json | ForEach-Object response | Sort player_height -Descending
} else { write-warning 'the JSON response was incomplete'}

year team                  player           player_height
---- ----                  ------           -------------
1979 Pittsburgh Pirates    Kent Tekulve     6' 4"
1984 Detroit Tigers        Willie Hernandez 6' 3"
1988 Los Angeles Dodgers   Orel Hershiser   6' 3"
1982 St. Louis Cardinals   Bruce Sutter     6' 2"
1985 Kansas City Royals    Dan Quisenberry  6' 2"
1986 New York Mets         Jesse Orosco     6' 2"
1989 Oakland Athletics     Dennis Eckersley 6' 2"
1981 Los Angeles Dodgers   Steve Howe       6' 1"
1980 Philadelphia Phillies Tug McGraw       6' 0"
1987 Minnesota Twins       Jeff Reardon     6' 0"
1983 Baltimore Orioles     Tippy Martinez   5' 10"

Es gibt zwei wichtige Faktoren, die vorhanden sein müssen, um den JSON-Modus erfolgreich zu verwenden:

• response_format={ "type": "json_object" }
• Wir haben dem Modell mitgeteilt, JSON als Teil der Systemmeldung auszugeben.

Das Einschließen von Anleitungen für das Modell, das JSON als Teil der Nachrichtenunterhaltung erzeugen soll, ist erforderlich. Es wird empfohlen, diese Anweisung zur Systemmeldung hinzuzufügen. Laut OpenAI kann das Versäumnis, diese Anweisung hinzuzufügen, dazu führen, dass das Modell „einen nicht enden wollenden Strom von Leerzeichen generiert und die Anfrage ununterbrochen läuft, bis sie das Tokenlimit erreicht.“

Fehler beim Einschließen von „JSON“ in die Nachrichten:

Output

BadRequestError: Error code: 400 - {'error': {'message': "'messages' must contain the word 'json' in some form, to use 'response_format' of type 'json_object'.", 'type': 'invalid_request_error', 'param': 'messages', 'code': None}}

Andere Aspekte

Sie sollten finish_reason auf den Wert length überprüfen, bevor Sie die Antwort analysieren. Das Modell generiert möglicherweise eine partielle JSON-Ausgabe. Dies bedeutet, dass die Ausgabe des Modells größer war als die verfügbaren max_tokens, die als Teil der Anfrage festgelegt wurden, oder die Konversation selbst hat das Token-Limit überschritten.

Der JSON-Modus erzeugt JSON-Code, der gültig ist und ohne Fehler analysiert wird. Es gibt jedoch keine Garantie dafür, dass die Ausgabe einem bestimmten Schema entspricht, auch wenn sie im Prompt angefordert wird.