OpenAITelemetryPlugin

Registreert OpenAI-telemetriegegevens van de onderschepte OpenAI-compatibele aanvragen en -antwoorden.

Configuratievoorbeeld

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.4.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAITelemetryPlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "openAITelemetryPlugin"
    }
  ],
  "openAITelemetryPlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.4.0/openaitelemetryplugin.schema.json",
    "application": "My app",
    "includeCosts": true,
    "pricesFile": "prices.json"
  }
}

Configuratie-eigenschappen

Vastgoed	Beschrijving	Verstek
application	Naam van de toepassing die de aanvragen uitgeeft. Aangemeld bij de telemetriegegevens om het gebruik per toepassing te groeperen.	default
currency	De valuta waarin de prijzen worden geregistreerd. Weergegeven in grafieken.	USD
environment	Omgeving waarin de toepassing wordt uitgevoerd. Aangemeld bij de telemetriegegevens om het gebruik per omgeving te groeperen.	development
exporterEndpoint	De URL van het OpenTelemetry-eindpunt waarnaar de gegevens moeten worden verzonden. Moet een HTTP Protobuf-eindpunt zijn.	http://localhost:4318
includeCompletion	Of de voltooiing in de telemetriegegevens moet worden opgenomen.	true
includeCosts	Of de kosten in de telemetriegegevens moeten worden opgenomen. Hiervoor moet u het prijzenbestand opgeven.	false
includePrompt	Of de prompt moet worden opgenomen in de telemetriegegevens.	true
pricesFile	Pad naar het bestand met prijsinformatie.	null

Voorbeeld van prijzenbestand

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.4.0/openaitelemetryplugin.pricesfile.schema.json",
  "prices": {
    "gpt-3.5-turbo": {
      "input": 0.0015,
      "output": 0.002
    },
    "gpt-4": {
      "input": 0.03,
      "output": 0.06,
      "cached_input": 0.015
    }
  }
}

Eigenschappen van prijzenbestand

Vastgoed	Beschrijving	Verstek
prices	Prijzen voor de modellen. De sleutel is de modelnaam en de waarde is het modelprijsobject.	{}

Modelprijzenobject

Elk modelprijzenobject heeft de volgende eigenschappen:

Vastgoed	Beschrijving	Verplicht	Standaardwaarde	Voorbeeldwaarde
input	De prijs per miljoen tokens voor invoer-/prompttokens.	ja	0.0	0.03
output	De prijs per miljoen tokens voor uitvoer-/voltooiingstokens.	ja	0.0	0.06
cached_input	De prijs per miljoen tokens voor invoer-/prompttokens in de cache.	nee	0.0	0.015

Opdrachtregelopties

Geen

Opmerkingen

De OpenAITelemetryPlugin registreert OpenTelemetry-gegevens van de openAI-compatibele aanvragen en antwoorden die worden onderschept. Zonder dat u uw toepassing hoeft te instrumenteren met OpenTelemetry, kunt u snel begrijpen hoe uw toepassing gebruikmaakt van grote taalmodellen. Als u bovendien een prijsbestand opgeeft voor de modellen die u gebruikt, kunt u ook de kosten voor LLM zien die uw toepassing in rekening heeft gebracht.

Voor elke onderschepte aanvraag en elk onderschepte reactie registreert de invoegtoepassing een bereik met de volgende kenmerken:

• gen_ai.request.model - de naam van het taalmodel dat is opgegeven in de aanvraag
• gen_ai.response.model - de naam van het taalmodel dat is opgegeven in het antwoord

Daarnaast worden er drie metrische gegevens bij elkaar opgeslagen:

• gen_ai.client.token.usage - het aantal tokens dat wordt gebruikt in de aanvraag en het antwoord
• gen_ai.usage.cost - de kosten van de tokens die worden gebruikt in de aanvraag en het antwoord
• gen_ai.usage.total_cost - de totale kosten van alle aanvragen gedurende de loop van een sessie

Belangrijk

De metrische kostengegevens worden alleen geregistreerd als u de includeCosts eigenschap true instelt en het prijsbestand opgeeft. Anders worden de metrische gegevens niet door de invoegtoepassing vastgelegd.

Als u de opgenomen telemetriegegevens wilt bekijken, kunt u elk openTelemetry-compatibel dashboard gebruiken. U kunt bijvoorbeeld het Aspire-dashboard of OpenLIT gebruiken.

Belangrijk

Als u de gegevens wilt bekijken, start u het dashboard voordat u een openAI-compatibele aanvraag uitgeeft. Anders is er geen OpenTelemetry-collector om de gegevens te ontvangen die de invoegtoepassing verzendt.

Volgende stap

Inzicht in het gebruik van taalmodellen