OpenAITelemetryPlugin

Naplózza az OpenAI telemetriai adatait az elfogt OpenAI-kompatibilis kérésekből és válaszokból.

Beépülő modulpéldány definíciója

{
  "name": "OpenAITelemetryPlugin",
  "enabled": true,
  "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
  "configSection": "openAITelemetryPlugin"
}

Példa konfigurációra

{
  "openAITelemetryPlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/openaitelemetryplugin.schema.json",
    "application": "My app",
    "includeCosts": true,
    "pricesFile": "prices.json"
  }
}

Konfigurációs tulajdonságok

Ingatlan	Leírás	Alapértelmezett
application	A kéréseket kikérő alkalmazás neve. Be van jelentkezve a telemetriai adatokba, hogy alkalmazásonként csoportosítsa a használatot.	default
currency	Az a pénznem, amelyben az árakat naplózza. Diagramokon jelenik meg.	USD
environment	Környezet, amelyben az alkalmazás fut. Be van jelentkezve a telemetriai adatokba, hogy környezet szerint csoportosítsa a használatot.	development
exporterEndpoint	Az OpenTelemetry-végpont URL-címe az adatok elküldéséhez. HTTP Protobuf-végpontnak kell lennie.	http://localhost:4318
includeCompletion	Adja meg, hogy a befejezés szerepeljen-e a telemetriai adatokban.	true
includeCosts	A költségek belefoglalása a telemetriai adatokba. Meg kell adnia az árfájlt.	false
includePrompt	A kérdés belefoglalása a telemetriai adatokba.	true
pricesFile	A fájl elérési útja árinformációkkal.	null

Példa az árak fájlra

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/openaitelemetryplugin.pricesfile.schema.json",
  "prices": {
    "gpt-3.5-turbo": {
      "input": 0.0015,
      "output": 0.002
    },
    "gpt-4": {
      "input": 0.03,
      "output": 0.06
    }
  }
}

Árak fájltulajdonságok

Ingatlan	Leírás	Alapértelmezett
prices	A modellek ára. A kulcs a modell neve, az érték pedig a modellárak objektum.	{}

Modellárak objektum

Minden modellárak objektum a következő tulajdonságokkal rendelkezik:

Ingatlan	Leírás	Kötelező	Alapértelmezett érték	Mintaérték
input	A bemeneti/parancssori jogkivonatok millió jogkivonatonkénti ára.	igen	0.0	0.03
output	A kimeneti/befejezési jogkivonatok milliós ára.	igen	0.0	0.06

Parancssori beállítások

Egyik sem

Megjegyzések

Az OpenAITelemetryPlugin az OpenAI-kompatibilis kérésekből és válaszokból naplózza az OpenTelemetry-adatokat. Anélkül, hogy openTelemetria használatával kellene rendszereznie az alkalmazást, gyorsan megértheti, hogyan használja az alkalmazás a nagy nyelvi modelleket. Ezenkívül ha megadja a használt modellekhez tartozó árfájlt, láthatja az alkalmazás által felmerülő LLM-hez kapcsolódó költségeket is.

Minden elfogt kérelem és válasz esetében a beépülő modul egy-egy időtartamot naplóz. Emellett három metrikát naplóz:

• gen_ai.client.token.usage - a kérésben és a válaszban használt jogkivonatok száma
• gen_ai.usage.cost - a kérésben és a válaszban használt jogkivonatok költsége
• gen_ai.usage.total_cost - az összes kérés teljes költsége egy munkamenet során

Fontos

A költségmetrikákat csak akkor naplózza a rendszer, ha a tulajdonságot az includeCosts árfájlra true állítja be és adja meg. Ellenkező esetben a beépülő modul nem naplózza a metrikákat.

A rögzített telemetriai adatok megtekintéséhez bármely OpenTelemetry-kompatibilis irányítópultot használhat. Használhatja például a .NET Aspire irányítópultot vagy az OpenLIT-et.

Fontos

Az adatok megtekintéséhez indítsa el az irányítópultot, mielőtt OpenAI-kompatibilis kérést ad ki. Ellenkező esetben nincs OpenTelemetry-gyűjtő a beépülő modul által küldött adatok fogadásához.

Következő lépés

A nyelvi modell használatának ismertetése