InferenceScope class
Gir OpenTelemetry sporingsomfang for generative AI-slutningsoperasjoner.
- Utvider
Metoder
| record |
Registrerer sluttårsakene for telemetrisporing. |
| record |
Registrerer inndatameldingene for telemetrisporing.
Godtar vanlige strenger (automatisk innpakket som OTEL ChatMessage med rolle |
| record |
Registrerer antall inndatatokener for telemetrisporing. |
| record |
Registrerer utdatameldingene for telemetrisporing.
Godtar vanlige strenger (automatisk innpakket som OTEL OutputMessage med rolle |
| record |
Registrerer antall utdatatokener for telemetrisporing. |
| start(Request, Inference |
Oppretter og starter et nytt omfang for slutningssporing. |
Arvede metoder
| dispose() | Eldre fjerningsmetode for kompatibilitet |
| get |
Henter span-konteksten for dette omfanget. Dette kan brukes til å opprette en ParentSpanRef for eksplisitt overordnet-underordnet kobling på tvers av aynkrone grenser. |
| record |
Registrerer flere attributtnøkkel-/verdipar for telemetrisporing. |
| record |
Registrerer en avlysningshendelse i tidsrommet. Angir span-statusen til ERROR med årsaken til kanselleringen, og merker feiltypen som TaskCanceledException. |
| record |
Registrerer en feil som oppstod under operasjonen |
| set |
Angir et egendefinert sluttidspunkt for omfanget.
Når den er angitt, sendes denne verdien til i stedet for å |
| with |
Gjør dette tidsrommet aktivt for varigheten av den aynkrone tilbakeringingskjøringen |
Metodedetaljer
recordFinishReasons(string[])
Registrerer sluttårsakene for telemetrisporing.
function recordFinishReasons(finishReasons: string[])
Parametere
- finishReasons
-
string[]
Matrise av sluttårsaker
recordInputMessages(InputMessagesParam)
Registrerer inndatameldingene for telemetrisporing.
Godtar vanlige strenger (automatisk innpakket som OTEL ChatMessage med rolle user) eller en versjon av InputMessages wrapper.
function recordInputMessages(messages: InputMessagesParam)
Parametere
- messages
- InputMessagesParam
Matrise med inndatameldingsstrenger eller en InputMessages wrapper
recordInputTokens(number)
Registrerer antall inndatatokener for telemetrisporing.
function recordInputTokens(inputTokens: number)
Parametere
- inputTokens
-
number
Antall inndatatokener
recordOutputMessages(OutputMessagesParam)
Registrerer utdatameldingene for telemetrisporing.
Godtar vanlige strenger (automatisk innpakket som OTEL OutputMessage med rolle assistant) eller en versjon av OutputMessages wrapper.
function recordOutputMessages(messages: OutputMessagesParam)
Parametere
- messages
- OutputMessagesParam
Matrise med utdatameldingsstrenger eller en Wrapper for OutputMessages
recordOutputTokens(number)
Registrerer antall utdatatokener for telemetrisporing.
function recordOutputTokens(outputTokens: number)
Parametere
- outputTokens
-
number
Antall utdatatokener
start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)
Oppretter og starter et nytt omfang for slutningssporing.
static function start(request: Request, details: InferenceDetails, agentDetails: AgentDetails, userDetails?: UserDetails, spanDetails?: SpanDetails): InferenceScope
Parametere
- request
- Request
Be om nyttelast (kanal, conversationId, innhold, økt-ID).
- details
- InferenceDetails
Detaljer for slutningsanrop (modell, leverandør, tokener osv.).
- agentDetails
- AgentDetails
Agenten utfører slutningen. Leier-ID er avledet fra agentDetails.tenantId.
- userDetails
- UserDetails
Valgfri identitet for menneskelig innringer.
- spanDetails
- SpanDetails
Valgfri span-konfigurasjon (parentContext, startTime, endTime, spanLinks). Obs! spanKind ignoreres; InferenceScope bruker SpanKind.CLIENTalltid .
Returnerer
En ny InferenceScope-forekomst
Arvede metodedetaljer
dispose()
getSpanContext()
Henter span-konteksten for dette omfanget. Dette kan brukes til å opprette en ParentSpanRef for eksplisitt overordnet-underordnet kobling på tvers av aynkrone grenser.
function getSpanContext(): SpanContext
Returnerer
SpanContext
SpanContext som inneholder traceId og spanId
Arvet fraOpenTelemetryScope.getSpanContext
recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)
Registrerer flere attributtnøkkel-/verdipar for telemetrisporing.
function recordAttributes(attributes: undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)
Parametere
- attributes
-
undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>
Samling av attributtnøkkel-/verdipar (matrise eller iterbar for [nøkkel, verdi] eller objektkart).
Arvet fraOpenTelemetryScope.recordAttributes
recordCancellation(string)
Registrerer en avlysningshendelse i tidsrommet. Angir span-statusen til ERROR med årsaken til kanselleringen, og merker feiltypen som TaskCanceledException.
function recordCancellation(reason?: string)
Parametere
- reason
-
string
Valgfri annulleringsårsak. Standardinnstillingene for «Oppgaven ble avbrutt».
recordError(Error)
Registrerer en feil som oppstod under operasjonen
function recordError(error: Error)
Parametere
- error
-
Error
Feilen som oppstod
Arvet fraOpenTelemetryScope.recordError
setEndTime(TimeInput)
Angir et egendefinert sluttidspunkt for omfanget.
Når den er angitt, sendes denne verdien til i stedet for å span.end() bruke gjeldende veggklokketid.
Dette er nyttig når det faktiske sluttidspunktet for operasjonen er kjent før omfanget fjernes.
function setEndTime(endTime: TimeInput)
Parametere
- endTime
-
TimeInput
Sluttidspunktet som millisekunder siden epoke, dato eller hrtime tuppel.
Arvet fraOpenTelemetryScope.setEndTime
withActiveSpanAsync<T>(() => Promise<T>)
Gjør dette tidsrommet aktivt for varigheten av den aynkrone tilbakeringingskjøringen
function withActiveSpanAsync<T>(callback: () => Promise<T>): Promise<T>
Parametere
- callback
-
() => Promise<T>
Returnerer
Promise<T>