InferenceScope class

Gir OpenTelemetry sporingsomfang for generative AI-slutningsoperasjoner.

Utvider

Metoder

recordFinishReasons(string[])

Registrerer sluttårsakene for telemetrisporing.

recordInputMessages(InputMessagesParam)

Registrerer inndatameldingene for telemetrisporing. Godtar vanlige strenger (automatisk innpakket som OTEL ChatMessage med rolle user) eller en versjon av InputMessages wrapper.

recordInputTokens(number)

Registrerer antall inndatatokener for telemetrisporing.

recordOutputMessages(OutputMessagesParam)

Registrerer utdatameldingene for telemetrisporing. Godtar vanlige strenger (automatisk innpakket som OTEL OutputMessage med rolle assistant) eller en versjon av OutputMessages wrapper.

recordOutputTokens(number)

Registrerer antall utdatatokener for telemetrisporing.

start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)

Oppretter og starter et nytt omfang for slutningssporing.

Arvede metoder

dispose()

Eldre fjerningsmetode for kompatibilitet

getSpanContext()

Henter span-konteksten for dette omfanget. Dette kan brukes til å opprette en ParentSpanRef for eksplisitt overordnet-underordnet kobling på tvers av aynkrone grenser.

recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

Registrerer flere attributtnøkkel-/verdipar for telemetrisporing.

recordCancellation(string)

Registrerer en avlysningshendelse i tidsrommet. Angir span-statusen til ERROR med årsaken til kanselleringen, og merker feiltypen som TaskCanceledException.

recordError(Error)

Registrerer en feil som oppstod under operasjonen

setEndTime(TimeInput)

Angir et egendefinert sluttidspunkt for omfanget. Når den er angitt, sendes denne verdien til i stedet for å span.end() bruke gjeldende veggklokketid. Dette er nyttig når det faktiske sluttidspunktet for operasjonen er kjent før omfanget fjernes.

withActiveSpanAsync<T>(() => Promise<T>)

Gjør dette tidsrommet aktivt for varigheten av den aynkrone tilbakeringingskjøringen

Metodedetaljer

recordFinishReasons(string[])

Registrerer sluttårsakene for telemetrisporing.

function recordFinishReasons(finishReasons: string[])

Parametere

finishReasons

string[]

Matrise av sluttårsaker

recordInputMessages(InputMessagesParam)

Registrerer inndatameldingene for telemetrisporing. Godtar vanlige strenger (automatisk innpakket som OTEL ChatMessage med rolle user) eller en versjon av InputMessages wrapper.

function recordInputMessages(messages: InputMessagesParam)

Parametere

messages
InputMessagesParam

Matrise med inndatameldingsstrenger eller en InputMessages wrapper

recordInputTokens(number)

Registrerer antall inndatatokener for telemetrisporing.

function recordInputTokens(inputTokens: number)

Parametere

inputTokens

number

Antall inndatatokener

recordOutputMessages(OutputMessagesParam)

Registrerer utdatameldingene for telemetrisporing. Godtar vanlige strenger (automatisk innpakket som OTEL OutputMessage med rolle assistant) eller en versjon av OutputMessages wrapper.

function recordOutputMessages(messages: OutputMessagesParam)

Parametere

messages
OutputMessagesParam

Matrise med utdatameldingsstrenger eller en Wrapper for OutputMessages

recordOutputTokens(number)

Registrerer antall utdatatokener for telemetrisporing.

function recordOutputTokens(outputTokens: number)

Parametere

outputTokens

number

Antall utdatatokener

start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)

Oppretter og starter et nytt omfang for slutningssporing.

static function start(request: Request, details: InferenceDetails, agentDetails: AgentDetails, userDetails?: UserDetails, spanDetails?: SpanDetails): InferenceScope

Parametere

request
Request

Be om nyttelast (kanal, conversationId, innhold, økt-ID).

details
InferenceDetails

Detaljer for slutningsanrop (modell, leverandør, tokener osv.).

agentDetails
AgentDetails

Agenten utfører slutningen. Leier-ID er avledet fra agentDetails.tenantId.

userDetails
UserDetails

Valgfri identitet for menneskelig innringer.

spanDetails
SpanDetails

Valgfri span-konfigurasjon (parentContext, startTime, endTime, spanLinks). Obs! spanKind ignoreres; InferenceScope bruker SpanKind.CLIENTalltid .

Returnerer

En ny InferenceScope-forekomst

Arvede metodedetaljer

dispose()

Eldre fjerningsmetode for kompatibilitet

function dispose()

Arvet fraOpenTelemetryScope.dispose

getSpanContext()

Henter span-konteksten for dette omfanget. Dette kan brukes til å opprette en ParentSpanRef for eksplisitt overordnet-underordnet kobling på tvers av aynkrone grenser.

function getSpanContext(): SpanContext

Returnerer

SpanContext

SpanContext som inneholder traceId og spanId

Arvet fraOpenTelemetryScope.getSpanContext

recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

Registrerer flere attributtnøkkel-/verdipar for telemetrisporing.

function recordAttributes(attributes: undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

Parametere

attributes

undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>

Samling av attributtnøkkel-/verdipar (matrise eller iterbar for [nøkkel, verdi] eller objektkart).

Arvet fraOpenTelemetryScope.recordAttributes

recordCancellation(string)

Registrerer en avlysningshendelse i tidsrommet. Angir span-statusen til ERROR med årsaken til kanselleringen, og merker feiltypen som TaskCanceledException.

function recordCancellation(reason?: string)

Parametere

reason

string

Valgfri annulleringsårsak. Standardinnstillingene for «Oppgaven ble avbrutt».

Arvet fraOpenTelemetryScope.recordCancellation

recordError(Error)

Registrerer en feil som oppstod under operasjonen

function recordError(error: Error)

Parametere

error

Error

Feilen som oppstod

Arvet fraOpenTelemetryScope.recordError

setEndTime(TimeInput)

Angir et egendefinert sluttidspunkt for omfanget. Når den er angitt, sendes denne verdien til i stedet for å span.end() bruke gjeldende veggklokketid. Dette er nyttig når det faktiske sluttidspunktet for operasjonen er kjent før omfanget fjernes.

function setEndTime(endTime: TimeInput)

Parametere

endTime

TimeInput

Sluttidspunktet som millisekunder siden epoke, dato eller hrtime tuppel.

Arvet fraOpenTelemetryScope.setEndTime

withActiveSpanAsync<T>(() => Promise<T>)

Gjør dette tidsrommet aktivt for varigheten av den aynkrone tilbakeringingskjøringen

function withActiveSpanAsync<T>(callback: () => Promise<T>): Promise<T>

Parametere

callback

() => Promise<T>

Returnerer

Promise<T>

Arvet fraOpenTelemetryScope.withActiveSpanAsync