InferenceScope class

Tillhandahåller OpenTelemetry-spårningsomfång för generativa AI-slutsatsdragningsåtgärder.

Extends

Metoder

recordFinishReasons(string[])

Registrerar avslutsorsakerna för telemetrispårning.

recordInputMessages(InputMessagesParam)

Registrerar indatameddelanden för telemetrispårning. Accepterar vanliga strängar (automatiskt omslutna som OTEL ChatMessage med roll user) eller en version av InputMessages-omslutning.

recordInputTokens(number)

Registrerar antalet indatatoken för telemetrispårning.

recordOutputMessages(OutputMessagesParam)

Registrerar utdatameddelanden för telemetrispårning. Accepterar oformaterade strängar (automatiskt omslutna som OTEL OutputMessage med roll assistant) eller en versionsslutande OutputMessages-omslutning.

recordOutputTokens(number)

Registrerar antalet utdatatoken för telemetrispårning.

start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)

Skapar och startar ett nytt omfång för slutsatsdragning.

Ärvda metoder

dispose()

Äldre bortskaffningsmetod för kompatibilitet

getSpanContext()

Hämtar span-kontexten för det här omfånget. Detta kan användas för att skapa en ParentSpanRef för explicit överordnad-underordnad länkning över asynkrona gränser.

recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

Registrerar flera attributnyckel/värdepar för telemetrispårning.

recordCancellation(string)

Registrerar en annulleringshändelse i intervallet. Anger span-statusen till FEL med avbokningsorsaken och markerar feltypen som "TaskCanceledException".

recordError(Error)

Registrerar ett fel som inträffade under åtgärden

setEndTime(TimeInput)

Anger en anpassad sluttid för omfånget. När värdet har angetts skickas det här värdet till span.end() i stället för den aktuella tidsåtgången för väggklockan. Detta är användbart när den faktiska sluttiden för åtgärden är känd innan omfånget tas bort.

withActiveSpanAsync<T>(() => Promise<T>)

Gör det här intervallet aktivt under hela körningen av asynkron återanrop

Metodinformation

recordFinishReasons(string[])

Registrerar avslutsorsakerna för telemetrispårning.

function recordFinishReasons(finishReasons: string[])

Parametrar

finishReasons

string[]

Matris med avslutsorsaker

recordInputMessages(InputMessagesParam)

Registrerar indatameddelanden för telemetrispårning. Accepterar vanliga strängar (automatiskt omslutna som OTEL ChatMessage med roll user) eller en version av InputMessages-omslutning.

function recordInputMessages(messages: InputMessagesParam)

Parametrar

messages
InputMessagesParam

Matris med indatameddelandesträngar eller en InputMessages-omslutning

recordInputTokens(number)

Registrerar antalet indatatoken för telemetrispårning.

function recordInputTokens(inputTokens: number)

Parametrar

inputTokens

number

Antal indatatoken

recordOutputMessages(OutputMessagesParam)

Registrerar utdatameddelanden för telemetrispårning. Accepterar oformaterade strängar (automatiskt omslutna som OTEL OutputMessage med roll assistant) eller en versionsslutande OutputMessages-omslutning.

function recordOutputMessages(messages: OutputMessagesParam)

Parametrar

messages
OutputMessagesParam

Matris med utdatameddelandesträngar eller en OutputMessages-omslutning

recordOutputTokens(number)

Registrerar antalet utdatatoken för telemetrispårning.

function recordOutputTokens(outputTokens: number)

Parametrar

outputTokens

number

Antal utdatatoken

start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)

Skapar och startar ett nytt omfång för slutsatsdragning.

static function start(request: Request, details: InferenceDetails, agentDetails: AgentDetails, userDetails?: UserDetails, spanDetails?: SpanDetails): InferenceScope

Parametrar

request
Request

Begär nyttolast (kanal, conversationId, innehåll, sessionId).

details
InferenceDetails

Information om slutsatsdragningsanropet (modell, provider, token osv.).

agentDetails
AgentDetails

Agenten som utför slutsatsdragningen. Klientorganisations-ID härleds från agentDetails.tenantId.

userDetails
UserDetails

Valfri mänsklig uppringaridentitet.

spanDetails
SpanDetails

Valfri span-konfiguration (parentContext, startTime, endTime, spanLinks). spanKind Obs! ignoreras; InferenceScope använder SpanKind.CLIENTalltid .

Returer

En ny InferenceScope-instans

Ärvd metodinformation

dispose()

Äldre bortskaffningsmetod för kompatibilitet

function dispose()

Ärvd frånOpenTelemetryScope.dispose

getSpanContext()

Hämtar span-kontexten för det här omfånget. Detta kan användas för att skapa en ParentSpanRef för explicit överordnad-underordnad länkning över asynkrona gränser.

function getSpanContext(): SpanContext

Returer

SpanContext

SpanContext som innehåller traceId och spanId

Ärvd frånOpenTelemetryScope.getSpanContext

recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

Registrerar flera attributnyckel/värdepar för telemetrispårning.

function recordAttributes(attributes: undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

Parametrar

attributes

undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>

Samling attributnyckel/värdepar (matris eller itererbar för [nyckel, värde] eller objektkarta).

Ärvd frånOpenTelemetryScope.recordAttributes

recordCancellation(string)

Registrerar en annulleringshändelse i intervallet. Anger span-statusen till FEL med avbokningsorsaken och markerar feltypen som "TaskCanceledException".

function recordCancellation(reason?: string)

Parametrar

reason

string

Valfri avbokningsorsak. Standardvärdet är "Aktiviteten avbröts".

Ärvd frånOpenTelemetryScope.recordCancellation

recordError(Error)

Registrerar ett fel som inträffade under åtgärden

function recordError(error: Error)

Parametrar

error

Error

Felet som uppstod

Ärvd frånOpenTelemetryScope.recordError

setEndTime(TimeInput)

Anger en anpassad sluttid för omfånget. När värdet har angetts skickas det här värdet till span.end() i stället för den aktuella tidsåtgången för väggklockan. Detta är användbart när den faktiska sluttiden för åtgärden är känd innan omfånget tas bort.

function setEndTime(endTime: TimeInput)

Parametrar

endTime

TimeInput

Sluttiden som millisekunder sedan epoken, ett datum eller en HrTime-tupplar.

Ärvd frånOpenTelemetryScope.setEndTime

withActiveSpanAsync<T>(() => Promise<T>)

Gör det här intervallet aktivt under hela körningen av asynkron återanrop

function withActiveSpanAsync<T>(callback: () => Promise<T>): Promise<T>

Parametrar

callback

() => Promise<T>

Returer

Promise<T>

Ärvd frånOpenTelemetryScope.withActiveSpanAsync