InferenceScope class
Tillhandahåller OpenTelemetry-spårningsomfång för generativa AI-slutsatsdragningsåtgärder.
- Extends
Metoder
| record |
Registrerar avslutsorsakerna för telemetrispårning. |
| record |
Registrerar indatameddelanden för telemetrispårning.
Accepterar vanliga strängar (automatiskt omslutna som OTEL ChatMessage med roll |
| record |
Registrerar antalet indatatoken för telemetrispårning. |
| record |
Registrerar utdatameddelanden för telemetrispårning.
Accepterar oformaterade strängar (automatiskt omslutna som OTEL OutputMessage med roll |
| record |
Registrerar antalet utdatatoken för telemetrispårning. |
| start(Request, Inference |
Skapar och startar ett nytt omfång för slutsatsdragning. |
Ärvda metoder
| dispose() | Äldre bortskaffningsmetod för kompatibilitet |
| get |
Hämtar span-kontexten för det här omfånget. Detta kan användas för att skapa en ParentSpanRef för explicit överordnad-underordnad länkning över asynkrona gränser. |
| record |
Registrerar flera attributnyckel/värdepar för telemetrispårning. |
| record |
Registrerar en annulleringshändelse i intervallet. Anger span-statusen till FEL med avbokningsorsaken och markerar feltypen som "TaskCanceledException". |
| record |
Registrerar ett fel som inträffade under åtgärden |
| set |
Anger en anpassad sluttid för omfånget.
När värdet har angetts skickas det här värdet till |
| with |
Gör det här intervallet aktivt under hela körningen av asynkron återanrop |
Metodinformation
recordFinishReasons(string[])
Registrerar avslutsorsakerna för telemetrispårning.
function recordFinishReasons(finishReasons: string[])
Parametrar
- finishReasons
-
string[]
Matris med avslutsorsaker
recordInputMessages(InputMessagesParam)
Registrerar indatameddelanden för telemetrispårning.
Accepterar vanliga strängar (automatiskt omslutna som OTEL ChatMessage med roll user) eller en version av InputMessages-omslutning.
function recordInputMessages(messages: InputMessagesParam)
Parametrar
- messages
- InputMessagesParam
Matris med indatameddelandesträngar eller en InputMessages-omslutning
recordInputTokens(number)
Registrerar antalet indatatoken för telemetrispårning.
function recordInputTokens(inputTokens: number)
Parametrar
- inputTokens
-
number
Antal indatatoken
recordOutputMessages(OutputMessagesParam)
Registrerar utdatameddelanden för telemetrispårning.
Accepterar oformaterade strängar (automatiskt omslutna som OTEL OutputMessage med roll assistant) eller en versionsslutande OutputMessages-omslutning.
function recordOutputMessages(messages: OutputMessagesParam)
Parametrar
- messages
- OutputMessagesParam
Matris med utdatameddelandesträngar eller en OutputMessages-omslutning
recordOutputTokens(number)
Registrerar antalet utdatatoken för telemetrispårning.
function recordOutputTokens(outputTokens: number)
Parametrar
- outputTokens
-
number
Antal utdatatoken
start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)
Skapar och startar ett nytt omfång för slutsatsdragning.
static function start(request: Request, details: InferenceDetails, agentDetails: AgentDetails, userDetails?: UserDetails, spanDetails?: SpanDetails): InferenceScope
Parametrar
- request
- Request
Begär nyttolast (kanal, conversationId, innehåll, sessionId).
- details
- InferenceDetails
Information om slutsatsdragningsanropet (modell, provider, token osv.).
- agentDetails
- AgentDetails
Agenten som utför slutsatsdragningen. Klientorganisations-ID härleds från agentDetails.tenantId.
- userDetails
- UserDetails
Valfri mänsklig uppringaridentitet.
- spanDetails
- SpanDetails
Valfri span-konfiguration (parentContext, startTime, endTime, spanLinks).
spanKind Obs! ignoreras; InferenceScope använder SpanKind.CLIENTalltid .
Returer
En ny InferenceScope-instans
Ärvd metodinformation
dispose()
getSpanContext()
Hämtar span-kontexten för det här omfånget. Detta kan användas för att skapa en ParentSpanRef för explicit överordnad-underordnad länkning över asynkrona gränser.
function getSpanContext(): SpanContext
Returer
SpanContext
SpanContext som innehåller traceId och spanId
Ärvd frånOpenTelemetryScope.getSpanContext
recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)
Registrerar flera attributnyckel/värdepar för telemetrispårning.
function recordAttributes(attributes: undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)
Parametrar
- attributes
-
undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>
Samling attributnyckel/värdepar (matris eller itererbar för [nyckel, värde] eller objektkarta).
Ärvd frånOpenTelemetryScope.recordAttributes
recordCancellation(string)
Registrerar en annulleringshändelse i intervallet. Anger span-statusen till FEL med avbokningsorsaken och markerar feltypen som "TaskCanceledException".
function recordCancellation(reason?: string)
Parametrar
- reason
-
string
Valfri avbokningsorsak. Standardvärdet är "Aktiviteten avbröts".
recordError(Error)
Registrerar ett fel som inträffade under åtgärden
function recordError(error: Error)
Parametrar
- error
-
Error
Felet som uppstod
Ärvd frånOpenTelemetryScope.recordError
setEndTime(TimeInput)
Anger en anpassad sluttid för omfånget.
När värdet har angetts skickas det här värdet till span.end() i stället för den aktuella tidsåtgången för väggklockan.
Detta är användbart när den faktiska sluttiden för åtgärden är känd innan omfånget tas bort.
function setEndTime(endTime: TimeInput)
Parametrar
- endTime
-
TimeInput
Sluttiden som millisekunder sedan epoken, ett datum eller en HrTime-tupplar.
Ärvd frånOpenTelemetryScope.setEndTime
withActiveSpanAsync<T>(() => Promise<T>)
Gör det här intervallet aktivt under hela körningen av asynkron återanrop
function withActiveSpanAsync<T>(callback: () => Promise<T>): Promise<T>
Parametrar
- callback
-
() => Promise<T>
Returer
Promise<T>