InferenceScope Classe

Fornisce l'ambito di traccia OpenTelemetry per le operazioni di inferenza di intelligenza artificiale generative.

Inizializzare l'ambito di inferenza.

Costruttore

InferenceScope(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None)

Parametri

Nome	Descrizione
details Necessario	Dettagli della chiamata di inferenza
agent_details Necessario	Dettagli dell'agente che effettua la chiamata
tenant_details Necessario	Dettagli del tenant
request	Dettagli della richiesta facoltativi per un contesto aggiuntivo Valore predefinito: None

Metodi

record_finish_reasons	Registra i motivi di fine per il rilevamento dei dati di telemetria.
record_input_messages	Registra i messaggi di input per il rilevamento dei dati di telemetria.
record_input_tokens	Registra il numero di token di input per il rilevamento dei dati di telemetria.
record_output_messages	Registra i messaggi di output per il rilevamento dei dati di telemetria.
record_output_tokens	Registra il numero di token di output per il rilevamento dei dati di telemetria.
record_thought_process	Registra il processo di pensiero.
start	Crea e avvia un nuovo ambito per la traccia dell'inferenza.

record_finish_reasons

Registra i motivi di fine per il rilevamento dei dati di telemetria.

record_finish_reasons(finish_reasons: List[str]) -> None

Parametri

Nome	Descrizione
finish_reasons Necessario	Elenco dei motivi di fine

record_input_messages

Registra i messaggi di input per il rilevamento dei dati di telemetria.

record_input_messages(messages: List[str]) -> None

Parametri

Nome	Descrizione
messages Necessario	Elenco di messaggi di input

record_input_tokens

Registra il numero di token di input per il rilevamento dei dati di telemetria.

record_input_tokens(input_tokens: int) -> None

Parametri

Nome	Descrizione
input_tokens Necessario	Numero di token di input

record_output_messages

Registra i messaggi di output per il rilevamento dei dati di telemetria.

record_output_messages(messages: List[str]) -> None

Parametri

Nome	Descrizione
messages Necessario	Elenco di messaggi di output

record_output_tokens

Registra il numero di token di output per il rilevamento dei dati di telemetria.

record_output_tokens(output_tokens: int) -> None

Parametri

Nome	Descrizione
output_tokens Necessario	Numero di token di output

record_thought_process

Registra il processo di pensiero.

record_thought_process(thought_process: str) -> None

Parametri

Nome	Descrizione
thought_process Necessario	Processo di pensiero da registrare

start

Crea e avvia un nuovo ambito per la traccia dell'inferenza.

static start(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None) -> InferenceScope

Parametri

Nome	Descrizione
details Necessario	Dettagli della chiamata di inferenza
agent_details Necessario	Dettagli dell'agente che effettua la chiamata
tenant_details Necessario	Dettagli del tenant
request	Dettagli della richiesta facoltativi per un contesto aggiuntivo Valore predefinito: None

Restituisce

Tipo	Descrizione
	Nuova istanza di InferenceScope