InferenceScope class

ให้ขอบเขตการติดตาม OpenTelemetry สําหรับการดําเนินการอนุมาน AI ที่สร้าง

ขยาย

วิธีการ

recordFinishReasons(string[])

บันทึกเหตุผลเสร็จสิ้นสําหรับการติดตามการวัดและส่งข้อมูลทางไกล

recordInputMessages(InputMessagesParam)

บันทึกข้อความป้อนเข้าสําหรับการติดตามการวัดและส่งข้อมูลทางไกล ยอมรับสตริงแบบธรรมดา (ตัดข้อความอัตโนมัติเป็น OTEL ChatMessage ด้วยบทบาท user) หรือตัวครอบคลุม InputMessages รุ่น

recordInputTokens(number)

บันทึกจํานวนโทเค็นอินพุตสําหรับการติดตามการวัดและส่งข้อมูลทางไกล

recordOutputMessages(OutputMessagesParam)

บันทึกข้อความเอาต์พุตสําหรับการติดตามการวัดและส่งข้อมูลทางไกล ยอมรับสตริงแบบธรรมดา (ตัดคําอัตโนมัติเป็น OTEL OutputMessage ด้วยบทบาท assistant) หรือตัวครอบ OutputMessages รุ่น

recordOutputTokens(number)

บันทึกจํานวนโทเค็นเอาต์พุตสําหรับการติดตามการวัดและส่งข้อมูลทางไกล

start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)

สร้างและเริ่มต้นขอบเขตใหม่สําหรับการติดตามการอนุมาน

วิธีการสืบทอด

dispose()

วิธีการกําจัดแบบดั้งเดิมสําหรับความเข้ากันได้

getSpanContext()

รับบริบทขยายสําหรับขอบเขตนี้ ซึ่งสามารถใช้เพื่อสร้าง ParentSpanRef สําหรับการเชื่อมโยงแบบ parent-child ที่ชัดเจนข้ามขอบเขตต่าง ๆ ที่ไม่ตรงกัน

recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

บันทึกคู่คีย์/ค่าแอตทริบิวต์หลายคู่สําหรับการติดตามการวัดและส่งข้อมูลทางไกล

recordCancellation(string)

บันทึกเหตุการณ์การยกเลิกในช่วงดังกล่าว ตั้งค่าสถานะการขยายเป็น ERROR ด้วยเหตุผลการยกเลิกและทําเครื่องหมายประเภทข้อผิดพลาดเป็น 'TaskCanceledException'

recordError(Error)

บันทึกข้อผิดพลาดที่เกิดขึ้นระหว่างการดําเนินการ

setEndTime(TimeInput)

ตั้งค่าเวลาสิ้นสุดแบบกําหนดเองสําหรับขอบเขต เมื่อตั้งค่า กําจัด ค่านี้จะส่งผ่านค่า span.end() นี้แทนที่จะใช้เวลานาฬิกาแขวนในปัจจุบัน ซึ่งจะเป็นประโยชน์เมื่อเวลาสิ้นสุดที่แท้จริงของการดําเนินการถูกทราบก่อนที่จะกําจัดขอบเขต

withActiveSpanAsync<T>(() => Promise<T>)

ทําให้การขยายนี้ใช้งานได้สําหรับระยะเวลาของการเรียกกลับแบบ async

รายละเอียดวิธีการ

recordFinishReasons(string[])

บันทึกเหตุผลเสร็จสิ้นสําหรับการติดตามการวัดและส่งข้อมูลทางไกล

function recordFinishReasons(finishReasons: string[])

พารามิเตอร์

finishReasons

string[]

อาร์เรย์ของเหตุผลการเสร็จสิ้น

recordInputMessages(InputMessagesParam)

บันทึกข้อความป้อนเข้าสําหรับการติดตามการวัดและส่งข้อมูลทางไกล ยอมรับสตริงแบบธรรมดา (ตัดข้อความอัตโนมัติเป็น OTEL ChatMessage ด้วยบทบาท user) หรือตัวครอบคลุม InputMessages รุ่น

function recordInputMessages(messages: InputMessagesParam)

พารามิเตอร์

messages
InputMessagesParam

อาร์เรย์ของสตริงข้อความที่ป้อนเข้าหรือตัวรวบ InputMessages

recordInputTokens(number)

บันทึกจํานวนโทเค็นอินพุตสําหรับการติดตามการวัดและส่งข้อมูลทางไกล

function recordInputTokens(inputTokens: number)

พารามิเตอร์

inputTokens

number

จํานวนโทเค็นอินพุต

recordOutputMessages(OutputMessagesParam)

บันทึกข้อความเอาต์พุตสําหรับการติดตามการวัดและส่งข้อมูลทางไกล ยอมรับสตริงแบบธรรมดา (ตัดคําอัตโนมัติเป็น OTEL OutputMessage ด้วยบทบาท assistant) หรือตัวครอบ OutputMessages รุ่น

function recordOutputMessages(messages: OutputMessagesParam)

พารามิเตอร์

messages
OutputMessagesParam

อาร์เรย์ของสตริงข้อความผลลัพธ์หรือกระดาษห่อ OutputMessages

recordOutputTokens(number)

บันทึกจํานวนโทเค็นเอาต์พุตสําหรับการติดตามการวัดและส่งข้อมูลทางไกล

function recordOutputTokens(outputTokens: number)

พารามิเตอร์

outputTokens

number

จํานวนโทเค็นผลลัพธ์

start(Request, InferenceDetails, AgentDetails, UserDetails, SpanDetails)

สร้างและเริ่มต้นขอบเขตใหม่สําหรับการติดตามการอนุมาน

static function start(request: Request, details: InferenceDetails, agentDetails: AgentDetails, userDetails?: UserDetails, spanDetails?: SpanDetails): InferenceScope

พารามิเตอร์

request
Request

คําขอส่วนข้อมูล (ช่อง, การสนทนา Id, เนื้อหา, sessionId)

details
InferenceDetails

รายละเอียดการเรียกการอนุมาน (แบบจําลอง ผู้ให้บริการ โทเค็น ฯลฯ)

agentDetails
AgentDetails

จนท.ดําเนินการตามการอนุมาน รหัสผู้เช่าได้รับ agentDetails.tenantIdมาจาก

userDetails
UserDetails

ข้อมูลเฉพาะตัวผู้เรียกของบุคคลที่เลือกได้

spanDetails
SpanDetails

การกําหนดค่าการขยายตัวเลือก (parentContext, startTime, endTime, spanLinks) หมายเหตุ: spanKind จะถูกละเว้น InferenceScope ใช้ SpanKind.CLIENTเสมอ

การส่งคืน

อินสแตนซ์ InferenceScope ใหม่

รายละเอียดวิธีการสืบทอด

dispose()

วิธีการกําจัดแบบดั้งเดิมสําหรับความเข้ากันได้

function dispose()

สืบทอดมาจากOpenTelemetryScope.dispose

getSpanContext()

รับบริบทขยายสําหรับขอบเขตนี้ ซึ่งสามารถใช้เพื่อสร้าง ParentSpanRef สําหรับการเชื่อมโยงแบบ parent-child ที่ชัดเจนข้ามขอบเขตต่าง ๆ ที่ไม่ตรงกัน

function getSpanContext(): SpanContext

การส่งคืน

SpanContext

SpanContext ที่มี traceId และ spanId

สืบทอดมาจากOpenTelemetryScope.getSpanContext

recordAttributes(undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

บันทึกคู่คีย์/ค่าแอตทริบิวต์หลายคู่สําหรับการติดตามการวัดและส่งข้อมูลทางไกล

function recordAttributes(attributes: undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>)

พารามิเตอร์

attributes

undefined | null | Iterable<[string, AttributeValue]> | Record<string, AttributeValue>

คอลเลกชันของคู่คีย์/ค่าแอตทริบิวต์ (อาร์เรย์หรือสามารถคํานวณซ้ําได้ของ [คีย์, ค่า] หรือแผนที่วัตถุ)

สืบทอดมาจากOpenTelemetryScope.recordAttributes

recordCancellation(string)

บันทึกเหตุการณ์การยกเลิกในช่วงดังกล่าว ตั้งค่าสถานะการขยายเป็น ERROR ด้วยเหตุผลการยกเลิกและทําเครื่องหมายประเภทข้อผิดพลาดเป็น 'TaskCanceledException'

function recordCancellation(reason?: string)

พารามิเตอร์

reason

string

เหตุผลการยกเลิกทางเลือก ค่าเริ่มต้นเป็น 'งานถูกยกเลิก'

สืบทอดมาจากOpenTelemetryScope.recordCancellation

recordError(Error)

บันทึกข้อผิดพลาดที่เกิดขึ้นระหว่างการดําเนินการ

function recordError(error: Error)

พารามิเตอร์

error

Error

ข้อผิดพลาดที่เกิดขึ้น

สืบทอดมาจากOpenTelemetryScope.recordError

setEndTime(TimeInput)

ตั้งค่าเวลาสิ้นสุดแบบกําหนดเองสําหรับขอบเขต เมื่อตั้งค่า กําจัด ค่านี้จะส่งผ่านค่า span.end() นี้แทนที่จะใช้เวลานาฬิกาแขวนในปัจจุบัน ซึ่งจะเป็นประโยชน์เมื่อเวลาสิ้นสุดที่แท้จริงของการดําเนินการถูกทราบก่อนที่จะกําจัดขอบเขต

function setEndTime(endTime: TimeInput)

พารามิเตอร์

endTime

TimeInput

เวลาสิ้นสุดเป็นมิลลิวินาทีตั้งแต่ยุค วันที่ หรือทูเพิล HrTime

สืบทอดมาจากOpenTelemetryScope.setEndTime

withActiveSpanAsync<T>(() => Promise<T>)

ทําให้การขยายนี้ใช้งานได้สําหรับระยะเวลาของการเรียกกลับแบบ async

function withActiveSpanAsync<T>(callback: () => Promise<T>): Promise<T>

พารามิเตอร์

callback

() => Promise<T>

การส่งคืน

Promise<T>

สืบทอดมาจากOpenTelemetryScope.withActiveSpanAsync