หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
เมื่อคุณประเมินคุณภาพการดําเนินงาน ความน่าเชื่อถือ และต้นทุน ให้พิจารณาทางเลือกของตัวแทนโฮสต์ เช่น Microsoft 365 Copilot (ตัวแทนที่เปิดเผย) Copilot Studio (ตัวแทนที่กําหนดเอง) หรือ Azure แยกการตัดสินใจนี้ออกจากวิธีการเขียนเอเจนต์ ตําแหน่งที่เอเจนต์เรียกใช้หรือโฮสต์จะกําหนดความสามารถในการประสานรวม การเข้าถึงแบบจําลอง และคุณลักษณะการดําเนินงาน คุณลักษณะเหล่านี้ส่งผลโดยตรงต่อคุณภาพการตอบสนอง ประสิทธิภาพการทํางาน และต้นทุนในการใช้งานโซลูชันตามขนาด
บทความนี้อธิบายว่าแพลตฟอร์มโฮสต์ของตัวแทนส่งผลต่อความสามารถของโซลูชันอย่างไร คุณเรียนรู้วิธีการเขียนที่แตกต่างกันสามารถสร้างตัวแทนบนแพลตฟอร์มโฮสต์เดียวกันในขณะที่ยังคงมีคุณภาพและพฤติกรรมที่สอดคล้องกันวิธีการเขียนวิธีเดียวสามารถสร้างตัวแทนบนแพลตฟอร์มที่แตกต่างกันด้วยคุณภาพและผลลัพธ์พฤติกรรมที่แตกต่างกันและวิธีการกําหนดรูปร่างโปรไฟล์ต้นทุนของโซลูชัน
ต้นทุนเป็นการพิจารณาด้านความสะดวกในการใช้งาน
ถือว่าต้นทุนเป็นลักษณะการดําเนินงานที่มั่นคงไม่ใช่คําถามในการจัดซื้อครั้งเดียว โซลูชันสองตัวสามารถสร้างคําตอบที่เหมือนกันในขณะที่แตกต่างกันตามปริมาณค่าใช้จ่ายเนื่องจากต้นทุนถูกขับเคลื่อนด้วย วิธีที่ ตัวแทนทํางานไม่เพียง แต่ สิ่งที่ ส่งกลับเท่านั้น แพลตฟอร์มโฮสต์ส่วนใหญ่แก้ไขคันโยกที่มีให้คุณ:
- การใช้โทเค็นต่อการโต้ตอบ คำสั่งทุกข้อ ส่วนความรู้แต่ละรายการ และคำจำกัดความของเครื่องมือที่โมเดลประมวลผลในเทิร์นนั้น จะถูกคิดค่าบริการในเทิร์นนั้น บริบทคงค้างที่โหลดทุกครั้งที่มีการโต้ตอบจะมีค่าใช้จ่ายทุกครั้งที่มีการโต้ตอบ ไม่ว่าจะเกี่ยวข้องหรือไม่ก็ตาม
- จำนวนเทิร์นของโมเดล Orchestrator ตัดสินใจจํานวนครั้งที่มีการเรียกแบบจําลองเพื่อทํางานให้เสร็จสมบูรณ์ ลูปการเรียกใช้เครื่องมือที่มากขึ้นและการวางแผนใหม่ที่มากขึ้นหมายถึงการอนุมานที่มากขึ้น
- การเลือกรุ่น แบบจําลองที่กําหนดเหตุผลขนาดใหญ่มีค่าใช้จ่ายต่อโทเค็นมากขึ้นและเพิ่มเวลาแฝง โฮสต์จะกําหนดว่าแบบจําลองใดพร้อมใช้งานและคุณสามารถกําหนดเส้นทางขั้นตอนที่แตกต่างกันไปยังแบบจําลองที่แตกต่างกันได้หรือไม่
- การกําหนด งานที่กําหนดไม่จําเป็นต้องมีการอนุมานแบบจําลองเลย การย้ายเข้าไปยังโค้ดหรือการดําเนินการจะลบทั้งต้นทุนโทเค็นและความแปรปรวน
หัวข้อต่อไปนี้จะอธิบายปัจจัยควบคุมที่มีอิทธิพลต่อต้นทุนมากที่สุด ได้แก่ เฟรมเวิร์กการประสานงาน การเลือกโมเดล และวิธีที่คุณออกแบบคำสั่งเทียบกับการดำเนินการแบบกำหนดแน่นอน
โฮสติ้ง Microsoft 365 Copilot
Microsoft 365 Copilot มีสภาพแวดล้อมการโฮสต์ที่มีการจัดการสําหรับตัวแทนที่ประกาศด้วยความสามารถในการกํากับดูแล ความปลอดภัย และการปฏิบัติตามข้อบังคับที่มีอยู่ภายใน แพลตฟอร์มนี้มีลักษณะการทํางานที่สอดคล้องกันโดยไม่คํานึงถึงวิธีการเขียนที่คุณใช้ในการสร้างเอเจนต์
ตัวอย่างเช่น คุณสามารถเขียนตัวแทนที่ประกาศโดยใช้คุณลักษณะ Agent Builder ใน Microsoft 365 Copilot, Copilot Studio หรือMicrosoft 365 Agents Toolkit โฮสต์ตัวแทนจะกําหนดตัวเลือกการประสานรวม แค็ตตาล็อก และแบบจําลองภาษาที่พร้อมใช้งานสําหรับนักพัฒนา ตัวเลือกเหล่านี้เป็นผู้มีอิทธิพลมากที่สุดในด้านคุณภาพการตอบสนอง แพลตฟอร์มการเขียนและการสร้างควรเป็นเกณฑ์รองสําหรับโซลูชันในระยะสถานะคงที่ในการปฏิบัติงาน
แพลตฟอร์มการเขียนที่แตกต่างกันมีความสามารถในการปฏิบัติงานในระดับที่แตกต่างกันซึ่งเหมาะกับความต้องการขององค์กรและขั้นตอนวงจรการพัฒนาที่แตกต่างกัน ตราบใดที่โฮสต์ตัวแทนหลักยังคงเป็น Microsoft 365 Copilot (ตัวแทนเชิงประกาศ) คุณภาพยังคงสอดคล้องกันเมื่อคุณดําเนินการผ่านแพลตฟอร์มการสร้างสรรค์ที่แตกต่างกันเพื่อตอบสนองความต้องการในการปฏิบัติงานของคุณ
ตารางต่อไปนี้สรุปข้อควรพิจารณาสําหรับแพลตฟอร์มการเขียนที่จะใช้สําหรับตัวแทนการประกาศเป็นตัวอย่างตัวอย่าง
| ความต้องการ | ฟีเจอร์เอเจนต์บิลเดอร์ใน Copilot | Copilot Studio | รหัสโปร |
|---|---|---|---|
| เจ้าของโซลูชัน | บุคคล | กลุ่ม | ธุรกิจ |
| การอัปเดตและการบํารุงรักษา | ไม่มีการกําหนดเวอร์ชัน | การกําหนดเวอร์ชันด้วยการแก้ไขแบบล็อก | การกําหนดเวอร์ชันด้วยการแก้ไขพร้อมกัน |
| กรอบการประเมินผล | แผงทดสอบ | แผงทดสอบและรหัส Pro | ปรับแต่งได้อย่างเต็มที่ |
| CI/CD | ไม่มี | Some | ใช่ |
| การตรวจสอบแบบเรียลไทม์ | ไม่มี | ไม่มี | ใช่ |
| การวัดและส่งข้อมูลทางไกล | จำกัด | Some | ปรับแต่งได้อย่างเต็มที่ |
| ต้นทุน/ผลตอบแทนจากการลงทุน | รวมกับ Microsoft 365 Copilot | มีตั้งแต่ใบอนุญาตไปจนถึงการบริโภค | ปรับแต่งได้อย่างเต็มที่ตามตัวเลือกรหัสโปร |
| ต้นทุนการใช้งาน Work IQ | ฟีเจอร์ Grounding ของ Work IQ รวมอยู่ในสิทธิการใช้งาน Microsoft 365 Copilot; ผู้ใช้ที่ไม่มีสิทธิการใช้งานจะมีการเรียกเก็บเงินตามการใช้งาน | คิดค่าบริการตามการใช้งานในเครดิต Copilot (ชำระเงินตามการใช้งานหรือชำระเงินล่วงหน้า) | คิดค่าบริการตามการใช้งานในเครดิต Copilot ผ่าน API ของ Work IQ โดยมีการคิดค่าบริการตามการใช้งานและกำหนดเพดานการใช้งานในศูนย์การจัดการ Microsoft 365 |
ตัวอย่างเช่น เมื่อตัวแทนดึงข้อมูลเกี่ยวกับ Work IQ สําหรับบริบท การค้นคืน หรือการดําเนินการ การใช้งานดังกล่าวจะถูกเรียกเก็บเงินอย่างแตกต่างกัน ด้วยต้นทุนเครดิตที่ปรับให้สอดคล้องกับความซับซ้อนของสถานการณ์ รวมถึงขนาดบริบท เหตุผลเชิงลึก และจํานวนขั้นตอน
โน้ต
ไม่มีการสมัครใช้งาน Work IQ แยกต่างหาก SKU หรือสิทธิการใช้งานต่อผู้ใช้ ค่าใช้จ่ายของการแชทและการใช้บริบทแตกต่างกัน ดังนั้นเอเจนต์สองตัวที่คล้ายกันอาจใช้เครดิตในปริมาณที่แตกต่างกันมาก ขึ้นอยู่กับว่าพวกมันใช้บริบทเป็นฐานมากน้อยเพียงใดและใช้การให้เหตุผลหลายขั้นตอนมากเพียงใด ใช้แดชบอร์ดการจัดการค่าใช้จ่ายใน ศูนย์การจัดการ Microsoft 365 เพื่อตรวจสอบการใช้เครดิตและตั้งค่าขีดจํากัดค่าใช้จ่ายสําหรับผู้เช่า กลุ่ม และผู้ใช้ รูปแบบการปรับต้นทุนให้เหมาะสมใน สถาปนิกสําหรับการปรับค่าใช้จ่ายให้เหมาะสม – ลดบริบทให้เหลือน้อยที่สุดและย้ายงานเชิงกําหนดไปยังสคริปต์และการดําเนินการ ซึ่งช่วยควบคุมการใช้จ่าย IQ ของงาน
พิจารณาปัจจัยอื่นๆ เช่น การยกระดับนักพัฒนาซอฟต์แวร์และเครื่องมือแก้ไขข้อบกพร่อง (ไม่แสดงในตาราง) โปรดทราบว่าปัจจัยเหล่านี้ได้รับอิทธิพลอย่างมากจากเสถียรภาพการรักษาความปลอดภัยขององค์กรของคุณและความสามารถสําหรับแพลตฟอร์มการพัฒนาเฉพาะ
เลื่อนระดับตัวแทนที่ประกาศ Microsoft 365 Copilot ที่มีอยู่แล้วภายใน Agent Builder ไปยังตัวแทนที่ประกาศซึ่งสร้างด้วยชุดเครื่องมือ Microsoft 365 Agents กลยุทธ์นี้รักษา Microsoft 365 Copilot เป็น orchestrator เพื่อให้แน่ใจว่าลักษณะการทํางานของตัวแทนสอดคล้องกัน หากตัวแทนแบบกําหนดเองแบบทดลองที่สร้างขึ้นใน Copilot Studio ตรงตามเกณฑ์การประเมินแนวคิดและจําเป็นต้องใช้การควบคุมแหล่งที่มาสําหรับการดําเนินการขององค์กร เลื่อนระดับตัวแทนเป็น pipeline ใน Power Platform วิธีนี้ช่วยให้มั่นใจว่า Copilot Studio orchestrator ยังคงเป็นกลไกหลักสำหรับการควบคุมพฤติกรรมของตัวแทน
การประสานการทำงานและชุดควบคุมเอเจนต์
Orchestrator หรือ harness เป็นรอบรันไทม์ที่วางแผนขั้นตอน เลือกและเรียกใช้เครื่องมือ จัดการหน้าต่างบริบท และตัดสินใจว่างานจะเสร็จสมบูรณ์เมื่อใด ซึ่งเป็นตัวขับเคลื่อนเดียวที่มีขนาดใหญ่ที่สุดของทั้งคุณภาพการตอบสนองและต้นทุนในการดําเนินงาน เนื่องจากควบคุมว่าจะมีการหมุนแบบจําลองจํานวนเท่าใด บริบทจะสะสมในแต่ละทิศทางและวิธีการป้อนผลลัพธ์เครื่องมือกลับเข้าไปในแบบจําลอง
เนื่องจากแพลตฟอร์มโฮสต์เป็นผู้จัดหาออร์เคสเตรเตอร์ การตัดสินใจเลือกโฮสต์จึงเป็นตัวกำหนดขอบเขตของต้นทุนและเวลาแฝงของคุณเป็นส่วนใหญ่:
- Microsoft 365 Copilot มีตัวประสานการทำงานแบบมีการจัดการ คุณจะได้รับค่าใช้จ่ายที่คาดการณ์ได้ซึ่งรวมค่าไลเซนส์ไว้แล้ว และการทำงานที่สม่ำเสมอ แต่มีข้อจำกัดในการควบคุมลูปนั้นโดยตรง
- Copilot Studio มีการจัดการลำดับการทำงานที่สามารถกำหนดค่าได้ (ตัวอย่างเช่น หัวข้อและการจัดการลำดับการทำงานแบบสร้างเนื้อหา) ค่าใช้จ่ายมีตั้งแต่แบบคิดค่าลิขสิทธิ์ไปจนถึงแบบคิดตามการใช้งาน ทั้งนี้ขึ้นอยู่กับปริมาณงานเชิงสร้างสรรค์ที่คุณมอบหมายให้โมเดลทำ
- Azure และ pro-code ให้คุณสามารถควบคุมรอบได้อย่างเต็มที่ ประเมินค่าใช้จ่ายในการบํารุงรักษาโค้ดเมื่อเทียบกับการใช้ประโยชน์จากสายรัดที่บํารุงรักษาอย่างดีหรือ SDK เช่น Copilot SDK
เมื่อโฮสต์เปิดให้เข้าถึงสิ่งเหล่านี้ กลไกหลักในการจัดการ orchestration มีดังนี้:
- เปลี่ยนงบประมาณ จํากัดหรือปรับจํานวนการวางแผนและเรียกใช้การวนซ้ําของเครื่องมือที่ orchestrator ใช้ก่อนที่จะกลับมา
- การเรียกใช้แบบขนานเทียบกับการเรียกใช้แบบลำดับ เรียกใช้เครื่องมืออิสระพร้อมกันเพื่อลดเวลาแฝง หากเป็นไปได้ ให้รวมการเรียกเข้าด้วยกันเพื่อลดจำนวนรอบ
- การจัดการบริบท ตัดแต่ง สรุป หรือจำกัดช่วงของการสนทนาเพื่อป้องกันไม่ให้บริบทขยายเพิ่มขึ้นอย่างไม่สิ้นสุด ซึ่งช่วยให้ต้นทุนโทเค็นต่อเทิร์นคงที่แทนที่จะสะสมเพิ่มขึ้น
- การแคช นําคํานําหน้าพร้อมท์ที่แคชไว้กลับมาใช้ใหม่ในรอบหรือเซสชันเพื่อหลีกเลี่ยงการเรียกเก็บเงินอีกครั้งสําหรับบริบทที่เสถียร
โน้ต
บริษัทออเคสตราที่มีความสามารถมากขึ้นสามารถเพิ่มคุณภาพและค่าใช้จ่ายในเวลาเดียวกัน ปรับระดับความซับซ้อนของการประสานงานให้เหมาะกับงาน ตัวแทนการค้นหาแบบง่ายไม่จําเป็นต้องมีการวางแผนที่สร้างรายได้สูงและการชําระเงินสําหรับมันจะเพิ่มต้นทุนโดยไม่ต้องปรับปรุงผลลัพธ์
ตัวเลือกแบบจําลอง
แบบจําลองที่คุณเลือกมีผลต่อค่าใช้จ่ายต่อโทเค็นและเวลาแฝง และจะเป็นอิสระอย่างมากจากวิธีการเขียน แบบจําลองที่ให้เหตุผลขนาดใหญ่ส่งผลที่มีคุณภาพสูงกว่าสําหรับงานที่ซับซ้อน แต่มีค่าใช้จ่ายต่อโทเค็นมากขึ้นและตอบสนองช้าลง เลือกโมเดลให้เหมาะกับความยากของงาน แทนที่จะตั้งค่าเริ่มต้นให้ใช้ตัวเลือกที่มีความสามารถสูงสุดสำหรับทุกงาน
สถาปนิกสําหรับการกําหนดเส้นทางแบบจําลองเมื่อโฮสต์รองรับ:
- เก็บโมเดลการให้เหตุผลระดับแนวหน้าไว้ใช้ สำหรับขั้นตอนที่ยากจริง ๆ เช่น การให้เหตุผลที่คลุมเครือ การสังเคราะห์ข้อมูล หรือการสร้างเนื้อหาแบบปลายเปิด
- เส้นทางที่กําหนดหรืองานย่อยอย่างง่าย เช่น การจําแนก การแยก การจัดรูปแบบ และการตัดสินใจเกี่ยวกับเส้นทางที่มีขนาดเล็ก กว่า ถูกกว่า และเร็วขึ้น
- ผสมแบบจําลองภายในตัวแทนเดียว เมื่อบริษัทออเคสตราร์สนับสนุนการเลือกแบบจําลองต่อขั้นตอน ดังนั้นแต่ละขั้นตอนจะจ่ายเฉพาะสําหรับความสามารถที่ต้องการ
แพลตฟอร์มโฮสต์จะกําหนดว่าแบบจําลองใดอยู่ในแค็ตตาล็อกคุณสามารถกําหนดเส้นทางต่อขั้นตอนหน้าต่างบริบทสูงสุด (หน้าต่างขนาดใหญ่ช่วยให้บริบทมากขึ้น แต่มีค่าใช้จ่ายต่อการเปิดมากขึ้น) และไม่ว่าจะมีแคชพร้อมท์หรือไม่ ตรวจสอบความสามารถเหล่านี้ในฐานะส่วนหนึ่งของการตัดสินใจโฮสต์ เนื่องจากความสามารถดังกล่าวมีความเหมาะสมตามต้นทุนระดับแบบจําลองที่คุณสามารถทําได้ในภายหลัง
การออกแบบสถาปัตยกรรมเพื่อเพิ่มประสิทธิภาพด้านต้นทุน
นอกเหนือจากการเลือกโฮสต์ ตัวประสานการทำงาน และแบบจำลองแล้ว วิธีที่คุณจัดโครงสร้างคำแนะนำและการดำเนินการของเอเจนต์ยังส่งผลกระทบต่อต้นทุนโดยตรงและเกิดขึ้นซ้ำ ๆ อีกด้วย หลักการสองข้อแนะนําการออกแบบที่ประหยัดค่าใช้จ่าย:
อย่าจ่ายค่าการอนุมานแบบจําลองสําหรับงานที่ชี้เฉพาะ รวมการดําเนินการแบบกําหนดเป็นกลุ่มลงในสคริปต์ การดําเนินการ หรือตัวเชื่อมต่อแทนที่จะอธิบายเป็นคําแนะนําภาษาธรรมชาติที่แบบจําลองต้องแปลในทุกการเรียกใช้ โค้ดจะดําเนินการหนึ่งครั้งด้วยเอาต์พุตที่สามารถคาดการณ์ได้ ไม่มีต้นทุนโทเค็น และความแปรปรวนน้อยลง การใช้ภาษาธรรมชาติสําหรับการอนุมานค่าใช้จ่ายในขั้นตอนเดียวกันทุกครั้งและสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันได้
อย่าจ่ายค่าโทเค็นแบบคงค้างสำหรับคำสั่งที่คุณแทบไม่ได้ใช้ ระบบจะเรียกเก็บเงินคําแนะนําระดับตัวแทนที่โหลดไว้ล่วงหน้าในการโต้ตอบทุกครั้งแม้ว่าจะไม่เกี่ยวข้องกับคําขอของผู้ใช้ก็ตาม การโหลดคําแนะนําและความรู้ตามความต้องการเฉพาะเมื่องานตรงกันหมายความว่าคุณจ่ายสําหรับบริบทนั้นเมื่อใช้งานจริงไม่ต่อเนื่อง รูปแบบการเปิดเผยข้อมูลแบบก้าวหน้านี้จะทําให้ต้นทุนพื้นฐานของการโต้ตอบแต่ละครั้งต่ํา
ตารางต่อไปนี้สรุปเมื่อต้องโหลดคําสั่งล่วงหน้าลงในตัวแทนเทียบกับเวลาที่จะส่งงานลงในสคริปต์แบบกําหนดหรือทรัพยากรตามความต้องการ
| โหลดคำแนะนำในระดับเอเจนต์ล่วงหน้าเมื่อ… | ใช้สคริปต์ การดําเนินการ หรือทรัพยากรตามความต้องการเมื่อ... |
|---|---|
| พฤติกรรมนี้มีผลกับการโต้ตอบเกือบทุกครั้ง (บทบาทหลัก โทน ผู้พิทักษ์ความปลอดภัย) | ลักษณะการทํางานเป็นแบบเฉพาะงาน หรือเฉพาะที่เกี่ยวข้องเป็นครั้งคราว |
| คําแนะนํานั้นสั้นและเกี่ยวข้องเสมอ | คําแนะนํามีความยาวหรือได้รับการสนับสนุนโดยเนื้อหาการอ้างอิงหรือความรู้จํานวนมาก |
| แบบจําลองของแท้จําเป็นต้องให้เหตุผลเกี่ยวกับหรือปรับพฤติกรรม | การดําเนินการเป็นแบบกําหนดสามารถทําซ้ําได้และมีเอาต์พุตที่กําหนดไว้อย่างดี |
| เวลาแฝงจากการดึงข้อมูลเพิ่มเติมหรือการเรียกใช้เครื่องมือจะส่งผลให้ประสบการณ์การใช้งานแย่ลง | ค่าใช้จ่ายของโทเค็นของการใช้บริบทไปในทุกรอบสูงกว่าการโหลดเป็นครั้งคราว |
เอเจนต์ที่คุ้มค่าด้านต้นทุนจะคงคำสั่งที่ทำงานตลอดเวลาไว้ให้กระชับและมุ่งเน้นที่อัตลักษณ์และความปลอดภัย ซึ่งจัดการขั้นตอนคงที่เช่นสคริปต์หรือการดําเนินการและให้ความรู้เฉพาะด้านและคําแนะนําเฉพาะงานเป็นทรัพยากรตามความต้องการที่โหลดเฉพาะเมื่อมีความเกี่ยวข้อง วิธีนี้ลดค่าใช้จ่ายโทเค็นสําหรับการโต้ตอบแต่ละครั้ง ทําให้ลักษณะการทํางานสามารถคาดการณ์ได้มากขึ้น และทําให้พร้อมท์หลักมีขนาดเล็กลงและง่ายต่อการบํารุงรักษาโดยไม่ทําให้ความสามารถในการเสียสละ
ขั้นตอนต่อไป
เรียนรู้วิธีวัดคุณภาพของตัวแทน ตรวจสอบประสิทธิภาพในสถานการณ์ที่หลากหลาย และรับรองความพร้อมในการดําเนินงานก่อนการปรับใช้โดยใช้เฟรมเวิร์กการประเมิน