คำถามที่ถามบ่อยสำหรับเครื่องมือการใช้คอมพิวเตอร์

คําถามที่ถามบ่อย (FAQ) เหล่านี้ให้ข้อมูลเชิงลึกเกี่ยวกับความสามารถ การใช้งาน ข้อจํากัด และการป้องกันที่คุณควรระวังเมื่อคุณเพิ่มเครื่องมือการใช้คอมพิวเตอร์ไปยังตัวแทน Copilot Studio ของคุณ

เครื่องมือการใช้คอมพิวเตอร์คืออะไร

การใช้คอมพิวเตอร์ เป็นเครื่องมือที่คุณสามารถเพิ่มให้กับตัวแทนของคุณใน Copilot Studio ที่ถูกออกแบบมาเพื่อทำงานบนเว็บไซต์และแอปพลิเคชันโดยอัตโนมัติ คุณให้คําอธิบายงานเป็นภาษาธรรมชาติและเครื่องมือจะคลิกเมาส์และการดําเนินการแป้นพิมพ์โดยอัตโนมัติตามลําดับ ตัวอย่างเช่น คุณอาจสั่งให้เครื่องมือเปิดไฟล์ PDF และใช้เนื้อหาในนั้นกรอกแบบฟอร์มเว็บ เครื่องมือจะตีความหน้าจอและดําเนินการคลิกและการกดแป้นพิมพ์ที่จําเป็นรวมถึงการเลียนแบบการโต้ตอบของมนุษย์

Warning

การใช้งานคอมพิวเตอร์เป็นเครื่องมือที่มีประสิทธิภาพซึ่งช่วยให้การโต้ตอบระหว่างเว็บไซต์และแอปพลิเคชันเดสก์ท็อปเป็นไปโดยอัตโนมัติ แต่ยังมาพร้อมกับข้อควรพิจารณาด้านความปลอดภัยที่สําคัญด้วย ในบางกรณี AI อาจดําเนินการโดยไม่ตั้งใจเนื่องจากคําแนะนําที่ไม่ชัดเจนหรือเนื้อหาที่ไม่คาดคิดบนหน้าจอ การดําเนินการเหล่านี้อาจส่งผลกระทบต่อความปลอดภัยของอุปกรณ์ ข้อมูล หรือบัญชีที่เชื่อมต่อรวมถึงการเข้าถึงระบบส่วนบุคคล การเงิน หรือองค์กร

เครื่องมือใช้คอมพิวเตอร์ทําอะไรได้บ้าง

คอมพิวเตอร์ใช้เครื่องมือประมวลผลข้อมูลพิกเซลของหน้าจอเพื่อทําความเข้าใจเนื้อหาบนหน้าจอ และทํางานโดยใช้การคลิกเมาส์เสมือนและการป้อนข้อมูลด้วยแป้นพิมพ์ เครื่องมือนี้สามารถจัดการเวิร์กโฟลว์หลายขั้นตอน จัดการสถานการณ์ที่ไม่คาดคิด และปรับเปลี่ยนได้แบบไดนามิกตามการเปลี่ยนแปลงของหน้าจอ สามารถทํางานดิจิทัลต่าง ๆ เช่น การท่องเว็บไซต์และกรอกแบบฟอร์มโดยไม่ต้องใช้ API เฉพาะทาง

เครื่องมือการใช้คอมพิวเตอร์ทําตามลูปแบบวนซ้ําตามสามขั้นตอน:

• การรับรู้: ซึ่งจะจับภาพหน้าจอเพื่อทําความเข้าใจสถานะปัจจุบันของหน้าจอคอมพิวเตอร์ด้วยสายตา

• เหตุผล: จะประเมินสถานะปัจจุบัน การดําเนินการก่อนหน้า และภาพหน้าจอผ่านวิธีการแบบเกี่ยวโยงซึ่งช่วยให้ปรับการดําเนินการได้อย่างมีประสิทธิภาพ

• การดําเนินการ: การดําเนินการเช่น การคลิก การพิมพ์ หรือการเลื่อนจนกว่างานจะเสร็จสมบูรณ์หรือต้องการการป้อนข้อมูลจากผู้ใช้เพิ่มเติม

จุดประสงค์การใช้งานของเครื่องมือใช้คอมพิวเตอร์คืออะไร?

เครื่องมือการใช้คอมพิวเตอร์มีไว้เพื่อทําให้การโต้ตอบของผู้ใช้กับเว็บไซต์และแอปพลิเคชันเป็นแบบอัตโนมัติผ่านเมาส์และแป้นพิมพ์เสมือน ซึ่งมีประโยชน์โดยเฉพาะอย่างยิ่งในสถานการณ์ที่ API ไม่พร้อมใช้งาน

เครื่องมือการใช้คอมพิวเตอร์ได้รับการประเมินอย่างไร เมตริกใดที่ใช้เพื่อวัดประสิทธิภาพการทํางาน

เครื่องมือการใช้คอมพิวเตอร์ได้รับการประเมินอย่างเข้มงวดโดยใช้สถานการณ์จริงตลอดขั้นตอนการออกแบบ การพัฒนา และการปรับใช้ วิธีการประเมินประกอบด้วยการวิจัย การศึกษาผลกระทบ และการทดสอบในสถานการณ์ต่าง ๆ เพื่อวัดความแม่นยํา ความไว้วางใจของผู้ใช้ และประโยชน์ใช้สอย เพื่อรักษาประสิทธิภาพสูงและประสบการณ์ผู้ใช้ที่ดี ทีมงานจะตรวจสอบทั้งตัวชี้วัดเชิงคุณภาพและเชิงปริมาณอย่างสม่ําเสมอ ทีมงานยังรับประกันความพร้อมใช้งานของเครื่องมือโดยปฏิบัติตาม SLA ที่กําหนดไว้

ข้อจํากัดของเครื่องมือการใช้คอมพิวเตอร์คืออะไร ผู้ใช้จะลดผลกระทบของข้อจํากัดของเครื่องมือการใช้คอมพิวเตอร์เมื่อใช้ระบบได้อย่างไร

การใช้คอมพิวเตอร์เป็นเทคโนโลยีใหม่ที่มีความเสี่ยงด้านความปลอดภัยและข้อจํากัดในการทํางาน ทีมงานจะเปิดโอกาสให้คุณทดลองกับมัน ความสามารถในระยะแรกนี้จะเปิดใช้งานการทํางานโดยอัตโนมัติจากคอมพิวเตอร์บางงาน แต่ประสิทธิภาพจะแตกต่างกันไปตามกรณีการใช้งาน หากต้องการใช้งานอย่างมีประสิทธิภาพและมีความรับผิดชอบ ให้ทําความเข้าใจข้อจํากัดในปัจจุบัน

ข้อจำกัดที่ทราบ

• ประสิทธิภาพแตกต่างกันไปตามงานและแอปพลิเคชัน ความน่าเชื่อถือขึ้นอยู่กับความซับซ้อนของงาน การออกแบบอินเทอร์เฟซ และพฤติกรรมของแอปพลิเคชัน

• ไวต่อการเปลี่ยนแปลงของอินเทอร์เฟซและเวลา การเปลี่ยนแปลงรูปแบบ ความล่าช้าในการโหลด หรือกล่องโต้ตอบที่ไม่คาดคิด อาจทําให้เกิดผลลัพธ์ที่แตกต่างกันสําหรับงานเดียวกัน

• ความยากลําบากกับการควบคุมบางอย่าง องค์ประกอบอินเทอร์เฟซที่ไม่เป็นมาตรฐานหรือแบบไดนามิก เช่น เมนูแบบเลื่อนลง ตัวเลือกวันที่ และวิดเจ็ตที่กําหนดเอง อาจเป็นเรื่องท้าทายในการใช้งาน

• อาจทำการกระทำซ้ำหรือติดขัด สถานะหน้าจอที่ไม่คาดคิดอาจทําให้เอเจนต์วนลูปหรือหยุดดําเนินการ

• ความท้าทายกับงานที่ซับซ้อน งานที่เกี่ยวข้องกับอินเทอร์เฟซกราฟิกที่ละเอียดหรือการจัดการข้อความที่ซับซ้อน อาจมีความน่าเชื่อถือน้อยกว่าการกระทําง่ายๆ

• ไม่เหมาะสําหรับกรณีที่ละเอียดอ่อนหรือมีความเสี่ยงสูง ตัวอย่างเช่น เครื่องมือนี้ไม่ได้ถูกออกแบบมาเพื่อ:

  • แนะนําหรือให้คะแนนในสาขาที่ละเอียดอ่อน เช่น การจ้างงาน สุขภาพ หรือการเงิน
  • การทําธุรกรรมทางการเงิน
  • การกระทําที่เป็นอันตราย เช่น สแปมหรือข้อมูลผิด
  • การแชร์ข้อมูลนอกองค์กรของคุณโดยไม่ได้รับอนุญาตอย่างถูกต้อง

วิธีลดขีดจํากัด

เพื่อเพิ่มความน่าเชื่อถือ ควรให้คําแนะนําที่ชัดเจนและละเอียดเมื่อกําหนดค่างาน เพื่อลดข้อผิดพลาดและเพิ่มอัตราความสําเร็จของงาน

คุณลักษณะการกํากับดูแลของมนุษย์คืออะไร

สำคัญ

ตัวแทนการใช้คอมพิวเตอร์อาจพบคําแนะนําที่เป็นอันตรายหรือเป็นอันตราย ซึ่งมักเรียกว่าการโจมตีแบบแทรกพร้อมท์ ซึ่งคําสั่งที่ซ่อนอยู่ในภาพหน้าจอ หน้าเว็บ หรืออินพุตอื่นๆ พยายามโน้มน้าวการกระทําในลักษณะที่ไม่ได้ตั้งใจ เพื่อลดความเสี่ยงเหล่านี้ ให้ใช้งานคอมพิวเตอร์ในสภาพแวดล้อมที่เชื่อถือได้และแยกจากกัน และใช้การตรวจสอบความถูกต้องที่มีประสิทธิภาพก่อนดําเนินการตามคําสั่งใดๆ

การเรียกใช้โดยใช้คอมพิวเตอร์อาจพบข้อมูลที่ไม่ชัดเจนหรือขาดหายไป ตัวอย่างเช่น ค่าที่จําเป็นไม่มีอยู่หรือการตีความหลายรายการสามารถนํามาใช้ได้ ในกรณีเหล่านั้น คุณลักษณะ การกํากับดูแลของมนุษย์ ช่วยให้การดําเนินการหยุดทํางานของตัวแทนโดยใช้คอมพิวเตอร์และส่งคําขอชี้แจงไปยังผู้ตรวจสอบมนุษย์ที่ได้รับอนุญาตและกําหนดค่า ผู้ตรวจสอบสามารถตอบกลับผ่านทางอีเมลหรือภายใน Copilot Studio โดยใช้แผนที่กิจกรรมการเรียกใช้ของตัวแทนได้ เมื่อตัวแทนการใช้คอมพิวเตอร์ได้รับการตอบกลับ จะดําเนินการเรียกใช้ต่อจากขั้นตอนหยุดชั่วคราวบนแผนที่

ความน่าเชื่อถือและขีดจํากัด

การประเมินผลที่นําผลิตภัณฑ์ระบุคุณลักษณะการดูแลของมนุษย์โดยทั่วไปทํางานตามที่คาดไว้ แต่อาจล้มเหลวหรือทํางานในลักษณะที่ผู้ใช้อาจไม่คาดคิด เนื่องจากคําขอการชี้แจงจะถูกทริกเกอร์โดยลักษณะการทํางานของแบบจําลองน่าจะเป็น พวกเขาอาจไม่ทริกเกอร์ในทุกสถานการณ์ที่บุคคลต้องการหยุดชั่วคราว สิ่งเหล่านี้อาจทำงานได้เช่นกันทั้งที่ไม่จำเป็นต้องหยุดชั่วคราว คุณไม่ควรพึ่งพาคำขอการชี้แจงเป็นกลไกความปลอดภัยที่ล้มเหลวหรือเป็นการรับประกันว่าระบบจะร้องขอข้อมูลจากมนุษย์เสมอก่อนดำเนินการต่อ

ไม่ใช่กลไกการบังคับใช้กฎแบบกําหนดเอง

คําขอสําหรับการกํากับดูแลของมนุษย์ไม่รับประกันการบังคับใช้กฎ นโยบาย หรือข้อจํากัดที่กําหนดของคุณ คุณควรใช้ตัวควบคุมเพิ่มเติมที่เหมาะสมสําหรับแต่ละสถานการณ์ที่เป็นไปได้ (ตัวอย่างเช่น: คําแนะนําที่ชัดเจน สภาพแวดล้อมที่จํากัด บัญชีที่มีสิทธิ์น้อยที่สุด อนุญาตรายการ และการป้องกันการดําเนินงานอื่น ๆ) แทนที่จะพึ่งพาคําขอชี้แจงเพื่อให้ข้อมูลหรือป้องกันการดําเนินการที่ไม่ต้องการ

ปัจจัยและการตั้งค่าการดําเนินงานใดที่ช่วยให้สามารถใช้เครื่องมือการใช้คอมพิวเตอร์ได้อย่างมีประสิทธิภาพและรับผิดชอบ

เครื่องมือการใช้คอมพิวเตอร์จะทํางานได้ดีที่สุดเมื่อให้คําแนะนําผู้ใช้ที่ชัดเจนและละเอียด ผู้ใช้ควรให้คําแนะนําที่แม่นยําเกี่ยวกับเว็บไซต์หรือการโต้ตอบกับแอปพลิเคชันเพื่อเพิ่มความน่าเชื่อถือและความแม่นยําในระหว่างการทํางาน เพื่อเพิ่มการมองเห็นและการควบคุม ให้เปิดใช้งานการควบคุมดูแลโดยมนุษย์โดยมอบหมายผู้ตรวจสอบที่ได้รับอนุญาตอย่างน้อยหนึ่งคนในหน้าการกําหนดค่าเครื่องมือ เมื่อแบบจําลองตรวจพบคําแนะนําที่อาจเป็นอันตราย ผู้ตรวจทานเหล่านี้จะได้รับการแจ้งเตือนเพื่อตรวจสอบความถูกต้องและตัดสินใจว่าจะดําเนินการต่อหรือหยุดการเรียกใช้

ฉันจะให้คําติชมเกี่ยวกับเครื่องมือการใช้คอมพิวเตอร์ได้อย่างไร

มีคําติชมเกี่ยวกับเครื่องมือการใช้คอมพิวเตอร์หรือไม่ อีเมลcomputeruse-feedback@microsoft.com