คําถามที่ถามบ่อยสําหรับการใช้เครื่องมือคอมพิวเตอร์

เครื่องมือการใช้คอมพิวเตอร์คืออะไร

การใช้คอมพิวเตอร์ เป็นเครื่องมือที่คุณสามารถเพิ่มตัวแทน Copilot Studio ของคุณที่ออกแบบมาเพื่อทํางานบนเว็บไซต์และแอปพลิเคชันโดยอัตโนมัติ ผู้ใช้มีคําอธิบายงานเป็นภาษาธรรมชาติและเครื่องมือจะคลิกเมาส์และการดําเนินการแป้นพิมพ์โดยอัตโนมัติตามลําดับ ตัวอย่างเช่น คุณสามารถแนะนําเครื่องมือเพื่อเปิด PDF และใช้เนื้อหาเพื่อกรอกแบบฟอร์มเว็บ เครื่องมือจะตีความหน้าจอและดําเนินการคลิกและการกดแป้นพิมพ์ที่จําเป็นรวมถึงการเลียนแบบการโต้ตอบของมนุษย์

คำเตือน

การใช้งานคอมพิวเตอร์เป็นเครื่องมือที่มีประสิทธิภาพซึ่งช่วยให้การโต้ตอบระหว่างเว็บไซต์และแอปพลิเคชันเดสก์ท็อปเป็นไปโดยอัตโนมัติ แต่ยังมาพร้อมกับข้อควรพิจารณาด้านความปลอดภัยที่สําคัญด้วย ในบางกรณี AI อาจดําเนินการโดยไม่ตั้งใจเนื่องจากคําแนะนําที่ไม่ชัดเจนหรือเนื้อหาที่ไม่คาดคิดบนหน้าจอ การดําเนินการเหล่านี้อาจส่งผลกระทบต่อความปลอดภัยของอุปกรณ์ ข้อมูล หรือบัญชีที่เชื่อมต่อรวมถึงการเข้าถึงระบบส่วนบุคคล การเงิน หรือองค์กร

เครื่องมือใช้คอมพิวเตอร์ทําอะไรได้บ้าง

คอมพิวเตอร์ใช้เครื่องมือประมวลผลข้อมูลพิกเซลของหน้าจอเพื่อทําความเข้าใจเนื้อหาบนหน้าจอ และทํางานโดยใช้การคลิกเมาส์เสมือนและการป้อนข้อมูลด้วยแป้นพิมพ์ เครื่องมือนี้สามารถจัดการเวิร์กโฟลว์แบบหลายขั้นตอนจัดการสถานการณ์ที่ไม่คาดคิดและปรับให้เข้ากับการเปลี่ยนแปลงหน้าจอแบบไดนามิกทําให้สามารถทํางานดิจิทัลต่าง ๆ ได้เช่นการนําทางเว็บไซต์และกรอกแบบฟอร์มโดยไม่จําเป็นต้องมี API พิเศษ

เครื่องมือการใช้คอมพิวเตอร์ทําตามลูปแบบวนซ้ําตามสามขั้นตอน:

• การรับรู้: ซึ่งจะจับภาพหน้าจอเพื่อทําความเข้าใจสถานะปัจจุบันของหน้าจอคอมพิวเตอร์ด้วยสายตา

• เหตุผล: จะประเมินสถานะปัจจุบัน การดําเนินการก่อนหน้า และภาพหน้าจอผ่านวิธีการแบบเกี่ยวโยงซึ่งช่วยให้ปรับการดําเนินการได้อย่างมีประสิทธิภาพ

• การดําเนินการ: การดําเนินการเช่น การคลิก การพิมพ์ หรือการเลื่อนจนกว่างานจะเสร็จสมบูรณ์หรือต้องการการป้อนข้อมูลจากผู้ใช้เพิ่มเติม

อะไรคือวัตถุประสงค์ของการใช้เครื่องมือคอมพิวเตอร์?

เครื่องมือการใช้คอมพิวเตอร์มีจุดมุ่งหมายเพื่อทําให้การโต้ตอบของผู้ใช้กับเว็บไซต์และแอปพลิเคชันเป็นแบบอัตโนมัติผ่านเมาส์เสมือนและแป้นพิมพ์โดยเฉพาะอย่างยิ่งมีประโยชน์ในสถานการณ์ที่ API ไม่พร้อมใช้งาน

เครื่องมือการใช้คอมพิวเตอร์ได้รับการประเมินอย่างไร เมตริกใดที่ใช้วัดประสิทธิภาพ

เครื่องมือการใช้คอมพิวเตอร์ได้รับการประเมินอย่างเข้มงวดโดยใช้สถานการณ์จริงตลอดขั้นตอนการออกแบบ การพัฒนา และการปรับใช้ วิธีการประเมินผลรวมถึงการวิจัยการศึกษาผลกระทบและการทดสอบในสถานการณ์ที่แตกต่างกันเพื่อวัดความแม่นยําความไว้วางใจของผู้ใช้และประโยชน์ ทั้งเมตริกเชิงคุณภาพและปริมาณมีการตรวจสอบอย่างสม่ําเสมอเพื่อรักษาประสิทธิภาพสูงและประสบการณ์ของผู้ใช้ในเชิงบวก นอกจากนี้ ความพร้อมใช้งานของเครื่องมือยังรับประกันโดยการยึดตาม SLA ที่สร้างขึ้น

ข้อจํากัดของเครื่องมือการใช้คอมพิวเตอร์คืออะไร ผู้ใช้จะลดผลกระทบของข้อจํากัดในการใช้เครื่องมือคอมพิวเตอร์เมื่อใช้ระบบได้อย่างไร

การใช้คอมพิวเตอร์เป็นเทคโนโลยีใหม่ที่มีความเสี่ยงด้านความปลอดภัยและข้อจํากัดในการทํางาน เรากําลังให้อํานาจคุณในการทดลองกับมัน ความสามารถในระยะแรกนี้จะเปิดใช้งานการทํางานโดยอัตโนมัติจากคอมพิวเตอร์บางงาน แต่ประสิทธิภาพจะแตกต่างกันไปตามกรณีการใช้งาน หากต้องการใช้งานอย่างมีประสิทธิภาพและตอบสนองโปรดทําความเข้าใจข้อจํากัดปัจจุบัน:

ข้อจำกัดที่ทราบ

• อัตราความสําเร็จแตกต่างกันไปตามงาน: เครื่องมือทํางานบนเว็บได้ดีที่สุด (ประมาณ 80% สําเร็จ) แต่จะลดลงอย่างมากบนแอปเดสก์ท็อป (ประมาณ 35% ความสําเร็จ)
• ประสิทธิภาพที่ไม่สอดคล้องกัน: งานเดียวกันนี้อาจให้ผลลัพธ์ที่ต่างกันโดยขึ้นอยู่กับวิชวลหรือการเปลี่ยนแปลงการกําหนดเวลา
• ปัญหาเกี่ยวกับตัวควบคุม UI บางอย่าง: การใช้คอมพิวเตอร์อาจมีปัญหาในการโต้ตอบกับองค์ประกอบอินเทอร์เฟซที่ไม่ได้มาตรฐานหรือแบบไดนามิก เช่น รายการดรอปดาวน์ ตัวเลือกวันที่ หรือวิดเจ็ตแบบกําหนดเอง
• รอบและสถานะที่ติดอยู่: ในบางกรณี ตัวแทนจะเข้ารอบหรือติดอยู่เมื่อหน้าจอไม่ตรงกับความคาดหวังหรือการเปลี่ยนแปลงอย่างไม่คาดคิด
• ความท้าทายสําหรับงานที่ซับซ้อน: ในขณะที่มีประสิทธิภาพสําหรับการดําเนินการอย่างง่าย เครื่องมืออาจต่อสู้กับส่วนต่อประสานกราฟิกหรืองานที่เกี่ยวข้องกับการจัดการข้อความที่ซับซ้อน
• ไม่ใช่สําหรับกรณีการใช้งานที่ละเอียดอ่อนหรือมีความเสี่ยงสูง: เครื่องมือไม่ได้มีไว้สําหรับ:
  • การแนะนําหรือให้คะแนนในโดเมนที่ละเอียดอ่อน เช่น การจ้างงาน การดูแลสุขภาพ หรือการเงิน
  • การทําธุรกรรมทางการเงิน
  • การกระทําที่เป็นอันตราย เช่น สแปมหรือข้อมูลที่ไม่ถูกต้อง
  • การแชร์ข้อมูลภายนอกองค์กรของคุณโดยไม่มีการอนุญาตที่เหมาะสม

วิธีลดขีดจํากัด

เพื่อปรับปรุงความน่าเชื่อถือ ผู้ใช้ควรระบุคําแนะนําที่ชัดเจนและละเอียดเมื่อกําหนดค่างาน ซึ่งช่วยลดข้อผิดพลาดและเพิ่มอัตราความสําเร็จของงาน

การควบคุมดูแลโดยมนุษย์สําหรับคําแนะนําที่อาจเป็นอันตราย

ตัวแทนการใช้คอมพิวเตอร์อาจพบคําแนะนําที่เป็นอันตรายหรือเป็นอันตราย ซึ่งมักเรียกว่าการโจมตีแบบแทรกพร้อมท์ ซึ่งคําสั่งที่ซ่อนอยู่ในภาพหน้าจอ หน้าเว็บ หรืออินพุตอื่นๆ พยายามโน้มน้าวการกระทําในลักษณะที่ไม่ได้ตั้งใจ เพื่อลดความเสี่ยงเหล่านี้ ให้ใช้งานคอมพิวเตอร์ในสภาพแวดล้อมที่เชื่อถือได้และแยกจากกัน และใช้การตรวจสอบความถูกต้องที่มีประสิทธิภาพก่อนดําเนินการตามคําสั่งใดๆ

การควบคุมดูแลของมนุษย์จะเพิ่มการมองเห็นและการควบคุมมากขึ้นโดยอนุญาตให้ผู้ตรวจสอบที่ได้รับอนุญาตตรวจสอบความถูกต้องของการดําเนินการที่ถูกตั้งค่าสถานะว่าอาจเป็นอันตรายหรือเป็นอันตราย เมื่อตรวจพบความเสี่ยงดังกล่าว การใช้คอมพิวเตอร์จะหยุดการดําเนินการชั่วคราว และแจ้งให้ผู้ตรวจทานที่ได้รับมอบหมายทราบ ซึ่งสามารถตัดสินใจได้ว่าจะดําเนินการต่อหรือหยุดการเรียกใช้ การตรวจสอบความปลอดภัยที่ดําเนินการโดยตัวแทนการใช้คอมพิวเตอร์อาจถูกทริกเกอร์โดยการตอบสนอง อินพุต หรือภาพหน้าจอเดียว หรือโดยบริบทดังกล่าวหลายส่วน การตรวจสอบความปลอดภัยมีจุดมุ่งหมายเพื่อแจ้งให้มนุษย์ตรวจสอบก่อนที่ตัวแทนการใช้คอมพิวเตอร์จะดําเนินการที่อาจไม่สามารถย้อนกลับได้หรือไม่ได้รับอนุญาต แต่ตัวแทนการใช้คอมพิวเตอร์อาจทําผิดพลาดได้เมื่อทําการตรวจสอบ ตัวอย่างเช่น ตัวแทนการใช้คอมพิวเตอร์อาจตรวจไม่พบการกระทําบางอย่าง หรืออาจแจ้งให้ตรวจทานในกรณีที่ไม่กังวลเรื่องความปลอดภัย การตรวจสอบความปลอดภัยไม่สามารถทดแทนการออกแบบและคําแนะนําของตัวแทนได้อย่างมีความรับผิดชอบ

คุณลักษณะนี้จะแจ้งให้ตรวจสอบการดําเนินการที่อาจย้อนกลับไม่ได้หรือไม่ได้รับอนุญาต แต่ขณะนี้ยังไม่รองรับคําขอการยืนยันทั่วไป พร้อมท์สําหรับข้อมูลที่ขาดหายไป หรือการตรวจสอบความปลอดภัยประเภทอื่นๆ

ปัจจัยและการตั้งค่าการดําเนินงานใดที่ช่วยให้สามารถใช้เครื่องมือการใช้คอมพิวเตอร์ได้อย่างมีประสิทธิภาพและรับผิดชอบ

เครื่องมือการใช้คอมพิวเตอร์จะทํางานได้ดีที่สุดเมื่อให้คําแนะนําผู้ใช้ที่ชัดเจนและละเอียด ผู้ใช้ควรให้คําแนะนําที่แม่นยําเกี่ยวกับเว็บไซต์หรือการโต้ตอบกับแอปพลิเคชันเพื่อเพิ่มความน่าเชื่อถือและความแม่นยําในระหว่างการทํางาน เพื่อเพิ่มการมองเห็นและการควบคุม ให้เปิดใช้งานการควบคุมดูแลโดยมนุษย์โดยมอบหมายผู้ตรวจสอบที่ได้รับอนุญาตอย่างน้อยหนึ่งคนในหน้าการกําหนดค่าเครื่องมือ เมื่อแบบจําลองตรวจพบคําแนะนําที่อาจเป็นอันตราย ผู้ตรวจทานเหล่านี้จะได้รับการแจ้งเตือนเพื่อตรวจสอบความถูกต้องและตัดสินใจว่าจะดําเนินการต่อหรือหยุดการเรียกใช้

ฉันจะให้คําติชมเกี่ยวกับเครื่องมือการใช้คอมพิวเตอร์ได้อย่างไร

มีคําติชมเกี่ยวกับเครื่องมือการใช้คอมพิวเตอร์หรือไม่ อีเมลcomputeruse-feedback@microsoft.com