คำถามที่ถามบ่อยสำหรับเครื่องมือการใช้คอมพิวเตอร์

คำถามที่พบบ่อยเหล่านี้ (FAQ) จะให้ข้อมูลเชิงลึกเกี่ยวกับความสามารถ การใช้งาน ข้อจำกัด และมาตรการป้องกันที่คุณควรทราบเมื่อเพิ่มการใช้คอมพิวเตอร์ให้กับเอเจนต์ Copilot Studio ของคุณ

เครื่องมือการใช้คอมพิวเตอร์คืออะไร

การใช้คอมพิวเตอร์ เป็นเครื่องมือที่คุณสามารถเพิ่มลงในเอเจนต์ Copilot Studio ที่ออกแบบมาเพื่อทำงานบนเว็บไซต์และแอปพลิเคชันโดยอัตโนมัติ คุณป้อนคำอธิบายงานเป็นภาษาธรรมชาติ และเครื่องมือนี้จะดำเนินการคลิกเมาส์และกดแป้นพิมพ์โดยอัตโนมัติตามคำสั่งของคุณ ตัวอย่างเช่น คุณสามารถสั่งให้เครื่องมือเปิด PDF และใช้เนื้อหาเพื่อกรอกแบบฟอร์มบนเว็บ เครื่องมือนี้ตีความหน้าจอในลักษณะที่มองเห็นและดำเนินการคลิกและการกดแป้นพิมพ์ที่จำเป็น ซึ่งเป็นการเลียนแบบการโต้ตอบของมนุษย์

คำเตือน

การใช้คอมพิวเตอร์เป็นเครื่องมืออันทรงพลังที่ช่วยให้สามารถทำงานอัตโนมัติระหว่างเว็บไซต์และแอปพลิเคชันเดสก์ท็อปได้ แต่ก็มีข้อควรพิจารณาด้านความปลอดภัยที่สำคัญเช่นกัน ในบางกรณี AI อาจดำเนินการโดยไม่ได้ตั้งใจเนื่องจากคำสั่งที่คลุมเครือหรือเนื้อหาที่ไม่คาดคิดบนหน้าจอ การดำเนินการเหล่านี้อาจส่งผลต่อความปลอดภัยของอุปกรณ์ ข้อมูล หรือบัญชีที่เชื่อมต่อของคุณ รวมถึงการเข้าถึงระบบส่วนบุคคล ระบบการเงิน หรือระบบองค์กร

เครื่องมือการใช้คอมพิวเตอร์ทำอะไรได้บ้าง

เครื่องมือการใช้คอมพิวเตอร์จะประมวลผลข้อมูลพิกเซลของหน้าจอเพื่อทำความเข้าใจเนื้อหาบนหน้าจอ และทำงานโดยใช้การคลิกเมาส์เสมือนและการป้อนข้อมูลด้วยแป้นพิมพ์ เครื่องมือนี้สามารถจัดการเวิร์กโฟลว์แบบหลายขั้นตอน รับมือกับสถานการณ์ที่ไม่คาดคิด และปรับตัวต่อการเปลี่ยนแปลงของหน้าจอได้อย่างไดนามิก สามารถทำงานดิจิทัลต่าง ๆ เช่น การนำทางเว็บไซต์และการกรอกแบบฟอร์มโดยไม่ต้องใช้ API เฉพาะ

เครื่องมือการใช้คอมพิวเตอร์จะทำตามลูปวนซ้ำตามสามขั้นตอน:

• การรับรู้: จับภาพหน้าจอเพื่อทำความเข้าใจสถานะปัจจุบันของหน้าจอคอมพิวเตอร์

• การให้เหตุผล: ประเมินสถานะปัจจุบัน การดำเนินการก่อนหน้า และภาพหน้าจอผ่านแนวทางห่วงโซ่ความคิด ซึ่งช่วยให้สามารถปรับการดำเนินการได้อย่างมีประสิทธิภาพ

• การดำเนินการ: ดำเนินการต่างๆ เช่น คลิก พิมพ์ หรือเลื่อนจนกว่างานจะเสร็จสมบูรณ์หรือต้องการให้มีการป้อนข้อมูลจากผู้ใช้เพิ่มเติม

จุดประสงค์การใช้งานของเครื่องมือการใช้คอมพิวเตอร์คืออะไร

เครื่องมือการใช้คอมพิวเตอร์มีวัตถุประสงค์เพื่อทำให้การโต้ตอบของผู้ใช้กับเว็บไซต์และแอปพลิเคชันเป็นอัตโนมัติผ่านเมาส์และแป้นพิมพ์เสมือน มีประโยชน์อย่างยิ่งในสถานการณ์ที่ไม่มี API

เครื่องมือการใช้คอมพิวเตอร์ได้รับการประเมินอย่างไร เมตริกใดที่ใช้วัดประสิทธิภาพ

เครื่องมือการใช้คอมพิวเตอร์ได้รับการประเมินอย่างเข้มงวดโดยใช้สถานการณ์จริงตลอดขั้นตอนการออกแบบ การพัฒนา และการปรับใช้งาน วิธีการประเมินรวมถึงการวิจัย การศึกษาผลกระทบ และการทดสอบในสถานการณ์ต่างๆ เพื่อวัดความแม่นยำ ความไว้วางใจของผู้ใช้ และประโยชน์ ตัวชี้วัดทั้งเชิงคุณภาพและเชิงปริมาณได้รับการตรวจสอบอย่างสม่ำเสมอเพื่อรักษาประสิทธิภาพสูงและประสบการณ์การใช้งานที่ดีของผู้ใช้ ความพร้อมใช้งานของเครื่องมือยังได้รับการรับรองโดยการปฏิบัติตาม SLA ที่กำหนดไว้

เครื่องมือการใช้คอมพิวเตอร์มีข้อจำกัดอะไรบ้าง ผู้ใช้จะสามารถลดผลกระทบจากข้อจำกัดของเครื่องมือการใช้คอมพิวเตอร์ให้เหลือน้อยที่สุดเมื่อใช้ระบบได้อย่างไร

เทคโนโลยีการใช้คอมพิวเตอร์เป็นเทคโนโลยีใหม่ที่มีความเสี่ยงด้านความปลอดภัยและข้อจำกัดในการทำงานที่ทราบแล้ว เราเปิดโอกาสให้คุณทดลองใช้งานเครื่องมือนี้ ความสามารถในระยะเริ่มต้นนี้ช่วยให้งานบางอย่างที่ใช้คอมพิวเตอร์เป็นไปโดยอัตโนมัติ แม้ว่าประสิทธิภาพจะแตกต่างกันไปตามกรณีการใช้งาน หากต้องการใช้งานอย่างมีประสิทธิภาพและมีความรับผิดชอบ ให้ทำความเข้าใจข้อจำกัดในปัจจุบัน

ข้อจำกัดที่ทราบ

• อัตราความสำเร็จแตกต่างกันไปตามงาน: เครื่องมือนี้ทำงานได้ดีที่สุดกับงานบนเว็บไซต์ (ความสำเร็จประมาณ 80%) แต่ลดลงอย่างมากในแอปพลิเคชันเดสก์ท็อป (ความสำเร็จประมาณ 35%)
• ประสิทธิภาพที่ไม่สม่ำเสมอ: งานเดียวกันอาจให้ผลลัพธ์ที่แตกต่างกันขึ้นอยู่กับการเปลี่ยนแปลงของภาพหรือช่วงเวลา
• ปัญหาเกี่ยวกับการควบคุม UI บางอย่าง: การใช้คอมพิวเตอร์อาจมีปัญหาในการโต้ตอบกับองค์ประกอบอินเทอร์เฟซที่ไม่เป็นมาตรฐานหรือมีการเปลี่ยนแปลงแบบไดนามิก เช่น ดรอปดาวน์ ตัวเลือกวันที่ หรือวิดเจ็ตที่กำหนดเอง
• ลูปและสถานะค้าง: ในบางกรณี เอเจนต์เข้าสู่ลูปหรือค้างเมื่อหน้าจอไม่ตรงกับความคาดหวังหรือเปลี่ยนแปลงอย่างไม่คาดคิด
• ความท้าทายกับงานที่ซับซ้อน: แม้ว่าจะมีประสิทธิภาพสำหรับการดำเนินการง่ายๆ แต่เครื่องมือนี้อาจประสบปัญหากับอินเทอร์เฟซกราฟิกที่มีรายละเอียดสูงหรืองานที่เกี่ยวข้องกับการจัดการข้อความอย่างละเอียด
• กรณีการใช้งานที่ละเอียดอ่อนหรือมีความเสี่ยงสูง: เครื่องมือนี้ไม่ได้มีไว้สำหรับ:
  • การแนะนำหรือการให้คะแนนในโดเมนที่ละเอียดอ่อน เช่น การจ้างงาน การดูแลสุขภาพ หรือการเงิน
  • การทำธุรกรรมทางการเงิน
  • การกระทำที่เป็นอันตราย เช่น สแปมหรือข้อมูลเท็จ
  • การแชร์ข้อมูลออกนอกองค์กรโดยไม่ได้รับอนุญาต

วิธีลดข้อจำกัด

เพื่อเพิ่มความน่าเชื่อถือ คุณควรให้คำสั่งที่ชัดเจนและละเอียดเมื่อกำหนดค่าการทำงาน เพื่อลดข้อผิดพลาดและเพิ่มอัตราความสำเร็จในการดำเนินงาน

คุณลักษณะการดูแลโดยมนุษย์คืออะไร

สำคัญ

เอเจนต์ที่ใช้คอมพิวเตอร์อาจพบคำสั่งที่เป็นอันตรายหรือมีเจตนาร้าย ซึ่งมักเรียกว่าการโจมตีแบบการแทรกพร้อมท์ โดยคำสั่งที่ซ่อนอยู่ในภาพหน้าจอ เว็บเพจ หรือข้อมูลนำเข้าอื่นๆ อาจพยายามชักจูงให้เอเจนต์ดำเนินการในลักษณะที่ไม่ได้ตั้งใจ เพื่อลดความเสี่ยงเหล่านี้ ให้ใช้งานการใช้คอมพิวเตอร์ในสภาพแวดล้อมที่เชื่อถือได้และแยกออกจากกัน พร้อมใช้การตรวจสอบความถูกต้องที่รัดกุมก่อนดำเนินการตามคำสั่งใดๆ

การทำงานของการใช้คอมพิวเตอร์อาจพบข้อมูลที่กำกวมหรือข้อมูลไม่ครบถ้วน ตัวอย่างเช่น ไม่มีค่าที่จำเป็นหรือการตีความหลายอย่างเป็นไปได้ ในกรณีเหล่านั้น คุณลักษณะ การกำกับดูแลของมนุษย์ จะช่วยให้เอเจนต์ที่ใช้การใช้คอมพิวเตอร์สามารถหยุดการดำเนินการชั่วคราวและออกคำขอคำชี้แจงไปยังผู้ตรวจสอบที่ได้รับอนุญาตและกำหนดค่าไว้ได้ ผู้ตรวจสอบสามารถตอบกลับทางอีเมลหรือภายใน Copilot Studio โดยใช้แผนผังกิจกรรมการเรียกใช้ของเอเจนต์ เมื่อเอเจนต์ที่ใช้คอมพิวเตอร์ได้รับการตอบกลับ จะทำงานต่อจากขั้นตอนที่หยุดชั่วคราวบนแผนที่

ความน่าเชื่อถือและข้อจำกัด

การประเมินที่นำโดยผลิตภัณฑ์บ่งชี้ว่าคุณลักษณะการควบคุมดูแลของมนุษย์โดยทั่วไปจะทำงานได้ตามที่คาดไว้ แต่อาจล้มเหลวหรือทำงานในลักษณะที่ผู้ใช้อาจคาดไม่ถึง เนื่องจากคำขอให้ชี้แจงถูกกระตุ้นโดยลักษณะการทำงานของโมเดลที่เป็นไปตามความน่าจะเป็น คำขอเหล่านี้อาจไม่ทริกเกอร์ในทุกสถานการณ์ที่บุคคลต้องการให้หยุดชั่วคราว นอกจากนี้ยังอาจทริกเกอร์เมื่อไม่จำเป็นต้องหยุดชั่วคราว คุณไม่ควรพึ่งพาการขอคำชี้แจงในฐานะกลไกป้องกันความผิดพลาดเพื่อความปลอดภัย หรือเป็นการรับประกันว่าระบบจะขอการยืนยันจากมนุษย์ก่อนดำเนินการต่อเสมอ

ไม่ใช่กลไกการบังคับใช้กฎที่กำหนดเอง

คำขอสำหรับการควบคุมดูแลของมนุษย์ไม่ได้รับประกันการบังคับใช้กฎ นโยบาย หรือข้อจำกัดที่คุณกำหนดไว้ คุณควรใช้มาตรการควบคุมที่เหมาะสมกับแต่ละสถานการณ์ที่เป็นไปได้ (เช่น คำสั่งที่ชัดเจน สภาพแวดล้อมที่จำกัด บัญชีสิทธิ์ต่ำ รายการที่อนุญาต และมาตรการป้องกันการดำเนินงานอื่น ๆ) แทนที่จะพึ่งพาคำขอชี้แจงเพื่อให้ข้อมูลหรือป้องกันการดำเนินการที่ไม่พึงประสงค์

ปัจจัยการดำเนินงานและการตั้งค่าใดที่ช่วยให้สามารถใช้เครื่องมือการใช้คอมพิวเตอร์ได้อย่างมีประสิทธิภาพและมีความรับผิดชอบ

เครื่องมือการใช้คอมพิวเตอร์จะทำงานได้ดีที่สุดเมื่อมีคำสั่งจากผู้ใช้ที่ชัดเจนและละเอียด ผู้ใช้ควรให้คำแนะนำเฉพาะเจาะจงเกี่ยวกับการโต้ตอบกับเว็บไซต์หรือแอปพลิเคชันเพื่อเสริมความน่าเชื่อถือและความแม่นยำในการปฏิบัติงาน เพื่อเพิ่มการมองเห็นและการควบคุม ให้เปิดใช้งานการควบคุมดูแลโดยมนุษย์โดยมอบหมายผู้ตรวจสอบที่ได้รับอนุญาตอย่างน้อยหนึ่งคนในหน้าการกำหนดค่าเครื่องมือ เมื่อโมเดลตรวจพบคำสั่งที่อาจเป็นอันตราย ผู้ตรวจทานเหล่านี้จะได้รับการแจ้งเตือนเพื่อตรวจสอบความถูกต้องและตัดสินใจว่าจะดำเนินการต่อหรือหยุดการเรียกใช้

จะให้ข้อเสนอแนะเกี่ยวกับเครื่องมือการใช้คอมพิวเตอร์ได้อย่างไร

มีข้อเสนอแนะเกี่ยวกับเครื่องมือการใช้คอมพิวเตอร์ อีเมล computeruse-feedback@microsoft.com