แชร์ผ่าน

บันทึกโฟลว์เดสก์ท็อป

  • บทความ

Power Automate ช่วยให้คุณสามารถออกแบบโฟลว์เดสก์ท็อปโดยอัตโนมัติโดยจำลองงานที่คุณต้องการทำให้เป็นอัตโนมัติ

บันทึกโฟลว์เดสก์ท็อปและโฟลว์เว็บ

ในการบันทึกโฟลว์ที่ทำให้แอปพลิเคชันเดสก์ท็อปหรือ/และเว็บทำงานโดยอัตโนมัติ:

  1. สร้างโฟลว์เดสก์ท็อปและเลือก ตัวบันทึก ในแถบเครื่องมือของตัวออกแบบโฟลว์

    ภาพหน้าจอของปุ่มตัวบันทึก

  2. เลือก บันทึก ในหน้าต่างตัวบันทึกและเริ่มดำเนินการตามที่ต้องการในแอปพลิเคชันหรือเว็บเพจที่เหมาะสม

    ภาพหน้าจอของปุ่มบันทึก

    ตัวบันทึกจะติดตามกิจกรรมของเมาส์และคีย์บอร์ดที่สัมพันธ์กับองค์ประกอบ UI และบันทึกการทำงานแต่ละรายการแยกกัน ในระหว่างเซสชันการบันทึกแต่ละครั้ง ตัวบันทึกสามารถสร้างทั้ง UI และการดำเนินการอัตโนมัติของเบราว์เซอร์ได้

    หมายเหตุ

    เมื่อคุณคลิกซ้ายหรือขวาบนองค์ประกอบ UI ระหว่างการบันทึก ปากกาเน้นข้อความจะแสดงข้อความ รอดำเนินการ ที่แนะนำให้คุณรอให้ตัวบันทึกบันทึกและแทรกการดำเนินการ

    ภาพหน้าจอของขั้นตอนที่บันทึกไว้บางส่วน

    หากต้องการดูการดำเนินการที่มีอยู่สำหรับองค์ประกอบเฉพาะ ให้คลิกขวาเพื่อเปิดเมนูบริบท ตัวเลือกที่ใช้ได้ขึ้นอยู่กับลักษณะขององค์ประกอบที่เลือก

    ภาพหน้าจอของเมนูบริบทการบันทึก

  3. เมื่อกระบวนการบันทึกเสร็จสิ้น ให้เลือก เสร็จ เพื่อแปลงขั้นตอนที่บันทึกไว้เป็นการดำเนินการของโฟลว์เดสก์ท็อป องค์ประกอบ UI ทั้งหมดที่ใช้ใน UI ที่สร้างขึ้นและการดำเนินการอัตโนมัติของเว็บจะถูกเพิ่มลงในบานหน้าต่างองค์ประกอบ UI โดยอัตโนมัติ คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับองค์ประกอบ UI ได้ใน ทำให้การใช้องค์ประกอบ UI เป็นแบบอัตโนมัติ

    ภาพหน้าจอของการดำเนินการที่สร้างขึ้นของโฟลว์ที่บันทึกไว้

หากต้องการหยุดกระบวนการบันทึกชั่วคราว ให้เลือก หยุดชั่วคราว หากต้องการเพิ่มความคิดเห็นในการดำเนินการที่บันทึกไว้ ให้เลือก เพิ่มความคิดเห็น

ภาพหน้าจอของปุ่มข้อคิดเห็น

ทำซ้ำขั้นตอนการลากและวาง

เครื่องบันทึกรองรับขั้นตอนที่เกี่ยวข้องกับการลากและวางตัวชี้เมาส์ ดังนั้นเครื่องบันทึกสามารถสร้างการดำเนินการ เช่น ปรับขนาดหน้าต่าง และ ย้ายหน้าต่าง อย่างไรก็ตาม การดำเนินการ ลากและวางองค์ประกอบ UI ของหน้าต่าง ยังไม่รองรับในขณะนี้

จัดการรายการดรอปดาวน์

ในขณะที่ทำให้แอปพลิเคชันเดสก์ท็อปและเว็บแอปพลิเคชันทำงานอัตโนมัติโดยใช้ตัวบันทึก คุณอาจต้องจัดการกับรายการดรอปดาวน์

ตัวบันทึก Power Automate จะแสดงหน้าจอที่กำหนดเองทุกครั้งที่คุณเลือกรายการดรอปดาวน์ และช่วยให้คุณเลือกค่าที่ต้องการได้ หน้าจอที่กำหนดเองนี้ให้คุณเลือกค่าหนึ่งค่าหรือมากกว่านั้นขึ้นอยู่กับว่ารายการดรอปดาวน์เป็นแบบเลือกหลายรายการหรือไม่

ระหว่างรันไทม์ Power Automate เลือกค่าที่กำหนดไว้โดยอัตโนมัติและเลือกปุ่ม ตกลง

ภาพหน้าจอของหน้าจอที่กำหนดเองสำหรับรายการดรอปดาวน์

เปิดเว็บเบราว์เซอร์

ในการเปิดใช้อินสแตนซ์ของเว็บเบราว์เซอร์ขณะบันทึกโฟลว์ของเว็บ คุณสามารถใช้สามวิธีที่แตกต่างกันตามสถานการณ์การทำงานอัตโนมัติ

วิธีแรกคือเลือกไอคอนจุดทางด้านขวาของกล่องโต้ตอบบันทึกแล้ว เปิดเว็บเบราว์เซอร์ใหม่ คุณสามารถเลือกระหว่าง Microsoft Edge, Google Chrome, Mozilla Firefox และ Microsoft Internet Explorer

หลังจากที่คุณเลือกเบราว์เซอร์ที่เหมาะสมแล้ว ตัวบันทึกจะตรวจจับเว็บเพจที่โหลดโดยอัตโนมัติและกำหนดค่าขั้นตอนการเปิดการเรียกดูตามลำดับ

ภาพหน้าจอของตัวเลือกเปิดเว็บเบราว์เซอร์ใหม่

วิธีอื่นในการเปิดเบราว์เซอร์คือการเริ่มบันทึกในเว็บเบราว์เซอร์ที่เปิดอยู่แล้ว ตัวบันทึกจะตรวจหาเพจที่โหลดโดยอัตโนมัติและจะสร้างการดำเนินการของเบราว์เซอร์ที่เปิด

วิธีสุดท้ายในการเปิดเบราว์เซอร์คือการเปิดเบราว์เซอร์ด้วยตนเองผ่านทางลัดบนเดสก์ท็อป เมนูเริ่ม แถบงาน หรือโฟลเดอร์ หากคุณใช้วิธีนี้ ตัวบันทึกจะสร้างการดำเนินการอัตโนมัติของ UI ที่คลิกทางลัดของเบราว์เซอร์และเปิดใช้งาน

จัดการตัวเลือกวันที่และสีบนเว็บเพจ

เช่นเดียวกับรายการดรอปดาวน์ ตัวบันทึก Power Automate จะแสดงหน้าจอที่กำหนดเองเพื่อช่วยคุณจัดการตัวเลือกวันที่และสีบนเว็บเพจ

เมื่อคุณทำงานกับตัวเลือกวันที่ ตัวบันทึกจะเปิดฟิลด์ข้อความซึ่งคุณสามารถแทรกวันที่ที่ต้องการในรูปแบบที่ระบุได้

หน้าจอที่กำหนดเองจะปรากฏขึ้นสำหรับประเภทอินพุต HTML ต่อไปนี้:

  • วันที่
  • datetime-local
  • เดือน
  • เวลา
  • สัปดาห์

ภาพหน้าจอของหน้าจอที่กำหนดเองของตัวเลือกวันที่

เช่นเดียวกัน เมื่อคุณทำงานกับตัวเลือกสี ตัวบันทึกจะเปิดฟิลด์ข้อความซึ่งคุณสามารถเติมข้อมูลรหัสสีเลขฐานสิบหกที่ต้องการได้

ภาพหน้าจอของหน้าจอที่กำหนดเองของตัวเลือกสี

เพิ่มข้อความด้วยตัวแก้ไขวิธีการป้อนข้อมูล (IME)

ตัวแก้ไขวิธีการป้อนข้อมูล (IME) เป็นส่วนประกอบซอฟต์แวร์ที่ช่วยให้ผู้ใช้ป้อนข้อความในภาษาที่ไม่สามารถแสดงบนแป้นพิมพ์ QWERTY มาตรฐานได้อย่างง่ายดาย ผู้ใช้สามารถพิมพ์คีย์ผสม และ IME จะสร้างอักขระหรือรายการอักขระที่เป็นตัวเลือกที่ตรงกับชุดของการกดแป้นพิมพ์

Power Automate สำหรับเดสก์ท็อปรองรับการใช้ IME ระหว่างขั้นตอนการบันทึกโฟลว์ ในการเติมฟิลด์ข้อความโดยใช้ IME:

  1. คลิกขวาที่ฟิลด์ข้อความแล้วเลือก เติมข้อมูลฟิลด์ข้อความ บนเมนูที่แสดง

    ภาพหน้าจอของตัวเลือกเมนูเติมข้อมูลฟิลด์ข้อความ

  2. เติมกล่องโต้ตอบป๊อปอัปด้วยข้อความที่ต้องการโดยใช้ IME

    ภาพหน้าจอของกล่องโต้ตอบเพิ่มข้อความด้วย IME

  3. เลือก เพิ่มข้อความ เพื่อสร้างขั้นตอนตามลำดับในหน้าต่าง ตัวบันทึก

    ภาพหน้าจอของข้อความที่สร้างขึ้นจาก IME ในตัวบันทึกเดสก์ท็อป

การบันทึกตามรูปภาพ

ในบางกรณี ตัวบันทึกอาจไม่บันทึกการดำเนินการในแอปพลิเคชันเฉพาะที่ไม่ตรงตามข้อกำหนดทางเทคนิคที่เหมาะสม แอปพลิเคชันเหล่านี้ต้องไม่เปิดเผย API การช่วยสำหรับการเข้าถึง หรือมีข้อจำกัดทางเทคนิคอื่นๆ ที่ปิดกั้นกระบวนการบันทึก

อีกวิธีหนึ่งในการบันทึกโฟลว์ Power Automate สำหรับเดสก์ท็อปให้การบันทึกตามภาพ การบันทึกโดยใช้รูปภาพจะใช้การจดจำภาพและ OCR เพื่อค้นหาองค์ประกอบเฉพาะบนหน้าจอและแยกข้อความ

ในการบันทึกโฟลว์โดยใช้รูปภาพ:

  1. สร้างโฟลว์เดสก์ท็อปและเลือก ตัวบันทึก ในแถบเครื่องมือของตัวออกแบบโฟลว์

    ภาพหน้าจอของปุ่มตัวบันทึก

  2. เลือกไอคอนจุดทางด้านขวาของกล่องโต้ตอบตัวบันทึก แล้วเปิดใช้งาน การบันทึกภาพ หลังจากเปิดใช้งานตัวเลือกนี้แล้ว ให้เลือก บันทึก เพื่อเริ่มการบันทึกโดยใช้การจดจำภาพ

    ภาพหน้าจอของปุ่มการจดจำภาพ

    เมื่อคลิกที่องค์ประกอบ ภาพจะถูกจับโดยอัตโนมัติและบันทึกด้วยชื่อที่แก้ไขได้เริ่มต้น หากต้องการดูตัวอย่างภาพที่ถ่าย ให้วางเมาส์เหนือหรือเลือก ไอคอนแสดงตัวอย่าง

    ภาพหน้าจอของปุ่มแสดงตัวอย่างภาพ

แยกข้อความด้วยการบันทึกตามรูปภาพ

ในการแยกค่าข้อความขณะใช้การบันทึกภาพ:

  1. ดำเนินการ คลิกขวา บนหน้าจอและเลือก แยกข้อความจากรูปภาพ

    ภาพหน้าจอของตัวเลือกแยกข้อความจากรูปภาพ

  2. รอข้อความป๊อปอัปที่จะแจ้งให้คุณเลือกพื้นที่ข้อความ

    ภาพหน้าจอของข้อความที่แจ้งให้ผู้ใช้เลือกพื้นที่ข้อความ

  3. เลือก พื้นที่ข้อความ ซึ่งข้อความจะถูกดึงออกมาโดยใช้โปรแกรม Tesseract OCR

    ภาพหน้าจอของพื้นที่ข้อความที่เลือก

  4. รอข้อความป๊อปอัปที่จะแจ้งให้คุณเลือกพื้นที่ของจุดยึด

    ภาพหน้าจอของข้อความที่แจ้งให้ผู้ใช้เลือกพื้นที่ของจุดยึด

  5. เลือก พื้นที่ของจุดยึด ที่คาดว่าจะไม่เปลี่ยนแปลง เช่น ป้ายชื่อข้างฟิลด์

    ภาพหน้าจอของพื้นที่ข้อความจุดยึด

การบันทึกเทียบกับการสร้างโฟลว์เดสก์ท็อป

คุณสามารถแก้ไขการดำเนินการใด ๆ ที่สร้างขึ้นผ่านตัวบันทึกได้ด้วยตนเองเมื่อการบันทึกเสร็จสิ้น ใช้ตัวบันทึกในโฟลว์เดสก์ท็อปที่อยู่ระหว่างการพัฒนาเพื่อเพิ่มขั้นตอนที่บันทึกไว้

หมายเหตุ

ใช้ตัวบันทึกเพื่อสร้างแกนหลักของโฟลว์ของคุณ งานง่าย ๆ บางอย่างอาจไม่จำเป็นต้องแก้ไขเพิ่มเติม อย่างไรก็ตามงานที่บันทึกไว้ส่วนใหญ่ควรได้รับการแก้ไขเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด ไม่สามารถบันทึกการดำเนินการบางประเภท เช่น เงื่อนไขและการวนซ้ำ นอกจากนี้ อาจมีการดำเนินการซ้ำซ้อนในการบันทึกที่ควรลบออก

ปัญหาและข้อจำกัดที่ทราบ

  • ปัญหา: ตัวบันทึกอาจไม่บันทึกขั้นตอนทั้งหมดจากเมนูเริ่มของ Windows หรือถาดระบบ

    วิธีแก้ปัญหา: ไม่มี

  • ปัญหา: ขณะเรียกใช้โฟลว์ที่สร้างขึ้นจากการบันทึกตามภาพ การคลิกอาจถูกส่งไปยังตำแหน่งที่ไม่ถูกต้อง

    วิธีแก้ปัญหา: แก้ไขการดำเนินการที่สร้างขึ้นโดยอัตโนมัติ ย้ายเมาส์ไปที่รูปภาพ ผ่านตัวออกแบบโฟลว์ และลดพารามิเตอร์ ค่าเผื่อ ในการตั้งค่าขั้นสูง

  • ปัญหา: ป๊อปอัป แยกข้อความจากรูปภาพ ที่ปรากฏขึ้นหลังจากส่งการคลิกขวาโดยใช้ตัวบันทึก อาจซ่อนอยู่หลังป๊อปอัปของแอปพลิเคชัน

    วิธีแก้ปัญหา: ส่งคลิกขวาไปที่อื่นบนหน้าจอ

  • ปัญหา: การกดแป้นใดๆ ที่ส่งไปยังหน้าต่าง RDP ที่ขยายใหญ่สุดผ่านการบันทึกตามภาพไม่ถูกบันทึก

    วิธีแก้ปัญหา: ปรับขนาดหน้าต่าง RDP เพื่อไม่ให้บังเต็มหน้าจอ