ทำงานอัตโนมัติโดยใช้องค์ประกอบ UI

โฟลว์เดสก์ท็อปใช้องค์ประกอบ UI เพื่อโต้ตอบกับแอปพลิเคชันและเว็บเพจโดยไม่ต้องใช้การจดจำภาพและพิกัดที่แน่นอน องค์ประกอบ UI ใช้เป็นอินพุตในระบบอัตโนมัติของ UI และการทำงานของเบราว์เซอร์อัตโนมัติส่วนใหญ่ และระบุองค์ประกอบเฉพาะบนหน้าต่างและเว็บเพจ

องค์ประกอบ UI

เมื่อปรับใช้การทำงานอัตโนมัติของ UI หรือการทำงานอัตโนมัติของเบราว์เซอร์ คุณอาจต้องระบุองค์ประกอบ UI เป็นอินพุต ในการเพิ่มองค์ประกอบ UI ใหม่ คุณสามารถทำได้โดยตรงจากคุณสมบัติการดำเนินการหรือผ่านบานหน้าต่างองค์ประกอบ UI ของตัวออกแบบโฟลว์

กลุ่มการดำเนินการแต่ละกลุ่มยอมรับชนิดขององค์ประกอบ UI ที่แตกต่างกัน การดำเนินการอัตโนมัติของ UI ยอมรับองค์ประกอบ UI ของเดสก์ท็อป ในขณะที่การทำงานอัตโนมัติของเบราว์เซอร์ยอมรับองค์ประกอบ UI ของเว็บ

ในการเพิ่มองค์ประกอบ UI ใหม่ให้กับโฟลว์ของคุณ เพิ่มองค์ประกอบ UI ใหม่ ผ่านการดำเนินการหรือบานหน้าต่างองค์ประกอบ UI ไฮไลท์องค์ประกอบที่เกี่ยวข้อง แล้วกด Ctrl + คลิกซ้าย เมื่อเลือกเสร็จแล้ว ให้เลือก เสร็จสิ้น

องค์ประกอบ UI ที่จับได้จะถูกเพิ่มไปยังบานหน้าต่างองค์ประกอบ UI ในการเข้าถึงบานหน้าต่างองค์ประกอบ UI ให้เลือกแท็บ องค์ประกอบ UI ทางด้านขวามือของตัวออกแบบโฟลว์:

องค์ประกอบสามารถจัดเรียงตามตัวอักษรผ่านตัวเลือก เรียงลำดับ ของแท็บองค์ประกอบ UI หากต้องการลบองค์ประกอบ UI ทั้งหมดที่ไม่ได้ใช้ในการดำเนินการใดๆ ให้เลือกไอคอนจุดที่อยู่ถัดจากตัวเลือก เรียงลำดับ แล้ว ลบองค์ประกอบ UI ที่ไม่ได้ใช้

หากต้องการเปลี่ยนชื่อหรือลบองค์ประกอบ UI ให้คลิกขวาที่รายการที่เกี่ยวข้อง และเลือกฟังก์ชันที่เหมาะสม

หากต้องการค้นหาตำแหน่งที่ใช้องค์ประกอบ UI เฉพาะในโฟลว์ ให้คลิกขวาที่องค์ประกอบแล้วเลือก ค้นหาการใช้งาน ผลลัพธ์จะแสดงการดำเนินการทั้งหมดที่ใช้องค์ประกอบ UI นี้ ดับเบิลคลิกที่ผลลัพธ์เพื่อเน้นการทำงานในพื้นที่ทำงาน

ชนิดขององค์ประกอบ UI

โฟลว์เดสก์ท็อปรองรับองค์ประกอบ UI สองชนิด ตามแหล่งที่มา: องค์ประกอบ UI ของเดสก์ท็อป และองค์ประกอบ UI ของเว็บ

องค์ประกอบ UI ของเดสก์ท็อปสามารถบันทึกได้จากแอปพลิเคชันใดก็ได้ของ Windows รวมถึงส่วนที่ไม่ใช่หน้าเว็บของเบราว์เซอร์ เช่น แถบที่อยู่

คุณสามารถใช้องค์ประกอบ UI เหล่านี้เป็นอินพุตในการดำเนินการอัตโนมัติของ UI เพื่อระบุองค์ประกอบที่คุณต้องการโต้ตอบด้วย ตัวเลือกองค์ประกอบ UI ของการดำเนินการอัตโนมัติของ UI จะแสดงขึ้น และอนุญาตให้คุณบันทึกเฉพาะองค์ประกอบ UI ของเดสก์ท็อปเท่านั้น

สำคัญ

ผู้ใช้สามารถจับภาพองค์ประกอบจากเว็บเพจผ่านตัวเลือกองค์ประกอบ UI ของการดำเนินการอัตโนมัติของ UI อย่างไรก็ตาม ตัวเลือกของพวกเขาจะแสดงองค์ประกอบเดสก์ท็อป ไม่ใช่องค์ประกอบเว็บ

องค์ประกอบ UI ของเว็บสามารถบันทึกจากเว็บเพจ และใช้ในการดำเนินการระบบอัตโนมัติของเบราว์เซอร์เท่านั้น

การดำเนินการอัตโนมัติของเบราว์เซอร์ยอมรับเฉพาะองค์ประกอบ UI ที่บันทึกจากเว็บเพจ ดังนั้น องค์ประกอบ UI ที่มีอยู่ซึ่งบันทึกจากแอปพลิเคชันเดสก์ท็อป จะไม่แสดงในตัวเลือกองค์ประกอบ UI ของการดำเนินการเหล่านี้

หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับเดสก์ท็อปและเว็บอัตโนมัติ โปรดดูที่ ทำให้โฟลว์เดสก์ท็อปเป็นอัตโนมัติ และ ทำให้โฟลว์เว็บเป็นอัตโนมัติ

องค์ประกอบ UI สำหรับเว็บเพจ

ในการจับภาพองค์ประกอบ UI จากหน้าเว็บ คุณต้องติดตั้งส่วนขยายเบราว์เซอร์ที่เหมาะสม คุณสามารถค้นหาข้อมูลเพิ่มเติมเกี่ยวกับเบราว์เซอร์ที่รองรับและส่วนขยายที่จำเป็นใน ใช้เบราว์เซอร์และจัดการส่วนขยาย

แยกแยะเดสก์ท็อปจากองค์ประกอบ UI ของเว็บ

บานหน้าต่างองค์ประกอบ UI แสดงการบ่งชี้ด้วยภาพที่โดดเด่น เพื่อช่วยให้ผู้ใช้จดจำองค์ประกอบ UI ของเดสก์ท็อปและเว็บได้อย่างรวดเร็ว

ไอคอนเดียวกันจะแสดงขึ้นในระหว่างการจับภาพ ดังนั้นคุณจึงสามารถยืนยันชนิดขององค์ประกอบก่อนที่จะบันทึกได้

อีกวิธีในการตรวจสอบชนิดขององค์ประกอบ UI คือการตรวจสอบตัวเลือก องค์ประกอบ UI ของเดสก์ท็อปมักจะมีเดสก์ท็อปเป็นองค์ประกอบหลัก ในขณะที่องค์ประกอบ UI ของเว็บ จะมีเว็บเพจเป็นรากขององค์ประกอบ

องค์ประกอบ UI ในหน้าต่างเบราว์เซอร์

ส่วนแอปพลิเคชันของเบราว์เซอร์ (1) ควรเป็นแบบอัตโนมัติ โดยใช้องค์ประกอบ UI ของเดสก์ท็อป ตัวอย่างเช่น คุณสามารถใช้การดำเนินการอัตโนมัติของ UI เพื่อโต้ตอบกับแถบที่อยู่หรือแท็บ

ในทางกลับกัน เว็บเพจที่โหลดภายในเบราว์เซอร์ (2) ควรเป็นแบบอัตโนมั ติโดยใช้องค์ประกอบ UI ของเว็บ และการดำเนินการอัตโนมัติของเบราว์เซอร์

ในระหว่างการบันทึก เครื่องบันทึกจะแยกแยะพื้นที่แอปพลิเคชันเบราว์เซอร์จากเว็บเพจโดยอัตโนมัติ และสร้างองค์ประกอบ UI และการดำเนินการที่เหมาะสม

การโต้ตอบกับองค์ประกอบ UI ของเว็บแบบลากและวางอาจไม่ทำงานตามที่คาดไว้ เนื่องจากข้อจำกัดโดยธรรมชาติ วิธีแก้ปัญหาชั่วคราว ให้บันทึกองค์ประกอบ UI ของเดสก์ท็อปในหน้าเว็บโดยการเปิดตัวเลือกองค์ประกอบ UI ผ่านการดำเนินการของกลุ่มการทำงานอัตโนมัติของ UI โดยเลือก เพิ่มองค์ประกอบ UI ภายในพารามิเตอร์ UI element องค์ประกอบ UI ที่บันทึกไว้นั้นเป็นประเภทเดสก์ท็อปและใช้ในการดำเนินการ Drag and drop UI element in window ได้ โปรดทราบว่าองค์ประกอบ UI ของเดสก์ท็อปสามารถใช้ได้เฉพาะในการทำงานของกลุ่มการดำเนินการอัตโนมัติของ UI Power Automate สำหรับเดสก์ท็อปเท่านั้น สิ่งสำคัญที่ควรทราบคือ องค์ประกอบ UI ของเดสก์ท็อปในหน้าเว็บนั้นไม่น่าเชื่อถือเท่ากับองค์ประกอบบนเว็บ และขึ้นอยู่กับรายละเอียดแอปพลิเคชันของเบราว์เซอร์ เช่น เวอร์ชันของเบราว์เซอร์

คุณลักษณะขององค์ประกอบ UI

องค์ประกอบ UI ทั้งหมดประกอบด้วยตัวเลือกอย่างน้อยหนึ่งตัวที่ระบุ UI หรือส่วนประกอบเว็บที่ Power Automate โต้ตอบด้วย

หมายเหตุ

ผู้ใช้สามารถสร้างตัวเลือกหลายตัวสำหรับองค์ประกอบ UI เมื่อใดก็ตามที่ตัวเลือกล้มเหลว Power Automate ใช้ตัวเลือกต่อไปนี้ในลำดับที่กำหนด

ในการจัดการตัวเลือกขององค์ประกอบ UI ให้คลิกขวาที่องค์ประกอบ และเลือก แก้ไข ตัวเลือกนี้จะแสดงตัวสร้างตัวเลือก ซึ่งคุณสามารถแก้ไขตัวเลือกได้ด้วยโปรแกรมแก้ไขภาพหรือข้อความ

ตัวเลือกแต่ละตัวประกอบด้วยองค์ประกอบหลายอย่างที่แสดงโครงสร้างลำดับชั้นขององค์ประกอบ UI ในแอปพลิเคชันหรือเว็บเพจ แอตทริบิวต์ขององค์ประกอบแต่ละตัวจะอธิบายโดยไม่ซ้ำกัน และแยกความแตกต่างจากองค์ประกอบอื่นๆ

ตัวเลือกทั้งหมดจะแสดงด้วยชื่อที่เรียกง่ายตามค่าเริ่มต้น ซึ่งทำให้สามารถเข้าถึงได้ง่าย ในการเปลี่ยนชื่อตัวเลือก ให้คลิกขวาที่ชื่อ และเลือก เปลี่ยนชื่อ

เมื่อคุณแก้ไของค์ประกอบ UI ด้วยตัวเลือกหลายตัว คุณสามารถปิดใช้งานตัวเลือกได้โดยคลิกขวาที่องค์ประกอบ แล้วเลือก ปิดการใช้งาน ฟังก์ชันนี้จะมีประโยชน์ในระหว่างการทดสอบ

หลังจากการแก้ไขตัวเลือก ให้กด บันทึก เพื่อนำการเปลี่ยนแปลงไปใช้ การบันทึกจะใช้การเปลี่ยนแปลงในตัวเลือกทั้งหมดในขั้นตอนเดียว

คุณสามารถค้นหาข้อมูลเพิ่มเติมเกี่ยวกับตัวเลือกแบบกำหนดเองและวิธีการสร้างตัวเลือกแบบกำหนดเอง ได้ใน สร้างตัวเลือกแบบกำหนดเอง

องค์ประกอบ UI พร้อมตัวเลือกข้อความ

นอกเหนือจากวิธีเริ่มต้นในการสร้างตัวเลือกขององค์ประกอบ UI แล้ว Power Automate ยังสนับสนุนการสร้างตัวเลือกตามค่าข้อความขององค์ประกอบ

คุณลักษณะนี้มีประโยชน์สำหรับสถานการณ์การทำงานอัตโนมัติที่จัดการองค์ประกอบในแอปพลิเคชันเดสก์ท็อป หรือเว็บเพจที่มาพร้อมกับข้อความเฉพาะเสมอ ตัวเลือกตามข้อความเหล่านี้มีความน่าเชื่อถือ และยืดหยุ่นต่อการเปลี่ยนแปลงในอนาคตที่อาจเกิดขึ้นในแอปพลิเคชันหรือโครงสร้างเว็บเพจ

การสร้างตัวเลือกตามข้อความจะใช้ได้เฉพาะเมื่อจับภาพองค์ประกอบ UI โดยใช้ตัวเลือกองค์ประกอบ UI (บานหน้าต่างองค์ประกอบ UI หรือการดำเนินการอัตโนมัติของเบราว์เซอร์/UI) ไม่สามารถใช้ได้ในระหว่าง การบันทึก

หากต้องการจับภาพองค์ประกอบ UI ด้วยตัวเลือกแบบข้อความ ให้เปิดตัวเลือกองค์ประกอบ UI คลิกขวาที่องค์ประกอบที่ต้องการ แล้วเลือก จับภาพตามข้อความ

จากนั้น หน้าต่างใหม่ที่มีสองฟิลด์จะปรากฏขึ้นบนหน้าจอของคุณ:

• ฟิลด์ ค่าข้อความ เก็บข้อความขององค์ประกอบเป็นค่าที่เสนอ คุณสามารถเปลี่ยนค่านี้เป็นค่าฮาร์ดโค้ดหรือตัวแปรได้
• คุณสามารถตั้งค่าฟิลด์ ตัวดำเนินการ เป็นตัวดำเนินการต่างๆ เพื่อปรับการทำงานของตัวเลือก

การเลือก จับภาพ จะเพิ่มองค์ประกอบ UI ด้วยตัวเลือกข้อความที่เหมาะสมในที่เก็บข้อมูลองค์ประกอบ UI

ตัวเลือกตามข้อความใช้แอตทริบิวต์ ชื่อ ขององค์ประกอบที่จับภาพสำหรับระบบอัตโนมัติบนเดสก์ท็อป และแอตทริบิวต์ ข้อความ สำหรับระบบอัตโนมัติของเบราว์เซอร์ ใช้ได้เฉพาะกับองค์ประกอบ UI ที่มีค่าข้อความเท่านั้น

กล่าวอีกนัยหนึ่ง สามารถใช้งานได้กับองค์ประกอบ UI ที่มีแอตทริบิวต์ ชื่อ หรือ ข้อความ ที่มีค่า ซึ่งไม่พร้อมใช้งานสำหรับองค์ประกอบที่ไม่เก็บค่าข้อความดังกล่าว แม้ว่าจะมีองค์ประกอบย่อยที่มีข้อความในโครงสร้างก็ตาม

หมายเหตุ

สำหรับแอปพลิเคชัน SAP ตัวเลือกตามข้อความจะใช้แอตทริบิวต์ ข้อความ แทนแอตทริบิวต์ ชื่อ ที่ใช้โดยทั่วไปบนเดสก์ท็อปอัตโนมัติ ระบบอัตโนมัติของ SAP ทำงานได้อย่างมีประสิทธิภาพมากขึ้นด้วยตัวเลือกเริ่มต้นตามแอตทริบิวต์ ID

ปัญหาและข้อจำกัดที่ทราบ

• หากคุณเลือก เพิ่มองค์ประกอบ UI วางเมาส์เหนือหน้าต่างทั้งหมด และเลือกที่จะจับภาพองค์ประกอบ UI ตามข้อความ ตัวเลือกเริ่มต้นจะถูกสร้างขึ้น ตัวเลือกนี้มีแอตทริบิวต์ กระบวนการ นอกเหนือจาก ชื่อ

• การรวมกันของตัวแปรและตัวดำเนินการนอกเหนือจาก เท่ากับ สร้างตัวเลือกที่แสดงในโปรแกรมแก้ไขข้อความแบบกำหนดเองแทนตัวสร้างภาพ ฟังก์ชันนี้หลีกเลี่ยงข้อจำกัดที่มีอยู่ ซึ่งทำให้ชุดค่าผสมข้างต้นใช้งานไม่ได้ในตัวสร้างภาพ