Ghi lại dòng màn hình nền

Power Automate cho phép bạn thiết kế luồng công việc trên máy tính tự động bằng cách sao chép các tác vụ bạn muốn tự động hóa.

Ghi lại luồng máy tính để bàn và web

Để ghi lại luồng tự động hóa các ứng dụng trên máy tính để bàn và/hoặc web:

1. Tạo một luồng máy tính để bàn mới và chọn Recorder trên thanh công cụ của trình thiết kế luồng.

   

2. Chọn Ghi trong cửa sổ ghi âm và bắt đầu thực hiện các hành động mong muốn trong ứng dụng hoặc trang web thích hợp.

   

   Công cụ ghi lại hoạt động của chuột và bàn phím liên quan đến các thành phần UI và ghi lại từng hành động riêng biệt. Trong mỗi phiên ghi âm, trình ghi âm có thể tạo ra cả hành động tự động hóa giao diện người dùng và trình duyệt.

   Lưu ý

   Khi bạn nhấp chuột trái hoặc phải vào một thành phần UI trong quá trình ghi, công cụ đánh dấu sẽ hiển thị thông báo Chờ hành động , hướng dẫn bạn đợi trình ghi ghi và chèn hành động.

   

   Để xem các hành động có sẵn cho một phần tử cụ thể, hãy nhấp chuột phải vào phần tử đó để mở menu ngữ cảnh. Các tùy chọn có sẵn phụ thuộc vào bản chất của phần tử được chọn.

   

3. Khi quá trình ghi hoàn tất, hãy chọn Xong để chuyển đổi các bước đã ghi thành hành động luồng trên màn hình. Tất cả các thành phần UI được sử dụng trong UI được tạo và các hành động tự động hóa web sẽ được tự động thêm vào ngăn thành phần UI. Bạn có thể tìm thêm thông tin về các thành phần UI trong Tự động hóa bằng các thành phần UI.

   

Để tạm dừng quá trình ghi âm, hãy chọn Tạm dừng. Để thêm bình luận vào các hành động đã ghi lại, hãy chọn Thêm bình luận.

Chọn chế độ chụp khi làm việc với các ứng dụng trên máy tính để bàn

Trình ghi âm hiện hỗ trợ ghi lại cả bộ chọn UI Automation (UIA) và Microsoft Active Accessibility (MSAA). Bạn có thể chọn loại bộ chọn phù hợp dựa trên ứng dụng bạn đang tự động hóa bằng cách mở menu Chế độ ghi trong máy ghi âm và chọn UIA hoặc MSAA.

• Tự động hóa giao diện người dùng (UIA) là khuôn khổ trợ năng hiện đại được Microsoft giới thiệu để thay thế MSAA. Đây là công nghệ được khuyến nghị để tự động hóa hầu hết các ứng dụng Windows, đặc biệt là những ứng dụng được xây dựng bằng các nền tảng giao diện người dùng mới hơn như WPF, WinForms và Universal Windows Platform (UWP). UIA cung cấp thông tin phần tử chi tiết và mạnh mẽ hơn, cấu trúc phân cấp được cải thiện và độ tin cậy cao hơn trong các tình huống tự động hóa. Sử dụng chế độ chụp UIA bất cứ khi nào có thể để có hiệu suất, khả năng bảo trì và hỗ trợ tốt hơn trên các ứng dụng máy tính để bàn hiện đại.
• Microsoft Active Accessibility (MSAA) là công nghệ trợ năng cũ hơn có từ trước UIA. Nó chủ yếu được sử dụng cho các ứng dụng cũ không hiển thị các thành phần UIA, chẳng hạn như các ứng dụng Windows cũ được xây dựng bằng các công nghệ như VB6 hoặc Win32 cổ điển. Mặc dù MSAA cung cấp ít chi tiết và cấu trúc hơn UIA, nhưng nó lại rất cần thiết để cho phép tự động hóa trong các môi trường không có UIA. Sử dụng chế độ chụp MSAA khi nhắm mục tiêu vào các ứng dụng cũ hoặc tùy chỉnh không hiển thị các thành phần UI của chúng thông qua UIA.

Sao chép các bước kéo và thả

Trình ghi hỗ trợ các bước liên quan đến việc kéo và thả con trỏ chuột; do đó, trình ghi có thể tạo các hành động như Thay đổi kích thước cửa sổ và Di chuyển cửa sổ. Tuy nhiên, hiện tại, hành động kéo và thả phần tử UI của cửa sổ không được hỗ trợ.

Xử lý danh sách thả xuống

Trong khi tự động hóa các ứng dụng web và máy tính để bàn bằng trình ghi, bạn có thể cần xử lý danh sách thả xuống.

Trình ghi sẽ hiển thị màn hình tùy chỉnh mỗi khi bạn chọn danh sách thả xuống và giúp bạn chọn các giá trị mong muốn. Power Automate Màn hình tùy chỉnh này cho phép bạn chọn một hoặc nhiều giá trị tùy thuộc vào việc danh sách thả xuống có phải là lựa chọn nhiều hay không.

Trong thời gian chạy, Power Automate tự động chọn các giá trị đã xác định và chọn nút OK .

Khởi chạy trình duyệt web

Để khởi chạy phiên bản trình duyệt web trong khi ghi lại luồng web, bạn có thể sử dụng ba cách tiếp cận khác nhau dựa trên kịch bản tự động hóa.

Phương pháp đầu tiên là chọn biểu tượng dấu chấm ở bên phải hộp thoại ghi âm rồi Khởi chạy trình duyệt web mới. Bạn có thể lựa chọn giữa Microsoft Edge, Google Chrome, Mozilla Firefox và Microsoft Internet Explorer.

Sau khi bạn chọn đúng trình duyệt, trình ghi sẽ tự động phát hiện trang web đã tải và cấu hình bước duyệt khởi chạy cho phù hợp.

Một cách khác để khởi chạy trình duyệt là bắt đầu ghi âm trong trình duyệt web đang mở. Máy ghi âm sẽ tự động phát hiện trang đã tải và tạo hành động khởi chạy trình duyệt.

Phương pháp cuối cùng để khởi chạy trình duyệt là khởi chạy thủ công thông qua phím tắt trên màn hình nền, menu bắt đầu, thanh tác vụ hoặc một thư mục. Nếu bạn triển khai cách tiếp cận này, trình ghi sẽ tạo ra các hành động tự động hóa UI để chọn phím tắt của trình duyệt và khởi chạy phím tắt đó.

Xử lý ngày tháng và chọn màu trên các trang web

Giống như danh sách thả xuống, Power Automate Trình ghi sẽ hiển thị màn hình tùy chỉnh để giúp bạn xử lý bộ chọn ngày và màu trên các trang web.

Khi bạn tương tác với công cụ chọn ngày, trình ghi sẽ mở một trường văn bản nơi bạn có thể chèn ngày mong muốn theo định dạng đã chỉ định.

Màn hình tùy chỉnh xuất hiện cho các kiểu đầu vào HTML sau:

• ngày
• datetime-local
• tháng
• lần
• tuần

Tương tự như vậy, khi bạn tương tác với công cụ chọn màu, trình ghi sẽ mở một trường văn bản nơi bạn có thể điền mã màu hex mong muốn.

Thêm văn bản bằng Trình soạn thảo phương thức nhập liệu (IME)

Trình soạn thảo phương thức nhập liệu (IME) là các thành phần phần mềm cho phép người dùng nhập văn bản bằng các ngôn ngữ không thể hiển thị dễ dàng trên bàn phím QWERTY chuẩn. Người dùng có thể gõ tổ hợp phím và IME sẽ tạo ra một ký tự hoặc danh sách các ký tự ứng cử phù hợp với tập hợp các phím đã gõ.

Power Automate dành cho máy tính để bàn hỗ trợ việc sử dụng IME trong quá trình ghi lại luồng. Để điền vào trường văn bản bằng IME:

1. Nhấp chuột phải vào trường văn bản và chọn Điền vào trường văn bản trên menu hiển thị.

   

2. Sử dụng IME để điền văn bản mong muốn vào hộp thoại bật lên.

   

3. Chọn Thêm văn bản để tạo bước tương ứng trong cửa sổ Máy ghi âm .

   

Ghi hình dựa trên hình ảnh

Trong một số trường hợp, máy ghi âm có thể không ghi lại các hành động trong các ứng dụng cụ thể không đáp ứng các yêu cầu kỹ thuật phù hợp. Các ứng dụng này có thể không hiển thị API trợ năng hoặc có những hạn chế kỹ thuật khác ngăn chặn quá trình ghi.

Là một cách thay thế để ghi lại luồng, Power Automate đối với máy tính để bàn, cung cấp tính năng ghi dựa trên hình ảnh. Bản ghi dựa trên hình ảnh sử dụng công nghệ nhận dạng hình ảnh và OCR để xác định vị trí các thành phần cụ thể trên màn hình và trích xuất văn bản.

Để ghi lại luồng bằng hình ảnh:

1. Tạo luồng máy tính để bàn mới và chọn Recorder trên thanh công cụ của trình thiết kế luồng.

   

2. Chọn biểu tượng dấu chấm ở bên phải hộp thoại ghi âm, sau đó bật Ghi hình ảnh. Sau khi bật tùy chọn này, hãy chọn Ghi để bắt đầu ghi lại các hành động bằng cách sử dụng nhận dạng hình ảnh.

   

   Khi nhấp vào một thành phần, hình ảnh sẽ tự động được chụp và lưu với tên mặc định có thể chỉnh sửa. Để xem trước hình ảnh đã chụp, hãy di chuột hoặc chọn biểu tượng xem trước.

   

Trích xuất văn bản bằng bản ghi dựa trên hình ảnh

Để trích xuất giá trị văn bản trong khi sử dụng tính năng ghi hình ảnh:

1. Nhấp chuột phải vào màn hình và chọn Trích xuất văn bản từ hình ảnh .

   

2. Chờ một thông báo bật lên nhắc bạn chọn vùng văn bản.

   

3. Chọn vùng văn bản mà văn bản sẽ được trích xuất bằng công cụ Tesseract OCR.

   

4. Chờ thông báo bật lên nhắc bạn chọn vùng neo.

   

5. Chọn một khu vực neo không mong đợi thay đổi, chẳng hạn như nhãn bên cạnh một trường.

   

Ghi lại so với xây dựng luồng máy tính để bàn

Bạn có thể chỉnh sửa thủ công bất kỳ hành động nào được tạo thông qua trình ghi âm sau khi quá trình ghi âm hoàn tất. Sử dụng công cụ ghi âm trong luồng công việc trên máy tính đang được phát triển để thêm các bước đã ghi âm vào đó.

Lưu ý

Sử dụng máy ghi âm để tạo cốt lõi cho luồng ý tưởng của bạn. Một số tác vụ đơn giản có thể không cần chỉnh sửa thêm; tuy nhiên, hầu hết các tác vụ đã ghi lại đều phải được chỉnh sửa để đạt được kết quả tối ưu. Một số loại hành động nhất định, như điều kiện và vòng lặp, không thể được ghi lại. Ngoài ra, có thể có những hành động dư thừa trong bản ghi cần phải loại bỏ.

Các sự cố và giới hạn đã biết

• Sự cố: Máy ghi âm có thể không ghi lại tất cả các bước từ menu Bắt đầu của Windows hoặc khay hệ thống.

  Giải pháp thay thế: Không có

• Sự cố: Khi chạy luồng được tạo thông qua bản ghi dựa trên hình ảnh, tiếng nhấp có thể được gửi đến vị trí sai.

  Giải pháp thay thế: Chỉnh sửa hành động tự động tạo Di chuyển chuột đến hình ảnh thông qua trình thiết kế luồng và giảm tham số dung sai trong cài đặt nâng cao.

• Sự cố: Cửa sổ bật lên Trích xuất văn bản từ hình ảnh xuất hiện sau khi nhấp chuột phải bằng trình ghi âm có thể ẩn sau cửa sổ bật lên của ứng dụng.

  Giải pháp thay thế: Chuyển cú nhấp chuột phải đến một vị trí khác trên màn hình.

• Sự cố: Bất kỳ lần nhấn phím nào được gửi đến cửa sổ RDP được phóng to thông qua bản ghi dựa trên hình ảnh đều không được ghi lại.

  Giải pháp thay thế: Thay đổi kích thước cửa sổ RDP để nó không che phủ toàn màn hình.