Ghi lại dòng màn hình nền

Power Automate cho phép bạn thiết kế các luồng máy tính để bàn một cách tự động bằng cách sao chép các tác vụ bạn muốn tự động hóa.

Ghi lại luồng máy tính để bàn và web

Để ghi lại quy trình tự động hóa các ứng dụng trên máy tính để bàn và/hoặc web:

  1. Tạo quy trình trên máy tính mới và chọn Trình ghi trên thanh công cụ của trình thiết kế quy trình.

    Ảnh chụp màn hình của nút ghi.

  2. Chọn Ghi trong cửa sổ ghi và bắt đầu thực hiện các hành động mong muốn trong ứng dụng hoặc trang web thích hợp.

    Ảnh chụp màn hình của nút Ghi.

    Trình ghi theo dõi hoạt động của chuột và bàn phím liên quan đến các thành phần giao diện người dùng và ghi lại từng hành động riêng biệt. Trong mỗi phiên ghi, trình ghi có thể tạo ra cả hành động tự động hóa giao diện người dùng và trình duyệt.

    Lưu ý

    Khi bạn nhấp chuột trái hoặc phải vào một thành phần giao diện người dùng trong khi ghi, công cụ đánh dấu sẽ hiển thị thông báo Chờ hành động , hướng dẫn bạn đợi máy ghi ghi và chèn hành động.

    Ảnh chụp màn hình của một số bước đã ghi lại.

    Để xem các hành động khả dụng cho một thành phần cụ thể, hãy nhấp chuột phải vào thành phần đó để mở menu ngữ cảnh của nó. Các tùy chọn có sẵn tùy thuộc vào bản chất của phần tử được chọn.

    Ảnh chụp màn hình của menu ngữ cảnh ghi.

  3. Khi quá trình ghi hoàn tất, hãy chọn Xong để chuyển đổi các bước đã ghi thành hành động trong luồng trên màn hình. Tất cả các thành phần giao diện người dùng được sử dụng trong giao diện người dùng đã tạo và các hành động tự động hóa web sẽ tự động được thêm vào ngăn thành phần giao diện người dùng. Bạn có thể tìm thêm thông tin về các thành phần giao diện người dùng trong Tự động hóa bằng cách sử dụng các thành phần giao diện người dùng.

    Ảnh chụp màn hình các hành động được tạo của luồng đã ghi.

Để tạm dừng quá trình ghi, hãy chọn Tạm dừng. Để thêm nhận xét vào hành động đã ghi, hãy chọn Thêm nhận xét.

Ảnh chụp màn hình của nút bình luận.

Sao chép các bước kéo và thả

Máy ghi hỗ trợ các bước liên quan đến thao tác kéo thả con trỏ chuột; do đó, trình ghi có thể tạo ra các hành động như Thay đổi kích thước cửa sổDi chuyển cửa sổ. Tuy nhiên, hiện tại, hành động Kéo và thả phần tử giao diện người dùng của cửa sổ không được hỗ trợ.

Xử lý danh sách thả xuống

Trong khi tự động hóa các ứng dụng web và máy tính để bàn bằng trình ghi, bạn có thể cần xử lý các danh sách thả xuống.

Trình ghi Power Automate hiển thị màn hình tùy chỉnh mỗi khi bạn chọn danh sách thả xuống và nó giúp bạn chọn các giá trị mong muốn. Màn hình tùy chỉnh này cho phép bạn chọn một hoặc nhiều giá trị tùy thuộc vào việc danh sách thả xuống có nhiều lựa chọn hay không.

Trong thời gian chạy, Power Automate tự động chọn các giá trị đã xác định và chọn nút OK .

Ảnh chụp màn hình của màn hình tùy chỉnh cho danh sách thả xuống.

Khởi chạy trình duyệt web

Để khởi chạy một phiên bản trình duyệt web trong khi ghi lại các luồng web, bạn có thể sử dụng ba phương pháp khác nhau dựa trên kịch bản tự động hóa.

Phương pháp đầu tiên là chọn biểu tượng dấu chấm ở bên phải hộp thoại ghi rồi Khởi chạy trình duyệt web mới. Bạn có thể chọn giữa Microsoft Edge, Google Chrome, Mozilla Firefox và Microsoft Internet Explorer.

Sau khi bạn đã chọn trình duyệt phù hợp, trình ghi sẽ tự động phát hiện trang web được tải và định cấu hình bước duyệt khởi chạy tương ứng.

Ảnh chụp màn hình của tùy chọn Khởi chạy trình duyệt web mới.

Một cách khác để khởi chạy trình duyệt là bắt đầu ghi trong trình duyệt web đã mở. Trình ghi sẽ tự động phát hiện trang đã tải và sẽ tạo hành động khởi chạy trình duyệt.

Phương pháp cuối cùng để khởi chạy trình duyệt là khởi chạy trình duyệt theo cách thủ công thông qua lối tắt trên màn hình nền, menu bắt đầu, thanh tác vụ hoặc thư mục. Nếu bạn triển khai phương pháp này, trình ghi sẽ tạo ra các hành động tự động hóa giao diện người dùng bằng cách nhấp vào lối tắt trình duyệt và khởi chạy nó.

Xử lý bộ chọn ngày và màu trên trang web

Giống như danh sách thả xuống, trình ghi Power Automate hiển thị các màn hình tùy chỉnh để giúp bạn xử lý bộ chọn ngày và màu trên trang web.

Khi bạn tương tác với bộ chọn ngày, trình ghi sẽ mở ra một trường văn bản nơi bạn có thể chèn ngày mong muốn theo định dạng đã chỉ định.

Màn hình tùy chỉnh xuất hiện cho các loại đầu vào HTML sau:

  • ngày
  • datetime-local
  • tháng
  • lần
  • tuần

Ảnh chụp màn hình của màn hình tùy chỉnh bộ chọn ngày.

Tương tự, khi bạn tương tác với bộ chọn màu, trình ghi sẽ mở ra một trường văn bản nơi bạn có thể điền mã hex màu mong muốn.

Ảnh chụp màn hình của màn hình tùy chỉnh bộ chọn màu.

Thêm văn bản bằng Trình chỉnh sửa phương thức nhập liệu (IME)

Trình chỉnh sửa phương thức nhập (IME) là các thành phần phần mềm cho phép người dùng nhập văn bản bằng các ngôn ngữ không thể trình bày dễ dàng trên bàn phím QWERTY tiêu chuẩn. Người dùng có thể nhập tổ hợp phím và IME sẽ tạo một ký tự hoặc danh sách các ký tự ứng cử viên khớp với tập hợp các lần nhấn phím.

Power Automate dành cho máy tính để bàn hỗ trợ việc sử dụng IME trong quy trình ghi luồng. Để điền vào trường văn bản bằng IME:

  1. Nhấp chuột phải vào trường văn bản và chọn Điền trường văn bản trên menu hiển thị.

    Ảnh chụp màn hình của tùy chọn menu Điền trường văn bản.

  2. Điền văn bản mong muốn vào hộp thoại bật lên bằng IME.

    Ảnh chụp màn hình của hộp thoại Thêm văn bản bằng IME.

  3. Lựa chọn Chèn văn bản để tạo ra bước tương ứng trong Máy ghi âm cửa sổ.

    Ảnh chụp màn hình văn bản được tạo từ IME trong trình ghi trên máy tính để bàn.

Ghi dựa trên hình ảnh

Trong một số trường hợp, máy ghi có thể không ghi lại các hành động trong các ứng dụng cụ thể không đáp ứng được yêu cầu kỹ thuật phù hợp. Các ứng dụng này không được hiển thị API khả năng truy cập hoặc có các hạn chế kỹ thuật khác chặn quá trình ghi.

Là một cách khác để ghi lại các luồng, Power Automate dành cho máy tính để bàn cung cấp tính năng ghi dựa trên hình ảnh. Ghi dựa trên hình ảnh sử dụng nhận dạng hình ảnh và OCR để định vị các thành phần cụ thể trên màn hình và trích xuất văn bản.

Để ghi lại các luồng sử dụng hình ảnh:

  1. Tạo luồng màn hình mới và chọn Máy ghi âm trên thanh công cụ của trình thiết kế luồng.

    Ảnh chụp màn hình của nút ghi.

  2. Chọn biểu tượng dấu chấm ở bên phải hộp thoại ghi rồi bật Ghi hình ảnh. Sau khi bật tùy chọn này, hãy chọn Ghi để bắt đầu ghi lại các hành động bằng nhận dạng hình ảnh.

    Ảnh chụp màn hình của nút Ghi ảnh.

    Khi nhấp vào một thành phần, hình ảnh sẽ được chụp tự động và lưu với tên mặc định có thể chỉnh sửa. Để xem trước ảnh đã chụp, hãy di chuột hoặc chọn biểu tượng xem trước .

    Ảnh chụp màn hình của nút hình ảnh xem trước.

Trích xuất văn bản bằng tính năng ghi dựa trên hình ảnh

Để trích xuất một giá trị văn bản trong khi sử dụng tính năng ghi hình ảnh:

  1. Thực hiện nhấp chuột phải trên màn hình và chọn Trích xuất văn bản từ hình ảnh.

    Ảnh chụp màn hình của tùy chọn Trích xuất văn bản từ hình ảnh.

  2. Đợi thông báo bật lên nhắc bạn chọn vùng văn bản.

    Ảnh chụp màn hình thông báo nhắc người dùng chọn vùng văn bản.

  3. Chọn vùng văn bản từ đó văn bản sẽ được trích xuất bằng công cụ Tesseract OCR.

    Ảnh chụp màn hình của vùng văn bản đã chọn.

  4. Đợi thông báo bật lên nhắc bạn chọn vùng neo.

    Ảnh chụp màn hình thông báo nhắc người dùng chọn vùng neo.

  5. Chọn một khu vực neo dự kiến ​​sẽ không thay đổi, chẳng hạn như nhãn bên cạnh một trường.

    Ảnh chụp màn hình của một vùng văn bản liên kết.

Ghi lại và xây dựng luồng trên máy tính để bàn

Bạn có thể chỉnh sửa thủ công mọi hành động được tạo thông qua máy ghi sau khi quá trình ghi kết thúc. Sử dụng trình ghi trong luồng trên máy tính đang được phát triển để thêm các bước đã ghi vào đó.

Lưu ý

Sử dụng máy ghi âm để tạo xương sống cho luồng của bạn. Một số tác vụ đơn giản có thể không cần chỉnh sửa thêm; tuy nhiên, hầu hết các nhiệm vụ được ghi lại cần được sửa đổi để đạt được kết quả tối ưu. Không thể ghi lại một số loại hành động nhất định, như điều kiện và vòng lặp. Ngoài ra, có thể có những hành động dư thừa trong bản ghi cần được loại bỏ.

Các sự cố và giới hạn đã biết

  • Sự cố: Máy ghi có thể không ghi lại tất cả các bước từ menu Start của Windows hoặc khay hệ thống.

    Cách giải quyết: Không

  • Sự cố: Trong khi chạy quy trình được tạo thông qua tính năng ghi dựa trên hình ảnh, nhấp chuột có thể được gửi đến sai vị trí.

    Cách giải quyết: Chỉnh sửa hành động được tạo tự động Di chuyển chuột đến hình ảnh thông qua trình thiết kế quy trình và giảm tham số dung sai trong cài đặt nâng cao.

  • Sự cố: Cửa sổ bật lên Trích xuất văn bản từ hình ảnh xuất hiện sau khi gửi nhấp chuột phải bằng trình ghi có thể ẩn đằng sau cửa sổ bật lên của ứng dụng.

    Cách giải quyết: Đưa chuột phải tới vị trí khác trên màn hình.

  • Sự cố: Mọi thao tác nhấn phím được gửi tới cửa sổ RDP tối đa thông qua bản ghi dựa trên hình ảnh đều không được ghi lại.

    Cách giải quyết: Thay đổi kích thước cửa sổ RDP để nó không che toàn màn hình.