Tự động hóa bằng các thao tác chuột, bàn phím và OCR (được khuyến nghị để tự động hóa trong VDI)

Đối với trường hợp người dùng không thể truy cập các thành phần giao diện người dùng của ứng dụng web hoặc giao diện người dùng và do đó không thể tự động hóa bằng cách sử dụng các tác vụ của Trình duyệt hoặc giao diện người dùng hoặc trình ghi, chúng tôi đặc biệt khuyên bạn nên sử dụng các phương pháp tự động hóa thay thế như sử dụng Hình ảnh hoặc chuột và bàn phím.

Phương pháp hình ảnh sẽ chụp các phần của màn hình, sau đó được sử dụng làm tài liệu tham khảo để thực hiện các cú nhấp chuột, gửi văn bản và nhấp chuột. Tự động hóa dựa trên hình ảnh có thể được ghi lại bằng máy ghi dựa trên hình ảnh hoặc được phát triển thủ công. Đọc thêm về cách tự động hóa việc sử dụng hình ảnh trong chủ đề này.

Ngược lại, trong trường hợp không thể sử dụng hình ảnh làm điểm tham chiếu, hãy cân nhắc sử dụng khả năng OCR để điều hướng qua màn hình. Bạn có thể tìm thấy thông tin về khả năng OCR trong tài liệu tham khảo hành động tương ứng.

Trong cả hai lựa chọn thay thế được mô tả ở trên, cách tốt nhất để điều hướng là sử dụng nhấp chuột và nhấn phím được giải thích trong tài liệu tham khảo về hành động.

Trước khi xây dựng quy trình tự động hóa, hãy đảm bảo rằng cửa sổ thích hợp được tập trung và tối đa hóa bằng cách sử dụng Cửa sổ tiêu điểm và Đặt trạng thái cửa sổ hành động.

Nếu bạn cần đợi các thành phần cụ thể tải trước khi chạy một hành động, hãy sử dụng nhóm hành động chờ.

Sử dụng hành động Chờ để chờ trong một khoảng thời gian nhất định, hành động Chờ hình ảnh để chờ một hình ảnh xuất hiện/biến mất hoặc hành động Chờ văn bản trên màn hình (OCR) để chờ văn bản xuất hiện/biến mất.

Để điều hướng qua trang web hoặc ứng dụng và tương tác với các thành phần của nó, hãy sử dụng thao tác chuột và bàn phím.

Ví dụ: triển khai hành động Gửi phím để sử dụng các phím tắt có sẵn hoặc Di chuyển chuột đến hình ảnh và Di chuyển chuột đến văn bản trên màn hình (OCR) hành động di chuyển con trỏ đến một hình ảnh hoặc văn bản cụ thể tương ứng.

Để truy xuất văn bản từ màn hình và lưu trữ nó vào một biến, hãy triển khai tác vụ bảng nhớ tạm hoặc tác vụ Trích xuất văn bản bằng hành động OCR . Để lưu văn bản vào bảng nhớ tạm, hãy đánh dấu văn bản đó bằng cách sử dụng phím Phím gửi hoặc hành động Nhấp chuột gửi .

Bạn có thể định cấu hình hành động Gửi phím để gửi phím tắt CTRL + A để chọn tất cả văn bản trên trang web hoặc ứng dụng.

Lưu ý

Bạn có thể tìm thêm thông tin về tự động hóa bằng phím tắt trong Tự động hóa ứng dụng bằng phím tắt.

Ngoài ra, bạn có thể sử dụng thao tác Gửi chuột để gửi Nút trái xuống ở đầu văn bản bạn muốn chọn và sau đó a Nút trái lên ở cuối.

Sau khi đánh dấu, hãy triển khai hành động Gửi phím để gửi phím tắt CTRL + C để lưu văn bản đã chọn vào bảng nhớ tạm. Sau khi lưu trữ văn bản vào bảng nhớ tạm, hãy sử dụng tác vụ Nhận văn bản bảng nhớ tạm để lưu nội dung bảng nhớ tạm vào một biến.