Đánh giá từ con người về tự động hóa qua yêu cầu
Bài viết này nhấn mạnh vai trò quan trọng của quá trình đánh giá của con người trong việc triển khai tính năng Tạo văn bản bằng GPT Power Automate. Tính năng này sử dụng mô hình tạo văn bản từ AI Builder, được hỗ trợ bởi Dịch vụ OpenAI Azure. Mặc dù các mô hình này rất hiệu quả, nhưng đôi khi chúng có thể tạo ra thông tin sai lệch hoặc bịa đặt và dễ bị tấn công ngay lập tức.
Quan trọng
- AI Builder lời nhắc đang chạy trên các mô hình GPT-3.5 Turbo và GPT-4 (bản xem trước) được hỗ trợ bởi Azure OpenAI Service.
- Khả năng này bị giới hạn ở một số khu vực.
- Khả năng này có thể bị giới hạn về mức sử dụng hoặc giới hạn dung lượng.
Tấn công tiêm chích nhanh chóng
Một cuộc tấn công tiêm mã nhanh xảy ra khi bên thứ ba lợi dụng sự tin cậy vốn có của mô hình vào tất cả các nguồn đầu vào. Kẻ tấn công chèn lời nhắc vào nội dung mà người dùng hợp pháp yêu cầu giải pháp AI tương tác, dẫn đến thay đổi trong đầu ra của giải pháp AI và có khả năng là cả hành động của giải pháp đó.
Ví dụ, hãy xem xét một tình huống trong đó một nhà phát triển công dân sử dụng hành động Tạo văn bản bằng GPT để xây dựng phản hồi cho các khiếu nại của khách hàng được thu thập từ nhiều nền tảng khác nhau như email, mạng xã hội hoặc diễn đàn. Kẻ tấn công có thể chèn lời nhắc vào nội dung từ một trong những nguồn này. Kịch bản này có thể đánh lừa mô hình tạo ra phản hồi khác với giá trị mong muốn. Phản hồi có thể không phù hợp, không chính xác hoặc có hại. Việc gửi thông tin không chính xác tới khách hàng có thể ảnh hưởng tiêu cực đến danh tiếng của công ty và mối quan hệ với khách hàng.
Chế tạo trong các mô hình AI
Sự bịa đặt, hay còn gọi là ảo giác, là một thách thức khác mà các mô hình AI phải đối mặt, bao gồm cả mô hình tạo văn bản. Sự bịa đặt xảy ra khi mô hình AI tạo ra thông tin không dựa trên dữ liệu đầu vào được cung cấp hoặc dữ liệu có sẵn, về cơ bản là phát minh hoặc tạo ra thông tin ảo tưởng.
Ví dụ, nếu mô hình AI được yêu cầu tạo bản tóm tắt về một sự kiện lịch sử dựa trên một văn bản nhất định, mô hình này có thể bao gồm các chi tiết hoặc sự kiện không được đề cập trong văn bản nguồn. Ví dụ, một luồng sẽ tạo ra bản tóm tắt cuộc họp dựa trên bản ghi chép. Dữ liệu đầu vào bao gồm thông tin chi tiết về người tham dự, các bài viết được thảo luận và các quyết định được đưa ra. Tuy nhiên, mô hình có thể tạo ra bản tóm tắt bao gồm mục hành động hoặc quyết định chưa bao giờ được thảo luận trong cuộc họp. Tình huống này là một trường hợp bịa đặt, trong đó mô hình có thông tin ảo không tồn tại trong dữ liệu đầu vào.
Để giảm thiểu rủi ro chế tạo, điều quan trọng là phải triển khai các biện pháp AI có trách nhiệm. Điều này bao gồm việc kiểm tra nghiêm ngặt lời nhắc và luồng, cung cấp cho mô hình càng nhiều thông tin cơ bản càng tốt và cuối cùng là triển khai một hệ thống mạnh mẽ để con người giám sát.
Giải quyết rủi ro thông qua các hoạt động AI có trách nhiệm
Chúng tôi ủng hộ các hoạt động AI có trách nhiệm như một biện pháp để giảm thiểu rủi ro. Mặc dù đã có các chiến lược để kiểm duyệt nội dung do mô hình tạo ra, việc quản lý xu hướng tạo ra phản hồi giả tạo hoặc tấn công ngay lập tức của mô hình vẫn là một thách thức phức tạp. Chúng tôi thừa nhận những rủi ro này và tái khẳng định cam kết của mình đối với việc giám sát và kiểm soát của con người.
Nhận thấy nhu cầu tự động hóa liền mạch, chúng tôi đang chủ động nâng cao hệ thống an toàn và tìm hiểu sâu hơn về những thách thức này. Mục tiêu của chúng tôi là cải tiến hơn nữa mô hình tạo văn bản bằng các biện pháp an toàn phù hợp, phù hợp với các nguyên tắc của chúng tôi về AI có trách nhiệm theo thiết kế, trả lại quyền kiểm soát cho các nhà phát triển bất cứ khi nào khả thi.