Przegląd przeprowadzany przez człowieka dla automatyzacji z monitem
W tym artykule podkreślono kluczową rolę weryfikacji przez człowieka przy wdrażaniu funkcji Tworzenie tekstu za pomocą GPT w Power Automate. Ta funkcja wykorzystuje model generowania tekstu z AI Builder, obsługiwany przez usługę Azure OpenAI Service. Chociaż modele te są bardzo skuteczne, mogą czasami generować mylące lub sfabrykowane informacje i są podatne na ataki typu prompt injection.
Ważne
- Monity AI Builder działają na modelu GPT-3.5 Turbo obsługiwanym przez Azure OpenAI Service.
- Ta możliwość jest ograniczona do niektórych regionów.
- Ta funkcja może podlegać limitom użycia lub możliwościom wykrywania wydajności.
Ataki typu prompt injection
Atak typu prompt injection ma miejsce, gdy strona trzecia wykorzystuje zaufanie modelu do wszystkich źródeł danych wejściowych. Atakujący podaje prompt do treści, w której prawdziwy użytkownik prosi rozwiązanie AI o interakcję, co prowadzi do zmiany danych wyjściowych rozwiązania AI i potencjalnie jego działań.
Rozważmy na przykład scenariusz, w którym deweloper obywatelski używa akcji Create Text with GPT do formułowania odpowiedzi na skargi klientów zebrane z różnych platform, takich jak e-maile, media społecznościowe lub fora. Atakujący może wstawić prompt do treści z jednego z tych źródeł. Taki scenariusz może spowodować, że model wygeneruje odpowiedź odbiegającą od zamierzonej. Odpowiedź może być niepoprawna lub niepoprawna. Nieprawidłowe informacje wysyłane do klientów mogą negatywnie wpłynąć na renomę firmy i relacje.
Fabrykacja danych w modelach AI
Wymysł, znany również jako halucynowanie, jest kolejnym wyzwaniem, przed którym stoją modele sztucznej inteligencji, w tym model generowania tekstu. Fabrykacja to występuje, gdy model sztucznej inteligencji generuje informacje, które nie są oparte na dostarczonych danych wejściowych lub wcześniej istniejących danych, zasadniczo wymyślając lub halucynując informacje.
Na przykład, jeśli model AI zostanie poproszony o wygenerowanie podsumowania wydarzenia historycznego na podstawie danego tekstu, może zawierać szczegóły lub wydarzenia, które nie zostały wspomniane w tekście źródłowym, a nawet fakty, które są historycznie niepoprawne. Na przykład przepływ tworzy streszczenie spotkania na podstawie transkrypcji nagrania. Dane wejściowe obejmują szczegóły dotyczące uczestników, omawianych artykułów i podjętych decyzji. Model może jednak wygenerować podsumowanie zawierające element działania lub decyzję, która nigdy nie była omawiana na spotkaniu. Sytuacja ta jest przykładem wymyślania, w którym model wytwarza część informacji, która nie istnieje w danych wejściowych.
Aby zmniejszyć ryzyko fabrykacji, kluczowe jest wdrożenie odpowiedzialnych praktyk AI. Obejmuje to rygorystyczne testowanie promptów i przepływów, dostarczanie modelowi jak największej ilości informacji o kontekście i wreszcie wdrożenie solidnego systemu nadzoru ludzkiego.
Przeciwdziałanie ryzyku poprzez odpowiedzialne praktyki AI
Opowiadamy się za odpowiedzialnymi praktykami AI jako sposobem na ograniczenie tego ryzyka. Pomimo posiadania strategii moderowania treści tworzonych przez model, zarządzanie skłonnością modelu do generowania sfabrykowanych odpowiedzi lub ulegania atakom typu prompt injection pozostaje złożonym wyzwaniem. Zdajemy sobie sprawę z tego ryzyka i potwierdzamy nasze zaangażowanie w nadzór i kontrolę nad ludźmi.
Uznając konieczność płynnej automatyzacji, aktywnie ulepszamy nasze systemy bezpieczeństwa i staramy się lepiej zrozumieć te wyzwania. Naszym celem jest dalsze udoskonalanie modelu generowania tekstu za pomocą odpowiednich środków bezpieczeństwa, zgodnie z naszymi zasadami odpowiedzialnej sztucznej inteligencji w fazie projektowania, przywracając kontrolę deweloperom tam, gdzie to możliwe.