İstemle otomasyon için insan tarafından inceleme
Bu makalede, Power Automate'te GPT ile metin oluştur özelliğini dağıtmada insan incelemesinin önemli rolü vurgulanmaktadır. Bu özellikte, Azure OpenAI Service tarafından desteklenen, AI Builder'daki Metin oluşturma modeli kullanılır. Bu modeller son derece etkili olsa da bazen yanıltıcı veya uydurma bilgiler üretebilir ve istem ekleme saldırılarına karşı hassastır.
Önemli
- AI Builder istemler, Azure OpenAI Service tarafından desteklenen GPT 4o Mini ve GPT 4o modellerinde çalışıyor.
- Bu yetenek bazı bölgelerle sınırlıdır.
- Bu özellik, kullanım sınırlarına veya kapasite azaltmaya tabi olabilir.
İstem ekleme girişimleri
Bir üçüncü taraf, modelin tüm girdi kaynaklarına olan doğal güveninden yararlandığında istem ekleme saldırısı oluşur. Saldırgan, meşru bir kullanıcının yapay zeka çözümünden etkileşimde bulunmasını istediği içeriğe bir bilgi istemi ekleyerek yapay zeka çözümünün çıktısında ve potansiyel olarak eylemlerinde değişikliğe yol açar.
Örneğin, bir amatör geliştiricinin e-posta, sosyal medya veya forumlar gibi çeşitli platformlardan toplanan müşteri şikayetlerine yanıt oluşturmak için GPT ile metin oluştur eylemini kullandığı bir senaryoyu düşünün. Saldırgan bu kaynaklardan birinin içeriğine bir istem ekleyebilir. Bu senaryoda model, amaçlanandan sapan bir yanıt oluşturarak aldanabilir. Yanıt uygunsuz, yanlış veya zararlı olabilir. Müşterilere yanlış bilgi gönderilmesi şirketin itibarını ve müşteri İlişkilerini olumsuz etkileyebilir.
Yapay zeka modellerinde uydurma
Sanrı olarak da bilinen uydurma, metin oluşturma modeli dahil olmak üzere yapay zeka modellerinde karşılaşılan başka bir zorluktur. Uydurma, yapay zeka modelinin, sağlanan girdilere veya önceden var olan verilere dayanmayan, esasen icat edilen ya da sanrılı bilgiler oluşturduğunda ortaya çıkar.
Örneğin, yapay zeka modelinden belirli bir metne dayalı olarak tarihsel bir olayın özetini oluşturması istendiğinde bu, kaynak metinde bahsedilmeyen ayrıntıları veya olayları içerebilir. Örneğin bir akışta, kaydın dökümü temel alınarak bir toplantının özeti oluşturulur. Giriş verileri; katılımcılar, tartışılan makaleler ve verilen kararlarla ilgili ayrıntıları içerir. Ancak model, toplantıda hiç tartışılmamış bir eylem öğesini veya kararı içeren bir özet oluşturabilir. Bu durum, modelde giriş verilerinde bulunmayan sanrılı bir bilgi parçasının olduğu bir uydurma örneğidir.
Uydurma riskini azaltmak için sorumlu yapay zeka uygulamalarının yapılması çok önemlidir. Bu, istemin ve akışın sıkı şekilde test edilmesini, modele mümkün olduğunca fazla temel bilgi sağlanmasını ve son olarak insan gözetimi için sağlam bir sistemin uygulanmasını içerir.
Sorumlu yapay zeka uygulamaları üzerinden riskleri ele alma
Bu riskleri azaltmanın bir yolu olarak sorumlu yapay zeka uygulamalarını savunuyoruz. Modelin oluşturduğu içeriği denetlemek için mevcut stratejilere sahip olunsa da modelin uydurma yanıtlar oluşturma veya istem ekleme saldırılarına yenik düşme eğilimini yönetmek karmaşık bir zorluk olmaya devam etmektedir. Bu riskleri kabul ediyor ve insan gözetimi ve denetimine bağlılığımızı yeniden belirtiyoruz.
Sorunsuz otomasyonun gerekliliğinin bilincinde olarak güvenlik sistemlerimizi proaktif olarak geliştiriyor ve bu zorlukları daha derinlemesine anlamaya çalışıyoruz. Hedefimiz, metin oluşturma modelini, tasarım gereği sorumlu yapay zeka ilkelerimize uygun olarak uygun güvenlik önlemleriyle daha da iyileştirmek ve mümkün olan her yerde denetimi geliştiricilere vermektir.