Bilgisayar kullanım aracıyla ilgili SSS

Bu sık sorulan sorular (SSS), Copilot Studio aracılarınıza bilgisayar kullanım aracını eklerken bilmeniz gereken özellikler, kullanım, sınırlamalar ve korumalar hakkında içgörüler sağlar.

Bilgisayar kullanım aracı nedir?

Bilgisayar kullanımı web sitelerinde ve uygulamalarda görevleri otomatikleştirmek için tasarlanmış Copilot Studio aracılarınıza ekleyebileceğiniz bir araçtır. Görev açıklamalarını doğal dilde sağlarsınız ve araç fare tıklamalarını ve klavye eylemlerini buna göre otomatikleştirir. Örneğin, aracı bir PDF açmasını ve içeriğini kullanarak bir web formunu doldurmasını emredebilirsiniz. Araç, ekranı görsel olarak yorumlar ve gerekli tıklamaları ve tuş vuruşlarını gerçekleştirerek insan etkileşimlerini taklit eder.

Uyarı

Bilgisayar kullanımı, web siteleri ve masaüstü uygulamaları arasındaki etkileşimleri otomatik hale getiren güçlü bir araçtır, ancak önemli güvenlik konularıyla birlikte gelir. Bazı durumlarda yapay zeka, belirsiz yönergeler veya ekrandaki beklenmeyen içerik nedeniyle istenmeyen eylemler gerçekleştirebilir. Bu eylemler kişisel, finansal veya kurumsal sistemlere erişim dahil olmak üzere cihazınızın, verilerinizin veya bağlı hesaplarınızın güvenliğini etkileyebilir.

Bilgisayar aracı ne yapabilir?

Bilgisayar, ekran içeriğini anlamak için ekran pikseli verilerini işler ve sanal fare tıklamalarını ve klavye girişlerini kullanarak görevleri gerçekleştirir. Araç çok adımlı iş akışlarını yönetebilir, beklenmedik senaryoları yönetebilir ve ekran değişikliklerine dinamik olarak uyum sağlayabilir. Web sitelerinde gezinme ve form doldurma gibi çeşitli dijital görevleri özel API'lere ihtiyaç duymadan gerçekleştirebilir.

Bilgisayar kullanım aracı, üç adıma dayalı yinelemeli bir döngü izler:

• Algı: Bilgisayar ekranının geçerli durumunu görsel olarak anlamak için ekran görüntülerini yakalar.

• Mantık: Geçerli durumu, önceki eylemleri ve ekran görüntülerini, eylemlerini etkili bir şekilde uyarlamasını sağlayan bir düşünce zinciri yaklaşımıyla değerlendirir.

• Eylem: Görev tamamlanana veya daha fazla kullanıcı girişi gerektirene kadar tıklama, yazma veya kaydırma gibi eylemler gerçekleştirir.

Bilgisayar kullanım aracının amaçları nelerdir?

Bilgisayar kullanım aracı, bir sanal fare ve klavye aracılığıyla web siteleri ve uygulamalarla kullanıcı etkileşimlerini otomatikleştirmeye yöneliktir. Özellikle API'lerin kullanılamadığı senaryolarda kullanışlıdır.

Bilgisayar kullanım aracı nasıl değerlendirildi? Performansı ölçmek için hangi ölçümler kullanılıyor?

Bilgisayar kullanım aracı tasarım, geliştirme ve dağıtım aşamaları boyunca gerçek dünya senaryoları kullanılarak titizlikle değerlendirildi. Değerlendirme yöntemleri, doğruluk, kullanıcı güveni ve faydalılığı ölçmek için farklı senaryolarda araştırma, etki çalışmaları ve testleri içeriyordu. Yüksek performans ve olumlu bir kullanıcı deneyimini korumak için ekip, hem nitel hem de nicel metrikleri düzenli olarak izler. Ekip ayrıca aracın kullanılabilirliğini belirlenmiş SLA'lara bağlı kalarak güvence altına alır.

Bilgisayar kullanım aracının sınırlamaları nelerdir? Kullanıcılar, bilgisayar kullanım aracının kısıtlamalarının sistemi kullanırken etkisini nasıl en aza indirebilir?

Bilgisayar kullanımı, bilinen güvenlik risklerine ve işlevsel sınırlamalara sahip yeni bir teknolojidir. Ekip size bununla deneme yapmanızı sağlıyor. Bu erken aşama özelliği, belirli bilgisayar tabanlı görevlerin otomasyonunu sağlar, ancak performansı kullanım örneğine bağlı olarak büyük ölçüde değişir. Etkili ve sorumlu kullanmak için mevcut sınırlamalarını anlayın.

Bilinen sınırlamalar

• Performans, görev ve uygulamaya göre değişir. Güvenilirlik, görev karmaşıklığına, arayüz tasarımına ve uygulama davranışına bağlıdır.

• Arayüz ve zamanlama değişikliklerine duyarlı. Düzen değişiklikleri, yükleme gecikmeleri veya beklenmedik diyaloglar aynı görev için farklı sonuçlar verebilir.

• Bazı kontrollerle ilgili zorluk. Açılır menüler, tarih seçiciler ve özel widget'lar gibi standart olmayan veya dinamik arayüz öğeleriyle etkileşim kurmak zor olabilir.

• Eylemleri yineleyebilir veya takılabilir. Beklenmedik ekran durumları ajanın döngüye girmesine veya ilerleme kaydetmesini durdurmasına neden olabilir.

• Karmaşık görevlerle ilgili zorluklar. Detaylı grafiksel arayüzler veya karmaşık metin manipülasyonu içeren görevler, basit işlemlerden daha az güvenilir olabilir.

• Hassas veya yüksek riskli kullanım durumları için değil. Örneğin, araç şu amaçlar için tasarlanmamıştır:

  • İşe alım, sağlık veya finans gibi hassas alanlarda tavsiye etmek veya puan almak.
  • Finansal işlemler yapmak.
  • Zararlı eylemler, spam veya yanlış bilgi gibi.
  • Uygun yetki olmadan kuruluşunuz dışında veri paylaşmak.

Sınırlamaları en aza indirme

Güvenilirliği artırmak için, hataları azaltmak ve görev başarı oranlarını artırmak için görevleri yapılarken net ve ayrıntılı talimatlar verin.

İnsan gözetim özelliği nedir?

Important

Bilgisayar kullanım aracıları, ekran görüntülerindeki, web sayfalarındaki veya diğer girdilerdeki gizli komutların eylemleri istenmeyen şekillerde etkilemeye çalıştığı, genellikle hızlı enjeksiyon saldırıları olarak adlandırılan zararlı veya kötü amaçlı talimatlarla karşılaşabilir. Bu riskleri azaltmak için bilgisayar kullanımını güvenilir, yalıtılmış ortamlarda çalıştırın ve herhangi bir talimatı yürütmeden önce sağlam doğrulama kontrolleri uygulayın.

Bilgisayar kullanımına yönelik çalıştırmalar belirsizlikle veya eksik bilgilerle karşılaşabilir. Örneğin, gerekli bir değer mevcut değildir veya birden çok yorum mantıklıdır. Bu gibi durumlarda, insan denetimi özelliği, bilgisayar kullanan aracının yürütmeyi duraklatmasına ve yetkili ve yapılandırılmış bir gözden geçirene bir açıklama isteği göndermesine olanak tanır. Gözden geçirenler, ajanın çalışma etkinliği haritasını kullanarak e-posta yoluyla veya Copilot Studio içinde yanıt verebilir. Bilgisayar kullanan aracı bir yanıt aldığında, çalışmasını haritadaki duraklatılmış adımdan sürdürür.

Güvenilirlik ve sınırlar

Ürün liderliğindeki değerlendirmeler, insan gözetimi özelliğinin genellikle beklendiği gibi çalıştığını gösterir, ancak başarısız olabilir veya kullanıcıların tahmin etmeyebileceği şekilde davranabilir. Açıklama istekleri olası model davranışıyla tetiklendiğinden, bir kişinin duraklama istediği her durumda tetiklenmeyebilir. Ayrıca bir duraklama gerekli olmadığında da tetiklenebilir. Bir güvenlik hatası emniyet mekanizması veya sistemin her zaman insan girdisi isteyeceğinin garantisi olarak açıklama isteklerine güvenmemelisiniz.

Özel kuralların uygulanmasına yönelik bir mekanizma değil

İnsan denetimi istekleri tanımlı kurallarınızın, ilkelerinizin veya kısıtlamalarınızın uygulanmasını garanti etmemektedir. Bilgi sağlamak veya istenmeyen eylemleri önlemek için açıklama isteklerine güvenmek yerine her olası senaryo için uygun olan daha fazla denetim (örneğin: açık yönergeler, kısıtlı ortamlar, en düşük ayrıcalıklı hesaplar, izin listeleri ve diğer işlem korumaları) uygulamanız gerekir.

Bilgisayar kullanım aracının etkin ve sorumlu kullanımına hangi işletimsel faktörler ve ayarlar izin verir?

Bilgisayar kullanım aracı, net ve ayrıntılı kullanıcı yönergeleri sağlandığında en iyi performansı gösterir. Kullanıcılar, görev yürütme sırasında güvenilirliği ve doğruluğu artırmak için web sitesi veya uygulama etkileşimleri hakkında kesin ipuçları vermelidir. Daha fazla görünürlük ve kontrol için, araçlar yapılandırma sayfasında bir veya daha fazla yetkili gözden geçiren atayarak insan denetimini etkinleştirin. Model potansiyel olarak kötü amaçlı yönergeler algıladığında, bu gözden geçirenler doğrulamak ve çalıştırmaya devam edip etmemeye karar vermek için bildirimler alır.

Bilgisayar kullanım aracı hakkında nasıl geri bildirim sağlayabilirim?

Bilgisayar kullanım aracıyla ilgili geri bildiriminiz mi var? E-posta computeruse-feedback@microsoft.com.