Bilgisayar kullanım aracı hakkında SSS

Bu sık sorulan sorular (SSS), Copilot Studio aracılarınıza bilgisayar kullanım aracını eklerken bilmeniz gereken özellikler, kullanım, sınırlamalar ve korumalar hakkında içgörüler sağlar.

Bilgisayar kullanım aracı nedir?

Bilgisayar kullanımı web sitelerinde ve uygulamalarda görevleri otomatikleştirmek için tasarlanmış Copilot Studio aracılarınıza ekleyebileceğiniz bir araçtır. Görev açıklamalarını doğal dilde sağlarsınız ve araç fare tıklamalarını ve klavye eylemlerini buna göre otomatikleştirir. Örneğin, araçtan PDF açmasını ve içeriğini kullanarak bir web formu doldurmasını söyleyebilirsiniz. Araç, ekranı görsel olarak yorumlar ve gerekli tıklamaları ve tuş vuruşlarını gerçekleştirerek insan etkileşimlerini taklit eder.

Uyarı

Bilgisayar kullanımı, web siteleri ve masaüstü uygulamaları arasındaki etkileşimleri otomatik hale getiren güçlü bir araçtır, ancak önemli güvenlik konularıyla birlikte gelir. Bazı durumlarda yapay zeka, belirsiz yönergeler veya ekrandaki beklenmeyen içerik nedeniyle istenmeyen eylemler gerçekleştirebilir. Bu eylemler kişisel, finansal veya kurumsal sistemlere erişim dahil olmak üzere cihazınızın, verilerinizin veya bağlı hesaplarınızın güvenliğini etkileyebilir.

Bilgisayar aracı ne yapabilir?

Bilgisayar, ekran içeriğini anlamak için ekran pikseli verilerini işler ve sanal fare tıklamalarını ve klavye girişlerini kullanarak görevleri gerçekleştirir. Araç, çok adımlı iş akışlarını yönetebilir, beklenmedik senaryoları yönetebilir ve ekran değişikliklerine dinamik olarak uyum sağlayabilir; böylece özel API'lere ihtiyaç duymadan web sitelerinde gezinmek ve form doldurmak gibi çeşitli dijital görevleri yerine getirebilir.

Bilgisayar kullanım aracı, üç adıma dayalı yinelemeli bir döngü izler:

• Algı: Bilgisayar ekranının geçerli durumunu görsel olarak anlamak için ekran görüntülerini yakalar.

• Mantık: Geçerli durumu, önceki eylemleri ve ekran görüntülerini, eylemlerini etkili bir şekilde uyarlamasını sağlayan bir düşünce zinciri yaklaşımıyla değerlendirir.

• Eylem: Görev tamamlanana veya daha fazla kullanıcı girişi gerektirene kadar tıklama, yazma veya kaydırma gibi eylemler gerçekleştirir.

Bilgisayar kullanım aracının amaçları nelerdir?

Bilgisayar kullanım aracı, sanal fare ve klavye aracılığıyla web siteleri ve uygulamalarla kullanıcı etkileşimlerini otomatikleştirmeye yöneliktir ve özellikle API'lerin kullanılamadığı senaryolarda kullanışlıdır.

Bilgisayar kullanım aracı nasıl değerlendirildi? Performansı ölçmek için hangi ölçümler kullanılır?

Bilgisayar kullanım aracı tasarım, geliştirme ve dağıtım aşamaları boyunca gerçek dünya senaryoları kullanılarak titizlikle değerlendirildi. Değerlendirme yöntemleri arasında doğruluğu, kullanıcı güvenini ve yararlılığı ölçmek için farklı senaryolarda araştırma, etki çalışmaları ve testler yer aldı. Hem nitel hem de nicel ölçümler, yüksek performansı ve olumlu bir kullanıcı deneyimini korumak için düzenli olarak izlenir. Aracın erişilebilirliği, yerleşik SLA'lara uyarak da garanti edilir.

Bilgisayar kullanım aracının sınırlamaları nelerdir? Kullanıcılar, bilgisayar kullanım aracının kısıtlamalarının sistemi kullanırken etkisini nasıl en aza indirebilir?

Bilgisayar kullanımı, bilinen güvenlik risklerine ve işlevsel sınırlamalara sahip yeni bir teknolojidir. Deneyler yapmanız için size imkan tanıyoruz. Bu erken aşama özelliği, belirli bilgisayar tabanlı görevlerin otomasyonunu sağlar, ancak performansı kullanım örneğine bağlı olarak büyük ölçüde değişir. Etkili ve sorumlu kullanmak için mevcut sınırlamalarını anlayın.

Bilinen sınırlamalar

• Başarı oranı göreve göre değişir: Araç web tabanlı görevlerde en iyi performansı gösterir (yaklaşık 80% başarı) ancak masaüstü uygulamalarında önemli ölçüde düşer (yaklaşık 35% başarı).
• Tutarsız performans: Aynı görev, görsel veya zamanlama değişikliklerine bağlı olarak farklı sonuçlar verebilir.
• Belirli kullanıcı arabirimi denetimleriyle ilgili güçlükler: Bilgisayar kullanımı, açılır menüler, tarih seçiciler veya özel pencere öğeleri gibi standart olmayan veya dinamik arabirim öğeleriyle etkileşimde zorlanabilir.
• Döngüler ve takılmış durumlar: Bazı durumlarda, aracı bir döngüye girer veya ekran beklentilerle eşleşmediğinde veya tahmin edilemeyen değişiklikler olduğunda takılır.
• Karmaşık görevlerin zorlukları: Basit eylemler için etkili olsa da, araç ayrıntılı grafik arabirimlerle veya karmaşık metin işleme içeren görevlerle mücadele edebilir.
• Hassas veya yüksek riskli kullanım örnekleri için değil: Araç şunlar için tasarlanmamıştır:
  • İşe alma, sağlık hizmetleri veya finans gibi hassas etki alanlarında önerme veya puanlama
  • Finansal işlemler yapma
  • İstenmeyen posta veya yanlış bilgi gibi zararlı eylemler
  • Uygun yetkilendirme olmadan kuruluşunuzun dışında veri paylaşma

Sınırlamaları en aza indirme

Güvenilirliği artırmak için, hataları azaltmak ve görev başarı oranlarını artırmak için görevleri yapılandırırken net ve ayrıntılı yönergeler sağlamanız gerekir.

İnsan gözetim özelliği nedir?

Önemli

Bilgisayar kullanım aracıları, ekran görüntülerindeki, web sayfalarındaki veya diğer girdilerdeki gizli komutların eylemleri istenmeyen şekillerde etkilemeye çalıştığı, genellikle hızlı enjeksiyon saldırıları olarak adlandırılan zararlı veya kötü amaçlı talimatlarla karşılaşabilir. Bu riskleri azaltmak için bilgisayar kullanımını güvenilir, yalıtılmış ortamlarda çalıştırın ve herhangi bir talimatı yürütmeden önce sağlam doğrulama kontrolleri uygulayın.

Bilgisayar kullanımı sırasında belirsizlik veya eksik bilgilerle karşılaşılabilir; örneğin, gerekli bir değer mevcut değildir veya birden fazla yorum yapılabilir. Bu gibi durumlarda, insan denetimi özelliği, bilgisayar kullanan aracının yürütmeyi duraklatmasına ve yetkili ve yapılandırılmış bir gözden geçirene bir açıklama isteği göndermesine olanak tanır. Gözden geçirenler, ajanın çalıştırma etkinlik haritasını kullanarak e-postayla veya Copilot Studio'da yanıt verebilir. Bilgisayar kullanan ajan bir yanıt aldıktan sonra, çalışmasına haritadaki duraklatılmış adımdan devam eder.

Güvenilirlik ve sınırlar

Ürün liderliğindeki değerlendirmeler, insan gözetimi özelliğinin genellikle beklendiği gibi çalıştığını gösterir, ancak başarısız olabilir veya kullanıcıların tahmin etmeyebileceği şekilde davranabilir. Açıklama istekleri olası model davranışıyla tetiklendiğinden, bir kişinin duraklatmak isteyeceği her durumda tetiklenmeyebilir ve duraklama gerekli olmadığında da tetiklenebilirler. Bir güvenlik hatası emniyet mekanizması veya sistemin her zaman insan girdisi isteyeceğinin garantisi olarak açıklama isteklerine güvenmemelisiniz.

Özel kuralların uygulanmasına yönelik bir mekanizma değil

İnsan denetimi istekleri tanımlı kurallarınızın, ilkelerinizin veya kısıtlamalarınızın uygulanmasını garanti etmemektedir. Bilgi sağlamak veya istenmeyen eylemleri önlemek için açıklama isteklerine güvenmek yerine her olası senaryo için uygun olan daha fazla denetim (örneğin: açık yönergeler, kısıtlı ortamlar, en düşük ayrıcalıklı hesaplar, izin verilenler listesi ve diğer işlem korumaları) uygulamanız gerekir.

Bilgisayar kullanım aracının etkin ve sorumlu kullanımına hangi işletimsel faktörler ve ayarlar izin verir?

Bilgisayar kullanım aracı, net ve ayrıntılı kullanıcı yönergeleri sağlandığında en iyi performansı gösterir. Kullanıcılar, görev yürütme sırasında güvenilirliği ve doğruluğu artırmak için web sitesi veya uygulama etkileşimleri hakkında kesin ipuçları vermelidir. Daha fazla görünürlük ve kontrol için, araçlar yapılandırma sayfasında bir veya daha fazla yetkili gözden geçiren atayarak insan denetimini etkinleştirin. Model potansiyel olarak kötü amaçlı yönergeler algıladığında, bu gözden geçirenler doğrulamak ve çalıştırmaya devam edip etmemeye karar vermek için bildirimler alır.

Bilgisayar kullanım aracı hakkında nasıl geri bildirim sağlayabilirim?

Bilgisayar kullanım aracıyla ilgili geri bildiriminiz mi var? E-posta computeruse-feedback@microsoft.com.