Bilgisayar kullanım aracıyla ilgili SSS

Bu sıkça sorulan sorular (SSS), Copilot Studio aracılarınıza bilgisayar kullanımı aracını eklerken dikkat etmeniz gereken yetenekler, kullanım şekilleri, sınırlamalar ve güvenlik önlemleri hakkında bilgi verir.

Bilgisayar kullanımı aracı nedir?

bilgisayar kullanımı web siteleri ve uygulamalardaki görevleri otomatikleştirmek üzere Copilot Studio aracılarınıza ekleyebileceğiniz bir araçtır. Görev açıklamalarını doğal dilde sağlıyorsunuz ve araç, fare tıklamalarını ve klavye işlemlerini buna göre otomatikleştiriyor. Örneğin, araca bir PDF açmasını ve içeriğini kullanarak bir web formunu doldurması için talimat verebilirsiniz. Araç, ekranı görsel olarak algılar ve gerekli tıklama ile tuş basmalarını gerçekleştirerek insan etkileşimlerini taklit eder.

Uyarı

Bilgisayar kullanımı, web siteleri ve masaüstü uygulamalarındaki etkileşimleri otomatikleştiren güçlü bir araçtır, ancak önemli güvenlik hususları da içerir. Bazı durumlarda, yapay zeka belirsiz talimatlar veya ekrandaki beklenmedik içerik nedeniyle istem dışı eylemler gerçekleştirebilir. Bu eylemler, cihazınızın, verilerinizin veya bağlı hesaplarınızın güvenliğini etkileyebilir; buna kişisel, finansal veya kurumsal sistemlere erişim de dahildir.

Bilgisayar kullanımı aracı ne yapabilir?

Bilgisayar aracı, ekran içeriğini anlamak için ekran piksel verilerini işler ve sanal fare tıklamaları ile klavye girişleri kullanarak görevleri gerçekleştirir. Araç, çok adımlı iş akışlarını yönetebilir, beklenmedik senaryoları ele alabilir ve ekran değişikliklerine dinamik olarak uyum sağlayabilir. Özel API'lere ihtiyaç duymadan, web sitelerinde gezinme ve form doldurma gibi çeşitli dijital görevleri yerine getirebilir.

Bilgisayar kullanımı aracı, üç adıma dayalı yinelemeli bir döngü izler:

• Algı: Bilgisayar ekranının mevcut durumunu görsel olarak anlamak için ekran görüntüleri yakalar.

• Akıl yürütme: Mevcut durumu, önceki eylemleri ve ekran görüntülerini, eylemlerini etkili bir şekilde uyarlamasına olanak tanıyan bir düşünce zinciri yaklaşımıyla değerlendirir.

• Eylem: Görev tamamlanana veya daha fazla kullanıcı girişi gerektirene kadar tıklama, yazma veya kaydırma gibi eylemleri gerçekleştirir.

Bilgisayar kullanımı aracının amaçlanan kullanım alanları nelerdir?

Bilgisayar kullanım aracı, kullanıcıların web siteleri ve uygulamalarla sanal bir fare ve klavye aracılığıyla etkileşimlerini otomatikleştirmek için tasarlanmıştır. API'lerin bulunmadığı senaryolarda özellikle etkilidir.

Bilgisayar kullanımı aracı nasıl değerlendirildi? Performansı ölçmek için hangi ölçüler kullanılır?

Bilgisayar kullanım aracı, tasarım, geliştirme ve dağıtım aşamaları boyunca gerçek dünya senaryoları kullanılarak titizlikle değerlendirildi. Değerlendirme yöntemleri, doğruluk, kullanıcı güveni ve faydalılığı ölçmek amacıyla araştırma, etki analizi ve farklı senaryolarda test süreçlerini kapsıyordu. Yüksek performans ve olumlu bir kullanıcı deneyimini sürdürmek için hem nitel hem de nicel metrikler düzenli olarak izlenmektedir. Aracın erişilebilirliği, yerleşik SLA'lara uyarak da garanti edilir.

Bilgisayar kullanım aracının sınırlamaları nelerdir? Kullanıcılar sistemi kullanırken bilgisayar kullanım aracının sınırlamalarının etkisini nasıl en aza indirebilir?

Bilgisayar kullanımı, bilinen güvenlik riskleri ve işlevsel sınırlamaları olan yeni bir teknolojidir. Size bununla deneme yapma gücü veriyoruz. Bu erken aşama yeteneği, belirli bilgisayar tabanlı görevlerin otomasyonunu sağlar, ancak performansı kullanım durumuna göre büyük ölçüde değişir. Etkili ve sorumlu bir şekilde kullanmak için mevcut sınırlamalarını anlamalısınız.

Bilinen sınırlamalar

• Başarı oranı göreve göre değişir: Bu araç web tabanlı görevlerde en iyi performansı gösterir (yaklaşık %80 başarı oranı), ancak masaüstü uygulamalarda başarı oranı önemli ölçüde düşer (yaklaşık %35).
• Tutarsız performans: Aynı görev, görsel veya zamanlama değişikliklerine bağlı olarak farklı sonuçlar verebilir.
• Belirli arayüz kontrollerinde zorluklar: bilgisayar kullanımı, açılır menüler, tarih seçiciler veya özel widget'lar gibi standart dışı veya dinamik arayüz öğeleriyle etkileşimde zorluk yaşayabilir.
• Döngüler ve takılı durumlar: Bazı durumlarda, ekran beklentilere uymadığında veya öngörülemez şekilde değiştiğinde aracı bir döngüye girer veya takılı kalır.
• Karmaşık görevlerdeki zorluklar: Basit işlemler için etkili olsa da, araç ayrıntılı grafik arayüzlerde veya karmaşık metin işleme içeren görevlerde zorlanabilir.
• Hassas veya yüksek riskli kullanım durumları için değildir: Araç şu amaçlar için değildir:
  • İşe alım, sağlık veya finans gibi hassas alanlarda tavsiye veya puanlama yapmak
  • Finansal işlemler yapmak
  • Spam veya yanlış bilgi gibi zararlı eylemler
  • Gerekli yetki olmadan organizasyonunuz dışına veri aktarmak

Sınırlamaları en aza indirme yöntemleri

Güvenilirliği artırmak için görevleri yapılandırırken net ve ayrıntılı talimatlar vermelisiniz; bu, hataları azaltır ve görevlerin başarı oranını yükseltir.

İnsan denetimi özelliği nedir?

Önemli

Bilgisayar kullanım aracıları, genellikle komut istemi enjeksiyon saldırıları olarak adlandırılan, zararlı veya kötü amaçlı talimatlarla karşılaşabilirler; bu saldırılarda ekran görüntülerinde, web sayfalarında veya diğer girdilerde gizlenmiş komutlar, eylemleri istenmeyen şekillerde etkilemeye çalışır. Bu riskleri azaltmak için, bilgisayar kullanımını güvenilir, yalıtılmış ortamlarda gerçekleştirin ve herhangi bir komutu çalıştırmadan önce sağlam doğrulama kontrolleri uygulayın.

Bilgisayar kullanımı oturumlarında belirsizlik veya eksik bilgilerle karşılaşılabilir. Örneğin, gerekli bir değer bulunmayabilir veya birden fazla anlam çıkarılabilir. Bu durumlarda, insan denetimi özelliği, bilgisayar kullanımı aracını kullanan aracının yürütmeyi duraklatmasına ve yetkili ve yapılandırılmış bir insan değerlendiriciye açıklama talebi göndermesine olanak tanır. İnceleyiciler, aracının çalışma etkinliği haritasını kullanarak e-posta yoluyla veya Copilot Studio'da yanıt verebilir. Bilgisayar kullanan aracı yanıt aldığında, haritada duraklatılan adımdan işlemini sürdürür.

Güvenilirlik ve sınırlar

Ürün odaklı değerlendirmeler, insan denetimi özelliğinin genellikle beklendiği gibi çalıştığını, ancak bazen başarısız olabileceğini veya beklenmedik şekillerde davranabileceğini gösteriyor. Açıklama talepleri olasılıksal model davranışı tarafından tetiklendiği için, kişinin duraklamak isteyeceği her durumda tetiklenmeyebilir. Ayrıca duraklatma gerekmediğinde de tetiklenebilirler. Bir güvenlik hatası emniyet mekanizması veya sistemin her zaman insan girdisi isteyeceğinin garantisi olarak açıklama isteklerine güvenmemelisiniz.

Özel kuralların uygulanması için bir mekanizma değildir

İnsan denetimi talepleri, tanımladığınız kuralların, politikaların veya kısıtlamaların uygulanmasını garanti etmez. Her bir olası senaryo için (örneğin: net talimatlar, kısıtlı ortamlar, en az ayrıcalıklı hesaplar, izin listeleri ve diğer operasyonel güvenlik önlemleri gibi) daha uygun kontroller uygulamalı, bilgi sağlamak veya istenmeyen eylemleri önlemek için açıklama taleplerine güvenmemelisiniz.

Bilgisayar kullanımı aracının etkili ve sorumlu kullanımına olanak tanıyan operasyonel faktörler ve ayarlar nelerdir?

Bilgisayar kullanımı aracı, açık ve detaylı kullanıcı talimatları sağlandığında en iyi şekilde çalışır. Kullanıcılar, görev yürütme sırasında güvenilirliği ve doğruluğu artırmak için web sitesi veya uygulama etkileşimleri hakkında açık ve net yönlendirmeler vermelidir. Ek görünürlük ve kontrol için, araçlar yapılandırma sayfasında bir veya daha fazla yetkili incelemeci atayarak insan denetimini etkinleştirin. Model potansiyel olarak kötü niyetli talimatlar tespit ettiğinde, bu incelemeciler doğrulama ve çalışmayı durdurup durdurma kararı almak için bildirimler alır.

Bilgisayar kullanımı aracı hakkında nasıl geri bildirim verebilirim?

Bilgisayar kullanımı aracı hakkında geri bildiriminiz var mı? E-posta computeruse-feedback@microsoft.com.