Bilgisayar kullanım aracı hakkında SSS

Bilgisayar kullanım aracı nedir?

Bilgisayar kullanımı , web siteleri ve uygulamalardaki görevleri otomatikleştirmek için tasarlanmış Copilot Studio aracılarınıza ekleyebileceğiniz bir araçtır. Kullanıcılar görev açıklamalarını doğal dilde sağlar ve araç fare tıklamalarını ve klavye eylemlerini buna göre otomatikleştirir. Örneğin, araçtan PDF açmasını ve içeriğini kullanarak bir web formu doldurmasını söyleyebilirsiniz. Araç, ekranı görsel olarak yorumlar ve gerekli tıklamaları ve tuş vuruşlarını yürüterek insan etkileşimlerini öykünür.

Uyarı

Bilgisayar kullanımı, web siteleri ve masaüstü uygulamaları arasındaki etkileşimleri otomatik hale getiren güçlü bir araçtır, ancak önemli güvenlik konularıyla birlikte gelir. Bazı durumlarda yapay zeka, belirsiz yönergeler veya ekrandaki beklenmeyen içerik nedeniyle istenmeyen eylemler gerçekleştirebilir. Bu eylemler kişisel, finansal veya kurumsal sistemlere erişim dahil olmak üzere cihazınızın, verilerinizin veya bağlı hesaplarınızın güvenliğini etkileyebilir.

Bilgisayar aracı ne yapabilir?

Bilgisayar, ekran içeriğini anlamak için ekran pikseli verilerini işler ve sanal fare tıklamalarını ve klavye girişlerini kullanarak görevleri gerçekleştirir. Araç çok adımlı iş akışlarını yönetebilir, beklenmeyen senaryoları işleyebilir ve ekran değişikliklerine dinamik olarak uyarlanabilir, böylece web sitelerinde gezinme ve özel API'lere gerek kalmadan formları doldurma gibi çeşitli dijital görevleri gerçekleştirebilir.

Bilgisayar kullanım aracı, üç adıma dayalı yinelemeli bir döngü izler:

• Algı: Bilgisayar ekranının geçerli durumunu görsel olarak anlamak için ekran görüntülerini yakalar.

• Mantık: Geçerli durumu, önceki eylemleri ve ekran görüntülerini, eylemlerini etkili bir şekilde uyarlamasını sağlayan bir düşünce zinciri yaklaşımıyla değerlendirir.

• Eylem: Görev tamamlanana veya daha fazla kullanıcı girişi gerektirene kadar tıklama, yazma veya kaydırma gibi eylemler gerçekleştirir.

Bilgisayar kullanım aracının kullanım amacı nelerdir?

Bilgisayar kullanım aracı, sanal fare ve klavye aracılığıyla web siteleri ve uygulamalarla kullanıcı etkileşimlerini otomatikleştirmeye yöneliktir ve özellikle API'lerin kullanılamadığı senaryolarda kullanışlıdır.

Bilgisayar kullanım aracı nasıl değerlendirildi? Performansı ölçmek için hangi ölçümler kullanılır?

Bilgisayar kullanım aracı tasarım, geliştirme ve dağıtım aşamaları boyunca gerçek dünya senaryoları kullanılarak titizlikle değerlendirildi. Değerlendirme yöntemleri arasında doğruluğu, kullanıcı güvenini ve yararlılığı ölçmek için farklı senaryolarda araştırma, etki çalışmaları ve testler yer aldı. Hem nitel hem de nicel ölçümler, yüksek performansı ve olumlu bir kullanıcı deneyimini korumak için düzenli olarak izlenir. Aracın kullanılabilirliği, yerleşik SLA'lara bağlı olarak da sağlanır.

Bilgisayar kullanım aracının sınırlamaları nelerdir? Kullanıcılar, sistemi kullanırken bilgisayarın araç sınırlamalarının etkisini nasıl en aza indirebilir?

Bilgisayar kullanımı, bilinen güvenlik risklerine ve işlevsel sınırlamalara sahip yeni bir teknolojidir. Denemeler için sizi güçlendiriyoruz. Bu erken aşama özelliği, belirli bilgisayar tabanlı görevlerin otomasyonunu sağlar, ancak performansı kullanım örneğine bağlı olarak büyük ölçüde değişir. Etkin ve sorumlu bir şekilde kullanmak için geçerli sınırlamalarını anlayın:

Bilinen sınırlamalar

• Başarı oranı göreve göre değişir: Araç web tabanlı görevlerde en iyi performansı gösterir (yaklaşık 80% başarı) ancak masaüstü uygulamalarında önemli ölçüde düşer (yaklaşık 35% başarı).
• Tutarsız performans: Aynı görev, görsel veya zamanlama değişikliklerine bağlı olarak farklı sonuçlar verebilir.
• Belirli kullanıcı arabirimi denetimleriyle ilgili güçlükler: Bilgisayar kullanımı, açılır menüler, tarih seçiciler veya özel pencere öğeleri gibi standart olmayan veya dinamik arabirim öğeleriyle etkileşimde zorlanabilir.
• Döngüler ve takılmış durumlar: Bazı durumlarda, aracı bir döngüye girer veya ekran beklentilerle eşleşmediğinde veya tahmin edilemeyen değişiklikler olduğunda takılır.
• Karmaşık görevlerin zorlukları: Basit eylemler için etkili olsa da, araç ayrıntılı grafik arabirimlerle veya karmaşık metin işleme içeren görevlerle mücadele edebilir.
• Hassas veya yüksek riskli kullanım örnekleri için değil: Araç şunlar için tasarlanmamıştır:
  • İşe alma, sağlık hizmetleri veya finans gibi hassas etki alanlarında önerme veya puanlama
  • Finansal işlemler yapma
  • İstenmeyen posta veya yanlış bilgi gibi zararlı eylemler
  • Uygun yetkilendirme olmadan kuruluşunuzun dışında veri paylaşma

Sınırlamaları en aza indirme

Güvenilirliği artırmak için, kullanıcılar görevleri yapılandırırken net ve ayrıntılı yönergeler sağlamalıdır. Bu, hataları azaltmaya yardımcı olur ve görev başarı oranlarını artırır.

Potansiyel olarak kötü amaçlı talimatlar için insan denetimi

Bilgisayar kullanım aracıları, ekran görüntülerindeki, web sayfalarındaki veya diğer girdilerdeki gizli komutların eylemleri istenmeyen şekillerde etkilemeye çalıştığı, genellikle hızlı enjeksiyon saldırıları olarak adlandırılan zararlı veya kötü amaçlı talimatlarla karşılaşabilir. Bu riskleri azaltmak için bilgisayar kullanımını güvenilir, yalıtılmış ortamlarda çalıştırın ve herhangi bir talimatı yürütmeden önce sağlam doğrulama kontrolleri uygulayın.

İnsan denetimi, yetkili incelemecilerin potansiyel olarak zararlı veya kötü niyetli olarak işaretlenen eylemleri doğrulamasına olanak tanıyarak daha fazla görünürlük ve kontrol sağlar. Bu tür riskler tespit edildiğinde, bilgisayar kullanımı uygulamayı durdurur ve göreve devam edip etmeyeceğine karar veren atanan inceleyicileri bilgilendirir. Bilgisayar kullanıcı tarafından yapılan güvenlik kontrolleri, tek bir yanıt, girdi veya ekran görüntüsü ile ya da bu bağlamın birden fazla parçasıyla tetiklenebilir. Güvenlik kontrolleri, bilgisayar kullanıcı tarafından geri döndürülemez veya izinsiz işlemler yapılmadan önce insan incelemesini teşvik etmek için tasarlanmıştır, ancak bilgisayar kullanım ajanı kontrolleri yaparken hata yapabilir. Örneğin, bilgisayar kullanım ajanı bazı eylemleri tespit etmeyebilir veya güvenlik önemli olmadığı durumlarda inceleme başlatabilir. Güvenlik kontrolleri, ajanın sorumlu tasarımı ve rehberliğinin yerini tutmaz.

Bu özellik, potansiyel olarak geri döndürülemez veya izinsiz işlemlerin incelenmesini önerir, ancak şu anda genel onay taleplerini, eksik bilgi taleplerini veya diğer güvenlik kontrollerini desteklememektedir.

Bilgisayar kullanım aracının etkin ve sorumlu kullanımına hangi işletimsel faktörler ve ayarlar izin verir?

Bilgisayar kullanım aracı, net ve ayrıntılı kullanıcı yönergeleri sağlandığında en iyi performansı gösterir. Kullanıcılar, görev yürütme sırasında güvenilirliği ve doğruluğu artırmak için web sitesi veya uygulama etkileşimleri hakkında kesin ipuçları vermelidir. Daha fazla görünürlük ve kontrol için, araçlar yapılandırma sayfasında bir veya daha fazla yetkili gözden geçiren atayarak insan denetimini etkinleştirin. Model potansiyel olarak kötü amaçlı yönergeler algıladığında, bu gözden geçirenler doğrulamak ve çalıştırmaya devam edip etmemeye karar vermek için bildirimler alır.

Bilgisayar kullanım aracı hakkında nasıl geri bildirim sağlayabilirim?

Bilgisayar kullanım aracıyla ilgili geri bildiriminiz mi var? e-posta adresi computeruse-feedback@microsoft.com.