Bilgisayar kullanımıyla web ve masaüstü uygulamalarını otomatikleştirme

Bilgisayar kullanımı, Copilot Studio'da aracınızın bir Windows bilgisayardaki görevlerle etkileşim kurmasına ve görevleri otomatikleştirmesine olanak tanıyan bir araçtır. Düğmeleri seçme, menüleri kullanma ve ekrandaki alanlara metin girme yoluyla web siteleri ve masaüstü uygulamalarıyla etkileşime girer. Bilgisayar kullanımının ne yapmasını istediğinizi doğal dilde açıklayın, o da sanal fare ve klavye kullanarak ayarladığınız bir bilgisayarda görevi gerçekleştirsin. Aracılar, bilgisayar kullanımını kullanarak doğrudan sisteme bağlanacak API olmadığında bile görevleri tamamlayabilir. Bir kişi bir uygulamayı veya web sitesini kullanabiliyorsa, bilgisayarı da kullanabilir. Otomatik veri girişi, fatura işleme ve veri ayıklama gibi görevler için bilgisayar kullanımını kullanabilirsiniz.

Bilgisayar kullanımı, grafik kullanıcı arabirimleriyle (GUI'ler) etkileşim kurmak için görme yeteneklerini gelişmiş akıl yürütme ile birleştiren bir yapay zeka modeli olan Bilgisayar Kullanan Aracılar (CUA) tarafından desteklenmektedir. Yapay zeka destekli olduğu için arayüz değişikliklerine uyum sağlar. Örneğin, düğmeler veya ekranlar değiştiğinde araç akışınızı bozmadan çalışmaya devam eder. Kullanımı basit. Sadece doğal dilde ne istediğinizi açıklayın. Kod yazmanız gerekmez.

Bilgisayar kullanımı aracının bir temsilcinin bir web uygulamasıyla etkileşim kurmasına nasıl olanak tanıdığını öğrenmek için bu videoyu izleyin.

Requirements

Ajanınıza bilgisayar kullanımı ekleyin

yeni bir aracıda veya Copilot Studio'daki mevcut bir aracıda, aşağıdaki adımları izleyerek bilgisayar kullanımını araç olarak ekleyin:

  1. Aracınızdaki Araçlar bölümüne gidin ve Araç ekle'yi seçin.

  2. Araç ekle iletişim kutusunda Yeni araç'ı seçin.

  3. Bilgisayar kullanımı'nı seçin.

  4. Aracın bilgisayarda gerçekleştirmesi gereken görevi açıklayan yönergeleri sağlayın. Kullanmaya başlamak için bazı yönerge şablonları görürsünüz. Bilgisayar kullanımı için en iyi yazma yönergeleri hakkında daha fazla bilgi edinmek için bkz. Bilgisayar kullanımı yönergeleri için en iyi yöntemler.

  5. Ekle ve yapılandır'ı seçin. Yapılandırma sayfasında bu dört alanı yapılandırın:

    • Ad: Bilgisayar kullanım aracı için görünen adı girin. Bu ad, aracınıza eklediğiniz diğer araçlardan ayırt etmenize yardımcı olur.

    • Açıklama: Bu aracın ne yaptığı ve ne zaman kullanılacağı hakkında kısa bir açıklama girin. Bu metin, temsilcinize bu aracı ne zaman kullanması gerektiğini bildirir.

    • Model: Bilgisayar kullanım aracını çalıştırmak için kullanılan modeli seçin. Şu anda desteklenen modeller OpenAI'nin Computer-Using Aracısı ve Antropik'in Claude Sonnet 4.5'idir.

      Note

      Anthropic modelini kullanmak için, yöneticinizin dış modelleri etkinleştirdiğinden emin olun.

    • Yönergeler: URL'ler ve uygulama adları da dahil olmak üzere aracın gerçekleştirmesi gereken adımları listeleyin. İpuçları için bkz. Bilgisayar kullanımı yönergeleri için en iyi yöntemler.

  6. İsteğe bağlı olarak yapılandırma sayfasında bulunan ek alanları gözden geçirin ve ayarlayın. Bkz. Makine, Kullanılacak kimlik bilgileri, İnsan denetimi, Depolanan kimlik bilgileri ve Erişim denetimi gibi tam katalog için ek ayarları yapılandırma.

  7. Kaydetseçeneğini seçin.

Ek ayarları yapılandırma

Yapılandırma sayfası, gerekli dört alanın ötesinde isteğe bağlı alanları kullanıma sunar (Ad, Açıklama, Model, Yönergeler). Senaryonuz için bunları gözden geçirin ve gerektiği şekilde yapılandırın.

Girişler

Bilgisayar her çalıştığında değişen dinamik değerler tanımlamak için Girişler'i kullanın. Örneğin, bir formu her çalıştırmada farklı bir değerle doldurmak istiyorsanız, bu alan için bir giriş oluşturun. Yürütme sırasında bilgisayar kullanımı, görevi tamamlamak için yönergelerinizi giriş değerleriyle birleştirir.

Makine

Ajansın bilgisayar kullanım görevini gerçekleştirmek için kullandığı hedef makineyi seçin. Gereksinimlerinize göre doğru makine türünü seçme hakkında daha fazla bilgi için Bilgisayar kullanımının çalıştırıldığı yeri yapılandırma bölümüne bakın.

  • Makine listesini güncelleştirmek için Yenile'yi kullanın.
  • makine yönetimi sayfasını Power Automate portalda açmak için Makineleri yönet seçin.
  • makine ayrıntıları sayfasını Power Automate portalda açmak için See machine details öğesini seçin.

Connection

Bu araç için kullanılan bağlantı. Kullanılan kimlik bilgilerini değiştirmek için bağlantıyı güncelleştirin veya yeni bir bağlantı oluşturun.

Kullanılacak kimlik bilgileri

Bilgisayarın yürütme sırasında kimlik doğrulamasını nasıl gerçekleştirdiğini belirtin.

  • Maker tarafından sağlanan kimlik bilgileri (varsayılan): Bu seçenek, üreticinin kimlik bilgilerini kullanır ve otonom ajanlar için uygundur.

    Warning

    Bu ayarla bir ajanı paylaşıyorsanız , kullanan herkes orijinal yazarın yapılandırılmış makinedeki erişimiyle hareket edebilir.

  • Son kullanıcı kimlik bilgileri: Bu seçenek, aracıyla etkileşim kuran kişinin kimlik bilgilerini kullanır. Her kullanıcının makineye erişim kimlik bilgileri olmalıdır.

İnsan gözetimi

Bilgisayar kullanımı aracısının model davranışını değiştirebilecek zararlı olabilecek yönergeler algılarsa, e-posta (Outlook) yoluyla kimlerle iletişim kurulacağını belirtin. Her aracı çalıştırması ve etkinliği, onu başlatan kullanıcıya bağlıdır. Bilgisayar kullanım aracını çalıştıran kişi dışında bir incelemeci seçerseniz, çalışmayı başlatmadıkları için muhtemelen etkinliği görmezler. Bu nedenle, isteği doğru şekilde doğrulayamaz veya üzerinde işlem yapamazlar. Ayrıca, alıcının yetkili olduğundan ve bu istekleri işlemek için gerekli bağlama sahip olduğundan emin olun. Yanıt süresi sınırı, isteğin ne kadar süre etkin kalacağını tanımlar. Bu sürenin sonunda istek süresi sona erer ve yanıt alınmazsa bilgisayar kullanımı durur. Daha fazla bilgi için İnsan gözetimi bölümüne bakın.

Depolanan kimlik bilgileri

Bilgisayarın web sitelerinde ve uygulamalarda oturum açmak için kullandığı kimlik bilgilerini tanımlayın. Yürütme sırasında, bir oturum açma istemi görüntülenirse bilgisayar kullanımı, bu bölümde o site veya uygulama için tanımladığınız tüm kimlik bilgilerini güvenli bir şekilde kullanır. Bu kimlik bilgilerinin parola değerleri Power Platform iç depolama alanında (yapılandırma gerekmez) veya sağladığınız bir Azure Key Vault depolanır. Azure Key Vault oluşturmayı öğrenmek için bkz. Azure portalını kullanarak anahtar kasası oluşturma.

  • İç depolama seçeneği: Bu seçeneği kullanarak araçtaki kimlik bilgilerini önceden yapılandırma olmadan yapılandırabilirsiniz. Sırlar şifrelenir ve Power Platform'da dahili olarak saklanır. Her kimlik belgesi için aşağıdaki bilgileri verin:

    • Tür: Bu kimlik bilgilerini kullanmayı planladığınız yüzeye bağlı olarak Web sitesi veya Masaüstü uygulaması arasında seçim yapın
    • Kullanıcı adı: hedef web sitesine veya uygulamaya giriş yapmak için kullandığınız kullanıcı adı.
    • Şifre: hedef web sitesine veya uygulamaya giriş yapmak için kullanılan şifre değeri.

    Note

    Parola alanları, çoğu müşteri senaryolarını kapsayan tüm web sitelerinde ve çoğu Windows uygulamasında (WinForms, WPF, UWP, WinUI, Win32) desteklenir. Electron, Java, Unity, oyunlar, komut satırı arabirimleri, Citrix veya diğer sanallaştırılmış ortamlar gibi bazı uygulama türleri desteklenmeyebilir.

    • Giriş etki alanı (web siteleri) veya masaüstü uygulama adı (masaüstü uygulamaları):
      • Web siteleri: Ana web sitesi adresini girin (örneğin, example.com). Bu web sitesindeki tüm sayfaları otomatik olarak eklersiniz. Alt alan adları için joker karakter (*) de kullanabilirsiniz. Örnekler: www.contoso.com, *.contoso.com, contoso.com
      • Masaüstü uygulamaları: Uygulama ürün adını veya işlem adını girin. Bulmak için Ctrl+Shift+Esc tuşlarına basarak Görev Yöneticisi'ni açın. Ardından İşlemler sekmesini denetleyin. Örnekler: Microsoft Edge, msedge, Notepad.
  • Azure Key Vault option: Bu seçenekle, önce abonelik kimliğini, kaynak grubu adını ve Key Vault adını girerek araçta kimlik bilgilerini yapılandırabilirsiniz. Tüm bu bilgileri Key Vault'unuzun Genel Bakış sayfasında bulabilirsiniz.

    • Power Platform ile Azure Key Vault gizli anahtarlarını kullanmak için:

      • Azure aboneliği kasaya sahip olan PowerPlatform kaynak sağlayıcısı kayıtlı olmalıdır.
      • Ortam değişkenini oluşturan kullanıcının Azure Key Vault kaynağı için uygun izinlere sahip olması gerekir.
    • Henüz yapmadıysanız Azure Key Vault'u Yapılandırma'daki adımları izleyin ve aşağıdaki ayrıntıları sağlayın:

      • Kullanıcı adı: hedef web sitesine veya uygulamaya giriş yapmak için kullandığınız kullanıcı adı.
      • Azure gizli anahtar adı: Anahtar kasasında web sitesi veya uygulamanın parolasını depolayan gizli anahtarın adı
      • Giriş etki alanı (web siteleri) veya masaüstü uygulama adı (masaüstü uygulamaları):
        • Web siteleri: Ana web sitesi adresini girin (örneğin, example.com). Bu web sitesindeki tüm sayfaları otomatik olarak eklersiniz. Alt alan adları için joker karakter (*) de kullanabilirsiniz. Örnekler: www.contoso.com, *.contoso.com, contoso.com
        • Masaüstü uygulamaları: Uygulama ürün adını veya işlem adını girin. Bulmak için Ctrl+Shift+Esc tuşlarına basarak Görev Yöneticisi'ni açın. Ardından İşlemler sekmesini denetleyin. Örnekler: Microsoft Edge, msedge, Notepad.

Erişim denetimi

Varsayılan olarak, bilgisayar kullanımı herhangi bir web sitesinde veya uygulamada çalışabilir. Bu erişimi kısıtlamak istiyorsanız bilgisayar kullanımının sınırlandırılması gereken belirli URL'leri ve masaüstü uygulamalarını tanımlamak için erişim denetimini etkinleştirin. Hem web sitelerini hem de uygulamaları yapılandırabilirsiniz:

  • Web siteleri: Ana web sitesi adresini girin (örneğin, example.com). Bu web sitesindeki tüm sayfaları otomatik olarak eklersiniz. Alt alan adları için joker karakter (*) de kullanabilirsiniz. Örnekler: www.contoso.com, *.contoso.com, contoso.com
  • Masaüstü uygulamaları: Uygulama ürün adını veya işlem adını girin. Bulmak için Ctrl+Shift+Esc tuşlarına basarak Görev Yöneticisi'ni açın. Ardından İşlemler sekmesini denetleyin. Örnekler: Microsoft Edge, msedge, Notepad.

Note

Erişim kontrolü, modelin izin listesinde olmayan web siteleri veya uygulamalarda işlem yapmasını engeller. Modelin onları açmasını engellemez. Örneğin, izin verme listesinde yalnızca microsoft.com ve Microsoft Edge varsa, model Bing'i açmak için Edge arama çubuğunu kullanmaya devam edebilir. Ancak Bing açıldıktan sonra, onunla etkileşime girme girişimi başarısız oluyor çünkü izin listesinde yok.

Bilgisayar kullanımını test et

Bilgisayar kullanımını test etme, yazma yolculuğunda önemli bir adımdır. Bir ad, açıklama ve yönergeler girip aracı kaydettikten sonra test deneyimini başlatmak için Test'i seçin.

Kısa bir yükleme süresinden sonra test deneyimi görüntülenir:

  • Sol panelde, talimatlarınızın yanı sıra aracın mantığı ve eylemlerinin adım adım bir kaydı gösteriliyor.
  • Sağ panelde, bilgisayar kullanımı için ayarladığınız makinedeki eylemlerin önizlemesi gösterilir.

Görev tamamlandığında Test tamamlandı iletisini görürsünüz. Test devam ederken makinedeki tüm eylemleri hemen durdurmak için Testi durdur'u seçebilirsiniz.

Sonuç beklediğiniz gibi değilse, yapılandırma sayfasına gidin ve talimatlarınızı iyileştirin. Doğruluğu artırmak için daha fazla ayrıntı ekleyin. Yönergeler için bkz. Etkili yönergeler yazmak için en iyi yöntemler.

Bilgisayar kullanımıyla bir aracı yayınla

Bilgisayar kullanımını ayarlayın ve ardından ajanınızı yayınlayın. Ajanınızın nasıl çalışacağı senaryoya bağlıdır. Otonom veya konuşmaya dayalı olabilir:

  • Otonom aracılar otomatik olarak çalışır ve görevleri arka planda gerçekleştirir.
  • Konuşma aracıları, kullanıcıların Microsoft Teams gibi kanallar üzerinden etkileşim kurmasına olanak tanır.

Bilgisayar kullanımı, kullanıcı etkileşimi olmadan arka planda görevleri gerçekleştiren otonom aracılar için en iyi sonucu verir.

Konuşma deneyimlerinde bilgisayar kullanımı da uygulayabilirsiniz, ancak şu noktaları göz önünde bulundurun:

  • Kimlik doğrulama ayarı olarak Kullanıcı kimlik doğrulaması'nı seçerseniz, bir konuşmada aracıyla etkileşim kuran her kullanıcının bilgisayar kullanımı tarafından kullanılan makine için geçerli kimlik bilgilerine ihtiyacı vardır.
  • Araç çalıştığında, sohbette makinenin etkinliğinin gerekçe mesajlarını ve ekran görüntülerini paylaşır.

En iyi uygulamalar

Günümüzün dijital ortamlarında üretken ve güvenli kalmak için, özellikle net yönergeler yazarken ve makinelerin güvenliğini sağlarken bilgisayar kullanımına yönelik en iyi yöntemleri izleyin.

Makinelerin güvenliğini sağlamaya yönelik en iyi yöntemler

Yapay zekanın doğal dil kullanarak görev gerçekleştirmesini sağlayan bilgisayar kullanımı için makineler ayarlarken şu güvenlik önerilerini göz önünde bulundurun:

Güvenlik tavsiyesi Ek bilgiler
Bilgisayar kullanımı için ayrılmış makineleri kullanma Belirli, yalıtılmış makineleri yalnızca bilgisayar kullanımıyla ilgili görevler için atayın. Bu yaklaşım, ilişkisiz yazılım, kötü amaçlı yazılım veya yetkisiz erişimden kaynaklanan çapraz bulaşma riskini azaltır. Yapılandırmaları, güncelleştirmeleri ve izlemeyi daha etkili bir şekilde kontrol etmenizi sağlar.
Bilgisayar kullanımı için kullandığınız kullanıcı hesabının izinlerini sınırlayın Bilgisayar kullanımı için kullanıcı hesabını en az ayrıcalık ilkesine göre ayarlayın; yalnızca gerekli araçları çalıştırmak için gereken izinleri verin.
Web erişimini yalnızca belirli güvenilir web sitelerinin izin listesiyle sınırlayın Yalnızca incelenmiş önceden tanımlanmış ve güvenilen alan adları listesine web erişimine izin verin. Örneğin, Bilgisayar kullanımı için kullanılan makineleri hedefleyen Microsoft Intune ile Microsoft Edge ilke ayarlarını yapılandırabilirsiniz .
Belirli masaüstü uygulamalarının erişilebilirliğini sınırlayın Yalnızca hedeflenen yapay zeka iş akışları için gerekli olan uygulamaları yükleyin ve yürütülmesine izin verin. Gereksiz yazılımlara erişimi kaldırın veya devre dışı bırakın. Örneğin, Makinede hangi uygulamaların çalışmasına izin verebileceğini sınırlamak için Uygulama Denetimi'ni yapılandırabilirsiniz .

Bilgisayar kullanım talimatları için en iyi uygulamalar

Yazdığınız yönergeler, bilgisayar kullanımının ne kadar iyi çalıştığını belirler. Belirli, ayrıntılı yönergeler bilgisayarın tam görevleri doğru kullanmasine yardımcı olur. Bunu bir iş arkadaşınıza bir görevi açıklamak gibi düşünün. Net, adım adım yönergeler başarıyı sağlamaya yardımcı olur.

Etkili yönergeler yazmak için ipuçları:

  • Web siteleri ve uygulamalar hakkında net olun. Her zaman herhangi bir web sitesinin tam URL'sini ve aracın kullanması gereken herhangi bir uygulamanın tam adını ekleyin. Örnek: Açın https://www.microsoft.com ve 'Şirket haberleri' sayfasına gidin.

  • İlgili eylemleri açıkça ifade edin. Bir şeyin yapılmasını istiyorsanız, bunu form gönderme veya e-posta gönderme gibi eylemler için açıkça belirtin. Örnek: Formu doldurduktan sonra Gönder'i seçin. İzin istemenize gerek yok.

  • Karmaşık etkileşimleri çözümlemek. Kullanıcı arabiriminde gezinmenin daha karmaşık olabileceği alanlar için her adımı ayrıntılı olarak açıklayın. Örnek: Sağ üst köşedeki More simgesini seçin. Bir açılır menü açılır. Açıldığında, listedeki son öğeyi seçin.

  • Daha uzun görevler için adım adım biçimlendirmeyi kullanın. Liste olarak biçimlendirdiğinizde uzun talimatları takip etmek daha kolaydır.

Örnek talimatları

Bilgisayar kullanımını denemek için bu örnek talimatları inceleyin veya kendi talimatınızı yazmak için referans olarak kullanın.

Scenario Name Description Yönergeler
Fatura işleme Fatura ayrıntılarını aktarma ve gönderme Fatura verilerini PDF'den aktarın ve başka bir forma gönderin. 1. adresine https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.htmlgidin, Tarih filtresini Son 24 saat olarak ayarlayın ve fatura PDF'sini açın.
2. Yeni bir sekmede formu açın https://computerusedemos.blob.core.windows.net/web/Contoso/index.html ve bu PDF'deki verilerle doldurun. Fatura formunu gönderin, onay gerekmez.
Veri girişi Envanter öğelerini gönderin Ürünleri envanter sistemine ekleyin. 1. https://computerusedemos.blob.core.windows.net/web/Adventure/index.html adresine gidin.
2. Aşağıdaki öğelerin her biri için yeni bir girdi gönderin:
Arka Vites Değiştirici, RD-4821, 50, 42.75, Tailspin Toys
Pedal Seti, PD-1738, 80, 19.99, Kuzey Rüzgarı Tüccarları
Fren Kolu, BL-2975, 35, 14.50, Trey Research
Zincirleme Cıvata Seti, CB-6640, 100, 5.25, VanArsdel, Ltd.
Orta Göbek, BB-9320, 60, 24.90, Tailwind Traders
Veri ayıklama Portföy yöneticisi ve değeri araştırın Portföy yöneticisinin adını ve portföyün değerini alın. 1. https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html adresine gidin.
2. Dördüncü Kahve satırını bulun ve Portföy Yöneticisi adını ve mevcut Portföy Değerini tam olarak gösterildiği gibi kaydedin.
3. Bu iki değeri son çıktı olarak döndürün.

Verileri ayıklamak için en iyi yöntemler

Web sitelerinden veya uygulamalardan veri ayıklamak ve ardından bu verileri aracınıza veya aracıdaki diğer araçlara geçirmek için bilgisayar kullanımını kullanabilirsiniz. Bunu yapmak için, doğrudan bilgisayar kullanımı yönergelerinde hangi bilgileri ayıklamak istediğinizi açıklayın.

Ayıklanan verileri başka bir araçla kullanmak istiyorsanız (örneğin, e-postayla göndermek), aracı yönergelerinde bu gereksinimi belirtin ve aracıya her iki aracıyı da eklediğinizden emin olun. Örnek: Finansal portföy panosunun istemci bilgilerini ayıklamak ve ayıklanan verileri e-postayla göndermek için bilgisayar kullanımını kullanın. Bu durumda aracınız hem bilgisayar kullanım aracını hem de e-posta aracını içermelidir.

Değerleri metin olarak ayıklama

Bilgisayar kullanımına belirli değerleri ayıklamasını ve düz metin olarak döndürmesini sağlayabilirsiniz. Örneğin, aşağıdaki girdi, Fourth Coffee müşterisi için portföy yöneticisini ve portföy değerini çıkarır.

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Aracı yalnızca istenen iki değeri metin olarak döndürür.

Değerleri JSON olarak ayıklama

Ayrıca bilgisayar kullanımından ayıklanan bilgileri JSON biçiminde döndürmesini de isteyebilirsiniz. Bu biçim, yapılandırılmış verileri başka bir araca geçirmek istediğinizde kullanışlıdır. Aşağıdaki örnek Contoso ile ilgili tüm portföy satırlarını ayıklar ve bunları düzgün biçimlendirilmiş JSON olarak döndürür:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Bu yaklaşım, yapılandırılmış bir çıkış olmasını sağlar.

Lisanslama

Bilgisayar kullanımı, beş Copilot Kredi faturalama oranıyla Aracı işlem özelliği üzerinden faturalanır. Daha fazla bilgi için bkz. Microsoft Copilot Studio faturalama oranı ve yönetimi.

Her bilgisayar kullanımı çalışması, bir dizi adımı gerçekleştiren bir yapay zeka modeline dayanır. Bir adım tıklama, yazma veya gezinme gibi bir veya daha fazla alt düzey eylem içerebilir. Her adım 5 Copilot Kredisi tüketir.

Örneğin, bilgisayar kullanımını web tabanlı bir zaman çizelgesi formu dolduracak şekilde yapılandırdığınızda, çalıştırma aşağıdaki adımları gerçekleştirebilir:

  1. Tarayıcıyı açın ve zaman çizelgesi portalına gidin.

  2. Yeni zaman çizelgesi oluştur'u seçin.

  3. Başlangıç Saati, Bitiş Saati ve Proje Kodu alanlarını doldurun.

  4. Gönder düğmesini seçin.

Bu örnekte, bilgisayar çalıştırma işlemi dört adımda gerçekleştirilir ve toplam 20 Copilot Kredisi tüketir.

Geri bildiriminizi paylaşın

Bilgisayar kullanımı hakkında geri bildiriminiz var mı? adresinden bize bildirin computeruse-feedback@microsoft.com.

Bilgisayar kullanım aracıyla ilgili SSS