Aracılığıyla paylaş

Operasyon temsilcisi saydamlık notu

Saydamlık notu nedir?

Yapay zeka sistemi yalnızca teknolojiyi değil, onu kullanan kişileri, etkilenen kişileri ve dağıtıldığı ortamı da içerir. Hedeflenen amaca uygun bir sistem oluşturmak için teknolojinin nasıl çalıştığı, özelliklerinin ve sınırlamalarının ne olduğu ve en iyi performansın nasıl elde edilebilecekleri hakkında bilgi edinmeniz gerekir. Microsoft saydamlık notları, yapay zeka teknolojimizin nasıl çalıştığını anlamanıza, sistem sahiplerinin sistem performansını ve davranışını etkileyen seçimler yapabilmesine ve teknoloji, kişiler ve ortam dahil olmak üzere sistemin tamamı hakkında düşünmenin önemini anlamanıza yardımcı olur. Kendi sisteminizi geliştirirken veya dağıtırken saydamlık notlarını kullanın ya da bunları sisteminizi kullanan veya etkilenen kişilerle paylaşın.

Microsoft saydamlık notları, Microsoft'un yapay zeka ilkelerimizi uygulamaya koymaya yönelik daha kapsamlı bir çabanın bir parçasıdır. Daha fazla bilgi için bkz. Microsoft AI ilkeleri.

Real-Time Intelligence işlem aracısının temelleri

Giriş

Real-Time Intelligence operasyon aracısı, veri akışlarını izleyen, anomalileri veya koşulları algılayan ve gerçek dünya olaylarını temel alan eylemler öneren aracılar oluşturmaya yönelik bir platformdur. Bu aracılar görevleri otomatikleştirir, içgörüler sağlar ve zamanında karar almayı destekler. Aracı, iş hedeflerini, bilgi kaynaklarını, eylemleri ve yönergeleri yapılandırarak hedefleri izlemek, verileri izlemek ve koşulları algılamak için kurallar uygulamak için bir plan oluşturur. Aracı, uygun koşullar oluştuğunda kullanıcılara önerilen eylemleri bildirir.

Önemli terimler

  • Bilgi kaynağı: Aracının verileri bulmak ve izlemek için kullanabileceği bir veritabanı bağlantısı.

  • Araç: Aracının doğal dilden yapılandırılmış sorgular oluşturma, anomali algılama gerçekleştirme ve Microsoft Teams veya e-posta iletileri gönderme gibi görevleri gerçekleştirmesini sağlayan yerleşik bir işlevdir.

  • Konuşma Dizisi: Bir aracı ile kullanıcı arasındaki iletişim oturumu. Threadler mesajları depolar ve içeriği modelin bağlamına sığdırmak için kesme işlemini otomatik olarak yürütür.

  • Playbook: Aracının, işletme kılavuzunu oluşturan varlıkların, verilerin, kuralların ve olası eylemlerin içsel temsili.

  • Varlık: İşletmenizde aracının izlediği bir nesne. Örneğin, bisiklet kiralama işlerinde bisikletler ve takma birimleri ilgili varlıklar olabilir. Havaalanı yönetiminde, iade hatları, güvenlik kontrol noktaları ve yolcular ilgili varlıklardır.

  • Örnekler: Veya Bike 0451gibi Flight MS1234 bir varlığın belirli oluşumları.

  • Kurallar: Öneride bulunmadan önce aracının izlediği verilerdeki koşullar veya desenler.

  • Otonom kurallar: Önce bir insan onayı olmadan aracının gerçekleştirmesine izin verilen eylemlere sahip kurallar.

Capabilities

Sistem davranışı

Bir operasyon aracısı oluşturduğunuzda şu ayarları yapılandırabilirsiniz: iş hedefleri, bilgi kaynakları, olası eylemler ve yönergeler. Bu girişlerle aracı, varlıkların, eşlenen verilerin ve izlenecek kuralların playbook'unu oluşturmak için büyük dil modellerini (LLM' ler) kullanır. Hedefleri ve yönergeleri ayarlayarak modeli geliştirebilirsiniz. Aracıyı etkinleştirdiğinizde, ajan arka planda verileri izler. Koşullar kurallarla eşleştiğinde verileri analiz eder, nedenini tanımlar ve iş hedeflerine ulaşmak için eylemler önerir.

Aracı, Teams üzerinden doğal dilde uyarılar göndererek sizi bilgilendirir ve ilk önerilerle ilgili güncel kalmanızı sağlar. Onaylayabilir, reddedebilir veya kuralı otonom hale getirerek aracıya daha fazla onay vermeden işlem yapabilirsiniz.

Aracı, hareket rehberini oluşturmak ve eylemler önermek için LLM'leri kullandığından, şunları dikkate almalısınız:

  • Aracıyı başlatmadan önce davranış modelini dikkatle gözden geçirin.

  • Ajansın önerilerini yakından takip edin ve harekete geçmeden önce öneride bulunmak için kullandığı mantığı doğrulayın.

  • Aracıyla oluşturduğunuz tüm otonom kuralları dikkatle gözden geçirin. Bu kurallar eylemi otomatik olarak yönlendirir.

Kullanım örnekleri

Amaçlanan kullanımlar

Çeşitli senaryolarda işlem aracılarını kullanabilirsiniz. Sistemin amaçlanan kullanımları şunlardır:

  • Bisiklet kiralama yönetimi: Gerçek zamanlı verileri kullanarak operasyon aracısını çeşitli istasyonlarda bisiklet kullanılabilirliğini sürekli olarak izleyecek şekilde yapılandırabilirsiniz. Bisikletlerin kullanılabilirliğini sağlamak için bir hedef belirleyin; böylece her takma istasyonu için bu değeri izlemek için doğru sorguları bulur.

  • Rüzgar türbini optimizasyonu: Temsilci, rüzgar çiftliklerinden gelen verileri izler, güç çıkışı, kanatların yönü ve açısı gibi metrikleri takip eder. Güç çıkışındaki anomalileri veya düşüşleri arar ve çalışma parametrelerinde ayarlamalar önerir.

  • Ambar envanter dengelemesi: Aracı, birden çok ambardaki stok düzeylerini gerçek zamanlı olarak izler. En uygun envanter dağıtımlarını korumak ve stok aşımlarını veya fazla stokları önlemek için bir hedef belirleyin.

  • Gider izleme: Aracıya gider istekleri ve raporları hakkındaki verilere erişim izni verin. Ortak kurallara uygun olmayan giderleri işaretlemesini ve her çalışan veya maliyet merkezi için anomalileri daha uzun vadeli desenlerde belirlemesini isteyin.

  • Olay yanıtı otomasyonu: Aracı, hizmet düşüşü veya güvenlik anomalileri belirtileri için BT altyapı günlüklerini ve telemetri verilerini izler. Amacı ortalama algılama süresini (MTTD) ve ortalama çözüm süresini (MTTR) azaltmaktır.

Diğer kullanım örneklerini seçerken dikkat edilmesi gereken noktalar

Yenilikçi çözümlerinize veya uygulamalarınıza operasyon aracıları uygulamanızı öneririz. Ancak, ajanın belirli kullanım senaryonuz için uygun olduğundan emin olmak için aşağıdaki faktörleri göz önünde bulundurun:

  • Sistemin kullanımının veya kötüye kullanımının bir bireyde önemli fiziksel veya psikolojik yaralanmalara neden olabileceği senaryolardan kaçının. Örneğin, hastaları tanılayan veya ilaç reçete eden senaryolar önemli zararlara neden olabilir.

  • Sistemin kullanımının veya kötüye kullanımının yaşam fırsatları veya yasal durum üzerinde sonuç olarak etki yaratabileceği senaryolardan kaçının. Örnek olarak yapay zeka sisteminin veya aracının bir kişinin yasal durumunu, yasal haklarını veya kredi, eğitim, istihdam, sağlık hizmetleri, konut, sigorta, sosyal yardım avantajları, hizmetler, fırsatlar veya sağlandığı koşullara erişimini etkileyebileceği senaryolar verilebilir.

  • Zarara yol açabilecek yüksek riskli senaryolardan kaçının. Aracıda kullanılan model, eğitim verilerinde bulunan belirli toplumsal görünümleri, yanlılıkları ve diğer istenmeyen içeriği veya istemde sağlanan örnekleri yansıtabilir. Sonuç olarak, haksız, güvenilir olmayan veya rahatsız edici davranışların maliyetli olabileceği veya zarara yol açabileceği yüksek riskli senaryolarda aracıları kullanmaya karşı uyarırız.

  • Aracı eylemlerinin geri alınamaz veya yüksek sonuçlu olduğu yüksek riskli bir etki alanında veya sektördeki kullanım örneklerini dikkatle göz önünde bulundurun. Bu tür sektörler sağlık, tıp, finans veya yasal alanları içerir ancak bunlarla sınırlı değildir.

  • Yasal ve mevzuatla ilgili dikkat edilmesi gerekenler. Kuruluşların yapay zeka hizmetlerini ve çözümlerini kullanırken olası belirli yasal ve mevzuat yükümlülüklerini değerlendirmesi gerekir ve bu durum her sektörde veya senaryoda kullanıma uygun olmayabilir. Kısıtlamalar bölgesel veya yerel mevzuat gereksinimlerine göre farklılık gösterebilir. Buna ek olarak, yapay zeka hizmetleri veya çözümleri için tasarlanmamıştır ve geçerli hizmet koşullarında ve ilgili kullanım kurallarında yasaklanan şekillerde kullanılmayabilir.

Sınırlamalar

Teknik sınırlamalar, operasyonel faktörler ve aralıklar

  • OpenAI'nin yoğun eğitim sürecine ve Microsoft tarafından sorumlu yapay zeka denetimlerinin uygulanmasına rağmen, yapay zeka hizmetleri yanılabilir ve olasılıksaldır. Bu sınırlama, yapay zeka tarafından oluşturulan içerikte olası sapmalara, stereotiplere veya ön planda olmayanlığa yol açan tüm uygunsuz içerikleri kapsamlı bir şekilde engellemeyi zorlaştırır. Yapay zeka tarafından oluşturulan içeriğin bilinen sınırlamaları hakkında daha fazla bilgi için bkz. İşlem aracılarının arkasındaki LLM'lere başvurular içeren Azure OpenAI için Saydamlık notu.

  • Operasyon temsilcilerine çok çeşitli yönergeler ve hedefler verebilirsiniz. LLM davranış modellerinin olasılıksal yapısı, aracıları gereksinimlerinizle uyumlu hale getiremeyeceğiniz anlamına gelir. Aracının davranış modelinin açıklaması da yapay zeka kullanılarak oluşturulur, bu nedenle tam olarak doğru olmayabilir.

  • İşlem aracılarını etkili bir şekilde kullanmak için, hizmetle etkili bir şekilde etkileşime geçmek ve hizmetten yararlanmak için eğitime ihtiyacınız vardır.

  • Gelişmiş yapay zeka modelleri, özellikle de kaynak kısıtlanmış ortamlarda performansı etkileyebileceğiniz önemli hesaplama kaynakları gerektirir. Yoğun kullanım zamanlarında gecikme veya performans sorunlarıyla karşılaşabilirsiniz.

  • Aracılar LLM'leri dış sistemlerle birleştirdiğinden, sorguyu yanıtlamak için neden belirli araçları veya araç bileşimlerini seçtiğini anlamakta zorlanabilirsiniz. Bu zorluk, aracının çıkışlarına veya eylemlerine olan güveni ve doğrulamayı karmaşıklaştırır.

  • Kuruluşların, özellikle düzenlemeye tabi sektörlerde operasyon aracılarını kullanırken kendi yasal ve uyumluluk yükümlülüklerini dikkate almaları gerekir. Microsoft, teknoloji sağlayıcısı olarak Microsoft için geçerli olan mevzuat gereksinimlerini inceler ve sürekli geliştirme süreciyle bunları ürün içinde ele alır.

  • Aracı kullanıcı deneyimi aracılığıyla, aracıyı istediğiniz zaman hızla kesintiye uğratabilir veya kapatabilirsiniz. Bu eylem, yeni verilerin ve aracının önerebileceği veya gerçekleştirebileceği yeni eylemlerin izlenmesini durdurur. Aracının diğer sistemlerde çağırdığı eylemler (örneğin, Power Automate iş akışını başlatmak) anında durmayabilir. Aracı, bu eylemleri diğer ürün deneyimlerinde yönetmeniz gereken bağımsız işlemler olarak başlatır.

  • Aracı ve kullanıcı arasındaki iletiler Teams aracılığıyla teslim edilir. Aracıya ileti gönderdiğinizde, Azure Bot Hizmeti iletileri işler. Azure AI Bot Hizmeti'nin kullanımı, her botun yalnızca tek bir genel uç noktaya sahip olabileceğine ilişkin teknik bir sınırlamaya sahiptir. Teams birinci taraf botları için istekler genel uç noktaya gönderilir ve ardından kullanıcının yakınındaki bölgesel bir uç noktaya yeniden yönlendirilir. İşlem aracıları AB'de bulunan bir uç nokta kullanır ve bu da kullanıcı verilerinizin işlenmek üzere coğrafi bölgenizin dışına taşınabileceği anlamına gelir.

Sistem performansı

Yapay zeka sistemlerinde performans genellikle doğrulukla bağlantılıdır (sistemin doğru çıkışları ne sıklıkta sağladığı). İşlem aracıları için performans daha esnektir çünkü kullanıcılar çıkışları farklı yorumlayabilir. Hatalar genellikle aracı iş sürecindeki hedefleri, verileri veya önemli varlıkları yanlış anladığında oluşur. Aracı önerilerde bulunurken, kullanıcıların eylemleri onaylamadan önce sağlanan bağlamı dikkatle gözden geçirmesi gerekir.

Sistem performansını geliştirmek için en iyi yöntemler

İşlem aracılarıyla en iyi sonuçları elde etmek için ayrıntılı, iyi yapılandırılmış istemler oluşturmaya odaklanın. Sağladığınız hedefler ve yönergeler, aracının zaman içindeki değişiklikleri izlemek için doğru veri noktalarını ve kuralları belirlemesine yardımcı olur. Aracının izlemesi gereken veri değerlerini ve koşullarını açıkça tanımlayarak doğruluğu geliştirin. Eylemlerin sonuçları nasıl etkilediğini ve izlenen değerlerin nasıl değişmesi beklendiğini net bir şekilde özetleyebilirsiniz.

Yüksek kaliteli veriler de aynı derecede önemlidir. Veri yapılarının, kodlanmış değerler yerine anlamlı sütun adlarıyla iyi düzenlenmiş olduğundan emin olun. mümkün olduğunca iç içe olay verilerini düzleştirme. Bu yapı, aracının ilgili bilgileri etkili bir şekilde bulmasını ve izlemesini kolaylaştırır.

İşlem aracılarının değerlendirilmesi

Değerlendirme yöntemleri

Operasyon aracısı platformu doğruluğu, güvenliği ve sürekli iyileştirmeyi değerlendirmek için sıkı, çok aşamalı bir işlem kullanır. Çekirdeğinde üç aşamalı bir döngü vardır: izleme>yineleme>değerlendirmesi. Bu döngü planlama, ontoloji oluşumu, veri topraklama, kural oluşturma ve yürütme dahil olmak üzere aracının karar alma süreçlerini izlemek için telemetri uygulanarak başlar. Değerlendirme veri kümeleri, gerçek dünyadaki kullanım örneklerinden ve değişkenlik sağlayan yapay verilerden gelir. Geliştirmeden üretime kadar aracının yaşam döngüsü boyunca doğruluk, yakınsama, hata oranları ve güvenlik gibi ölçümleri ölçersiniz.

Değerlendirme ortamı üretim koşullarını yansıtır ve yanlılığı önlemek için geliştirme ve değerlendirme işlem hatları arasındaki ayrımı vurgular. İlk veri kümelerini el ile belirler ve beklenen ontolojileri ve çıkışları önceden tanımlarsınız. Daha sonra yapay oluşturma kullanarak bu veri kümelerini ölçeklendirin. Veri kümeleri, iş izleme ve karar alma ile ilgili operasyonel hedeflere odaklanır. Bunlar gerçek dünya senaryolarını temsil etse de, henüz daha geniş kullanıcı popülasyonları veya dinamik hedef yapılandırmaları içermez. Bu yaklaşım değerlendirmeleri odaklanmış, yeniden üretilebilir ve sorumlu yapay zeka ilkeleriyle uyumlu tutar.

Değerlendirme sonuçları

Değerlendirme süreçlerimizde yapılandırılmış> izlemeyinelemeli>değerlendirme metodolojisi kullanılır. Değerlendirmeleri, aracının karar alma döngülerinin her aşamasına ekleriz. Bu değerlendirmeler aracının tutarlı bir şekilde doğru ontolojiler ürettiğini, geçerli ve ilgili sorgular oluşturduğunu ve kullanıcı hedefleriyle uyumlu uygun eylemleri seçtiğini doğruladı. Bu sonuçlar, sistemin özellikle gerçek dünyadaki operasyonel bağlamlarda beklendiği gibi performans göstermesini sağlamak için sorumluluk hedefleri ile uyumunu destekler.

Değerlendirmede kullanılan eğitim ve test veri kümeleri, çok çeşitli operasyonel senaryoları yansıtacak şekilde dikkatle seçilmiştir. Gerçek dünya kullanım örneklerinden gelen ilk veri kümelerini, ontolojiler ve sorgu sonuçları da dahil olmak üzere açıkça tanımlanmış beklenen çıkışlarla el ile oluşturacaksınız. Daha sonra, değişkenliği ve kapsamı artırmak için yapay nesil kullanarak bu veri kümelerini genişlettiniz. Veri kümelerini şema karmaşıklığı, veri kullanılabilirliği ve kullanıcı amacı çeşitlemeleri dahil olmak üzere aracının karşılaşması beklenen hedef türlerini ve veri ortamlarını temsil etmek üzere tasarladınız. Bu yaklaşım, değerlendirmenin sorumlu sistem geliştirme ve dağıtımını destekleyen, temsili bir işlem faktörleri ve ayarları yelpazesini yakalamasını sağladı.

Değerlendirme sonuçları, sistemdeki çeşitli temel tasarım kısıtlamalarını etkiledi. Örneğin, tutarlı performans sağlamak ve hata oranlarını azaltmak için maksimum sorgu boyutu ve en düşük ontoloji karmaşıklığı sınırları sağladık. Sonuçlar birçok operasyonel izleme ve karar destek senaryosu için geniş ölçüde geçerli olsa da, ilk değerlendirme dinamik hedef yeniden yapılandırma ve çok aracılı işbirliği gibi bazı alanları içermiyordu. Bu alanlar gelecekteki test ve geliştirme fırsatlarını temsil eder.

Kullanımınız için operasyon aracılarını değerlendirme ve tümleştirme

Bir aracının davranışı, sağladığınız yönergeler, hedefler, veriler ve eylemlere göre şekillendirilir. Hassas istemler ve sezgisel sütun adlarıyla temiz, iyi düzenlenmiş veriler doğruluğu artırır ve hataları azaltır.

Aracıyı yapılandırdıktan sonra, iş süreçleriyle uyumlu olduğundan emin olmak için KQL sorgularını gözden geçirerek aracının davranış modellerini ve kurallarını doğrulayın. Kural tabanlı koşullar aracıyı tetiklese de, LLM tarafından oluşturulan önerileri yanlışlar içerebilir, bu nedenle işlemden önce her zaman çıktıları gözden geçirin.

Yüksek oranda duyarlı aracılar aşırı bildirime veya otomatik eylemlerin aşırı kullanımına neden olabilir ve bu da sistem kararsızlıklarına neden olabilir. Riskleri azaltmak için kuralları ayarlayın, düzenli denetimler gerçekleştirin, uç durumlarının simülasyonunu yapın ve şeffaflığı destekleyen arabirimler tasarlar. Örneğin, öneriler için güvenilirlik puanlarını ve net açıklamaları gösterin.

İlgili içerik

  • Last updated on