Temsilcinizi Azure'da oluşturma

Bir startup prototiplerin ötesine geçmeye ve üretim sınıfı yapay zeka aracıları oluşturmaya karar verdikten sonra, odak denemeden mimariye geçer. Kurumsal müşteriler için bir aracı oluşturmak için birden çok müşteri arasında güvenlik, güvenilirlik ve uyarlanabilirlik gerekir. Startup'lar da düşünceli tasarımı hız ve basitlikle dengelemeye bakmalıdır.

Azure'da ajanlar oluştururken, her girişimin ele alması gereken dört temel tasarım alanı vardır.

  1. Çoklu kiracılık: Verileri, bağlamı ve işleme gücünü yalıtırken birden çok müşteriye güvenli ve verimli bir şekilde hizmet verme.
  2. Uygulama Katmanı: Kullanıcıların API'ler, Teams uygulamaları veya web deneyimleri aracılığıyla aracıyla nasıl etkileşim kuracakları ve bu arabirimlerin kiracıya özgü mantık ve güvenlikle nasıl eşlenir?
  3. Düzenleme Katmanı: Çeşitli görev ve modellerde güvenilir, denetlenebilir sonuçlar üretmek için mantık yürütme, araç kullanımı ve eylem koordinasyonu nasıl yönetilir?
  4. Bağlam Katmanı: Öğenin, vektör araması, hafıza depoları ve canlı veri entegrasyonu kullanarak ilgili bilgiyi nasıl aldığı, yapılandırdığı ve üzerinde akıl yürüttüğü.

Bu dört alan ölçeklenebilir bir aracı mimarinin omurgasını oluşturur. Ajanın yalnızca nasıl performans gösterdiğini değil, aynı zamanda nasıl geliştiğini ve sürekli iyileşmeyi, kiracıya göre özelleştirmeyi, müşteri ekosistemlerine daha derin entegrasyonu desteklediğini belirler.

Çoklu Kiracılık

Startup'lar için çoklu kiracı modeli, sürdürülebilir ve ölçeklenebilir bir hizmet platformu oluşturmanın temelidir. Sisteminizin her biri kendi verilerine, modellerine ve bağlamlarına sahip birden çok müşteriye nasıl hizmet sunup güvenlik, performans ve maliyet verimliliğini korumayı tanımlar. Bağlam ve kişiselleştirmenin değer oluşturmanın merkezi olduğu yapay zeka aracıları dünyasında, çok kiracılılık, zekanın kiracılar arasında nasıl bölümlendiğini, paylaşılmasını ve geliştirildiğini de yönetir.

Azure, çok kiracılılığı hem esnek hem de güvenli hale getiren çeşitli yerel desenler ve hizmetler sağlar. Doğru yaklaşım ürün modelinize, veri duyarlılığınıza ve ölçek gereksinimlerinize bağlıdır.

Mantıksal ve Fiziksel Çok Kiracılılık karşılaştırması

  • Mantıksal çok kiracılılık paylaşılan kaynaklardaki müşteri verilerini ve yapılandırmalarını yalıtarak (örneğin, kiracıya özgü bölümleri veya koleksiyonları olan tek bir Cosmos DB örneği veya kiracı başına dizinleri olan tek bir Azure Yapay Zeka Arama hizmeti) elde edilir. Bu model yüksek verimlilik ve daha basit işlemler sunar ve erken aşama startup'lar için idealdir.
  • Physical multitenancy ayrı veritabanları, depolama hesapları veya Azure Uygulaması teklifleri kullanan tüm dağıtımlar gibi kiracı başına ayrılmış kaynaklar sağlayarak daha güçlü yalıtım sağlar. Bu yaklaşım, veri yerleşimi garantileri gerektiren düzenlenmiş sektörler veya kurumsal müşteriler için yaygındır.

Çoğu başlangıç karma modeli benimser: kiracıların çoğunluğu için mantıksal yalıtım ve yüksek değerli veya uyumluluk temelli müşteriler için fiziksel yalıtım. Bu genellikle yatay olarak bölümlenmiş dağıtım olarak adlandırılır. Yatay bölümlenmiş dağıtımlar, B2B istemcileri için kiracı veri yalıtımı sağlarken en düşük uygulama altyapısına izin verdikleri için erken aşama başlangıçları için idealdir. Bu, karmaşık veri bölümleme gereksinimini azaltır ve yedekli altyapı maliyetlerini azaltır.

Yapay Zeka Ajanları Çok Kiracılılık

Kimlik ve Access Control

Çok kiracılığın merkezinde kimlik vardır. Microsoft Entra ID (Azure AD) güvenli, kiracıya duyarlı erişim denetiminin temelini sağlar.

Birçok çok kiracılı çözüm SaaS olarak çalışır. Ancak, Microsoft Entra ID veya Dış Kimlik kullanma seçiminiz kısmen kiracılarınızı veya müşteri tabanınızı nasıl tanımladığınıza bağlıdır.

  • Kiracılarınız veya müşterileriniz kuruluşsa, Microsoft 365, Microsoft Teams gibi hizmetler veya kendi Azure ortamları için zaten Microsoft Entra ID kullanabilirler. Çözümünüzü diğer Microsoft Entra ID dizinlerinin kullanımına açmak için kendi Microsoft Entra ID dizininizde multitenant uygulaması oluşturabilirsiniz. Ayrıca çözümünüzü Azure Market içinde listeleyebilir ve Microsoft Entra ID kullanan kuruluşlar tarafından erişilebilir hale getirebilirsiniz.
  • Kiracılarınız veya müşterileriniz Microsoft Entra ID kullanmıyorsa veya kuruluş yerine bireylerse External ID kullanmayı göz önünde bulundurun. Dış Kimlik, kullanıcıların nasıl kaydolup oturum açacaklarını denetlemeye yönelik özellikler sağlar. Örneğin, çözümünüz erişimini yalnızca davet ettiğiniz kullanıcılarla kısıtlayabilir veya self servis kaydolmayı etkinleştirebilirsiniz. Özel markalama kullanabilirsiniz. Kendi personelinizin oturum açmasını sağlamak için, Microsoft Entra ID kiracınızdaki kullanıcıları konuk erişimi aracılığıyla Dış Kimlik'e konuk olarak davet edebilirsiniz. Dış kimlik, diğer IdP'lerle federasyonu da etkinleştirir.
  • Bazı çok kiracılı çözümler her iki senaryo için de tasarlanmıştır. Bazı kiracıların kendi Microsoft Entra ID kiracıları olabilir, ancak diğer kiracılar buna sahip olmayabilirler. Bu senaryo için Harici Kimlik kullanabilir ve kiracının Microsoft Entra ID dizininden kullanıcı oturum açmasına izin vermek için federasyon kullanabilirsiniz.

Bu kılavuzu izleyin ( Microsoft Entra ID'da tek kiracılı uygulamayı çok kiracılıya dönüştürme: Microsoft kimlik platformu | Microsoft Learn) Entra ID kullanarak çok kiracılı bir uygulamayı etkinleştirin.

Veri ve Bağlam Yalıtımı

Aracılar büyük ölçüde bağlamsal bilgiye dayandığından, kiracı başına veri alma ve ekleme işlemlerini yalıtmak kritik önem taşır. Redis için Azure Önbellek, Cosmos DB, ve Azure Depolama kiracıya özgü ad alanlarını ve dizinleri desteklerken, Azure Gizli Bilgi İşlem veya Private Uç Noktaları gibi hizmetler hassas etkileşimleri korur.

Çağırmaya artırılmış oluşturma (RAG) için vektör veritabanları kullanılırken, startup'lar müşteriler arasında veri sızıntısını önlemek amacıyla kiracı başına vektör ad alanlarını veya ayrı koleksiyonları uygulamalıdır. Bu, kiracı başına ölçeklendirmeyi ve faturalamayı da basitleştirir.

Gözlemlenebilirlik, Maliyet ve Ölçek

Operasyonel görünürlük, çok kiracılı bir aracı platformunda önemlidir.

  • Azure İzleyici ve Application Insights kiracı başına günlük kullanımına genişletilebilir ve sorun giderme, performans ayarlama ve kullanım tabanlı faturalama konusunda yardımcı olabilir.
  • Azure Container Apps ve AKS kiracı yüküne göre otomatik ölçeklendirmeye olanak tanıyarak maliyet verimliliğini korur.
  • Microsoft ticari market üzerinden para kazanıldığında, kiracı kullanım verileri otomatik faturalama ve raporlama için doğrudan ölçüm API'lerine aktarılabilir.

Neden Önemlidir?

Çok kiracılığı erken uygulamak, startup'ların şunları yapabilmesini sağlar:

  • Altyapıyı yinelemeden birçok müşteriye hizmet sunma.
  • Güçlü veri sınırlarını ve uyumluluk denetimlerini zorunlu kılma.
  • Özel yalıtım ile hem küçük hem de kurumsal kiracıları destekleyin.
  • Gelecekteki market para kazanma ve ortak satışa hazır olma sürecini basitleştirin.

Kısacası, çok kiracılılık, bir aracıyı tek başına bir prototipten, tek bir, güvenli ve esnek Azure omurgası aracılığıyla yüzlerce kuruluşa hizmet verebilecek bir platform işletmeye dönüştüren bir yapıdır.

Uygulama Katmanı

application katmanı kullanıcıların Microsoft Teams gibi araçlardaki sohbet arabirimleri, API'ler veya ekli yardımcı pilotlar aracılığıyla temsilcinizle etkileşime geçtiği yerdir. Startup'lar için bu katman, müşteri değerinin somut hale geldiği katmandır. Orchestrasyon mantığını ve bağlamsal zekayı birden fazla kiracıda duyarlı, kişiselleştirilmiş ve güvenli hissedilen bir kullanıcı deneyimine dönüştürür.

Azure uygulama katmanı iki kritik rol sunar:

  1. Kiracıya özgü istekler ve kimlik doğrulaması için ağ geçidi işlevi görür.
  2. Kullanıcıların, geliştiricilerin ve dış sistemlerin etkileşimde olduğu deneyim katmanını tanımlar.

Tenant Duyarlı Uygulama Sınırları

Uygulama katmanı, isteği hangi kiracının yaptığını ve erişim hakkına sahip oldukları verileri veya özellikleri tam olarak biliyor olmalıdır. Azure bunu etkinleştirmek için çeşitli hizmetler sağlar:

  • Azure Front Door veya API Management (APIM) istekleri kiracıya özgü ortamlara veya işlevlere yönlendirerek genel giriş noktası olarak hareket edebilir.
  • Entra ID kimlik doğrulamasını ve yetkilendirmeyi işler ve kullanıcı ve hizmet belirteçlerinin doğru kiracı bağlamıyla eşlenmesi sağlanır.
  • Azure Uygulama Yapılandırması ve Key Vault kiracıya özgü yapılandırmaları, API anahtarlarını ve ortam gizli dizilerini yönetin.

Bu sınırlar, her kiracının aynı aracı platformunu ancak kendi güvenli mantıksal korumalı alanı içinde deneyimlemesini sağlar. Bu, verilerin çapraz geçişini önleme ve kurumsal düzeyde uyumluluğu koruma açısından kritik bir adımdır.

Çok Kanallı Teslim

Modern aracı deneyimi tek bir sohbet kullanıcı arabiriminin ötesine uzanır. Startup'lar aracılarını birden çok teslim kanalı aracılığıyla kullanıma açabilir:

  • İş yeri iş birliği ve konuşma iş akışları için Teams Copilots ve Mesaj Uzantıları.
  • Web ve Mobil Uygulamalar, React veya React Native gibi çerçeveler kullanılarak oluşturulur ve Azure App Service veya Statik Web Uygulamaları içinde barındırılır.
  • API uç noktaları Entra ID veya APIM tarafından güvenli hale getirilerek müşteri sistemleriyle programlı tümleştirmeye olanak tanır. Bunlar genellikle Azure İşlevleri kullanılarak oluşturulur.

Azure kimlik katmanı, tüm bu arabirimlerin farklı arka uç hizmetlerine bağlansalar bile birleşik bir kimlik doğrulama ve yetkilendirme modelini paylaşmasını sağlar. Bu tutarlılık, startup'ların müşteri veya kullanım senaryosu başına özelleştirilmiş ön uçlar sunarken temel bir aracı bileşeni tutmasına olanak tanır.

Durum Yönetimi ve Oturum Bağlamı

Aracı uygulamalarda oturumlar genellikle birden çok etkileşimi ve modaliteyi bir araya getirmektedir. Örneğin, bir kullanıcı Teams'de konuşma başlatabilir, API aracılığıyla devam edebilir ve web panosundaki içgörüleri gözden geçirebilir.

Tutarlılığı korumak için:

  • Azure Cosmos DB veya Redis için Azure Önbellek kiracı başına oturum durumunu ve konuşma bağlamı kalıcı hale getirebilir.
  • Dayanıklı İşlevler, dağıtılmış bileşenlerde bile aracı akıl yürütme adımlarını izleyen uzun süre çalışan iş akışlarını etkinleştirir.
  • Event Grid veya Service Bus kullanıcılar veya sistemler güncelleştirmeleri tetiklediğinde bağlamı ve sinyalleri modüller arasında yayabilir.

Oturum farkında olan bu tasarım, aracıların her etkileşim modu için iş akışlarını sabit kodlamadan sürekli ve bağlamsal olarak zekice hissetmelerini sağlar.

Telemetri ve Deneyim İçgörüleri

Uygulama katmanı, startup'ların müşterilerin aracılarıyla nasıl etkileşime geçtiğine ilişkin içgörüler elde ettiği yerdir:

  • Application Insights etkileşim ölçümlerini, gecikme süresini ve kullanıcı memnuniyeti sinyallerini yakalar.
  • Özel günlük kaydı, düzenleme kalitesini sürekli geliştirmek için amaç başarı oranlarını, tamamlanma sürelerini veya geri bildirim döngülerini izleyebilir.
  • Startup'lar, kullanım tabanlı fiyatlandırmayı veya SLA raporlamayı yönlendirmek için kiracıya göre telemetri verilerini toplayabilir. Bu veriler ayrıca gelir elde etmek için pazar yeri ölçümlemesini de besler.

Neden Önemlidir?

Uygulama katmanı, aracı platformunuzun müşteri deneyimi yüzeyini tanımlar. Başlangıçtan itibaren kiracıya duyarlı, kanal esnek ve veri güvenli olacak şekilde tasarlayarak, startup'lar şunları yapabilir:

  • Teams, web ve API'ler arasında tutarlı, güvenilir etkileşimler sağlayın.
  • Kurumsal düzeyde kimlik, denetim ve uyumluluk gereksinimlerini destekleyin.
  • Aracı mantığını ve performansını geliştiren değerli içgörüler toplayın.
  • Kullanım telemetrisi ve ölçüm aracılığıyla gelecekte marketten para kazanmayı etkinleştirin.

Özünde, uygulama katmanı, ürün tasarımı, güvenlik ve kullanıcı deneyiminin bir araya geldiği aracınızın zekasının ön kapısıdır.

Otonom İş Akışları için Kullanıcı Arayüzlerinin Entegrasyonu

Uygulama katmanı aracınızın API'leri nasıl kullanıma sunma ve erişimi yönetme şeklini tanımlasa da , kullanıcı arabirimi tümleştirmesi son kullanıcıların aracıyla nasıl deneyim yaşadığını tanımlar. Startup'lar için bu güçlü bir kaldıraçtır. Microsoft Teams, Outlook ve Microsoft 365 uygulamaları gibi mevcut işbirliği ve iş akışı yüzeylerine aracılar eklemek benimseme döngülerini kısaltabilir ve yapışkanlığı artırabilir.

Microsoft Teams'da yapı oluşturma

Teams, kurumsal düzeyde aracılar için doğal bir arabirimdir. Teams Uygulamaları aracılığıyla, startup'lar aracılarını doğrudan sohbete, toplantılara ve kanallara ekleyebilir ve kullanıcıların zaten çalıştıkları yerde aracıyla etkileşim kurmasına olanak tanır.

Teams hem delivery kanalı hem de trust katmanı olarak hareket eder ve yapay zeka sisteminizi Microsoft güvenlik modeli altında kurumsal iş akışlarıyla köprüler. M365 Agents Toolkit, M365 paketinden Teams ve diğer ürünlerle tümleştirme için kurumsal kullanıma hazır aracılar oluşturma sürecini kolaylaştırmak için kullanılabilir. Toolkit, Copilot ve Teams gibi Microsoft 365 platformlar için özel aracılar oluşturmayı, hata ayıklamayı ve dağıtmayı kolaylaştıran Visual Studio Code bir uzantı ve CLI'dır. Bildirim yönetimi, dışarıdan yükleme ve Azure kaynak sağlama gibi görevleri otomatikleştirerek geliştiricilerin tümleşik kimlik ve veri erişimi ile bildirim temelli veya profesyonel kod aracıları oluşturmasına olanak tanır.

Microsoft 365 Deneyimlerine Ekleme

Startup'lar Teams'in ötesinde aracılarını daha geniş bir M365 ekosistemi genelinde genişletebilir:

  • Outlook eklentileri e-postalarda proaktif veya reaktif yardım sağlar (örneğin, iş parçacıklarını özetleme veya izleme eylemleri oluşturma).
  • Graph Connectors, yapılandırılmış verileri M365 Arama ve Copilot deneyimlerine besler, böylece aracının şirket içi bilgilere ulaşmasını sağlar.

Startup'lar M365 yüzeyleriyle tümleştirerek Microsoft Graph API kullanarak bağlamı birleştirebilir, iletileri, takvim olaylarını, belgeleri ve görevleri bir araya getirir ve aracının kullanıcının çalışma ortamını bağlamsal olarak tanımasını sağlayabilir.

Diğer Arabirim Seçenekleri

Dış veya karma senaryolar için startup'lar şunları da tümleştirebilir:

  • Web uygulamaları veya portalları, Azure App Service veya Static Web Apps ile oluşturulur ve genellikle yönetim konsolları veya panoları olarak hizmet eder.
  • Mobil uygulamalar React Native veya .NET MAUI tarafından desteklenir, Entra ID aracılığıyla kimliği doğrulanır ve API Management aracılığıyla bağlanır.
  • Slack, Salesforce veya ServiceNow için REST veya Microsoft Graph API kullanarak Third-party tümleştirmeleri, temsilcinizin ekosistemler arasında etkileşim kurabilmesini sağlar.

Deneyim ve Güvenlik için Tasarlama

Arabirimden bağımsız olarak, başlangıçlar şunları tasarlamalıdır:

  • aracının Microsoft Graph veya iç API'lerden ilgili kiracı veya kullanıcı verilerini çekmesini sağlayan Contextual grounding.
  • Sorunsuz bir kullanıcı deneyimi için Entra tekli oturum açma veya devredilen belirteçler kullanarak düşük sürtünmeli kimlik doğrulaması.
  • Aracı etkileşimlerinin her konak ortamında doğal hissetmesini sağlamak için tutarlı UX ve markalama.

Aracıları Microsoft 365 ekosistemine tümleştirmek yalnızca kolaylık sağlamakla ilgili değildir. Kullanıcılarla çalıştıkları yerde toplantı yapmak ve yapay zeka çözümünüzü başka bir silo uygulanmış uygulama yerine üretkenlik araçlarının doğal bir uzantısı haline getirmektir.

Düzenleme Katmanı

Uygulama katmanı aracı platformunuzun ön kapısıysadüzenleme katmanı , tutarlı, bağlamsal olarak farkında sonuçlar elde etmek için mantık, araçlar ve iş akışlarını koordine eden beyinlerdir. Zekanın eylemle buluştuğu yer burasıdır.

Düzenleme katmanı, kullanıcı amacını (uygulama katmanından) etki alanı mantığına, verilerine ve dış sistemlere bağlar. Aracı startup'lar için mimarinin en stratejik parçasıdır ve esnekliği, ölçeklenebilirliği ve gözlemlenebilirliği dengelerken karmaşıklığı ön uçtan soyutlar.

Düzenleme Katmanının Temel İşlevleri

Düzenleme katmanı genellikle beş temel sorumluluk gerçekleştirir:

  1. Amaç yorumlama: Kullanıcı istemlerini veya API çağrılarını yapılandırılmış eylemlere veya hedeflere çevirme.
  2. Bağlam derlemesi: akıl yürütme modellerini çağırmadan önce ilgili verileri, belleği veya araçları alma.
  3. Araç çağırma: Aracı adına API çağrılarını, iş akışlarını veya tümleştirmeleri yürütme.
  4. Yanıt sentezi: Anlamlı yanıtlar oluşturmak için akıl yürütme çıkışını etki alanı mantığıyla birleştirme.
  5. Gözlem ve öğrenme: Sürekli iyileştirme için sonuçları, hataları ve ölçümleri günlüğe kaydetme.

Kuruluşlar için bu işlevler tek bir monolit yerine mikro düzenleme işlem hattı olarak modellenebilir. Ancak startup'lar, hızı ve basitliği iyileştirmek için önceki aşamalarda daha monolitik tasarım desenlerinden yararlanma eğilimindedir.

Azure üzerinde uygulama yapma

Azure düzenleme mantığı oluşturmak ve ölçeklendirmek için yerel bir temel sağlar:

  • Azure İşlevleri belirli mantık veya görev akışlarını yürüten durum bilgisi olmayan işlem düğümleri görevi görür. Her işlev belirli bir kiracıya, konuya veya olay türüne bağlanabilir.
  • Dayanıklı İşlevler akıl yürütme döngüleri, aracı işbirliği veya çok aşamalı iş akışları için uygun olan uzun süreli veya çok adımlı düzenleme desenlerini etkinleştirir.
  • Azure Service Bus, dağıtılmış hizmetler arasında belirleyici yürütme için gerekli olan düzenleme bileşenleri arasında güvenilir, sıralı ileti teslimi sağlar.

Bu sunucusuz temel öğeler, startup'ların basit istek yanıt aracılarından kullanıcı ve sistem bağlamlarına dinamik olarak uyum sağlayan reaktif, olay odaklı yapay zeka sistemlerine dönüşmelerini sağlar.

Yapay Zeka Akıl Yürütme ve Araç Kullanımı

Düzenleme katmanının merkezinde, GPT-5 veya diğer Azure-Direct Model teklifleri gibi Azure OpenAI modelleri tarafından desteklenen mantık yatıyor.

Bu modeller en iyi şekilde monolitik beyin olarak değil, yapılandırılmış bir işlem hattı içindeki mantık düğümleri olarak kullanılır:

  • Akıl yürütme modellerine denetimli bir şekilde yol göstermek için sistem istemlerini ve işlev çağrılarını kullanın.
  • Araç tanımlarını ve uç nokta meta verilerini, her aracı örneğinin dinamik olarak sorgulayabildiği bir central araç kayıt defterinde (örneğin, Cosmos DB veya Azure Uygulama Yapılandırması) depolayın.
  • Yönetilen Kimlikler aracılığıyla yüksek ayrıcalıklı eylemler yürütür, böylece aracılar kimlik bilgilerini eklemeden Azure veya dış API'leri güvenli bir şekilde çağırır.

Modelin karar verdiği şeyi yürütmeden ayırarak, hem güvenlik yalıtımı hem de gözlemlenebilirlik elde ederek akıl yürütme işlemine dahil olursunuz.

Bağlam Derlemesi ve Bellek Koordinasyonu

Mantık, yalnızca sağlanan bağlam kadar iyidir. Düzenleme katmanı, model çağırmadan önce bu bağlamı birden çok kaynaktan derlemekten sorumludur:

  • Kiracıya özgü bilgileri getirmek için Azure Yapay Zeka Arama veya Cosmos DB sorgusunu yapın.
  • Redis veya PostgreSQL'den kullanıcı geçmişini veya tercihlerini alın.
  • Vektör depolarından anlamsal bellekler çekin (örneğin, PostgreSQL için Azure DB'de Vector Araması).

Bu yaklaşım, bağlama duyarlı akıl yürütmeyi etkinleştirir. Gelişmiş etken sistemlerin bir özelliğidir.

Gözlemlenebilirlik ve Geri Bildirim Döngüleri

Aracıların büyük ölçekte güvenilir ve hata ayıklanabilir durumda kalmasını sağlamak için düzenleme katmanı zengin telemetri verileri göstermelidir:

  • Azure Uygulaması Insights tüm akıl yürütme adımlarını, model çağrılarını ve API yürütmelerini izleyebilir.
  • Azure İzleyici Logs kiracı, amaç veya araç kullanımına göre aracı performansını izleyebilir.
  • Geri bildirim sinyalleri (örneğin, kullanıcı düzeltmeleri veya başarı oranları), yapay zeka katmanında ince ayar veya istem iyileştirme işlem hatlarına dönüşebilir.

Neden Önemlidir?

Düzenleme katmanı, bir aracıyı aracılı hale getiren, otonom olarak planlama, karar verme ve eyleme geçirme olanağı sağlayan katmandır.
Bu katmanı Azure olay odaklı ve sunucusuz altyapısını kullanarak uygulayarak, startup'lar şunları yapabilir:

  • Düzenlemeyi kiracı veya iş yükü başına dinamik olarak ölçeklendirin.
  • Araç erişimi ve mantık bağlamı üzerinde ayrıntılı denetimi etkinleştirin.
  • Uyumluluk ve hata ayıklama için izlenebilir bir düşünce zinciri sağlayın.
  • Yeni araçlar, kanallar veya işlevler ekleyerek yazılım aracınızı hızla genişletin.

Kısacası, orkestrasyon katmanı, Azure'u bir bulut platformundan akıllı aracılar için yürütme zeminine dönüştürür; burada mantık, araçlar ve bağlam sorunsuz bir şekilde birleştirilir.

Bağlam Katmanı

Bağlam katmanı, aracınızın anlam kazandığı yerdir. Mantığı gerçek dünya bilgisi ile bağlayarak yanıtların doğru, ilgili ve kiracıya özgü olmasını sağlar. İyi tasarlanmış bir bağlam katmanı olmadan, en gelişmiş mantık modelleri bile güvenilir veya genel olma riskiyle karşı karşıyadır.

Startup'lar için bu katman rekabetçi bir farklılayıcıdır. Sahipli verilerinin, müşteri içgörülerinin ve sistem entegrasyonlarının bir ajanı gerçekten kullanışlı hale getirmek için birleştiği noktadır. Zorluk, kullanım örnekleri ve müşteriler arasında güvenli, çok kiracılı ve dinamik olarak birleştirilebilir olacak şekilde tasarlanmasıdır.

Aracı Sistemlerde Bağlamın Rolü

Yapay zeka aracısının zekası yalnızca modeline değil, mantık yürütme sırasında bildiklerine de bağlıdır. Bağlam üç temel amaca hizmet eder:

  1. Bilgi temel oluşturma: Model yanıtlarını olgularla, verilerle ve yapılandırılmış iş mantığıyla zenginleştirme.
  2. Bellek: Konuşmalar, iş akışları veya oturumlar arasında sürekliliği koruma.
  3. Alma ve sentez: ilgili verileri gerçek zamanlı olarak getirme, filtreleme ve özetleme.

Bu işlevler birlikte durum bilgisi olmayan bir modeli, her etkileşimle öğrenen ve uyum sağlayan durum bilgisi olan bir akıl yürütme sistemine dönüştürmektedir.

Azure Bağlam Oluşturma

Azure, sağlam, çok katmanlı bir bağlam yığınına oluşturulabilen birden çok hizmet sağlar:

  • Azure Yapay Zeka Arama: bilgi getirme destekli üretimin (RAG) temeli. Yapılandırılmış ve yapılandırılmamış verileri dizine alır ve aracıların sorgu zamanında kiracıya özgü bilgileri çekmesini sağlar.
  • Cosmos DB: Kiracı başına yarı yapılandırılmış etki alanı bilgilerini, araç meta verilerini ve yapılandırmayı depolamak için idealdir.
  • Azure Depolama veya Veri Gölü: uzun süreli belge depolama ve toplu dizin oluşturma işlem hatları için kullanılır.
  • Redis Cache veya PostgreSQL: Kısa süreli ve oturum belleğini destekleyerek konuşmalar arasında bağlam sürekliliğini sağlar.
  • Azure OpenAI Embeddings: Kiracı verilerinin anlamsal vektörleştirilmesini etkinleştirerek bağlam alma için benzerlik aramasını güçlendirin.

Birlikte düzenlendiğinde, bu hizmetler hızlı erişimli önbellekleri daha derin alma katmanlarıyla birleştirip, uzun vadeli temellendirme için hiyerarşik bir bellek sistemi oluşturur.

Çok Kiracılı Veri Yalıtımı

Startup'lar, bilgi sınırlarını temiz bir şekilde ayıran bağlam sistemleri tasarlamalıdır:

Bu mimari uyumluluğu sağlar ve kiracılar arası veri sızıntısını önlemeye yardımcı olur. Kurumsal güven için kritik öneme sahiptir.

Bilgiyi Geri Getirme Destekli Akıl Yürütme

Çalışma zamanında bağlam katmanı, RAG işlem hatlarını kullanarak dinamik bilgiyle istemleri zenginleştirir. Tipik bir akış şöyle görünebilir:

  1. Orkestrasyon katmanından bir kullanıcı sorgusu veya niyeti alın.
  2. İlgili belgeler için Azure Yapay Zeka Arama anlamsal arama çalıştırın.
  3. Destekleyici olguları veya araç tanımlarını alın.
  4. Elde edilen bağlamla bileşik bir komut oluştur.
  5. Zenginleştirilmiş istemi akıl yürütme modeline (örneğin, GPT-4 Turbo) gönderin.

Startup'lar, bilgi alma işlemini dışarıdan temin ederek model istemlerini basit tutarken güncel ve kullanıcıya özel referanslara da sahip olabilir.

Uyarlamalı Davranış için Bellek Sistemleri

Bağlam, alma işleminin ötesinde kısa vadeli ve uzun vadeli bellek de içerir. Aracıların gelişmesine olanak sağlayan mekanizmalar:

  • Bilgi: Aracı davranışını temel oluşturan statik veriler (RAG düşünün).
  • Uzun süreli bellek: Deneyim ve etkileşim yoluyla aracılar tarafından birikmiş anlamsal bellek. Bu, zaman içinde kişiselleştirmeyi ve geliştirilmiş kullanıcı deneyimini destekler.
  • Kısa süreli bellek: Oturum içinde bağlam yönetimi için çalışan bellek. Bu, oturum kalıcılığı ve çok aracılı çözümler için kritik öneme sahiptir.

Bu katmanlı bellek yaklaşımı, aracıların modeli yeniden eğitmeden zaman içindeki davranışları uyarlamasına olanak tanır.

Gözlemlenebilirlik ve Maliyet Yönetimi

Bağlam alma ve vektör araması, özellikle büyük kiracı veri kümelerinde büyük ölçekte maliyetli hale gelebilir. Azure bunu şu şekilde yönetmenize yardımcı olur:

Startup'lar yüksek frekanslı alma işlemlerini önbelleğe alarak, eklemeleri sıkıştırarak veya belge alımını toplu hale getirerek maliyetleri daha da iyileştirebilir.

Bağlam Katmanı Neden Önemlidir?

Bağlam katmanı, güvenilir zekanın temelini oluşturur. Temsilcinizin halüsinasyon görmemesini, müşteri verilerinde temellenmiş kalmasını ve gerçek dünya kullanımıyla gelişmesini sağlar. Bunu yerel Azure hizmetlerle uygulayarak, startup'lar şunları elde eder:

  • Güvenli, kiracıdan yalıtılmış bilgi erişimi.
  • Ölçeklenebilir veri getirme ve bellek yönetimi.
  • Kullanıcılar ve bağlamlar arasında tutarlı, olgusal olarak doğru mantık yürütme. Doğru tasarlandığında, bu katman aracınızı konuşma sisteminden her kiracının işini kendi işiymiş gibi anlayabilecek bilgili bir yardımcıya dönüştürür.
  • Last updated on