Azure Cosmos DB'de yapay zeka aracıları

Yapay zeka aracıları belirli görevleri gerçekleştirmek, soruları yanıtlamak ve kullanıcılar için süreçleri otomatikleştirmek üzere tasarlanmıştır. Bu aracılar karmaşıklıkta büyük ölçüde farklılık gösterir. Bunlar basit sohbet botlarından yardımcı pilotlara, karmaşık iş akışlarını otonom olarak çalıştırabilen dijital veya robotik sistemler biçiminde gelişmiş yapay zeka yardımcılarına kadar uzanıyor.

Bu makalede yapay zeka aracıları için kavramsal genel bakışlar ve ayrıntılı uygulama örnekleri sağlanmaktadır.

Yapay zeka aracıları nedir?

Tek başına büyük dil modellerinden (LLM) veya kural tabanlı yazılım/donanım sistemlerinden farklı olarak yapay zeka aracıları şu yaygın özelliklere sahiptir:

• Planlama: Yapay zeka aracıları belirli hedeflere ulaşmak için eylemleri planlayabilir ve sıralayabilir. LLM'lerin tümleştirilmesi, planlama yeteneklerinde devrim yaptı.
• Araç kullanımı: Gelişmiş yapay zeka aracıları görevleri etkili bir şekilde gerçekleştirmek için kod yürütme, arama ve hesaplama özellikleri gibi çeşitli araçları kullanabilir. Yapay zeka aracıları genellikle işlev çağrısı aracılığıyla araçları kullanır.
• Algı: Yapay zeka aracıları, ortamlarındaki bilgileri algılayabilir ve işleyerek daha etkileşimli ve bağlam açısından bilgi edinebilir. Bu bilgiler görsel, işitsel ve diğer duyusal verileri içerir.
• Bellek: Yapay zeka aracıları, geçmiş etkileşimleri (araç kullanımı ve algısı) ve davranışları (araç kullanımı ve planlama) hatırlama özelliğine sahiptir. Bu deneyimleri depolar ve hatta gelecekteki eylemleri bilgilendirmek için kendi kendine yansıma gerçekleştirirler. Bu bellek bileşeni, zaman içinde aracı performansında süreklilik ve iyileştirme sağlar.

Note

Yapay zeka aracıları bağlamında bellek teriminin kullanımı bilgisayar belleği kavramından farklıdır (geçici, kalıcı olmayan ve kalıcı bellek gibi).

Yardımcı Pilotlar

Copilots bir yapay zeka aracısı türüdür. Bağımsız olarak çalışmak yerine kullanıcılarla birlikte çalışırlar. Tam otomatik aracılardan farklı olarak, yardımcı pilotlar kullanıcıların görevleri tamamlamasına yardımcı olacak öneriler ve öneriler sağlar.

Örneğin, bir kullanıcı e-posta yazarken, bir yardımcı pilot tümcecikler, cümleler veya paragraflar önerebilir. Kullanıcı ayrıca öneriyi desteklemek için yardımcı pilotdan diğer e-postalarda veya dosyalarda ilgili bilgileri bulmasını isteyebilir (bkz . alma artırılmış oluşturma). Kullanıcı önerilen bölümleri kabul edebilir, reddedebilir veya düzenleyebilir.

Otonom ajanlar

Otonom aracılar daha bağımsız çalışabilir. E-posta oluşturma konusunda yardımcı olacak otonom aracılar ayarladığınızda, aşağıdaki görevleri gerçekleştirmelerini sağlayabilirsiniz:

• Konuyla ilgili mevcut e-postalara, sohbetlere, dosyalara ve diğer iç ve genel bilgilere başvurun.
• Toplanan bilgiler üzerinde nitel veya nicel analiz gerçekleştirin ve e-postayla ilgili sonuçlar alın.
• Sonuçlara göre e-postanın tamamını yazın ve destekleyici kanıtları birleştirin.
• İlgili dosyaları e-postaya ekleyin.
• Tüm dahil edilen bilgilerin olgusal olarak doğru olduğundan ve onayların geçerli olduğundan emin olmak için e-postayı gözden geçirin.
• Kime, Bilgi ve Gizli alanları için uygun alıcıları seçin ve e-posta adreslerini bulun.
• E-postayı göndermek için uygun bir zaman zamanlayın.
• Yanıtlar bekleniyor ancak alınmıyorsa izlemeler gerçekleştirin.

Aracıları, önceki görevlerin her birini insan onayıyla veya onayı olmadan gerçekleştirecek şekilde yapılandırabilirsiniz.

Çok aracılı sistemler

Yüksek performanslı otonom aracılar elde etmek için popüler bir strateji, çok aracılı sistemlerin kullanılmasıdır. Çok aracılı sistemlerde, birden çok otonom ajan, ister dijital ister robot biçiminde olsun, bireysel veya kolektif hedeflere ulaşmak için etkileşime geçer veya birlikte çalışır. Sistemdeki aracılar bağımsız olarak çalışabilir ve kendi bilgi veya bilgilerine sahip olabilir. Her aracı, ortamını algılama, kararlar alma ve hedeflerine göre eylemler yürütme özelliğine de sahip olabilir.

Çok aracılı sistemler şu temel özelliklere sahiptir:

• Otonom: Her bir ajan bağımsız olarak işlev görür. Doğrudan insan müdahalesi veya diğer aracılar tarafından kontrol edilmeden kendi kararlarını verir.
• Etkileşimli: Aracılar bilgi paylaşmak, anlaşmak ve eylemlerini koordine etmek için birbirleriyle iletişim kurar ve işbirliği gerçekleştirir. Bu etkileşim çeşitli protokoller ve iletişim kanalları aracılığıyla gerçekleşebilir.
• Hedefe yönelik: Çok aracılı bir sistemdeki aracılar, belirli hedeflere ulaşmak için tasarlanmıştır. Bu hedefler, tek tek hedeflerle veya aracılar arasında paylaşılan bir hedefle uyumlu hale gelebilir.
• Dağıtılmış: Çok aracılı sistemler tek bir denetim noktası olmadan dağıtılmış bir şekilde çalışır. Bu dağıtım sistemin sağlamlığını, ölçeklenebilirliğini ve kaynak verimliliğini artırır.

Çok aracılı bir sistem, bir yardımcı pilota veya tek bir LLM çıkarımı örneğine göre aşağıdaki avantajları sağlar:

• Dinamik mantık: Düşünce zinciri veya düşünce ağacı istemleriyle karşılaştırıldığında, çok aracılı sistemler çeşitli mantık yollarında dinamik gezintiye olanak tanır.
• Gelişmiş yetenekler: Çok aracılı sistemler, kapsamlı karar alma süreçleri yürüterek ve görevleri birden çok aracı arasında dağıtarak karmaşık veya büyük ölçekli sorunları ele alabilir.
• Gelişmiş bellek: Bellekli çok aracılı sistemler, daha iyi anlaşılmasını ve bilgi saklamayı sağlamak için LLM'lerin bağlam pencerelerinin üstesinden gelebilir.

Yapay zeka aracılarının uygulanması

Akıl yürütme ve planlama

Karmaşık mantık ve planlama, gelişmiş otonom ajanların işaretidir. Otonom aracılar için popüler çerçeveler, akıl yürütme ve planlama için aşağıdaki yöntemlerden birini veya daha fazlasını (arXiv arşiv sayfalarının bağlantıları ile birlikte) içerir:

• Kendi kendine sor

  İlk soruyu yanıtlamadan önce modelin kendisine açıkça soru sormasını (ve yanıtlamasını) sağlayarak düşünce zincirini geliştirin.

• Reason and Act (ReAct)

  Hem akıl yürütme izlemeleri hem de göreve özgü eylemleri birbirine bağlı bir şekilde oluşturmak için LLM'leri kullanın. Akıl yürütme izlemeleri, modelin özel durumları işlemenin yanı sıra eylem planlarını başlatmaya, izlemesine ve güncelleştirmesine yardımcı olur. Eylemler, modelin ek bilgi toplamak için bilgi bankası veya ortamlar gibi dış kaynaklara bağlanmasını sağlar.

• Planlama ve çözme

  Tüm görevi daha küçük alt görevlere bölmek ve ardından alt görevleri plana göre gerçekleştirmek için bir plan oluşturun. Bu yaklaşım genellikle sıfır atışlı düşünce zinciri isteminde bulunan hesaplama hatalarını, eksik adım hatalarını ve anlamsal yanlış anlama hatalarını azaltır.

• Yansıtma/kendi kendine eleştiri

  Görev geri bildirim sinyallerini sözlü olarak yansıtan refleks aracıları kullanın. Bu etmenler, sonraki denemelerde daha iyi kararlar almayı kolaylaştırmak için epizodik bellek arabelleğinde kendi yansıtıcı metinlerini tutar.

Frameworks

Çeşitli çerçeveler ve araçlar, yapay zeka aracılarının geliştirilmesini ve dağıtımını kolaylaştırabilir.

Gelişmiş planlama ve bellek gerektirmeyen araç kullanımı ve algısı için bazı popüler LLM düzenleyici çerçeveleri LangChain, LlamaIndex, Prompt Flow ve Semantik Çekirdek'tir.

AutoGen, gelişmiş ve otonom planlama ve yürütme iş akışları için 2022'nin sonlarında başlayan çok aracılı dalgayı başlattı. OpenAI'nin Yanıtlar API'si , kullanıcılarının GPT ekosisteminde yerel olarak aracılar oluşturmasına olanak tanır. LangChain Aracıları ve LlamaIndex Aracıları da aynı zamanda ortaya çıkmıştır.

AI aracısı bellek sistemi

2022'den 2025'e kadar yapay zeka ile geliştirilmiş uygulamalarla denemeler yapmak için yaygın olarak kullanılan uygulama, çeşitli veri iş akışları veya türleri için tek başına veritabanı yönetim sistemleri kullanıyor. Örneğin, önbelleğe alma için bellek içi veritabanı, işletimsel veriler için ilişkisel bir veritabanı (izleme/etkinlik günlükleri ve LLM konuşma geçmişi dahil) ve ekleme yönetimi için saf vektör veritabanı kullanabilirsiniz.

Ancak, tek başına veritabanlarından oluşan karmaşık bir web kullanma uygulaması yapay zeka aracısının performansına zarar verebilir. Tüm bu farklı veritabanlarını yapay zeka aracıları için uyumlu, birlikte çalışabilir ve dayanıklı bir bellek sistemiyle tümleştirmek kendi zorluğudur.

Ayrıca, sık kullanılan veritabanı hizmetlerinin çoğu yapay zeka aracı sistemlerinin ihtiyaç duyduğu hız ve ölçeklenebilirlik için en uygun değildir. Bu veritabanlarının tek tek zayıflıkları çok aracılı sistemlerde daha da şiddetlenir.

Bellek içi veritabanları

Bellek içi veritabanları hız için mükemmeldir ancak yapay zeka aracılarının ihtiyaç duyduğu büyük ölçekli veri kalıcılığıyla mücadele edebilir.

İlişkisel veritabanları

İlişkisel veritabanları, aracıların işlediği verilerin çeşitli modaliteleri ve akıcı şemaları için ideal değildir. İlişkisel veritabanları, tedarik, bölümleme ve parçalama yönetimi için elle çaba ve hatta sistem kesintisi gerektirir.

Saf vektör veritabanları

Saf vektör veritabanları işlemsel işlemler, gerçek zamanlı güncelleştirmeler ve dağıtılmış iş yükleri için daha az etkili olma eğilimindedir. Günümüzde popüler saf vektör veritabanları genellikle aşağıdakileri sunar:

• Okuma ve yazma garantisi yoktur.
• Sınırlı veri aktarım hızı.
• Düşük kullanılabilirlik (%99,9'un altında veya 9 saat veya daha fazla yıllık kesinti).
• Bir tutarlılık düzeyi (nihai).
• Yoğun kaynak kullanan bellek içi vektör dizini.
• Çoklu kiracılık için sınırlı seçenekler.
• Sınırlı güvenlik.

Güçlü bir yapay zeka aracısı bellek sisteminin özellikleri

Verimli veritabanı yönetim sistemleri yazılım uygulamalarının performansı için kritik öneme sahip olduğu gibi, LLM destekli aracılara çıkarımlarına yol gösterecek ilgili ve yararlı bilgiler sağlamak da kritik önem taşır. Sağlam bellek sistemleri, aracıların çıkarım zamanında alabildiği çeşitli türlerdeki bilgilerin düzenlenmesini ve depolanmasını sağlar.

Şu anda, LLM destekli uygulamalar genellikle, metin veya belgeleri almak için temel anlamsal arama veya vektör araması kullanan alma artırılmış üretim yöntemini kullanır. Vektör araması genel bilgileri bulmak için yararlı olabilir. Ancak vektör araması belirli bir görev veya etki alanı için uygun olan belirli bağlamı, yapıyı veya ilişkileri yakalamayabilir.

Örneğin, görev kod yazmaksa, vektör araması tutarlı ve doğru kod oluşturmak için önemli olan söz dizimi ağacını, dosya sistemi düzenini, kod özetlerini veya API imzalarını alamayabilir. Benzer şekilde, görev tablosal verilerle çalışacaksa, vektör araması şemayı, yabancı anahtarları, saklı yordamları veya verileri sorgulamak veya çözümlemek için yararlı olan raporları alamayabilir.

Bellek içi, ilişkisel ve vektör gibi tek başına veritabanlarından oluşan bir ağı birlikte dokumak (daha önce açıklandığı gibi), çeşitli veri türleri için en uygun çözüm değildir. Bu yaklaşım, prototip aracı sistemlerinde işe yarayabilir. Ancak, gelişmiş otonom aracıların performansını engelleyebilecek karmaşıklık ve performans sorunları ekler.

Sağlam bir bellek sistemi aşağıdaki özelliklere sahip olmalıdır.

Çok modlu

Yapay zeka aracısı bellek sistemleri, çeşitli görevler ve etki alanları için yararlı olabilecek meta verileri, ilişkileri, varlıkları, özetleri veya diğer bilgi türlerini depolayan koleksiyonlar sağlamalıdır. Bu koleksiyonlar belgeler, tablolar veya kod gibi verilerin yapısına ve biçimine dayalı olabilir. Alternatif olarak, kavramlar, ilişkilendirmeler veya yordam adımları gibi verilerin içeriğine ve anlamlarına da dayanabilir.

Bellek sistemleri yalnızca yapay zeka aracıları için kritik değildir. Ayrıca bu aracıları geliştiren, koruyan ve kullanan insanlar için de önemlidir.

Örneğin, insanların aracıların planlama ve yürütme iş akışlarını neredeyse gerçek zamanlı olarak denetlemesi gerekebilir. Denetleme sırasında, insanlar rehberlik sunabilir veya aracıların diyaloglarında ya da monologlarında doğrudan düzenlemeler yapabilir. İnsanların son çıkışın geçerliliğini doğrulamak için aracıların nedenlerini ve eylemlerini de denetlemesi gerekebilir.

İnsan/aracı etkileşimleri büyük olasılıkla doğal veya programlama dillerinde olurken, aracılar eklemeler aracılığıyla "düşünür", "öğrenir" ve "anımsar". Bu fark, bellek sistemlerinin veri yöntemleri arasındaki tutarlılığı üzerinde başka bir gereksinim oluşturur.

Operasyonel

Bellek sistemleri, kullanıcı ve ortamla etkileşim için uygun bilgileri depolayan bellek bankaları sağlamalıdır. Bu bilgiler sohbet geçmişini, kullanıcı tercihlerini, duyusal verileri, alınan kararları, öğrenilen bilgileri veya yüksek sıklıkta ve yüksek hacimlerde güncelleştirilen diğer işletimsel verileri içerebilir.

Bu bellek bankaları, aracıların kısa vadeli ve uzun vadeli bilgileri hatırlamasına, kendilerini yinelemekten veya çelişmekten kaçınmasına ve görev tutarlılığını sürdürmesine yardımcı olabilir. Aracılar birçok ilişkisiz görevi arka arkaya gerçekleştirse bile bu gereksinimlerin geçerli olması gerekir. Gelişmiş durumlarda ajanlar, farklı noktalarda ayrılan veya birleşen çok sayıda şube planını da test edebilir.

Paylaşılabilir ama aynı zamanda ayrıştırılabilir

Makro düzeyinde bellek sistemleri, birden çok yapay zeka aracısının bir sorun üzerinde işbirliği yapmasına veya tüm aracıların erişebileceği paylaşılan bellek sağlayarak sorunun farklı yönlerini işlemesine olanak sağlamalıdır. Paylaşılan bellek, bilgi alışverişini ve aracılar arasındaki eylemlerin koordinasyonunu kolaylaştırabilir.

Aynı zamanda bellek sistemi, aracıların benzersiz istem ve bellek koleksiyonları gibi kendi kişiliklerini ve özelliklerini korumalarına izin vermelidir.

Güçlü bir yapay zeka aracısı bellek sistemi oluşturma

Yukarıdaki özellikler yapay zeka aracısı bellek sistemlerinin yüksek oranda ölçeklenebilir ve hızlı olmasını gerektirir. Bellek içi, ilişkisel ve vektör veritabanlarını (daha önce açıklandığı gibi) titizlikle bir araya getirmek, erken aşama yapay zeka özellikli uygulamalar için işe yarayabilir. Ancak bu yaklaşım, gelişmiş otonom aracıların performansını engelleyebilecek karmaşıklık ve performans sorunları ekler.

Azure Cosmos DB, tüm tek başına veritabanları yerine yapay zeka aracısı bellek sistemleri için birleşik bir çözüm görevi görebilir. Sağlamlığı, OpenAI'nin ChatGPT hizmetinin yüksek güvenilirlik ve düşük bakım ile dinamik olarak ölçeklendirilmesini başarıyla sağladı. Atom kayıt dizisi altyapısıyla desteklenen bu, sunucusuz mod sunan dünyanın ilk küresel olarak dağıtılmış NoSQL, ilişkisel ve vektör veritabanı hizmetidir. Azure Cosmos DB üzerinde oluşturulan yapay zeka aracıları hız, ölçek ve basitlik sunar.

Hız

Azure Cosmos DB tek basamaklı milisaniyelik gecikme süresi sağlar. Bu özellik, hızlı veri erişimi ve yönetimi gerektiren işlemler için uygun hale getirir. Bu işlemler önbelleğe alma (hem geleneksel hem de anlamsal önbelleğe alma), işlemler ve operasyonel iş yükleridir.

Karmaşık mantık yürütmesi, gerçek zamanlı kararlar vermesi ve anında yanıtlar vermesi gereken yapay zeka aracıları için düşük gecikme süresi çok önemlidir. Ayrıca hizmetin DiskANN algoritmasını kullanması, minimum bellek tüketimiyle doğru ve hızlı vektör araması sağlar.

Scale

Azure Cosmos DB, çok bölgeli giriş-çıkış ve çok kiracılılık desteğiyle genel dağıtım ve yatay ölçeklenebilirlik için geliştirilmiştir.

Hizmet, bellek sistemlerinin sorunsuz bir şekilde genişletilmesini ve hızla büyüyen aracıları ve ilişkili verileri takip etmesini sağlamaya yardımcı olur. Hizmet düzeyi sözleşmesindeki (SLA) kullanılabilirlik garantisi, yılda 5 dakikadan daha az kapalı kalma süresine dönüşür. Buna karşılık, saf vektör veritabanı hizmetleri 9 saat veya daha fazla kapalı kalma süresiyle birlikte gelir. Bu kullanılabilirlik, görev açısından kritik iş yükleri için sağlam bir temel sağlar. Aynı zamanda Azure Cosmos DB'deki Ayrılmış Kapasite veya Sunucusuz gibi çeşitli hizmet modelleri de finansal maliyetleri azaltmaya yardımcı olabilir.

Basitlik

Azure Cosmos DB, birden çok veritabanı işlevini tek ve uyumlu bir platformla tümleştirerek veri yönetimini ve mimarisini basitleştirebilir.

Tümleşik vektör veritabanı özellikleri, ilgili verilerin yanı sıra doğal veya programlama dillerindeki eklemeleri depolayabilir, dizinleyebilir ve sorgulayabilir. Bu özellik daha fazla veri tutarlılığı, ölçeklendirme ve performans sağlar.

Esnekliği meta verilerin, ilişkilerin, varlıkların, özetlerin, sohbet geçmişinin, kullanıcı tercihlerinin, duyusal verilerin, kararların, öğrenilen olguların veya aracı iş akışlarında yer alan diğer operasyonel verilerin çeşitli modalitelerini ve akıcı şemalarını destekler. Veritabanı, şema veya dizin yönetimi gerektirmeden tüm verileri otomatik olarak dizine alır ve bu da yapay zeka aracılarının karmaşık sorguları hızlı ve verimli bir şekilde gerçekleştirmesine yardımcı olur.

Azure Cosmos DB tamamen yönetilir ve ölçeklendirme, düzeltme eki uygulama ve yedekleme gibi veritabanı yönetim görevlerinin yükünü ortadan kaldırır. Bu ek yük olmadan geliştiriciler, temel alınan veri altyapısı konusunda endişelenmeden yapay zeka aracıları oluşturmaya ve iyileştirmeye odaklanabilir.

Gelişmiş özellikler

Azure Cosmos DB, verilerdeki değişiklikleri gerçek zamanlı olarak izlemeye ve yanıtlamaya olanak tanıyan değişiklik akışı gibi gelişmiş özellikler içerir. Bu özellik, yeni bilgilere hemen tepki vermeleri gereken yapay zeka aracıları için kullanışlıdır.

Ayrıca, çoklu ana yazma işlemleri için yerleşik destek, bölgesel hatalardan sonra bile yapay zeka aracılarının sürekli çalışmasını sağlamaya yardımcı olmak için yüksek kullanılabilirlik ve dayanıklılık sağlar.

Kullanılabilir beş tutarlılık düzeyi (güçlüden nihaiye) senaryo gereksinimlerine bağlı olarak çeşitli dağıtılmış iş yüklerini de karşılayabilir.

Tip

AI aracısı bellek sisteminizi oluşturmak için NoSQL için Azure Cosmos DB'yi kullanın. NoSQL IÇIN API 99.999% kullanılabilirlik garantisi sunar ve üç vektör arama algoritması sağlar:

• IVF
• HNSW
• DiskANN

Bu API'nin kullanılabilirlik garantileri hakkında bilgi için bkz. hizmet SLA'ları.

İlgili içerik

• Azure Cosmos DB ömür boyu ücretsiz katman