Aracılığıyla paylaş

Azure AI Search'te Bilgi Alma ile Artırılmış Üretim (RAG)

Bilgi Erişimi Destekli Üretim (RAG), yanıtları özel içeriğinizle temellendirerek Büyük Dil Modeli (LLM) yeteneklerini genişleten bir desendir. Kavramsal olarak basit olsa da RAG uygulamaları önemli zorluklarla karşı karşıya kalır.

RAG'ın zorlukları

Meydan okuma Description
Sorgu anlama Modern kullanıcılar, kabul edilen bağlamla karmaşık, konuşmasal veya belirsiz sorular sorar. Sorgular belge terminolojisi ile eşleşmediğinde geleneksel anahtar sözcük araması başarısız olur. RAG için, bilgi alma sistemi yalnızca sözcükleri eşleştirmek yerine amacı anlamalıdır.
Çok kaynaklı veri erişimi Kurumsal içerik SharePoint, veritabanları, blob depolama ve diğer platformlara yayılmıştır. Veri işlemlerini kesintiye uğratmadan birleşik bir arama corpus oluşturmak çok önemlidir.
Belirteç kısıtlamaları LLM'ler sınırlı belirteç girişlerini kabul eder. Alma sisteminiz, kapsamlı belge dökümleri değil, son derece ilgili, kısa sonuçlar döndürmelidir.
Yanıt süresi beklentileri Kullanıcılar dakikalar içinde değil, saniyeler içinde yapay zeka destekli yanıtlar bekler. Alma sistemi, kapsamlılığı hız ile dengelemelidir.
Güvenlik ve idare LLM'lere özel içerik açmak için ayrıntılı erişim denetimi gerekir. Kullanıcıların ve aracıların yalnızca yetkili içeriği alması gerekir.

Azure AI Search RAG zorluklarını nasıl karşılıyor?

Azure AI Search, bu RAG zorlukları için özel olarak tasarlanmış iki yaklaşım sağlar:

  • Ajan Erişimi (önizleme): LLM destekli sorgu planlaması, çok kaynaklı erişim ve aracı tüketimi için iyileştirilmiş yapılandırılmış yanıtlar içeren eksiksiz bir RAG süreç hattı.

  • Klasik RAG deseni: Hibrit arama ve anlamsal sıralama kullanan kanıtlanmış yaklaşım, daha basit gereksinimler veya genel kullanılabilir özellikler gerektiğinde idealdir.

Aşağıdaki bölümlerde her yaklaşımın belirli RAG zorluklarını nasıl çözdüğü açıklanmaktadır.

Sorgu anlama zorluklarını çözme

Sorun: Kullanıcılar "2023'ün ardından işe alınan uzaktan çalışanlar için PTO ilkemiz nedir?" sorusunu sorar ancak belgeler "izin", "uzaktan çalışma" ve "yeni işe alımlar" olarak adlandırılır.

Ajan Tabanlı alma çözümü:

  • LLM soruyu analiz eder ve birden çok hedeflenen alt sorgu oluşturur.
  • Karmaşık soruları odaklanmış aramalara ayırır.
  • Bağlamı anlamak için konuşma geçmişini kullanır.
  • Bilgi kaynakları arasında paralel yürütme.

Klasik RAG çözümü:

  • Karma sorgular, daha iyi geri çağırmak için anahtar sözcük ve vektör aramasını birleştirir.
  • Anlamsal derecelendirme, sonuçları sadece anahtar sözcüklere değil, anlam temelinde yeniden puanlar.
  • Vektör benzerlik araması kavramlar ile eşleşir, tam terimler ile eşleşmez.

Sorgu planlaması hakkında daha fazla bilgi edinin.

Çok kaynaklı veri zorluklarını çözme

Sorun: SharePoint'teki İk ilkeleri, veritabanlarındaki avantajlar, web sayfalarında şirket haberleri - kopya oluşturmak idareyi ve rutin veri işlemlerini kesintiye uğratır.

Ajan Tabanlı alma çözümü:

  • Bilgi bankaları, birden çok bilgi kaynağını birleştirir.
  • Dizin içeriğini desteklemek için uzak SharePoint ve Bing'e yönelik doğrudan sorgu (dizin oluşturma gerekmez).
  • Alma yönergeleri LLM'yi uygun veri kaynaklarına yönlendirir.
  • Azure Blob, OneLake, işlenmiş SharePoint içeriği ve başka bir dış içerik için otomatik dizinleme işlem hattı oluşturma.
  • Tüm kaynaklarda tek sorgu arabirimi ve sorgu planı.

Klasik RAG çözümü:

  • Dizin oluşturucular 10'dan fazla Azure veri kaynağından çeker.
  • Öbekleme, vektörleştirme, görüntü sözelleştirme ve analiz için beceri işlem hattı.
  • Artımlı dizin oluşturma, içeriğin güncel kalmasını sağlar.
  • Dizine alınanları ve nasıl yapılacağını siz denetlersiniz.

Bilgi kaynakları hakkında daha fazla bilgi edinin.

Belirteç kısıtlaması zorluklarını çözme

Sorun: GPT-4 yaklaşık 128 bin belirteç kabul eder, ancak 10.000 sayfa belgeniz vardır. Her şeyi göndermek belirteçleri boşa harcar ve kaliteyi düşürür.

Ajan Tabanlı alma çözümü:

  • Yalnızca en ilgili öbeklerle yapılandırılmış bir yanıt döndürür
  • Yerleşik alıntı izleme, kanıtlanmışlığı gösterir
  • Sorgu etkinlik günlüğünde nelerin arandığını açıklar
  • İsteğe bağlı yanıt sentezi belirteç kullanımını daha da azaltır

Klasik RAG çözümü:

  • Anlam derecelendirmesi en ilgili 50 sonucu tanımlar
  • Yapılandırılabilir sonuç sınırları (vektörler için ilk k, metin için ilk-n) ve minimum eşikler
  • Puanlama profilleri kritik içeriği artırır
  • Select deyimi hangi alanların döndürüleceğini kontrol eder.

İlgi ayarlama hakkında daha fazla bilgi edinin.

Yanıt süresi zorluklarını çözme

Sorun: Kullanıcılar 3-5 saniye içinde yanıt bekler, ancak karmaşık işleme ile birden çok kaynağı sorgulursunuz.

Ajan Tabanlı alma çözümü:

  • Paralel alt sorgu yürütme (sıralı değil)
  • Ayarlanabilir akıl yürütme eforu (minimum/düşük/orta)
  • Önceden oluşturulmuş semantik derecelendirme (ekstra düzenleme yok)

Klasik RAG çözümü:

  • Milisaniye sorgu yanıt süreleri
  • Tek seferlik sorgular karmaşıklığı azaltır
  • Zaman aşımını ve yeniden deneme mantığını kontrol edersiniz.
  • Daha az hata noktası içeren daha basit mimari

Güvenlik sorunlarını çözme

Sorun: Finans verileri, bir yönetici sohbet botunu istediğinde bile yalnızca finans ekibi tarafından erişilebilir olmalıdır.

Ajan Tabanlı alma çözümü:

  • Bilgi kaynağı düzeyinde erişim denetimi
  • Uzak SharePoint'e yönelik sorgular için SharePoint izinlerini devralır
  • Azure Depolama'dan dizine alınan içerik için Microsoft Entra Id izin meta verilerini devralır
  • Diğer veri kaynakları için sorgu zamanında filtre tabanlı güvenlik
  • Özel uç noktalar aracılığıyla ağ yalıtımı

Klasik RAG çözümü:

  • Belge düzeyi güvenlik filtresi
  • Azure Depolama'dan dizine alınan içerik için Microsoft Entra Id izin meta verilerini devralır
  • Diğer veri kaynakları için sorgu zamanında filtre tabanlı güvenlik
  • Özel uç noktalar aracılığıyla ağ yalıtımı

Güvenlik hakkında daha fazla bilgi edinin.

Etken alma ile modern RAG

Azure AI Search, RAG iş yükleri için kanıtlanmış bir çözümdür. Artık RAG desenleri için özel olarak tasarlanmış bir işlem hattı olan etken alım sağlar. Bu yaklaşım, karmaşık kullanıcı sorgularını akıllı bir şekilde odaklanmış alt sorgulara ayırmak, paralel olarak yürütmek ve sohbet tamamlama modelleri için iyileştirilmiş yapılandırılmış yanıtlar döndürmek için LLM'leri kullanır.

Ajentik alma, geleneksel tek sorgulu RAG yapılarından çoklu sorgulu akıllı alma sürecine geçişi temsil eder ve şunları sağlar:

  • Konuşma geçmişini kullanarak bağlama duyarlı sorgu planlaması
  • Birden çok odaklanmış alt sorgunun paralel yürütülmesi
  • Topraklama verileri, alıntılar ve yürütme meta verileriyle yapılandırılmış yanıtlar
  • En uygun ilgi için yerleşik semantik derecelendirme
  • Sorgu yanıtında LLM tarafından formüle edilmiş bir yanıt kullanan isteğe bağlı yanıt sentezi

Bu işlem hattı için yeni nesnelere ihtiyacınız vardır: bir veya daha fazla bilgi kaynağı, bir bilgi bankası ve yapay zeka aracınızla çalışan bir araç gibi uygulama kodundan çağırdığınız alma eylemi.

Yeni RAG uygulamaları için etkin alma ile başlayın. Mevcut çözümler için gelişmiş doğruluk ve bağlam anlayışından yararlanmak için geçişi göz önünde bulundurun.

Klasik RAG, uygulamanızın Azure AI Search'e tek bir sorgu gönderdiği ve LLM'ye iletimi ayrı olarak düzenlediği özgün sorgu yürütme mimarisini kullanır. Dağıtılan LLM'niz, sorgudan düzleştirilmiş sonuç kümesini kullanarak bir yanıt formüle eder. Bu yaklaşım daha az bileşenle daha basittir ve sorgu planlamasına LLM katılımı olmadığından daha hızlıdır.

Klasik RAG'in uygulanması hakkında ayrıntılı bilgi için bkz. azure-search-classic-rag deposu.

RAG için içerik hazırlığı

RAG kalitesi, içeriği alma için nasıl hazırladığınıza bağlıdır. Azure AI Search şu desteği destekler:

İçerik sınaması Azure AI Search nasıl yardımcı olur?
Büyük belgeler Otomatik segmentasyon (yerleşik veya beceriler aracılığıyla)
Birden çok dil Metin, çok dilli vektörler için 50'den fazla dil çözümleyicisi
Görüntüler ve PDF'ler OCR, görüntü analizi, görüntü sözelleştirme, belge ayıklama becerileri
Benzerlik aramasına ihtiyaç var Tümleşik vektörleştirme (Azure OpenAI, Döküm Araçları'nda Azure Vision, özel)
Terminoloji uyuşmazlıkları Eş anlamlı haritalar, semantik derecelendirme

Ajan odaklı alma için: Öbekleme ve vektörleştirme işlem hatlarını otomatik olarak oluşturan bilgi kaynaklarını kullanın.

Klasik RAG için: Özel işlem hatları oluşturmak veya push API aracılığıyla önceden işlenmiş içerik göndermek için dizin oluşturucuları ve beceri kümelerini kullanın.

İlgiyi ve geri çekmeyi en üst düzeye çıkarma

LLM yanıt formülasyonu için en iyi topraklama verilerini nasıl sağlarsınız? Bu, bir soruyu yanıtlamak için en iyi öbekleri belirleyebilen uygun içeriğe, akıllı sorgulara ve sorgu mantığına sahip olmanın bir bileşimidir.

Dizin oluşturma sırasında, bölümlerin bağımsız olarak eşleştirilebilmesi için büyük belgeleri alt bölümlere ayırmak için öbekleme kullanın. Vektör sorguları için kullanılan eklemeler oluşturmak için bir vektörleştirme adımı ekleyin.

SORGU tarafında, RAG uygulamanız için en uygun sonuçları elde etmek için:

Daha fazla bilgi için bkz. karma arama ve anlam derecelendirmesi.

Aracılı getirme ve klasik RAG arasında seçim yapma

Şu durumlarda aracısal alma kullanın:

  • Müşteriniz bir temsilci veya sohbet botu.
  • Mümkün olan en yüksek ilgi ve doğruluk düzeyine ihtiyacınız vardır.
  • Sorgularınız karmaşık veya konuşmasaldır.
  • Alıntılar ve sorgu ayrıntılarıyla yapılandırılmış yanıtlar istiyorsunuz.
  • Yeni RAG uygulamaları oluşturuyorsunuz.

Şu durumlarda klasik RAG kullanın:

  • Yalnızca genel kullanıma açık (GA) özelliklere ihtiyacınız vardır.
  • Basitlik ve hız, gelişmiş ilgiye göre önceliklerdir.
  • Korumak istediğiniz düzenleme kodunuz var.
  • Sorgu işlem hattı üzerinde ayrıntılı denetime ihtiyacınız vardır.

Aracıları ve Azure AI Search'i içeren bir RAG çözümü, bir aracının tek uç noktası olarak temel verileri sağlayan bir bilgi katmanına Foundry IQ'dan yararlanabilir. Foundry IQ ajan odaklı alma kullanır.

Klasik arama, aracılı alma ve bunların karşılaştırması hakkında daha fazla bilgi edinin.

Kullanmaya başlama

Kod öncelikli çözümler ve tanıtımlar dahil olmak üzere kullanmaya başlamanın birçok yolu vardır.

  • Last updated on