Retrieval Augmented Generation ve dizinler

Önemli

Bu makalede açıklanan özelliklerden bazıları yalnızca önizleme aşamasında kullanılabilir. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Bu makalede, yapay zekada Alma Artırılmış Nesli (RAG) ve dizininin önemi ve gereksinimi anlatılır.

RAG nedir?

Öncelikle bazı temel bilgiler. ChatGPT gibi büyük dil modelleri (LLM'ler), eğitildikleri sırada mevcut olan genel İnternet verileri üzerinde eğitilir. Eğitildikleri veriyle ilgili soruları yanıtlayabilirler. Bu genel veriler tüm ihtiyaçlarınızı karşılamak için yeterli olmayabilir. Özel verilerinize göre soruların yanıtlanmasını isteyebilirsiniz. Veya genel veriler güncel olmayabilir. Bu sorunun çözümü, yapay zekada kullanılan ve kendi verilerinizle yanıtlar oluşturmak için LLM kullanan bir desen olan Alma Artırılmış Nesli (RAG) çözümüdür.

RAG nasıl çalışır?

RAG, verilerinize özgü yanıtlar oluşturmak için LLM ile verilerinizi kullanan bir desendir. Bir kullanıcı soru sorduğunda, veri deposunda kullanıcı girişi temel alınarak arama yapılır. Kullanıcı sorusu daha sonra eşleşen sonuçlarla birleştirilir ve istenen yanıtı oluşturmak için bir istem (yapay zeka veya makine öğrenmesi modeline yönelik açık yönergeler) kullanılarak LLM'ye gönderilir. Bu, aşağıdaki gibi gösterilebilir.

Dizin nedir ve neden buna ihtiyacım var?

RAG, kullanıcı sorusuna yanıtlar oluşturmak için verilerinizi kullanır. RAG'ın düzgün çalışması için, verilerinizi aramanın ve LLM'lere kolay ve maliyet açısından verimli bir şekilde göndermenin bir yolunu bulmalıyız. Bu, bir dizin kullanılarak gerçekleştirilir. Dizin, verileri verimli bir şekilde aramanızı sağlayan bir veri deposudur. Bu RAG'de çok kullanışlıdır. Dizin, vektörler oluşturularak LLM'ler için iyileştirilebilir (metin verileri ekleme modeli kullanılarak sayı dizilerine dönüştürülür). İyi bir dizin genellikle anahtar sözcük aramaları, anlamsal aramalar, vektör aramaları veya bunların birleşimi gibi verimli arama özelliklerine sahiptir. Bu iyileştirilmiş RAG deseni aşağıdaki gibi gösterilebilir.

Azure AI, RAG deseni ile kullanılacak bir dizin varlığı sağlar. Dizin varlığı dizininizin nerede depolandığı, dizininize nasıl erişileceği, dizininizin aranabileceği modlar, dizininizin vektörleri var mı, vektörler için kullanılan ekleme modeli vb. gibi önemli bilgileri içerir. Azure AI dizini, birincil ve önerilen dizin deposu olarak Azure AI Search'i kullanır. Azure Yapay Zeka Arama, arama dizinlerinde depolanan vektör ve metin verileri üzerinden bilgi almayı destekleyen bir Azure kaynağıdır.

Sonraki adımlar

• Vektör dizini oluşturma