Azure Yapay Zeka Arama'te bilgi deposu

Note

Azure Yapay Zeka Arama Azure portalı, REST API'leri ve Azure SDK’ları aracılığıyla kullanılabilir. Ayrıca kuruluş içeriğini Microsoft Foundry portalındaki aracılar için yeniden kullanılabilir, izin kullanan bilgi bankalarına dönüştüren yönetilen bilgi katmanı Foundry IQ'yu temel alır.

Note

Bilgi depoları , Azure Depolama'da bulunan ve Azure Yapay Zeka Arama beceri kümelerinin çıkışlarını içeren ikincil depolamalardır. Bunlar, aracısal alma iş akışlarında kullanılan bilgi kaynaklarından ve bilgi bankalarından ayrıdır.

Bilgi deposu, Azure Yapay Zeka Arama'te bir beceri kümesi tarafından oluşturulan yapay zeka zenginleştirilmiş içerik için ikincil depolama alanıdır. Azure Yapay Zeka Arama'te dizin oluşturma işi her zaman bir arama dizinine çıkış gönderir, ancak dizin oluşturucuya beceri kümesi eklerseniz isteğe bağlı olarak Azure Depolama'daki bir kapsayıcıya veya tabloya yapay zekayla zenginleştirilmiş çıktı da gönderebilirsiniz. Bilgi deposu, bilgi madenciliği gibi arama dışı senaryolarda bağımsız analiz veya aşağı akış işleme için kullanılabilir.

Bir arama dizini ve bilgi deposu olan dizin oluşturmanın iki çıkışı, aynı işlem hattının birbirini dışlayan ürünleridir. Bunlar aynı girişlerden türetilir ve aynı verileri içerir, ancak içerikleri yapılandırılmış, depolanmış ve farklı uygulamalarda kullanılmıştır.

Beceri kümesine sahip işlem hattı

Fiziksel olarak, bilgi deposu Azure Depolama, Azure Tablo Depolama, Azure Blob Depolama veya her ikisidir. Azure Depolama'ya bağlanabilen herhangi bir araç veya işlem bir bilgi deposunun içeriğini kullanabilir. Azure Yapay Zeka Arama'te bilgi deposundan içerik almak için sorgu desteği yoktur.

Azure portalı aracılığıyla görüntülendiğinde, bilgi deposu diğer tablo, nesne veya dosya koleksiyonuna benzer. Aşağıdaki ekran görüntüsünde üç tablodan oluşan bir bilgi deposu gösterilmektedir. İçeriğinizi bir arada tutmak için ön ek gibi bir kstore adlandırma kuralı benimseyebilirsiniz.

Zenginleştirme ağacından okuma ve yazma becerileri

Bilgi deposunun avantajları

Bilgi deposunun başlıca avantajları ikiye katlanır: içeriğe esnek erişim ve verileri şekillendirme olanağı.

Yalnızca Azure Yapay Zeka Arama'teki sorgular aracılığıyla erişilebilen bir arama dizininden farklı olarak, bir bilgi deposuna Azure Depolama bağlantılarını destekleyen tüm araçlar, uygulamalar veya işlemler erişebilir. Bu esneklik, bir zenginleştirme işlem hattı tarafından üretilen analiz edilmiş ve zenginleştirilmiş içeriği tüketmeye yönelik yeni senaryolar açar.

Verileri zenginleştiren beceri kümesi, verileri şekillendirmek için de kullanılabilir. Power BI gibi bazı araçlar tablolarla daha iyi çalışırken, veri bilimi iş yükü blob biçiminde karmaşık bir veri yapısı gerektirebilir. Beceri kümesine Bir Şekillendirici becerisi eklemek, verilerinizin şekli üzerinde denetim sahibi olmanıza izin verir. Daha sonra bu şekilleri, verilerin hedeflenen kullanımıyla uyumlu fiziksel veri yapıları oluşturmak için tablolara veya bloblara geçirebilirsiniz.

Aşağıdaki videoda hem bu avantajlar hem de daha fazlası açıklanmaktadır.

Bilgi deposu tanımı

Bilgi deposu bir beceri kümesi tanımı içinde tanımlanır ve iki bileşeni vardır:

  • Azure Depolama'ya bağlantı dizesi

  • Bilgi deposunun tablolardan, nesnelerden veya dosyalardan oluşup oluşmadığını belirleyen projeksiyonlar. projeksiyonlar öğesi bir dizidir. Tek bir bilgi deposunda birden çok tablo-nesne-dosya bileşimi kümesi oluşturabilirsiniz.

    "knowledgeStore": {
    "storageConnectionString":"<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>",
    "projections":[
       {
          "tables":[ ],
          "objects":[ ],
          "files":[ ]
       }
    ]
}

Bu yapıda belirttiğiniz projeksiyon türü, bilgi deposu tarafından kullanılan depolama türünü belirler, ancak yapısını belirlemez. Tablo, nesne ve dosyalardaki alanlar, bilgi depoyu program aracılığıyla oluşturuyorsanız Shaper beceri çıkışına veya Azure portalını kullanıyorsanız Verileri içeri aktarma sihirbazına göre belirlenir.

  • tables zenginleştirilmiş içeriği Tablo Depolama'ya yansıtabilirsiniz. Analitik araçlara girişler için tablosal raporlama yapılarına ihtiyacınız olduğunda veya diğer veri depolarına veri çerçeveleri olarak dışarı aktardığınızda tablo projeksiyonu tanımlayın. Zenginleştirilmiş belgelerin alt kümesini veya çapraz bölümünü almak için aynı projeksiyon grubu içinde birden çok tables belirtebilirsiniz. Aynı projeksiyon grubunda, tablo ilişkileri korunur, böylece tümüyle çalışabilirsiniz.

    Projeksiyon yapılan içerik toplanmaz veya normalize edilmez. Aşağıdaki ekran görüntüsünde, üst belgenin bitişik sütunda gösterildiği anahtar tümceciğe göre sıralanmış bir tablo gösterilmektedir. Dizin oluşturma sırasında veri alımının aksine, dil analizi veya içerik toplaması yoktur. Çoğul formlar ve büyük/küçük harf farklılıkları benzersiz örnekler olarak değerlendirilir.

    Tablodaki anahtar ifadelerin ve belgelerin ekran görüntüsü

  • objects JSON belgesini Blob depolamaya yansıtma. fiziksel gösterimi object , zenginleştirilmiş bir belgeyi temsil eden hiyerarşik bir JSON yapısıdır.

  • files görüntü dosyalarını Blob depolamaya yansıtabilirsiniz. Bir belgeden ayıklanan ve bozulmadan Blob depolamaya aktarılan bir görüntü olan file. Her ne kadar "dosyalar" olarak adlandırılsa da, Blob Depolama alanında görüntülenir, dosya depolamada değil.

Bilgi deposu oluşturma

Bilgi deposu oluşturmak için Azure portalını, REST API'lerini veya Azure SDK paketini kullanın. Tüm yöntemler için Azure Depolama, beceri kümesi ve dizin oluşturucu gerekir. Dizin oluşturucular bir arama dizini gerektirdiği için, bir dizin tanımı da sağlamanız gerekir.

REST API'leri ve SDK'ları projeksiyonlar üzerinde tam denetim sağlar: tablolar, nesneler ve dosyalar. Azure portalı, ayıklanan görüntüler için dosya projeksiyonlarıyla sınırlı olan çok modüllü RAG iş akışının bir parçası olarak otomatik olarak bir bilgi deposu oluşturur.

Verileri içeri aktarma sihirbazı, yalnızca çok modüllü RAG senaryosu için bir bilgi deposu oluşturur. Başlamak için bkz . Azure portalında Hızlı Başlangıç: Çok modüllü arama.

Uygulamalarla bağlanma

Depolama alanında zenginleştirilmiş içerik mevcut olduğunda, Azure Depolama'ya bağlanan herhangi bir araç veya teknoloji içeriği keşfetmek, analiz etmek veya kullanmak için kullanılabilir. Aşağıdaki liste bir başlangıçtır:

İçerik yaşam döngüsü

Dizin oluşturucuyu ve beceri kümesini her çalıştırdığınızda, beceri kümesi veya temel alınan kaynak veriler değiştiyse bilgi deposu güncelleştirilir. Dizin oluşturucu tarafından alınan tüm değişiklikler zenginleştirme işlemi aracılığıyla bilgi deposundaki projeksiyonlara yayılır ve yansıtılan verilerinizin kaynak veri kaynağındaki içeriğin geçerli bir gösterimi olmasını sağlar.

Note

Projeksiyonlardaki verileri düzenleyebilirsiniz; ancak, kaynak verilerdeki belge güncellendiğinde ve bir sonraki işlem hattı çağrısı gerçekleştiğinde bu düzenlemeler otomatik olarak silinir.

Kaynak verilerdeki değişiklikler

Değişiklik izlemeyi destekleyen veri kaynakları için, dizin oluşturucu yeni ve değiştirilmiş belgeleri işler ve zaten işlenmiş olan mevcut belgeleri atlar. Zaman damgası bilgileri veri kaynağına göre değişir, ancak bir blob kapsayıcısında dizin oluşturucu, hangi blobların alınması gerektiğini belirlemek için lastmodified tarihine bakar.

Beceri kümesindeki değişiklikler

Beceri kümesinde değişiklik yapıyorsanız, mevcut zenginleştirmeleri mümkün olduğunca yeniden kullanmak için zenginleştirilmiş belgelerin önbelleğe alınmasını (önizleme) etkinleştirmeniz gerekir.

Artımlı önbelleğe alma olmadan, dizinleyici belgeleri hiçbir zaman geriye gitmeden ilerleme göstergesine göre işler. Bloblar için dizin oluşturucu, dizin oluşturucu ayarları veya beceri kümesi değişikliklerinden bağımsız olarak, lastModified kriterine göre sıralanmış blobları işleme koyar. Beceri kümesini değiştirirseniz, daha önce işlenen belgeler yeni beceri kümesini yansıtacak şekilde güncelleştirilmez. Beceri kümesi değişikliğinden sonra işlenen belgeler yeni beceri kümesini kullanır ve bu da dizin belgelerinin eski ve yeni beceri kümelerinin bir karışımı olmasına neden olur.

Artımlı önbelleğe alma ile ve beceri kümesi güncelleştirmesinin ardından dizin oluşturucu beceri kümesi değişikliğinden etkilenmeyen tüm zenginleştirmeleri yeniden kullanır. Değiştirilen beceriden bağımsız ve yalıtılmış tüm zenginleştirmeler gibi yukarı akış zenginleştirmeleri de önbellekten çekilir.

Deletions

Dizin oluşturucu, Azure Depolama'da yapı ve içerik oluşturup güncelleştirse de bunları silmez. Dizin oluşturucu veya beceri kümesi silindiğinde bile projeksiyonlar varolmaya devam eder. Depolama hesabının sahibi olarak, artık gerekli değilse bir projeksiyonu silmeniz gerekir.

Sonraki Adımlar

Bilgi deposu zenginleştirilmiş belgelerin kalıcılığını, beceri kümesi tasarlarken veya Azure Depolama hesabına erişebilen tüm istemci uygulamaları tarafından kullanılmak üzere yeni yapılar ve içerik oluşturulmasını sağlar.

Program aracılığıyla zenginleştirilmiş belgeler oluşturmaya yönelik en basit yaklaşım REST API'leridir.

REST kullanarak bilgi deposu oluşturma

  • Last updated on