Azure AI Search'te bilgi deposu

Makale
09/01/2024

Bilgi deposu, Azure AI Search'te bir beceri kümesi tarafından oluşturulan yapay zeka zenginleştirilmiş içerik için ikincil depolama alanıdır. Azure AI Search'te dizin oluşturma işi her zaman bir arama dizinine çıkış gönderir, ancak dizin oluşturucuya beceri kümesi eklerseniz isteğe bağlı olarak Azure Depolama'daki bir kapsayıcıya veya tabloya yapay zekayla zenginleştirilmiş çıktı da gönderebilirsiniz. Bilgi deposu, bilgi madenciliği gibi arama dışı senaryolarda bağımsız analiz veya aşağı akış işleme için kullanılabilir.

Bir arama dizini ve bilgi deposu olan dizin oluşturmanın iki çıkışı, aynı işlem hattının birbirini dışlayan ürünleridir. Bunlar aynı girişlerden türetilir ve aynı verileri içerir, ancak içerikleri yapılandırılmış, depolanmış ve farklı uygulamalarda kullanılmıştır.

Beceri kümesine sahip işlem hattı

Fiziksel olarak, bilgi deposu Azure Depolama, Azure Tablo Depolama, Azure Blob Depolama veya her ikisidir. Azure Depolama'ya bağlanabilen herhangi bir araç veya işlem bir bilgi deposunun içeriğini kullanabilir. Azure AI Search'te bilgi deposundan içerik almak için sorgu desteği yoktur.

Azure portalı aracılığıyla görüntülendiğinde, bilgi deposu diğer tablo, nesne veya dosya koleksiyonuna benzer. Aşağıdaki ekran görüntüsünde üç tablodan oluşan bir bilgi deposu gösterilmektedir. İçeriğinizi bir arada tutmak için ön ek gibi bir kstore adlandırma kuralı benimseyebilirsiniz.

Zenginleştirme ağacından okuma ve yazma becerileri

Bilgi deposunun avantajları

Bilgi deposunun başlıca avantajları ikiye katlanır: içeriğe esnek erişim ve verileri şekillendirme olanağı.

Yalnızca Azure AI Search'teki sorgular aracılığıyla erişilebilen bir arama dizininden farklı olarak, bir bilgi deposuna Azure Depolama bağlantılarını destekleyen tüm araçlar, uygulamalar veya işlemler erişebilir. Bu esneklik, bir zenginleştirme işlem hattı tarafından üretilen analiz edilmiş ve zenginleştirilmiş içeriği tüketmeye yönelik yeni senaryolar açar.

Verileri zenginleştiren beceri kümesi, verileri şekillendirmek için de kullanılabilir. Power BI gibi bazı araçlar tablolarla daha iyi çalışırken, veri bilimi iş yükü blob biçiminde karmaşık bir veri yapısı gerektirebilir. Beceri kümesine Bir Şekillendirici becerisi eklemek, verilerinizin şekli üzerinde denetim sahibi olmanıza izin verir. Daha sonra bu şekilleri, verilerin hedeflenen kullanımıyla uyumlu fiziksel veri yapıları oluşturmak için tablolara veya bloblara geçirebilirsiniz.

Aşağıdaki videoda hem bu avantajlar hem de daha fazlası açıklanmaktadır.

Bilgi deposu tanımı

Bilgi deposu bir beceri kümesi tanımı içinde tanımlanır ve iki bileşeni vardır:

Azure Depolama'ya bağlantı dizesi
Bilgi deposunun tablolardan, nesnelerden veya dosyalardan oluşup oluşmadığını belirleyen projeksiyonlar. projeksiyonlar öğesi bir dizidir. Tek bir bilgi deposunda birden çok tablo-nesne-dosya bileşimi kümesi oluşturabilirsiniz.
```
"knowledgeStore": {
    "storageConnectionString":"<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>",
    "projections":[
       {
          "tables":[ ],
          "objects":[ ],
          "files":[ ]
       }
    ]
}
```

Bu yapıda belirttiğiniz projeksiyon türü, bilgi deposu tarafından kullanılan depolama türünü belirler, ancak yapısını belirlemez. Tablo, nesne ve dosyalardaki alanlar, bilgi depoyu program aracılığıyla oluşturuyorsanız Shaper beceri çıkışına veya portalı kullanıyorsanız Verileri içeri aktarma sihirbazına göre belirlenir.

tables zenginleştirilmiş içeriği Tablo Depolama'ya yansıtabilirsiniz. Analitik araçlara girişler için tablosal raporlama yapılarına ihtiyacınız olduğunda veya diğer veri depolarına veri çerçeveleri olarak dışarı aktardığınızda tablo projeksiyonu tanımlayın. Zenginleştirilmiş belgelerin alt kümesini veya çapraz bölümünü almak için aynı projeksiyon grubu içinde birden çok tables belirtebilirsiniz. Aynı projeksiyon grubunda, tablo ilişkileri korunur, böylece tümüyle çalışabilirsiniz.

Yansıtılan içerik toplanmaz veya normalleştirilmemiştir. Aşağıdaki ekran görüntüsünde, üst belgenin bitişik sütunda gösterildiği anahtar tümceciğe göre sıralanmış bir tablo gösterilmektedir. Dizin oluşturma sırasında veri alımının aksine, dil analizi veya içerik toplaması yoktur. Çoğul formlar ve büyük/küçük harf farklılıkları benzersiz örnekler olarak kabul edilir.
objects JSON belgesini Blob depolamaya yansıtma. fiziksel gösterimi object , zenginleştirilmiş bir belgeyi temsil eden hiyerarşik bir JSON yapısıdır.
files görüntü dosyalarını Blob depolamaya yansıtabilirsiniz. , file bir belgeden ayıklanan ve Blob depolamaya dokunulmadan aktarılan bir görüntüdür. "dosyalar" olarak adlandırılsa da, dosya depolamada değil Blob Depolama'da gösterilir.

Bilgi deposu oluşturma

Bilgi deposu oluşturmak için portalı veya API'yi kullanın.

Azure Depolama' ya, beceri kümesine ve dizin oluşturucuya ihtiyacınız vardır. Dizin oluşturucular bir arama dizini gerektirdiği için bir dizin tanımı da sağlamanız gerekir.

Tamamlanmış bir bilgi deposuna giden en hızlı yol için portal yaklaşımını kullanın. Alternatif olarak, nesnelerin nasıl tanımlandığını ve ilişkili olduğunu daha ayrıntılı anlamak için REST API'yi de seçebilirsiniz.

Verileri içeri aktarma sihirbazını kullanarak dört adımda ilk bilgi deponuzu oluşturun.

Zenginleştirmek istediğiniz verileri içeren bir veri kaynağı tanımlayın.
Beceri kümesi tanımlama. Beceri kümesi zenginleştirme adımlarını ve bilgi depolarını belirtir.
Dizin şeması tanımlayın. Buna ihtiyacınız olmayabilir, ancak dizin oluşturucular buna ihtiyaç duyar. Sihirbaz bir dizin çıkarabilir.
Sihirbazı tamamlayın. Veri ayıklama, zenginleştirme ve bilgi deposu oluşturma işlemi bu son adımda gerçekleşir.

Sihirbaz çeşitli görevleri otomatikleştirir. Özellikle, sizin için hem şekillendirme hem de projeksiyonlar (Azure Depolama'daki fiziksel veri yapılarının tanımları) oluşturulur.

Uygulamalarla bağlanma

Depolama alanında zenginleştirilmiş içerik mevcut olduğunda, Azure Depolama'ya bağlanan herhangi bir araç veya teknoloji içeriği keşfetmek, analiz etmek veya kullanmak için kullanılabilir. Aşağıdaki liste bir başlangıçtır:

Zenginleştirilmiş belge yapısını ve içeriğini görüntülemek için Azure portalında Depolama Gezgini veya Depolama tarayıcısını kullanın. Bunu bilgi deposu içeriğini görüntülemek için temel aracınız olarak düşünün.
Raporlama ve analiz için Power BI .
Daha fazla işleme için Azure Data Factory .

İçerik yaşam döngüsü

Dizin oluşturucuyu ve beceri kümesini her çalıştırdığınızda, beceri kümesi veya temel alınan kaynak veriler değiştiyse bilgi deposu güncelleştirilir. Dizin oluşturucu tarafından alınan tüm değişiklikler zenginleştirme işlemi aracılığıyla bilgi deposundaki projeksiyonlara yayılır ve yansıtılan verilerinizin kaynak veri kaynağındaki içeriğin geçerli bir gösterimi olmasını sağlar.

Not

Projeksiyonlardaki verileri düzenleyebilirsiniz ancak kaynak verilerdeki belgenin güncelleştirilmiş olduğu varsayılarak, sonraki işlem hattı çağrısında tüm düzenlemelerin üzerine yazılır.

Kaynak verilerdeki değişiklikler

Değişiklik izlemeyi destekleyen veri kaynakları için, dizin oluşturucu yeni ve değiştirilmiş belgeleri işler ve zaten işlenmiş olan mevcut belgeleri atlar. Zaman damgası bilgileri veri kaynağına göre değişir, ancak bir blob kapsayıcısında dizin oluşturucu hangi blobların alınması gerektiğini belirlemek için tarihe bakar lastmodified .

Beceri kümesindeki değişiklikler

Beceri kümesinde değişiklik yapıyorsanız, mevcut zenginleştirmeleri mümkün olduğunca yeniden kullanmak için zenginleştirilmiş belgelerin önbelleğe alınmasını etkinleştirmeniz gerekir.

Artımlı önbelleğe alma olmadan, dizin oluşturucu belgeleri her zaman geriye gitmeden yüksek su işaretine göre işler. Bloblar için dizin oluşturucu, dizin oluşturucu ayarlarında veya beceri kümesinde yapılan değişikliklerden bağımsız olarak tarafından lastModifiedsıralanmış blobları işler. Beceri kümesini değiştirirseniz, daha önce işlenen belgeler yeni beceri kümesini yansıtacak şekilde güncelleştirilmez. Beceri kümesi değişikliğinden sonra işlenen belgeler yeni beceri kümesini kullanır ve bu da dizin belgelerinin eski ve yeni beceri kümelerinin bir karışımı olmasına neden olur.

Artımlı önbelleğe alma ile ve beceri kümesi güncelleştirmesinin ardından dizin oluşturucu beceri kümesi değişikliğinden etkilenmeyen tüm zenginleştirmeleri yeniden kullanır. Yukarı akış zenginleştirmeleri, değiştirilen beceriden bağımsız ve yalıtılmış tüm zenginleştirmeler gibi önbellekten çekilir.

Silmeler

Dizin oluşturucu, Azure Depolama'da yapı ve içerik oluşturup güncelleştirse de bunları silmez. Dizin oluşturucu veya beceri kümesi silindiğinde bile projeksiyonlar varolmaya devam eder. Depolama hesabının sahibi olarak, artık gerekli değilse bir projeksiyonu silmeniz gerekir.

Sonraki adımlar

Bilgi deposu zenginleştirilmiş belgelerin kalıcılığını, beceri kümesi tasarlarken veya Azure Depolama hesabına erişebilen tüm istemci uygulamaları tarafından kullanılmak üzere yeni yapılar ve içerik oluşturulmasını sağlar.

Zenginleştirilmiş belgeler oluşturmak için en basit yaklaşım portal üzerinden yapılır, ancak REST istemcisi ve REST API'leri nesnelerin program aracılığıyla nasıl oluşturulduğu ve bunlara nasıl başvurıldığı hakkında daha fazla içgörü sağlayabilir.

REST kullanarak bilgi deposu oluşturma

Aracılığıyla paylaş