Azure AI Search'te yapay zeka zenginleştirmesi
Azure AI Search'te yapay zeka zenginleştirmesi, ham biçiminde aranamayan içeriği işlemek için Azure yapay zeka hizmetleriyle tümleştirmeyi ifade eder. Zenginleştirme aracılığıyla analiz ve çıkarım, daha önce hiç bulunmayan aranabilir içerik ve yapı oluşturmak için kullanılır.
Azure AI Search metin ve vektör sorguları için kullanıldığından yapay zeka zenginleştirmesinin amacı, aramayla ilgili senaryolarda içeriğinizin yardımcı programını geliştirmektir. Ham içerik metin veya görüntü olmalıdır (vektörleri zenginleştiremezsiniz), ancak bir zenginleştirme işlem hattının çıkışı, öbekleme için Metin Bölme becerisi ve kodlama için AzureOpenAIEmbedding becerisi gibi beceriler kullanılarak vektörleştirilip bir vektör dizininde dizinlenebilir. Vektör senaryolarında becerileri kullanma hakkında daha fazla bilgi için bkz . Tümleşik veri öbekleme ve ekleme.
Yapay zeka zenginleştirmesi becerileri temel alır.
Yerleşik beceriler Azure AI hizmetlerine dokunun. Ham içeriğe aşağıdaki dönüştürmeleri ve işlemeyi uygular:
- Çok dilli arama için çeviri ve dil algılama
- Büyük metin öbeklerinden kişi adlarını, yerleri ve diğer varlıkları ayıklamak için varlık tanıma
- Önemli terimleri tanımlamak ve çıkarmak için anahtar ifade ayıklama
- İkili dosyalarda yazdırılan ve el yazısı metinleri tanımak için Optik Karakter Tanıma (OCR)
- Görüntü içeriğini açıklamak ve açıklamaları aranabilir metin alanları olarak çıkarmak için görüntü analizi
Özel beceriler dış kodunuzu çalıştırır. özel beceriler, işlem hattına eklemek istediğiniz herhangi bir özel işlem için kullanılabilir.
Yapay zeka zenginleştirme, Azure veri kaynaklarına bağlanan bir dizin oluşturucu işlem hattının uzantısıdır. Zenginleştirme işlem hattı, bir dizin oluşturucu işlem hattının (dizin oluşturucu, veri kaynağı, dizin) tüm bileşenlerinin yanı sıra atomik zenginleştirme adımlarını belirten bir beceri kümesine sahiptir.
Aşağıdaki diyagramda yapay zeka zenginleştirmesinin ilerlemesi gösterilmektedir:
İçeri aktarma ilk adımdır. Burada dizin oluşturucu bir veri kaynağına bağlanır ve içeriği (belgeler) arama hizmetine çeker. Azure Blob Depolama, yapay zeka zenginleştirme senaryolarında kullanılan en yaygın kaynaktır, ancak desteklenen tüm veri kaynakları içerik sağlayabilir.
Zenginleştirme ve Dizin , yapay zeka zenginleştirme işlem hattının çoğunu kapsar:
Zenginleştirme, dizin oluşturucu "belgeleri kırdığında" ve görüntüleri ve metni ayıkladığında başlar. Bir sonraki işlem türü verilerinize ve beceri kümesine hangi becerileri eklediğinize bağlıdır. Görüntüleriniz varsa, bunlar görüntü işleme gerçekleştiren becerilere iletilebilir. Metin içeriği, metin ve doğal dil işleme için kuyruğa alınır. Dahili olarak, beceriler dönüşümleri gerçekleşirken toplayan bir "zenginleştirilmiş belge" oluşturur.
Zenginleştirilmiş içerik beceri kümesi yürütmesi sırasında oluşturulur ve kaydetmediğiniz sürece geçicidir. Gelecekteki beceri kümesi yürütmeleri sırasında daha sonra yeniden kullanmak üzere çatlamış belgeleri ve beceri çıkışlarını kalıcı hale getirmek için zenginleştirme önbelleğini etkinleştirebilirsiniz.
İçeriği arama dizinine almak için dizin oluşturucunun hedef alana zenginleştirilmiş içerik göndermek için eşleme bilgilerine sahip olması gerekir. Alan eşlemeleri (açık veya örtük) kaynak verilerden arama dizinine veri yolunu ayarlar. Çıktı alanı eşlemeleri , zenginleştirilmiş belgelerden dizine veri yolunu ayarlar.
Dizin oluşturma, ham ve zenginleştirilmiş içeriğin bir arama dizininin fiziksel veri yapılarına (dosyaları ve klasörleri) alındığı işlemdir. Sözcük temelli analiz ve belirteç oluşturma bu adımda gerçekleşir.
Keşif son adımdır. Çıkış her zaman bir istemci uygulamasından sorgulayabileceğiniz bir arama dizinidir . Çıktı isteğe bağlı olarak Azure Depolama'daki veri araştırma araçları veya aşağı akış işlemleri aracılığıyla erişilen bloblardan ve tablolardan oluşan bir bilgi deposu olabilir. Bilgi deposu oluşturuyorsanız projeksiyonlar zenginleştirilmiş içeriğin veri yolunu belirler. Aynı zenginleştirilmiş içerik hem dizinlerde hem de bilgi depolarında görünebilir.
Yapay zeka zenginleştirmesi ne zaman kullanılır?
Ham içerik yapılandırılmamış metin, görüntü içeriği veya dil algılama ve çeviri gerektiren içerikse zenginleştirme yararlıdır. Yerleşik beceriler aracılığıyla yapay zeka uygulamak, tam metin arama ve veri bilimi uygulamaları için bu içeriğin kilidini açabilir.
Dış işleme sağlamak için özel beceriler de oluşturabilirsiniz. Açık kaynak, üçüncü taraf veya birinci taraf kodu özel bir beceri olarak işlem hattıyla tümleştirilebilir. Çeşitli belge türlerinin önemli özelliklerini tanımlayan sınıflandırma modelleri bu kategoriye girer, ancak içeriğinize değer katan herhangi bir dış paket kullanılabilir.
Yerleşik beceriler için kullanım örnekleri
Yerleşik beceriler, Azure AI hizmetleri API'lerini temel alır: Azure AI Görüntü İşleme ve Dil Hizmeti. İçerik girişiniz küçük değilse, daha büyük iş yüklerini çalıştırmak için faturalanabilir bir Azure AI hizmetleri kaynağı eklemeyi bekleyebilirsiniz.
Yerleşik beceriler kullanılarak derlenen beceri kümesi, aşağıdaki uygulama senaryoları için uygundur:
Görüntü işleme becerileri arasında Optik Karakter Tanıma (OCR) ve yüz algılama, görüntü yorumlama, görüntü tanıma (ünlü kişiler ve yer işaretleri) gibi görsel özelliklerin veya görüntü yönlendirmesi gibi özniteliklerin tanımlanması yer alır. Bu beceriler, Azure AI Search'te tam metin araması için resim içeriğinin metin gösterimlerini oluşturur.
Makine çevirisi, metin çevirisi becerisi tarafından sağlanır ve genellikle çok dilli çözümler için dil algılama ile eşleştirilir.
Doğal dil işleme , metin öbeklerini analiz eder. Bu kategorideki beceriler Arasında Varlık Tanıma, Yaklaşım Algılama (fikir madenciliği dahil) ve Kişisel Olarak Tanımlanabilir Bilgi Algılama yer alır. Bu becerilerle yapılandırılmamış metinler, bir dizinde aranabilir ve filtrelenebilir alanlar olarak eşlenir.
Özel beceriler için kullanım örnekleri
Özel beceriler, sağladığınız dış kodu yürütür ve özel beceri web arabiriminde sarmalar. Azure-search-power-skills GitHub deposunda çeşitli özel beceriler örnekleri bulunabilir.
Özel beceriler her zaman karmaşık değildir. Örneğin, desen eşleştirme veya belge sınıflandırma modeli sağlayan mevcut bir paketiniz varsa, bunu özel bir beceri içinde sarmalayabilirsiniz.
Çıkışı depolama
Azure AI Search'te dizin oluşturucu, oluşturduğu çıkışı kaydeder. Tek bir dizin oluşturucu çalıştırması, zenginleştirilmiş ve dizinlenmiş çıkış içeren en fazla üç veri yapısı oluşturabilir.
| Veri deposu | Zorunlu | Konum | Açıklama |
|---|---|---|---|
| aranabilir dizin | Zorunlu | Arama hizmeti | Tam metin araması ve diğer sorgu formları için kullanılır. Dizin belirtmek dizin oluşturucu gereksinimidir. Dizin içeriği beceri çıkışlarından ve dizindeki alanlara doğrudan eşlenen kaynak alanlardan doldurulur. |
| bilgi deposu | İsteğe bağlı | Azure Depolama | Bilgi madenciliği veya veri bilimi gibi aşağı akış uygulamaları için kullanılır. Bilgi deposu bir beceri kümesi içinde tanımlanır. Tanımı, zenginleştirilmiş belgelerinizin Azure Depolama'da tablo veya nesne (dosya veya blob) olarak yansıtılıp yansıtılmayacağını belirler. |
| zenginleştirme önbelleği | İsteğe bağlı | Azure Depolama | Sonraki beceri kümesi yürütmelerinde yeniden kullanmak üzere zenginleştirmeleri önbelleğe almak için kullanılır. Önbellek içeri aktarılan, işlenmemiş içeriği (çatlak belgeler) depolar. Ayrıca beceri kümesi yürütmesi sırasında oluşturulan zenginleştirilmiş belgeleri de depolar. Görüntü analizi veya OCR kullanıyorsanız ve görüntü dosyalarını yeniden işlemenin zamanını ve masrafını önlemek istiyorsanız önbelleğe alma yararlı olur. |
Dizinler ve bilgi depoları birbirinden tamamen bağımsızdır. Dizin oluşturucu gereksinimlerini karşılamak için bir dizin eklemeniz gerekir ancak tek amacınız bir bilgi deposuysa, dizin dolduruldıktan sonra dizini yoksayabilirsiniz.
İçeriği keşfetme
Bir arama dizini veya bilgi deposu tanımlayıp yükledikten sonra, bu dizinin verilerini keşfedebilirsiniz.
Arama dizinini sorgulama
İşlem hattı tarafından oluşturulan zenginleştirilmiş içeriğe erişmek için sorgular çalıştırın. Dizin, Azure AI Search için oluşturabileceğiniz diğer dizinler gibidir: Özel çözümleyicilerle metin analizini tamamlayabilir, benzer arama sorguları çağırabilir, filtreler ekleyebilir veya arama ilgi düzeyini ayarlamak için puanlama profilleriyle denemeler yapabilirsiniz.
Bilgi deposunda veri araştırma araçlarını kullanma
Azure Depolama'da bilgi deposu şu formları varsayabilir: JSON belgelerinin blob kapsayıcısı, görüntü nesnelerinin blob kapsayıcısı veya Tablo Depolama'daki tablolar. İçeriğinize erişmek için Depolama Gezgini, Power BI veya Azure Depolama'ya bağlanan herhangi bir uygulamayı kullanabilirsiniz.
Blob kapsayıcısı zenginleştirilmiş belgeleri tamamen yakalar. Bu, başka işlemlere akış oluşturuyorsanız kullanışlıdır.
Zenginleştirilmiş belge dilimlerine ihtiyacınız varsa veya çıkışın belirli bölümlerini dahil etmek veya dışlamak istiyorsanız tablo kullanışlıdır. Power BI'da analiz için tablolar, Power BI'da veri keşfi ve görselleştirme için önerilen veri kaynağıdır.
Kullanılabilirlik ve fiyatlandırma
Zenginleştirme, Azure yapay zeka hizmetlerinin olduğu bölgelerde kullanılabilir. Bölgeler listesi sayfasında zenginleştirmenin kullanılabilirliğini de kontrol edebilirsiniz.
Faturalama, kullandıkça öde fiyatlandırma modelini izler. Beceri kümesinde çok bölgeli bir Azure AI hizmetleri anahtarı belirtildiğinde yerleşik becerileri kullanmanın maliyetleri geçirilir. Azure AI Search tarafından ölçülen görüntü ayıklama ile ilişkili maliyetler de vardır. Ancak metin ayıklama ve yardımcı program becerileri faturalandırılamaz. Daha fazla bilgi için bkz . Azure AI Search için ücretlendirme.
Denetim listesi: Tipik bir iş akışı
Zenginleştirme işlem hattı, beceri kümelerine sahip dizin oluşturuculardan oluşur. Dizin oluşturma sonrasında sonuçlarınızı doğrulamak için bir dizini sorgulayabilirsiniz.
Desteklenen bir veri kaynağındaki verilerin bir alt kümesiyle başlayın. Dizin oluşturucu ve beceri kümesi tasarımı yinelemeli bir süreçtir. Küçük bir temsili veri kümesiyle işler daha hızlı ilerler.
Verilerinize bir bağlantı belirten bir veri kaynağı oluşturun.
Beceri kümesi oluşturma. Projeniz küçük değilse bir Azure AI çoklu hizmet kaynağı eklemeniz gerekir. Bilgi deposu oluşturuyorsanız, bunu beceri kümesi içinde tanımlayın.
Arama dizinini tanımlayan bir dizin şeması oluşturun.
Yukarıdaki bileşenlerin tümünü bir araya getirmek için dizin oluşturucuyu oluşturun ve çalıştırın. Bu adım verileri alır, beceri kümesini çalıştırır ve dizini yükler.
Dizin oluşturucu, veri yolunu bir arama dizinine ayarlayan alan eşlemelerini ve çıkış alanı eşlemelerini de belirttiğiniz yerdir.
İsteğe bağlı olarak, dizin oluşturucu yapılandırmasında zenginleştirme önbelleğini etkinleştirin. Bu adım, daha sonra mevcut zenginleştirmeleri yeniden kullanmanıza olanak tanır.
Sonuçları değerlendirmek için sorgular çalıştırın veya beceri kümesi sorunlarıyla çalışmak için bir hata ayıklama oturumu başlatın.
Yukarıdaki adımlardan herhangi birini yinelemek için, dizin oluşturucuyu çalıştırmadan önce sıfırlayın. Ya da her çalıştırmadaki nesneleri silin ve yeniden oluşturun (ücretsiz katmanı kullanıyorsanız önerilir). Önbelleğe almayı etkinleştirdiyseniz dizin oluşturucu, kaynakta veriler değişmediyse ve işlem hattında yaptığınız düzenlemeler önbelleği geçersiz kılmazsa önbellekten çeker.