Çözüm fikirleri
Bu makalede bir çözüm fikri açıklanmaktadır. Bulut mimarınız bu mimarinin tipik bir uygulaması için ana bileşenleri görselleştirmeye yardımcı olmak için bu kılavuzu kullanabilir. İş yükünüzün özel gereksinimlerine uygun iyi tasarlanmış bir çözüm tasarlamak için bu makaleyi başlangıç noktası olarak kullanın.
Bu makalede, etki alanına özgü verileri yakalamak için görüntü işleme, doğal dil işleme ve özel becerilerin nasıl kullanılacağı açıklanmaktadır. Metin ve görüntü belgelerini zenginleştirmek için bu verileri kullanabilirsiniz. uygun içeriği büyük ölçekte tanımlamaya ve keşfetmeye yardımcı olmak için Azure AI Search'i yapay zeka zenginleştirmesiyle birleştirin. Bu çözüm, özgün karmaşık, yapılandırılmamış JFK Suikast Kayıtları (JFK Dosyaları) veri kümesinden anlam ayıklamak için yapay zeka zenginleştirmesini kullanır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
Aşağıdaki veri akışı önceki diyagrama karşılık gelir. Veri akışı, yapılandırılmamış JFK Files veri kümesinin yapılandırılmış ve dizinlenebilir veriler üretmek için yapay zeka Arama becerileri işlem hattından nasıl geçtiğini açıklar.
belgeler ve resimler gibi Azure Blob Depolama yapılandırılmamış veriler yapay zeka aramasına alınır.
Dizin oluşturma işlemini başlatmak için, belgeyi açma adımı verilerden görüntü ve metin ayıklar ve ardından içeriği zenginleştirir. Bu süreçteki zenginleştirme adımları, seçtiğiniz verilere ve beceri türüne bağlıdır.
Azure AI Vision ve Azure AI Dil API'lerini temel alan yerleşik beceriler , görüntü optik karakter tanıma (OCR), görüntü analizi, metin çevirisi, varlık tanıma ve tam metin arama gibi yapay zeka zenginleştirmeleri sağlar.
Özel beceriler , daha karmaşık yapay zeka modelleri veya hizmetleri gerektiren senaryoları destekler. Örnek olarak Azure AI Belge Zekası, Azure Machine Learning modelleri ve Azure İşlevleri verilebilir.
Zenginleştirme işlemi tamamlandıktan sonra, dizin oluşturucu zenginleştirilmiş ve dizine alınan belgeleri bir arama dizinine kaydeder. Tam metin araması ve diğer sorgu formları bu dizini kullanabilir.
Zenginleştirilmiş belgeler, bilgi madenciliği uygulamaları veya veri bilimi uygulamaları gibi aşağı akış uygulamalarının kullanabildiği bir bilgi deposuna da yansıtılabilir.
Sorgular, arama dizinindeki zenginleştirilmiş içeriğe erişer. Dizin özel çözümleyicileri, benzer arama sorgularını, filtreleri ve arama ilgi düzeyini ayarlamak için puanlama profilini destekler.
Blob Depolama'ya veya Azure Tablo Depolama'ya bağlanan uygulamalar bilgi deposuna erişebilir.
Bileşenler
Bu çözüm aşağıdaki Azure bileşenlerini kullanır.
AI Arama
AI Search içeriği dizine alır ve bu çözümdeki kullanıcı deneyimini destekler. Önceden oluşturulmuş yapay zeka becerilerini içeriğe uygulamak için Yapay Zeka Arama'yı kullanabilirsiniz. Ayrıca, özel zenginleştirme dönüşümleri sağlayan özel beceriler eklemek için genişletilebilirlik mekanizmasını kullanabilirsiniz.
Azure Yapay Zeka Vizyonu
Görüntü işleme, resimlerden metin bilgilerini ayıklamak ve tanımak için metin tanımayı kullanır. Okuma API'si en son OCR tanıma modellerini kullanır ve büyük, metin yoğunluklu belgeler ve gürültülü görüntüler için iyileştirilmiştir.
Eski OCR API'si büyük belgeler için iyileştirilmemiştir ancak daha fazla dili destekler. OCR sonuçlarının doğruluğu, taramanın kalitesine ve görüntüye bağlı olarak değişebilir. Bu çözüm, hOCR biçiminde veri üretmek için OCR kullanır.
Dil
Dil, yapılandırılmamış belgelerden metin bilgilerini ayıklamak için adlandırılmış varlık tanıma ve anahtar tümcecik ayıklama gibi metin analizi özelliklerini kullanır.
Azure Depolama
Blob Depolama , HTTPS aracılığıyla dünyanın her yerinden erişebileceğiniz veriler için REST tabanlı nesne depolama alanıdır. Blob Depolama'yı kullanarak verileri genel kullanıma açabilir veya uygulama verilerini özel olarak depolayabilirsiniz. Blob Depolama, metin veya grafik gibi büyük miktarda yapılandırılmamış veri için idealdir.
Tablo Depolama yüksek oranda kullanılabilir, ölçeklenebilir, yapılandırılmış ve yarı yapılandırılmış NoSQL verilerini bulutta depolar.
Azure İşlevleri
İşlevler , açıkça altyapı sağlamak veya yönetmek zorunda kalmadan olayla tetiklenen küçük kod parçalarını çalıştırmak için kullanabileceğiniz sunucusuz bir işlem hizmetidir. Bu çözüm, Merkezi Zeka Ajansı (CIA) kriptonyms listesini JFK Dosyalarına özel beceri olarak uygulamak için bir İşlevler yöntemi kullanır.
Azure App Service
Bu çözüm, dizini test etmek, göstermek ve aramak ve zenginleştirilmiş ve dizine alınan belgelerdeki bağlantıları keşfetmek için Azure Uygulaması Hizmeti'nde tek başına bir web uygulaması oluşturur.
Senaryo ayrıntıları
Büyük, yapılandırılmamış veri kümeleri, standart arama çözümlerinin ayrıştırılamayan yazılı ve el yazısı notlar, fotoğraflar, diyagramlar ve diğer yapılandırılmamış verileri içerebilir. JFK Dosyaları, 1963 JFK suikastı hakkında CIA soruşturması hakkında 34.000 sayfadan fazla belge içeriyor.
AI Search'te yapay zeka zenginleştirmesini kullanarak görüntülerden, bloblardan ve JFK Dosyaları gibi diğer yapılandırılmamış veri kaynaklarından aranabilir, dizine alınabilen metinleri ayıklayabilir ve geliştirebilirsiniz. Yapay zeka zenginleştirmesi, Azure AI hizmetleri Görüntü İşleme ve Dil API'lerinden önceden eğitilmiş makine öğrenmesi beceri kümelerini kullanır. Ayrıca, CIA kriptonym'leri gibi etki alanına özgü veriler için özel işleme eklemek için özel beceriler oluşturabilir ve ekleyebilirsiniz. AI Search daha sonra bu bağlamı dizinleyebilir ve arayabilir.
Bu çözümdeki Yapay Zeka Arama becerileri aşağıdaki gruplara sınıflandırılabilir:
Görüntü işleme: Bu çözüm, nesne ve yüz algılama, etiket ve resim yazısı oluşturma ile ünlü ve yer işareti belirleme dahil olmak üzere yerleşik metin ayıklama ve görüntü analizi becerilerini kullanır. Bu beceriler, AI Search'ün sorgu özelliklerini kullanarak arama yapabileceğiniz resim içeriğinin metin gösterimlerini oluşturur. Belgeyi çatlatma , metin olmayan kaynaklardan metin içeriği ayıklama veya oluşturma işlemidir.
Doğal dil işleme: Bu çözüm, yapılandırılmamış metni bir dizindeki aranabilir ve filtrelenebilir alanlarla eşleyen varlık tanıma, dil algılama ve anahtar tümcecik ayıklama gibi yerleşik becerileri kullanır.
Özel beceriler: Bu çözüm, içeriğe belirli zenginleştirme dönüştürmeleri uygulamak için yapay zeka aramasını genişleten özel beceriler kullanır. Özel bir becerinin arabirimini özel web API'sinin becerisi aracılığıyla belirtebilirsiniz.
Olası kullanım örnekleri
JFK Files örnek projesi ve çevrimiçi tanıtımı belirli bir yapay zeka araması kullanım örneğini sunar. Bu çözüm fikri, tüm senaryolar için bir çerçeve veya ölçeklenebilir mimari olarak tasarlanmamıştır. Bunun yerine, bu çözüm fikri genel bir kılavuz ve örnek sağlar. Kod projesi ve tanıtımı, ayıklanan görüntüler için genel bir web sitesi ve genel olarak okunabilir bir depolama kapsayıcısı oluşturur, bu nedenle bu çözümü nonpublic verilerle kullanmamalısınız.
Bu mimariyi aşağıdakiler için de kullanabilirsiniz:
Arama uygulamalarında ve veri bilimi uygulamalarında yapılandırılmamış metin ve görüntü içeriğinin değerini ve yardımcı programını artırın.
Açık kaynak kodu, Microsoft dışı kod veya Microsoft kodunu dizin oluşturma işlem hatlarıyla tümleştirmek için özel becerileri kullanın.
Taranan JPG, PNG veya bit eşlem belgelerinin tam metin aranabilir olmasını sağlayın.
Birleştirilmiş görüntü ve metin içeren PDF'ler için standart PDF metin ayıklamasından daha iyi sonuçlar elde edin. Taranan ve yerel PDF biçimlerinin bazıları Yapay Zeka Arama'da doğru ayrıştırılamayabilir.
Büyük, yapılandırılmamış belgelerde veya yarı yapılandırılmış belgelerde gizlenen doğal olarak anlamlı ham içerikten veya bağlamdan yeni bilgiler oluşturun.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunan tarafından yazılmıştır.
Asıl yazar:
- Carlos Alexandre Santos | Kıdemli Uzman Yapay Zeka Bulut Çözümü Mimarı
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
Bu çözüm hakkında daha fazla bilgi edinin:
- JFK Files projesi
- Video: JFK belgelerini anlamak için AI Search kullanma
- JFK Files çevrimiçi tanıtımı
Ürün belgelerini okuyun:
- Yapay Zeka Arama'da yapay zeka zenginleştirmesi
- Görüntü İşleme nedir?
- Dil nedir?
- OCR nedir?
- Dilde varlık tanıma olarak adlandırılan nedir?
- Blob Depolamaya Giriş
- İşlevlere Giriş
Öğrenme yolunu deneyin: