Azure'da özel belge işleme modelleri

Bu makalede özel belge işleme modellerini oluşturmaya, eğitip dağıtmaya ve kullanmaya yönelik Azure çözümleri açıklanmaktadır. Bu Azure hizmetleri, metin işleme için etiketleme veya etiketleme yapmak için kullanıcı arabirimi (UI) özellikleri de sunar.

Mimari

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

1. Azure Logic Apps, Azure Data Factory gibi düzenleyiciler veya Azure İşlevleri e-posta sunucularından iletileri ve ekleri ve FTP sunucularından veya web uygulamalarından dosyaları alır.

   • Azure İşlevleri ve Logic Apps sunucusuz iş yüklerini etkinleştirir. Seçtiğiniz hizmet geliştirme, bağlayıcılar, yönetim ve yürütme bağlamı gibi hizmet özelliklerine yönelik tercihinize bağlıdır. Daha fazla bilgi için bkz. Azure İşlevleri ve Azure Logic Apps'i karşılaştırma.

   • Toplu veri taşıma için Azure Data Factory kullanmayı göz önünde bulundurun.

2. Düzenleyiciler alınan verileri Azure Blob Depolama veya Data Lake Storage'a gönderir ve verileri dosya uzantıları veya müşteriler gibi özelliklere göre veri depoları arasında düzenler.

3. Belge Intelligence Studio, Language Studio veya Azure Machine Learning stüdyosu metin verilerini etiketleyip etiketleyip özel modeller oluşturun. Bu üç hizmeti bağımsız olarak veya farklı kullanım örneklerini ele almak için çeşitli birleşimlerde kullanabilirsiniz.

   • Belge anahtar-değer çiftlerinin ayıklanması veya görüntü biçiminden veya PDF'den özel tablo oluşturulmasını gerektiriyorsa, verileri etiketlemek ve özel modeli eğitmek için Document Intelligence Studio'yu kullanın. Benzer şekilde, doğru ayıklama modelini çağırmadan önce belge türünü tanımlama gereksinimi varsa belgeleri etiketlemek için Document Intelligent Studio'yu kullanın.

   • İçeriği temel alan belge sınıflandırması veya etki alanına özgü varlık ayıklama için, Language Studio'da özel bir metin sınıflandırması veya Adlandırılmış Varlık Tanıma (NER) modeli eğitebilirsiniz.

   • Azure Machine Learning (AML) studio, PyTorch veya TensorFlow gibi açık kaynak çerçevelerle metin sınıflandırması veya varlık ayıklama için etiketleme de yapabilir. AML studio ayrıca metin sınıflandırması, soru yanıtlama, özetleme vb. gibi vaious görevler için ince ayar özelliklerine sahip Temel Model modellerinin Model Kataloğu'nu da sunar. aml studio kullanıcı arabirimi kullanılarak veya kod aracılığıyla ince ayarlama elde edilebilir.

4. Özel modelleri dağıtmak ve çıkarım için kullanmak için:

   • Azure AI Belge Zekası Hizmeti yerleşik model dağıtımına sahiptir. Çıkarım için özel modeller uygulamak için Form Tanıma SDK'ları veya REST API'yi kullanın. API sürümüne bağlı olarak, Model Kimliğini veya özel model adını Belge Yönetim Bilgileri isteği URL'sine ekleyin. Belge Yönetim Bilgileri başka dağıtım adımı gerektirmez.

   • Language Studio, özel dil modellerini dağıtma seçeneği sunar. Dağıtılacak modeli seçerek REST uç nokta tahmin URL'sini alın. REST uç noktasını veya Azure SDK istemci kitaplıklarını kullanarak model çıkarımını yapabilirsiniz.

   • Azure Machine Learning, özel modelleri çevrimiçi olarak dağıtabilir veya Azure Machine Learning yönetilen uç noktalarına toplu olarak dağıtabilir. Azure Machine Learning SDK'sını kullanarak Azure Kubernetes Service'e (AKS) web hizmeti olarak da dağıtabilirsiniz. Model kataloğundaki ince zekalı temel modeller çıkarım için uç noktalara dağıtılabilir.

Bileşenler

• Logic Apps, Azure Integration Services'ın bir parçasıdır. Logic Apps uygulamaları, verileri, hizmetleri ve sistemleri tümleştiren otomatik iş akışları oluşturur. Azure Depolama ve Microsoft 365 gibi hizmetler için yönetilen bağlayıcılarla, depolama hesabına bir dosya geldiğinde veya e-posta alındığında iş akışlarını tetikleyebilirsiniz.

• Data Factory , veri tümleştirme ve dönüştürme için yönetilen bir bulut ayıklama, dönüştürme, yükleme (ETL) hizmetidir. Data Factory, bir REST uç noktasını çağırmayı veya alınan verilerde not defterini çalıştırmayı içeren bir işlem hattına dönüştürme etkinlikleri ekleyebilir.

• Azure İşlevleri, kısa süreli işlemlere sahip olay odaklı iş yüklerini barındırabilen sunucusuz bir işlem hizmetidir.

• Blob Depolama , bu senaryoda ham dosyalar için nesne depolama çözümüdür. Blob Depolama .NET, Node.js ve Python gibi birden çok dil için kitaplıkları destekler. Uygulamalar Blob Depolama'da dosyalara HTTP/HTTPS aracılığıyla erişebilir. Blob Depolama, büyük miktarda veriyi depolamaya yönelik maliyet iyileştirmesini desteklemek için sık erişimli, seyrek erişimli ve arşiv erişim katmanlarına sahiptir.

• Data Lake Storage, büyük veri analizi için Azure Blob Depolama üzerine oluşturulmuş bir özellik kümesidir. Data Lake Storage, Blob Depolama'nın maliyet verimliliğini korur ve hiyerarşik ad alanına sahip dosya düzeyi güvenlik ve dosya sistemi semantiği gibi özellikler sağlar.

• Azure Uygulaması yapay zeka hizmetlerinin bir parçası olan Azure AI Belge Zekası, yazdırılan ve el yazısı metinleri, tabloları ve anahtar-değer çiftlerini ayıklamak için yerleşik belge analizi özelliklerine sahiptir. Belge Yönetim Bilgileri faturalardan, belgelerden, makbuzlardan, kimlik kartlarından ve kartvizitlerden veri ayıklamak için önceden oluşturulmuş modeller içerir. Belge Zekası ayrıca özel bir şablon form modeli veya özel bir sinir belgesi modeli kullanarak özel modelleri eğitebilir ve dağıtabilir.

Document Intelligence Studio , Belge Zekası özelliklerini ve modellerini keşfetmek ve özel modeller oluşturmak, etiketlemek, eğitmek ve dağıtmak için bir kullanıcı arabirimi sağlar.

• Dil için Azure Bilişsel Hizmet, Azure doğal dil işleme hizmetlerini birleştirir. Paket önceden oluşturulmuş ve özelleştirilebilir seçenekler sunar. Daha fazla bilgi için bkz. Azure AI Dili kullanılabilir özellikleri.

  Language Studio , Azure Yapay Zeka Dili özelliklerini keşfetmek ve analiz etmek için bir kullanıcı arabirimi sağlar. Language Studio ayrıca özel modeller oluşturmak, etiketlemek, eğitmek ve dağıtmak için seçenekler sağlar.

• Azure Machine Learning , makine öğrenmesi modeli geliştirme ve dağıtımlarını büyük ölçekte yönetmeye yönelik açık bir platformdur.

  • Azure Machine Learning stüdyosu görüntüler ve metinler için veri etiketleme seçenekleri sağlar.
  • Etiketlenmiş verileri COCO veya Azure Machine Learning veri kümeleri olarak dışarı aktarın. Azure Machine Learning not defterlerinde modelleri eğitip dağıtmak için veri kümelerini kullanabilirsiniz.
  • Modelleri büyük ölçekte gerçek zamanlı çıkarım için bir web hizmeti olarak veya hem gerçek zamanlı hem de toplu çıkarım için yönetilen uç noktalar olarak AKS'ye dağıtın.

Alternatifler

Belirli kullanım örneklerine göre bu senaryoya daha fazla iş akışı ekleyebilirsiniz.

• Belge görüntü veya PDF biçimindeyse Azure Görüntü İşleme, okuma API'si Form Tanıma veya açık kaynak kitaplıkları kullanarak verileri ayıklayabilirsiniz.

• Azure AI Dili'nde önceden oluşturulmuş modeli kullanarak belge ve konuşma özetlemesi yapabilirsiniz.

• Belge işleme gereksinimlerine göre ayıklanan verilerde temizleme, sözcükleri kaldırmayı durdurma, lemmatizasyon, kök oluşturma ve metin özetlemesi gibi metin işleme adımlarını gerçekleştirmek için ön işleme kodunu kullanın. Kodu otomasyon için REST API'leri olarak kullanıma sunun. Bu adımları el ile uygulayın veya Logic Apps veya Azure İşlevleri alma işlemiyle tümleştirerek otomatikleştirin.

• Azure AI Studio, temel modellerin ince ayarlanması ve dağıtılması için bir diğer seçenektir.

Senaryo ayrıntıları

Belge işleme geniş bir alandır. Azure AI Belge Zekası ve Azure AI Dili'nde bulunan önceden oluşturulmuş modellerle tüm belge işleme gereksinimlerinizi karşılamak zor olabilir. Farklı uygulamalar ve etki alanları için belge işlemeyi otomatikleştirmek için özel modeller oluşturmanız gerekebilir.

Model özelleştirmesindeki başlıca zorluklar şunlardır:

• Metin ayıklama için sınıflandırmak için metin verilerini ilgili anahtar-değer çifti varlıklarıyla etiketleme veya etiketleme.
• Kullanım uygulamalarıyla kolay tümleştirme için modelleri uygun ölçekte güvenli bir şekilde dağıtma.

Olası kullanım örnekleri

Aşağıdaki kullanım örnekleri, belge işleme için özel modellerden yararlanabilir:

• Açık kaynak çerçeveleri temel alarak özel NER ve metin sınıflandırma modelleri oluşturun.
• Sigorta ve sağlık hizmetleri gibi çeşitli sektör dikeyleri için belgelerden özel anahtar-değerleri ayıklayın.
• Güvenlik veya finans gibi etki alanları için önceden oluşturulmuş NER modellerinin ötesinde belirli etki alanına bağımlı varlıkları etiketleyin ve ayıklayın.
• Belgelerden özel tablolar oluşturun.
• İmzaları ayıklayın.
• E-postaları veya diğer belgeleri içeriğe göre etiketleyip sınıflandırabilirsiniz.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Bu örnek iş yükü için her bir sütunun uygulanması, her bir bileşen Azure hizmetini en iyi şekilde yapılandırmaya ve kullanmaya bağlıdır.

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.

Kullanılabilirlik

• Her bileşen Azure hizmeti için kullanılabilirlik hizmet düzeyi sözleşmelerine (SLA' lar) bakın:

  • Azure AI Belge Zekası - Azure Uygulaması yapay zeka hizmetleri için SLA.
  • Azure Yapay Zeka Dili - Azure Bilişsel Hizmetler için SLA.
  • Azure İşlevleri - Azure İşlevleri için SLA.
  • Azure Kubernetes Service (AKS) - Azure Kubernetes Service (AKS) için SLA.
  • Azure Depolama - Depolama Hesapları için SLA.

• Azure Depolama hesaplarıyla yüksek kullanılabilirlik uygulamaları tasarlamaya yönelik yapılandırma seçenekleri için bkz . Yüksek oranda kullanılabilir uygulamalar tasarlamak için coğrafi yedekliliği kullanma.

Dayanıklılık

• Bu senaryoda işlem hizmetlerinin ve veri depolarının dayanıklılığını sağlamak için Azure İşlevleri ve Azure Depolama gibi tek tek hizmetlerin hata modlarını işleyebilirsiniz. Daha fazla bilgi için bkz . Belirli Azure hizmetleri için dayanıklılık denetim listesi.

• Belge Yönetim Bilgileri için Form Tanıma modellerinizi yedekleyin ve kurtarın.

• Azure AI Dili ile özel metin sınıflandırması için özel metin sınıflandırma modellerinizi yedekleyin ve kurtarın.

• Azure AI Dili'ndeki özel NER için özel NER modellerinizi yedekleyin ve kurtarın.

• Azure Machine Learning, Blob Depolama, işlem hizmetleri ve Azure Kubernetes Service (AKS) gibi bağlı hizmetlere bağlıdır. Azure Machine Learning'e dayanıklılık sağlamak için bu hizmetlerin her birini dayanıklı olacak şekilde yapılandırın. Daha fazla bilgi için bkz . İş sürekliliği ve olağanüstü durum kurtarma için yük devretme.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.

• Blob Depolama, Belge Zekası ve Language Studio için Bilişsel Hizmetler ve Azure Machine Learning için veri koruma, kimlik ve erişim yönetimi ile ağ güvenliği önerileri uygulayın.

• Azure İşlevleri, sanal ağ tümleştirmesi aracılığıyla sanal ağdaki kaynaklara erişebilir.

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

Bu çözümü uygulamanın toplam maliyeti, seçtiğiniz hizmetlerin fiyatlarına bağlıdır.

Bu çözümün başlıca maliyetleri şunlardır:

• Azure Machine Learning eğitiminde ve model dağıtımında yer alan işlem maliyeti. Maliyetleri iyileştirmeye yardımcı olmak için doğru düğüm türünü, küme boyutunu ve düğüm sayısını seçin. Eğitim için Azure Machine Learning, işlem kümesinin en düşük düğümlerini sıfır olarak ayarlama ve ölçeği azaltmadan önce boşta kalma süresini ayarlama seçenekleri sağlar. Daha fazla bilgi için bkz . Azure Machine Learning maliyetlerini yönetme ve iyileştirme.

• Veri düzenleme süresi ve etkinlikleri. Azure Data Factory için, Azure tümleştirme çalışma zamanındaki kopyalama etkinliklerinin ücretleri, kullanılan Veri Entegrasyonu Birimi (DIU) sayısına ve yürütme süresine bağlıdır. Eklenen düzenleme etkinliği çalıştırmaları da sayısına göre ücretlendirilir.

  Logic Apps fiyatlandırma planları, oluşturduğunuz ve kullandığınız kaynaklara bağlıdır. Aşağıdaki makaleler, belirli kullanım örnekleri için doğru planı seçmenize yardımcı olabilir:

  • Genellikle Azure Logic Apps ile tahakkuk eden maliyetler
  • Azure Logic Apps için tek kiracılı ile çok kiracılı ve tümleştirme hizmeti ortamı karşılaştırması
  • Azure Logic Apps için kullanım ölçümü, faturalama ve fiyatlandırma modellerine

Belirli bileşenlerin fiyatlandırması hakkında daha fazla bilgi için aşağıdaki kaynaklara bakın:

• Azure AI Belge Zekası fiyatlandırması
• Azure İşlevleri fiyatlandırması
• Logic Apps Fiyatlandırması
• Azure Data Factory fiyatlandırması
• Azure Blob Depolama fiyatlandırması
• Dil Hizmeti fiyatlandırması
• Azure Machine Learning fiyatlandırması

Seçtiğiniz bileşen seçeneklerini eklemek ve genel çözüm maliyetini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.

Performans verimliliği

Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.

Ölçeklenebilirlik

• Azure İşlevleri otomatik olarak veya el ile ölçeklendirmek için doğru barındırma planını seçin.

• Belge Zekası varsayılan olarak saniyede 15 eşzamanlı isteği destekler. Kotanın artırılmasını istemek için bir Azure desteği bileti oluşturun.

• AKS'de web hizmetleri olarak barındırılan azureml-fe Azure Machine Learning özel modelleri için ön uç gerektiğinde otomatik olarak ölçeklendirilir. Bu bileşen ayrıca gelen çıkarım isteklerini dağıtılan hizmetlere yönlendirir.

• Yönetilen uç nokta olarak dağıtımlar için Azure İzleyici otomatik ölçeklendirme özelliğiyle tümleştirerek otomatik ölçeklendirmeyi destekleyin.

• Çıkarım için özel NER ve özel metin sınıflandırması üzerindeki API hizmeti sınırları dakikada 20 GET veya POST isteğidir.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunan tarafından yazılmıştır.

Asıl yazar:

• Jyotsna Ravi | Müşteri Mühendisi

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar

• Başlarken: Form Tanıma Studio
• SDK'lar veya REST API aracılığıyla Belge Zekası Modellerini kullanma
• Hızlı Başlangıç: Language Studio'yu kullanmaya başlama
• Optik karakter tanıma (OCR) nedir?
• Sanal ağ ile Azure İşlevleri yapılandırma

İlgili kaynaklar

• Power Automate ve AI Builder kullanarak nesnelerden metin ayıklama
• Derin öğrenme kullanarak NLP ile içerik etiketleri önerin
• AI Belge Zekası kullanarak belge işlemeyi otomatikleştirme