Azure'da belge sınıflandırmayı otomatikleştirme

Azure İşlevleri

Azure OpenAI Hizmeti

Azure Yapay Zeka Hizmetleri

Azure Yapay Zeka Arama

Azure Yapay Zeka Akıllı Belge

Bu makalede, çeşitli belgeleri işlemek için kullanabileceğiniz bir mimari açıklanmaktadır. Mimari, işlem hatlarını uygulamak için Azure İşlevleri dayanıklı işlevler özelliğini kullanır. İşlem hatları, belge bölme, adlandırılmış varlık tanıma (NER) ve sınıflandırma için Azure AI Belge Zekası aracılığıyla belgeleri işler. Belge içeriği ve meta veriler, alma artırılmış oluşturma (RAG) tabanlı doğal dil işleme (NLP) için kullanılır.

Mimari

Bu mimarinin bir Visio dosyasını indirin.

İş Akışı

Kullanıcı bir belge dosyasını bir web uygulamasına yükler. Dosya, PDF veya çok sayfalı Etiket Görüntüsü Dosya Biçimi (TIFF) dosyaları gibi çeşitli türlerde birden çok eklenmiş belge içerir. Belge dosyası Azure Blob Depolama (1a) içinde depolanır. İşlem hattı işlemeyi başlatmak için web uygulaması Azure Service Bus kuyruğuna (1b) bir komut iletisi ekler.
Komut iletisi dayanıklı işlevleri düzenlemeyi tetikler. İleti, işlenecek belge dosyasının Blob Depolama konumunu tanımlayan meta veriler içerir. Her dayanıklı işlev örneği yalnızca bir belge dosyasını işler.
Analiz etkinliği işlevi, işlenecek belge dosyasının depolama konumunu geçiren Belge Yönetim Bilgileri Belge Analizi API'sini çağırır. Çözümle işlevi, belge dosyasındaki her belgeyi okur ve tanımlar. Bu işlev, eklenen her belgenin adını, türünü, sayfa aralıklarını ve içeriğini düzenlemeye döndürür.
Meta veri deposu etkinlik işlevi, bir Azure Cosmos DB deposundaki her belge için belge türü, konum ve sayfa aralığı bilgilerini kaydeder.
ekleme etkinlik işlevi, her belgeyi öbekleyip her öbek için eklemeler oluşturmak için Anlam Çekirdeği kullanır. Eklemeler ve ilişkili içerik Azure AI Search'e gönderilir ve vektör etkinleştirilmiş bir dizinde depolanır. Arama sonuçlarının Azure Cosmos DB'den ilgili belge meta verileriyle eşleştirilmesi için arama belgesine bir bağıntı kimliği de eklenir.
Anlam Çekirdeği, NLP için yapay zeka arama vektör deposundan eklemeleri alır.
Kullanıcılar NLP kullanarak verileriyle sohbet edebilir. Bu konuşma, vektör deposundan alınan topraklanmış veriler tarafından desteklenir. Kullanıcılar, Azure Cosmos DB'deki belge kayıtlarını aramak için arama sonucu kümesine dahil edilen bağıntı kimliklerini kullanır. Kayıtlar, Blob Depolama'daki özgün belge dosyasının bağlantılarını içerir.

Bileşenler

Dayanıklı işlevler, sunucusuz işlem ortamında durum bilgisi olan işlevleri yazmak için kullanabileceğiniz bir Azure İşlevleri özelliğidir. Bu mimaride, Service Bus kuyruğundaki bir ileti dayanıklı bir işlev örneğini tetikler. Bu örnek daha sonra belge işleme işlem hattını başlatır ve düzenler.
Azure Cosmos DB , çözümlerinizde aktarım hızını ve depolama kapasitesini istediğiniz sayıda coğrafi bölgede ölçeklendirmek için kullanabileceğiniz genel olarak dağıtılmış, çok modelli bir veritabanıdır. Kapsamlı hizmet düzeyi sözleşmeleri (SLA) aktarım hızını, gecikme süresini, kullanılabilirliği ve tutarlılığı garanti eder. Bu mimaride, belge sınıflandırma bilgileri için meta veri deposu olarak Azure Cosmos DB kullanılır.
Azure Depolama , veriler, uygulamalar ve iş yükleri için yüksek düzeyde ölçeklenebilir ve güvenli bulut hizmetleri kümesidir. Blob Depolama, Azure Dosyalar, Azure Tablo Depolama ve Azure Kuyruk Depolama içerir. Bu mimari, kullanıcının karşıya yüklediği ve dayanıklı işlevler işlem hattının işlediği belge dosyalarını depolamak için Blob Depolama'yı kullanır.
Service Bus , ileti kuyrukları ve yayımlama-abone olma konularına sahip tam olarak yönetilen bir kurumsal ileti aracısıdır. Bu mimaride dayanıklı işlev örneklerini tetikleme amacıyla Service Bus kullanılır.
Azure Uygulaması Hizmeti, web uygulamaları oluşturmak, dağıtmak ve ölçeklendirmek için bir çerçeve sağlar. App Service'in Web Apps özelliği, web uygulamalarını, REST API'leri ve mobil arka uçları barındırmak için kullanabileceğiniz HTTP tabanlı bir araçtır. .NET, .NET Core, Java, Ruby, Node.js, PHP veya Python'da geliştirmek için Web Apps'i kullanın. Uygulamalar Windows tabanlı ve Linux tabanlı ortamlarda kolayca çalıştırılabilir ve ölçeklendirilebilir. Bu mimaride kullanıcılar, App Service tarafından barındırılan bir web uygulaması aracılığıyla belge işleme sistemiyle etkileşim kurar.
Belge Zekası , belgelerinizden, formlarınızdan ve resimlerinizden içgörü ayıklamak için kullanabileceğiniz bir hizmettir. Bu mimari, belge dosyalarını analiz etmek ve ekli belgeleri içerik ve meta veri bilgileriyle birlikte ayıklamak için Belge Zekası'nı kullanır.
AI Search , web, mobil ve kurumsal uygulamalarda özel, çeşitli içerikler için zengin bir arama deneyimi sağlar. Bu mimari, kullanıcıların NLP kullanarak belge arayıp alabilmesi için ayıklanan belge içeriğinin ve meta veri bilgilerinin eklemelerini dizine almak için AI Search vektör depolama alanını kullanır.
Anlam Çekirdeği, büyük dil modellerini (LLM) uygulamalarınızla tümleştirmek için kullanabileceğiniz bir çerçevedir. Bu mimaride, AI Search'te depolanan belge içeriği ve meta veri bilgileri için eklemeler oluşturmak için Anlam Çekirdeği kullanılır.
Azure OpenAI Service, OpenAI'nin güçlü modellerine erişim sağlar. Bu mimari, kullanıcıların belge işleme sistemiyle etkileşim kurması için doğal bir dil arabirimi sağlamak üzere Azure OpenAI kullanır.

Alternatifler

Genel dağıtımı kolaylaştırmak için bu çözüm meta verileri Azure Cosmos DB'de depolar. Azure SQL Veritabanı, belge meta verileri ve bilgileri için başka bir kalıcı depolama seçeneğidir.
Dayanıklı işlev örneklerini tetikleme amacıyla azure event grid dahil olmak üzere diğer mesajlaşma platformlarını kullanabilirsiniz.
Anlam Çekirdeği, ekleme oluşturmaya yönelik çeşitli seçeneklerden biridir. Eklemeler oluşturmak için Azure Machine Learning veya Azure AI hizmetlerini de kullanabilirsiniz.
Kullanıcılara doğal dil arabirimi sağlamak için Azure AI Foundry içindeki diğer dil modellerini kullanabilirsiniz. Platform, Mistral, Meta, Cohere ve Hugging Face gibi farklı sağlayıcılardan çeşitli modelleri destekler.

Senaryo ayrıntıları

Bu mimaride işlem hatları belge dosyasındaki belgeleri tanımlar, türe göre sınıflandırır ve sonraki işlemlerde kullanılacak bilgileri depolar.

Birçok şirketin toplu olarak taradıkları ve PDF'ler veya çok sayfalı TIFF görüntüleri gibi çeşitli belge türleri içeren belgeleri yönetmesi ve işlemesi gerekir. Bu belgeler kuruluş dışından kaynaklanıyor olabilir ve alan şirket biçimi denetlemez.

Bu kısıtlamalar nedeniyle kuruluşların özel teknoloji ve el ile işlemler içerebilen kendi belge ayrıştırma çözümlerini oluşturması gerekir. Örneğin, birisi tek tek belge türlerini el ile ayırabilir ve her belge için sınıflandırma niteleyicileri ekleyebilir.

Bu özel çözümlerin çoğu durum makinesi iş akışı desenini temel alır. Çözümler, iş akışı durumunu kalıcı hale getirmek için veritabanı sistemlerini kullanır ve işlemesi gereken durumları denetleen yoklama hizmetlerini kullanır. Bu çözümlerin korunması ve geliştirilmesi karmaşıklığı ve çabayı artırabilir.

Kuruluşların, kuruluşlarının belge türleri için belge tanımlama ve sınıflandırmayı işlemek ve yönetmek için güvenilir, ölçeklenebilir ve dayanıklı çözümlere ihtiyacı vardır. Bu çözüm her gün milyonlarca belgeyi işleyebilir ve işlem hattının başarısını veya başarısızlığını tam olarak gözlemleyebilir.

NLP, kullanıcıların sistemle konuşma biçiminde etkileşim kurmasına olanak tanır. Kullanıcılar belgeler hakkında sorular sorabilir ve belgelerin içeriğine göre yanıtlar alabilir.

Olası kullanım örnekleri

Aşağıdakiler için bu çözümü kullanabilirsiniz:

Rapor başlıkları. Birçok devlet kurumu ve belediye, dijital formu olmayan kağıt kayıtlarını yönetir. Etkili bir otomatik çözüm, belge isteğini karşılamak için ihtiyacınız olan tüm belgeleri içeren bir dosya oluşturabilir.
Bakım kayıtlarını yönetme. Uçak, lokomotif ve makine bakım kayıtları gibi kağıt kayıtlarını taramanız ve dış kuruluşlara göndermeniz gerekebilir.
İşlem izinleri. İzin veren şehir ve ilçe departmanları, izin denetimi raporlaması için oluşturdukları kağıt belgeleri tutar. Çeşitli inceleme belgelerinin resmini çekebilir ve bu kayıtları otomatik olarak tanımlayabilir, sınıflandırabilir ve bu kayıtlarda arama yapabilirsiniz.
Planogramları analiz etme. Perakende ve tüketici ürünleri şirketleri stok ve uyumluluğu mağaza raf planogramı analizi aracılığıyla yönetir. Ürün bilgilerini otomatik olarak tanımlamak, sınıflandırmak ve ölçmek için mağaza rafının resmini çekebilir ve çeşitli ürünlerden etiket bilgilerini ayıklayabilirsiniz.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz. Well-Architected Framework.

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesine yardımcı olur. Daha fazla bilgi için bkz . Güvenilirlik için tasarım gözden geçirme denetim listesi.

Güvenilir bir iş yükü hem dayanıklılığa hem de kullanılabilirliğe sahiptir. Dayanıklılık, sistemin hatalardan kurtularak çalışmaya devam edebilme özelliğidir. Dayanıklılığın hedefi, bir hatanın ardından uygulamayı tam çalışır duruma geri döndürmektir. Kullanılabilirlik, kullanıcılarınızın gerektiğinde iş yükünüzle erişip erişemeyeceğini ölçer.

Azure OpenAI uç noktalarının güvenilirliğini ve kullanılabilirliğini sağlamak için birden çok Azure OpenAI dağıtımı veya örneği için üretken bir API ağ geçidi kullanmayı göz önünde bulundurun. Arka uç yük dengeleyici hepsini bir kez deneme, ağırlıklı ve öncelik tabanlı yük dengelemeyi destekler. Bu özellik, özel gereksinimlerinizi karşılayan bir Azure OpenAI yük dağıtım stratejisi tanımlama esnekliği sağlar.

Çözüm bileşenlerindeki güvenilirlik hakkında daha fazla bilgi için bkz. Azure çevrimiçi hizmetleri için SLA bilgileri.

Maliyet İyileştirmesi

Maliyet İyileştirme, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarına odaklanır. Daha fazla bilgi için bkz . Maliyet İyileştirme için tasarım gözden geçirme denetim listesi.

Bu mimari için en önemli maliyetler, AI Search'teki Azure OpenAI model belirteci kullanımı, Belge Zekası görüntü işleme ve dizin kapasitesi gereksinimleridir.

Maliyetleri iyileştirmek için:

Belirteç tabanlı tüketim yerine öngörülebilir yapay zeka maliyet tasarrufu için sağlanan aktarım hızı birimlerini (PTU) ve hizmet rezervasyonlarını kullanın.
AI Search'te bölgesel dağıtımları ve operasyonel ölçek artırma zamanlamasını planlayın.
Öngörülebilir maliyetleri yönetmek için Belge Zekası için taahhüt katmanı fiyatlandırmasını kullanın.
Depolama hesaplarının haklarını belirlemek için ayrılmış kapasite ve yaşam döngüsü ilkelerini kullanın.
Başlangıçta büyük ölçekli kaynaklara yatırım yapmak yerine mimariniz için kullandıkça öde stratejisini kullanın ve gerektiğinde ölçeği genişletin . Çözümünüz büyüdükçe, uygun olduğunda maliyetleri azaltmaya yardımcı olmak için App Service rezervasyonlarını kullanabilirsiniz.
Mimarinizdeki fırsat maliyetlerini göz önünde bulundurun ve ilk taşıyıcı avantaj stratejisini hızlı izleme stratejisiyle dengeleyin. İlk maliyeti ve operasyonel maliyetleri tahmin etmek için fiyatlandırma hesaplayıcısını kullanın.
Çözümünüz için maliyet sınırları ayarlayan bütçeler ve denetimler oluşturun. Tahmin ve gerçek maliyet uyarılarını ayarlamak için bütçe uyarılarını kullanın.

Performans Verimliliği

Performans Verimliliği, iş yükünüzün kullanıcı taleplerini verimli bir şekilde karşılayacak şekilde ölçeklendirebilmesini ifade eder. Daha fazla bilgi için bkz . Performans Verimliliği için tasarım gözden geçirme denetim listesi.

Bu çözüm, yüksek hacimli verileri işlerken performans sorunlarını ortaya çıkarabilir. Çözümünüzde uygun performans verimliliği sağlamak için Azure İşlevleri ölçeklendirme seçeneklerini, yapay zeka hizmetlerini otomatik ölçeklendirmeyi ve Azure Cosmos DB bölümlemesini anladığınızdan ve planladığınızdan emin olun.

Azure OpenAI PTU'ları , genel dağıtımlarla birlikte garantili performans ve kullanılabilirlik sağlar. Bu dağıtımlar, müşteri trafiğini müşterinin çıkarım istekleri için en iyi kullanılabilirliğe sahip veri merkezine dinamik olarak yönlendirmek için Azure genel altyapısını kullanır.

Katkıda Bulunanlar

Microsoft bu makaleyi korur. Bu makaleyi aşağıdaki katkıda bulunanlar yazdı.

Asıl yazar:

Kevin Kraus | Baş Azure Teknik Uzmanı

Diğer katkıda bulunanlar:

Brian Swiger | Baş Azure Teknik Uzmanı

Nonpublic LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar

Giriş makaleleri:

Ürün belgeleri:

Aracılığıyla paylaş