Özel sınıflandırma modeli oluşturma ve eğitma
Bu içerik şunlar için geçerlidir:
v4.0 (önizleme) | Önceki sürümler:
v3.1 (GA)v3.0 (GA)
Önemli
Özel sınıflandırma modeli şu anda genel önizleme aşamasındadır. Genel Kullanılabilirlik (GA) öncesinde kullanıcı geri bildirimlerine göre özellikler, yaklaşımlar ve süreçler değişebilir.
Özel sınıflandırma modelleri, içindeki belgeleri tanımlamak için giriş dosyasındaki her sayfayı sınıflandırabilir. Sınıflandırıcı modelleri, giriş dosyasındaki tek bir belgenin birden çok belgesini veya birden çok örneğini de tanımlayabilir. Belge Yönetim Bilgileri özel modellerinin başlatılması için belge sınıfı başına en az beş eğitim belgesi gerekir. Özel sınıflandırma modelini eğitmeye başlamak için her sınıf için en az beş belgeye ve iki belge sınıfına ihtiyacınız vardır.
Özel sınıflandırma modeli giriş gereksinimleri
Eğitim veri kümenizin Belge Yönetim Bilgileri için giriş gereksinimlerini karşıladığından emin olun.
En iyi sonuçları elde için belge başına tek bir net fotoğraf veya yüksek kaliteli tarama sağlayın.
Desteklenen dosya biçimleri:
Model PDF Resim:
JPEG/JPG, PNG, BMP, TIFF, HEIFMicrosoft Office:
Word (DOCX), Excel (XLSX), PowerPoint (PPTX) ve HTMLOkundu ✔ ✔ ✔ Düzen ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview) Genel Belge ✔ ✔ Önceden oluşturulmuş ✔ ✔ Özel ayıklama ✔ ✔ Özel sınıflandırma ✔ ✔ ✔ (2024-02-29-preview) PDF ve TIFF için en fazla 2000 sayfa işlenebilir (ücretsiz katman aboneliğiyle yalnızca ilk iki sayfa işlenir).
Belgeleri analiz etmek için dosya boyutu ücretli (S0) katman için 500 MB ve ücretsiz (F0) katmanı için 4 MB'tır.
Görüntü boyutları 50 x 50 piksel ile 10.000 piksel x 10.000 piksel arasında olmalıdır.
PDF’leriniz parola korumalıysa göndermeden önce kilidi kaldırmanız gerekir.
Ayıklanacak metnin en düşük yüksekliği 1024 x 768 piksel görüntü için 12 pikseldir. Bu boyut, inç başına 150 nokta (DPI) olan yaklaşık
8noktalı metne karşılık gelir.Özel model eğitimi için eğitim verileri için en fazla sayfa sayısı özel şablon modeli için 500, özel sinir modeli için 50.000'dir.
Özel ayıklama modeli eğitimi için eğitim verilerinin toplam boyutu şablon modeli için 50 MB ve sinir modeli için 1G-MB'tır.
Özel sınıflandırma modeli eğitimi için eğitim verilerinin toplam boyutu en fazla 10.000 sayfadır
1GB.
Eğitim verileri ipuçları
Veri kümenizi eğitim için daha iyi hale getirmek üzere şu ipuçlarını izleyin:
Mümkünse, görüntü tabanlı belgeler yerine metin tabanlı PDF belgeleri kullanın. Taranan PDF'ler görüntü olarak işlenir.
Form görüntüleriniz daha düşük kalitedeyse daha büyük bir veri kümesi (örneğin 10-15 görüntü) kullanın.
Eğitim verilerinizi karşıya yükleme
Eğitim için form veya belge kümesini bir araya getirdiğinizde, bunu bir Azure blob depolama kapsayıcısına yüklemeniz gerekir. Kapsayıcıyla Azure depolama hesabı oluşturmayı bilmiyorsanız Azure portalı için Azure Depolama hızlı başlangıcını izleyin. Ücretsiz fiyatlandırma katmanını (F0) kullanarak hizmeti deneyebilir ve daha sonra üretim için ücretli bir katmana yükseltebilirsiniz. Veri kümeniz klasör olarak düzenlenmişse, Studio etiketleme işlemini basitleştirmek için klasör adlarınızı etiketler için kullanabileceğinden bu yapıyı koruyun.
Document Intelligence Studio'da sınıflandırma projesi oluşturma
Document Intelligence Studio, veri kümenizi tamamlamak ve modelinizi eğitmek için gereken tüm API çağrılarını sağlar ve düzenler.
Başlangıç olarak Document Intelligence Studio'ya geçin. Studio'yu ilk kez kullandığınızda aboneliğinizi, kaynak grubunuzu ve kaynağınızı başlatmanız gerekir. Ardından, özel projelerin önkoşullarını izleyerek Studio'yu eğitim veri kümenize erişecek şekilde yapılandırın.
Studio'da, sayfanın özel modeller bölümünde Özel sınıflandırma modeli kutucuğunu seçin ve Proje oluştur düğmesini seçin.
Proje oluştur iletişim kutusunda projeniz için isteğe bağlı olarak bir açıklama girin ve Devam'ı seçin.
Ardından Devam'ı seçmeden önce bir Belge Yönetim Bilgileri kaynağı seçin veya oluşturun.
Ardından özel model eğitim veri kümenizi karşıya yüklemek için kullandığınız depolama hesabını seçin. Eğitim belgeleriniz kapsayıcının kökündeyse Klasör yolu boş olmalıdır. Belgeleriniz bir alt klasördeyse, Klasör yolu alanına kapsayıcı kökünden göreli yolu girin. Depolama hesabınız yapılandırıldıktan sonra Devam'ı seçin.
Önemli
Eğitim veri kümesini, klasör adının belgelerin etiketi veya sınıfı olduğu klasörlere göre düzenleyebilir veya Studio'da etiket atayabileceğiniz düz bir belge listesi oluşturabilirsiniz.
Özel bir sınıflandırıcıyı eğitin, veri kümenizdeki her belge için Düzen modelinden çıktı gerektirir. Model eğitim işleminden önceki tüm belgelerde düzeni çalıştırın.
Son olarak proje ayarlarınızı gözden geçirin ve Proje Oluştur'u seçerek yeni bir proje oluşturun. Şimdi etiketleme penceresinde olmanız ve veri kümenizdeki dosyaların listelendiğini görmeniz gerekir.
Verilerinizi etiketleme
Projenizde, her belgeyi yalnızca uygun sınıf etiketiyle etiketlemeniz gerekir.
Depolama alanına yüklediğiniz dosyaları dosya listesinde etiketlenmeye hazır olarak görürsünüz. Veri kümenizi etiketlemek için birkaç seçeneğiniz vardır.
Belgeler klasörler halinde düzenlenmişse, Studio klasör adlarını etiket olarak kullanmanızı ister. Bu adım, etiketlemenizi tek bir seçime kadar basitleştirir.
Belgeye etiket atamak için etiket ekle seçim işaretini seçerek etiket atayın.
Etiket atamak için birden çok belge seçmek için denetim seçme
Artık veri kümenizdeki tüm belgeler etiketli olmalıdır. Depolama hesabına bakarsanız, eğitim veri kümenizdeki her belgeye karşılık gelen .ocr.json dosyaları ve etiketli her sınıf için yeni bir class-name.jsonl dosyası bulursunuz. Bu eğitim veri kümesi modeli eğitmek için gönderilir.
Modelinizi eğitme
Veri kümeniz etiketlenmiş durumdayken artık modelinizi eğitmeye hazırsınız. Sağ üst köşedeki tren düğmesini seçin.
Modeli eğit iletişim kutusunda benzersiz bir sınıflandırıcı kimliği ve isteğe bağlı olarak bir açıklama sağlayın. Sınıflandırıcı kimliği bir dize veri türünü kabul eder.
Eğitim işlemini başlatmak için Eğit'i seçin.
Sınıflandırıcı modelleri birkaç dakika içinde eğitildi.
Tren işleminin durumunu görüntülemek için Modeller menüsüne gidin.
Modeli test etme
Model eğitimi tamamlandıktan sonra model listesi sayfasında modeli seçerek modelinizi test edebilirsiniz.
Modeli seçin ve Test düğmesini seçin.
Dosyaya göz atarak veya bir dosyayı belge seçiciye bırakarak yeni bir dosya ekleyin.
Bir dosya seçiliyken, modeli test etmek için Çözümle düğmesini seçin.
Model sonuçları, tanımlanan belgelerin listesi, tanımlanan her belge için bir güvenilirlik puanı ve tanımlanan belgelerin her biri için sayfa aralığı ile görüntülenir.
Tanımlanan her belgenin sonuçlarını değerlendirerek modelinizi doğrulayın.
SDK veya API kullanarak özel bir sınıflandırıcıyı eğitin
Studio, özel bir sınıflandırıcı eğitmek için API çağrılarını düzenler. Sınıflandırıcı eğitim veri kümesi, eğitim modelinizin API sürümüyle eşleşen düzen API'sinden çıktı gerektirir. Daha eski bir API sürümünden alınan düzen sonuçlarının kullanılması modelin daha düşük doğrulukla sonuçlanabilmesine neden olabilir.
Veri kümesi düzen sonuçları içermiyorsa, Studio eğitim veri kümeniz için düzen sonuçlarını oluşturur. Bir sınıflandırıcıyı eğitmek için API veya SDK kullanırken, düzen sonuçlarını tek tek belgeleri içeren klasörlere eklemeniz gerekir. Düzen sonuçları, düzeni doğrudan çağırırken API yanıtı biçiminde olmalıdır. SDK nesne modeli farklıdır, api sonuçlarının değil API sonuçları SDK responseolduğundan layout results emin olun.
Sorun giderme
Sınıflandırma modeli, her eğitim belgesi için düzen modelindensonuçlar gerektirir. Düzen sonuçlarını sağlamazsanız, Studio sınıflandırıcıyı eğitmadan önce her belge için düzen modelini çalıştırmayı dener. Bu işlem kısıtlanır ve 429 yanıtına neden olabilir.
Studio'da, sınıflandırma modeliyle eğitimden önce, düzen modelini her belgede çalıştırın ve özgün belgeyle aynı konuma yükleyin. Düzen sonuçları eklendikten sonra, sınıflandırıcı modelini belgelerinizle eğitebilirsiniz.