Bilgi Ayıklama

Note

Bu sayfa, Bilgi Ayıklama'nın yeni sürümünü kapsar. Önceki sürüm hakkında bilgi için bkz. Bilgi Ayıklamayı kullanma (eski)

Bilgi Ayıklama, yapılandırılmamış belgeleri ve metinleri tanımlı bir şema kullanarak anahtar, yapılandırılmış içgörülere dönüştürür. Bu, yapılandırılmamış metinlere, PDF'lere, resimlere veya tablolara eklenmiş bilgileri doğrudan analiz, raporlama veya aşağı akış aracıları ve uygulamaları için kullanmanıza olanak tanır.

Bilgi Ayıklama örnekleri şunlardır:

• Sözleşmelerden yasal tarafları ve koşulları ayıklama.
• Faturalardan satır öğelerini ve ödeme koşullarını ayıklama.
• Tıbbi kayıtlar ve notlardan önemli detaylar çekme işlemi.

Bilgi Ayıklama, geçici veri dönüşümlerini, model denetim noktalarını ve her aracıyı destekleyen iç meta verileri depolamak için varsayılan depolamayı kullanır. Bir aracıyı sildiğinizde Databricks, aracıyla ilişkili tüm verileri varsayılan depolama alanından kaldırır.

Bilgi çıkarımı Agent Bricks arayüzü ve SQL ile mümkündür.

Arayüzde bir bilgi çıkarma ajanı oluşturun

Gereksinimler

• Aşağıdakileri içeren bir çalışma alanı:
  • Sunucusuz işlem etkinleştirildi. Bkz. Sunucusuz işlem gereksinimleri.
  • Unity Kataloğu etkinleştirildi. Bkz. Unity Kataloğu için bir çalışma alanını etkinleştirme.
  • Sıfır olmayan bütçeye sahip sunucusuz kullanım ilkesine erişim.
• Bu işlev yalnızca bazı bölgelerde kullanılabilir. Bkz. Yapay zeka işlevi kullanılabilirliği.
• Gelişmiş Güvenlik ve Uyumluluk eklentisine sahip çalışma alanları için,
  • Uygun ai_extract için bölgesel desteğine bakın.
  • Çalışma alanınızda nasıl etkinleştirileceğini öğrenmek için bkz. Azure Databricks önizlemelerini yönetme.
• SQL işlevini kullanmaai_extract olanağı.
• Üzerinden bilgi çıkarmak istediğiniz yapılandırılmamış veriler. Verilerin bir Unity Kataloğu biriminde veya tablosunda olması gerekir.
  • Ajanınızı oluşturmak için Unity Catalog volume’ünüzde en az 1 dosya veya tablonuzda en az 1 satır bulunması gerekir.

Çalışma alanınızın sol gezinti bölmesindeki Agentler'e gidin. Aracı Oluştur>Bilgi Çıkartma.

Adım 1. Bilgileri ayıklamak için verileri seçin

1. Verilerinizle başlayın sayfasında, bilgileri ayıklamak istediğiniz dosyaları veya verileri seçin. Aşağıdakilerden herhangi birini yapabilirsiniz:

   • Bir veya daha fazla dosyayı yükleme alanına sürükleyip bırakın ya da yüklenecek dosyaları seçmek için tıklayın.
   • Desteklenen dosya türlerine sahip bir Unity Kataloğu birimi seçmek için Birim seç'e tıklayın.
   • Metin verileri içeren bir Unity Kataloğu tablosu seçmek için Tablo seç'e tıklayın.

2. Bir tablo seçerseniz, ayıklanması gereken verileri içeren sütunu seçin. Devam etmeden önce STRING veya VARIANT gibi desteklenen bir türe sahip bir sütun seçmelisiniz. Tabloda desteklenen sütun yoksa farklı bir tablo seçin.

3. Aracı Oluştur'a tıklayın. Bu düğme yalnızca geçerli bir veri kaynağı seçtikten sonra ve bir tablo için desteklenen bir sütun seçtikten sonra etkinleştirilir.

Adım 2. Ayıklama şemanızı yapılandırma ve iyileştirme

Bilgi Ayıklama verilerinizi işledikten sonra, belgelerinizden ayıklamak istediğiniz verileri yapılandırın ve geliştirin.

1. Yapılandırma'nın altında ayıklama şemanızı tanımlayın. Bunu yapmanın birkaç yolu vardır:

   • Ayıklamak istediğiniz bilgileri açıklayan doğal bir dil girin ve Şema Oluştur'a tıklayın. Bilgi Ayıklama sizin için alan adlarını ve tanımlarını içeren bir JSON şemasını otomatik olarak oluşturur. Bu açıklamaları gerektiği gibi düzenleyin.
   • Alternatif olarak, şemanızı Veya, El ile tanımla seçeneğine tıklayarak el ile tanımlayın.
     1. Alan ekle'ye tıklayın.
     2. Alan adınızı, türünüzü ve açıklamanızı girin.
     3. Onayla'yı tıklatın.
     4. Ayıklamak istediğiniz her alan için tekrarlayın.
     5. Kaydet'e tıklayın ve çıkarmayı çalıştırın.
   • JSON şemasını doğrudan düzenlemek üzere JSON'a tıklayabilirsiniz. Tamamlandığında Değişiklikleri Uygula'ya tıklayın.

   Şemanızı her güncelleştirdiğinizde ve Ayıklamayı kaydet ve çalıştır'a tıkladığınızda, Bilgi Ayıklama ayıklama aracısını güncelleştirir, ayıklamayı çalıştırır ve her girişin sonuçlarını gösterir.

   Ek seçenekleri yapılandırmak için, Kaydet ve ayıklamayı çalıştır seçeneğinin yanındaki seçenekler düğmesi tıklayın, ardından aşağıdaki seçeneklerden birini veya daha fazlasını etkinleştirin:

   • Hassasiyet modu: Detaylı alanlar ve uzun belgeler için doğruluğu artırır.
   • Atıflar: Çıkarılmış değerler için kaynak referanslarını gösterir.
   • Güven puanları: Çıkarılmış değerler için güven seviyelerini gösterir.

2. Sol tarafta ayrıştırılmış belgeyi ve ajanın ayıklamasını gözden geçirin. Ayıklama sonuçlarını iki şekilde yineleyin. İlk olarak, bir veya daha fazla girdi hakkında doğal dilde geri bildirim sağlayın; bu geri bildirim, Kaydet ve ayıklamayı çalıştır seçeneğine bastığınızda açıklamalarınıza otomatik olarak ince ayar yapar. İkinci olarak, Ayıklamayı kaydet ve çalıştır'a bastığınızda etkili olacak şema açıklamalarını el ile düzeltin.

3. Önceki yapılandırmayı karşılaştırmak veya eski yapılandırmaya geri dönmek için sürümleri kullanın. Önceki bir sürümün şema tanımını geçerli sürümle karşılaştırmak için Sürümler'e ve ardından Karşılaştır'a tıklayın. Önceki bir sürümü geri yüklemek için Geri Yükle'ye tıklayın.

Adım 3. Ekstraksiyon kalitesini değerlendirme ve iyileştirme

Aracınızın performansını ölçmek ve sistematik olarak geliştirmek için aracıyı etiketli bir veri kümesine göre değerlendirin. Bir değerlendirme, her bir çıkarımı bilinen doğru yanıtla (referans doğru yanıt) karşılaştırarak puanlar; böylece sürümler arasında alan bazında doğruluğu izleyebilir ve iyileştirilmesi gereken alanlara odaklanabilirsiniz.

Değerlendirme veri kümesi ekleme

Değerlendirmeyi çalıştırmadan önce Unity Kataloğu'nda bir değerlendirme veri kümeniz olmalıdır. Veri kümesi iki sütunlu bir Unity Kataloğu tablosu olmalıdır:

• Ayıklanması gereken metni veya belgeyi içeren bir giriş sütunu . Bu, STRING metin veya VARIANT öğesinin ai_parse_document çıktısı olabilir.
• Beklenen ayıklama sonucunu JSON dizesi olarak içeren bir ground truth sütunu . Her değer, aracınızın ayıklama şemasıyla uyumlu olmalı ve ai_extractgelişmiş şemayla eşleşmelidir.

Bir değerlendirme yap

Ayıklama aracınız için bir değerlendirme çalıştırmak için:

1. Çalışma alanında, değerlendirme açılır menüsünü açın ve Değerlendirmeyi çalıştır'a tıklayın. Bu işlem Değerlendirme çalıştırması oluştur iletişim kutusunu açar.
2. Değerlendirme veri kümesi tablosunda etiketli örneklerinizi barındıran Unity Kataloğu tablosunu seçin.
3. Sütun eşleme'nin altında aracı girişini tutan Giriş sütununu ve beklenen yanıtı tutan Ground truth sütununu seçin.
4. Değerlendirmeyi çalıştır'a tıklayın. Bilgi Ayıklama, mevcut yapılandırmayı yeni bir sürüm olarak kaydeder ve her satırı referans doğrusuna göre puanlar.

Değerlendirme sonuçlarını gözden geçirme

Çalıştırma ilerledikçe belgeler Belgeler sekmesine akışla aktarılır ve her belge için eşleşmeyen alanlar gösterilir. Çalıştırma tamamlandığında, Bilgi Ayıklama aşağıdakileri içeren Genel Bakış sekmesini gösterir:

• Genel alan doğruluğu ve Belgeler tamamen doğru olan bir karne. Önceki bir değerlendirme çalıştırması varsa, karne o çalıştırmadan bu yana olan değişikliği gösterir.
• Alan başına puan tablosu. Doğruluk, duyarlık, yakalama ve F1'i gösteren detaylandırmayı açmak için herhangi bir alana tıklayın. Bu alanı çıkaramayan her belgeyi ve bu belgelerden çıkarılan çıktıları görmek için Başarısız belgeleri göster seçeneğine tıklayın.

Tek tek belgeleri incelemek için Belgeler sekmesine geçin. Her satır, eşleşen alanların oranını ve eşleşmeyen alanları gösterir. Belirli bir uyumsuz alana sahip belgeleri filtrelemek için Alanlar açılır listesini kullanın. Aracı yanıtını temel gerçekle yan yana karşılaştırmak için bir belgeye tıklayın.

Genie Code düzeltmelerini uygulama

Bir çalıştırma tamamlandıktan sonra, Bilgi Ayıklama sonuçları analiz eder ve etkilenen belge sayısına göre sıralanmış Genie Code önerilerindeki sorunları ortaya çıkar. Her bulguda olası bir kalite sorunu açıklanır. Şema ve yönerge değişiklikleri öneren, bunları etkilenen belgelere karşı doğrulayan ve tam değerlendirmeyi yeniden çalıştırmayı teklif eden etkileşimli bir Genie Code sohbeti açmak için Genie ile Düzelt'e tıklayın.

4. Adım. Ayıklama ajanınızı kullan

Aracının performansından memnun olduktan sonra bilgileri ayıklamak için aracıyı kullanın.

Sağ üstteki Aracıyı Kullan'a tıklayın. Aşağıdakilerden birini seçebilirsiniz:

• Aracıyı kullanarak tüm verilerinizden bilgi ayıklamak için SQL'de çalıştırın. Bu, tanımlanan şemayı kullanarak biriminizden veya tablonuzdan bilgi ayıklamak için kullanan ai_extract bir SQL sorgusu açar. SQL sorgularında ai_extract kullanımı hakkında daha fazla bilgi için ai_extract işlevine bakın.
• Yeni veriler üzerinde ajanınızı çağırmak için zamanlanmış aralıklarla çalışan bir Lakeflow işlem hattı oluşturun. Bu, akışlı bir tabloyu ayıkladığınız verilerle güncelleyen bir Lakeflow işlem hattı oluşturur. yeni veriler geldiğinde işlem hattının zamanlamasını çalışacak şekilde yapılandırabilirsiniz. Lakeflow işlem hatları hakkında daha fazla bilgi için bkz. Spark Declarative Pipelines.

SQL'de bilgi çıkarma

Ölçekte alanları çıkarmak için SQL çağırın ai_extract :

SELECT ai_extract(
  'Invoice #12345 from Acme Corp for $1,250.00 dated 2024-01-15',
  '{
    "invoice_id": {"type": "string", "description": "Unique invoice identifier"},
    "vendor_name": {"type": "string", "description": "Legal business name"},
    "total_amount": {"type": "number", "description": "Total invoice amount"},
    "invoice_date": {"type": "string", "description": "Date in YYYY-MM-DD format"}
  }',
  options => map('version', '2.1')
);

SQL referansına ai_extract bakınız.

Limitations

• Bkz . Sınırlamalar

• Bilgi Ayıklama aracılarının bağlam uzunluğu üst sınırı 128k olur.
• Birleşim şeması türleri desteklenmez.