Bilgi Ayıklamayı kullanma (eski)

Important

Bu özellik Beta sürümündedir. Çalışma alanı yöneticileri Bu özelliğe erişimi Önizlemeler sayfasından denetleyebilir. Bkz. Azure Databricks önizlemelerini yönetme.

Note

Bu sayfa, Bilgi Ayıklama'nın eski sürümünü kapsar. Databricks en son sürümün kullanılmasını önerir. Bkz. Bilgi Ayıklama.

Bu sayfada, Bilgi Ayıklama kullanılarak bilgi ayıklama için bir yapay zeka aracısının nasıl oluşturulacağı açıklanır.

Bilgi Ayıklama nedir?

Bilgi Ayıklama, bilgi ayıklamayı destekler ve büyük hacimli etiketlenmemiş metin belgelerini her belge için ayıklanmış bilgilerle yapılandırılmış bir tabloya dönüştürme işlemini basitleştirir.

Bilgi ayıklama örnekleri şunlardır:

• Sözleşmelerden fiyatları ve kira bilgilerini ayıklama.
• Müşteri notlarından verileri düzenleme.
• Haber makalelerinden önemli ayrıntıları alma.

Bilgi Ayıklama, özel ayıklama göreviniz için maliyet kalitesi dengelerinin hızlı bir şekilde değerlendirilmesini sağlamak için MLflow ve Aracı Değerlendirmesi dahil olmak üzere otomatik değerlendirme özelliklerinden yararlanıyor. Bu değerlendirme, doğruluk ve kaynak yatırımı arasındaki denge hakkında bilinçli kararlar almanızı sağlar.

Bilgi Ayıklama, geçici veri dönüşümlerini, model denetim noktalarını ve her aracıyı destekleyen iç meta verileri depolamak için varsayılan depolamayı kullanır. Aracı silme işleminde, aracıyla ilişkili tüm veriler varsayılan depolama alanından kaldırılır.

Gereksinimler

• Aşağıdakileri içeren bir çalışma alanı:
  • Sunucusuz işlem kullanılabilir ( desteklenen bir bölgede Unity Kataloğu bulunan çalışma alanlarında varsayılan olarak etkindir).
  • Unity Kataloğu etkinleştirildi. Bkz. Unity Kataloğu için bir çalışma alanını etkinleştirme.
  • Şema aracılığıyla Unity Kataloğu'ndaki temel modellere system.ai erişim.
  • Sıfır olmayan bütçeye sahip sunucusuz kullanım ilkesine erişim.
• Desteklenen bölgelerden birinde bir çalışma alanı.
• SQL işlevini kullanmaai_query olanağı.
• Verileri ayıklamak istediğiniz dosyalar. Dosyalar bir Unity Kataloğu biriminde veya tablosunda olmalıdır.
  • PDF'leri kullanmak istiyorsanız, önce bunları Unity Kataloğu tablosuna dönüştürün. Bkz. Bilgi Ayıklama'da PDF'leri kullanma.
  • Aracınızı oluşturmak için Unity Catalog hacminizde en az 1 etiketsiz belge veya tablonuzda 1 satır bulunmalıdır.

Bilgi ayıklama aracısı oluşturma

Çalışma alanınızın sol gezinti bölmesindeki Agentler'e gidin. Bilgi Ayıklama kutucuğunda Oluştur'a tıklayın.

1. Adım: Aracınızı yapılandırın

Ajanınızı yapılandırın:

1. Ad alanına aracınız için bir ad girin.

2. Sağlamak istediğiniz veri türünü seçin. Etiketlenmemiş veri kümesi veya Etiketli veri kümesi seçebilirsiniz.

3. Sağlayabilecek veri kümesini seçin.

   Etiketsiz veri kümesi

   Etiketsiz veri kümesini seçerseniz:

   1. Veri kümesi konumu alanında Unity Kataloğu biriminizden kullanmak istediğiniz klasörü veya tabloyu seçin. Bir klasör seçerseniz, klasör desteklenen bir belge biçiminde belgeler içermelidir.

      Aşağıda örnek bir birim verilmiştir:

      /Volumes/main/info-extraction/bbc_articles/

   2. Tablo sağlıyorsanız açılan listeden metin verilerinizi içeren sütunu seçin. Tablo sütunu desteklenen bir veri biçiminde veri içermelidir.

      PDF'leri kullanmak istiyorsanız, önce bunları Unity Kataloğu tablosuna dönüştürün. Bkz. Bilgi Ayıklama'da PDF'leri kullanma.

   3. Bilgi Ayıklama, Örnek JSON çıktı alanındaki veri kümenizden ayıklanan verileri içeren örnek bir JSON çıktısını otomatik olarak çıkarır ve oluşturur. Örnek çıkışı kabul edebilir, düzenleyebilir veya istediğiniz JSON çıktısının bir örneğiyle değiştirebilirsiniz. Aracı, bu biçimi kullanarak ayıklanan bilgileri döndürür.

   Etiketli veri kümesi

   Etiketli veri kümesini seçerseniz:

   1. Ground truths veri kümesi alanında, temel gerçeklik verilerinizi içeren Unity Kataloğu tablosunu seçin.
   2. Giriş sütunu alanında, aracının işlemesini istediğiniz metni içeren sütunu seçin. Bu sütundaki veriler biçiminde olmalıdır str .
   3. Temel gerçeklik yanıtı sütun alanında, beklenen ideal yanıtları içeren sütunu seçin. Bu sütundaki veriler bir JSON dizesi olmalıdır. Bu sütundaki her satır aynı JSON biçimini izlemelidir. Ek veya eksik anahtar içeren satırlar kabul edilemez.
   4. Örnek JSON çıktı alanında, Bilgi Ayıklama, temel doğruluk yanıtı sütunundaki ilk veri satırını kullanarak otomatik olarak bir örnek JSON çıkışı oluşturur. Bu JSON çıkışının beklenen biçimle eşleştiklerini doğrulayın.

4. Örnek JSON çıkış alanının istediğiniz yanıt biçimiyle eşleştiğinden emin olun. Gerektiği gibi düzenleyin.

   Örneğin, bir dizi haber makalesinden bilgi ayıklamak için aşağıdaki örnek JSON çıktısı kullanılabilir:

   {
     "title": "Economy Slides to Recession",
     "category": "Politics",
     "paragraphs": [
       {
         "summary": "GDP fell by 0.1% in the last three months of 2004.",
         "word_count": 38
       },
       {
         "summary": "Consumer spending had been depressed by one-off factors such as the unseasonably mild winter.",
         "word_count": 42
       }
     ],
     "tags": ["Recession", "Economy", "Consumer Spending"],
     "estimate_time_to_read_min": 1,
     "published_date": "2005-01-15",
     "needs_review": false
   }
   

5. Model seçimi'nin altında bilgi ayıklama aracınız için en iyi modeli seçin:

   • Ölçek için en iyi duruma getirme (varsayılan): Büyük hacimli verileri işliyorsanız veya uygun maliyetli bir aracı tercih ediyorsanız bu seçeneği belirleyin. Bu model, yüksek aktarım hızı ve daha hızlı geri dönüş süresi için tasarlanmıştır ve çoğu bilgi ayıklama görevi için uygundur.
   • Karmaşıklık için en iyi duruma getirme: Karmaşık bir akıl yürütmeye ihtiyacınız varsa bu seçeneği belirleyin ve hız ve maliyete göre doğruluğu önceliklendirin. Bu model, daha uzun belgeler (finansal dosyalar gibi) için daha yüksek mantık özellikleri sunar ve daha karmaşık ayıklamaları (40'ın üstünde şema alanı ayıklama gibi) işleyebilir.

6. Aracı oluştur'a tıklayın.

Desteklenen belge biçimleri

Bir Unity Kataloğu birimi sağlarsanız, aşağıdaki tabloda kaynak belgeleriniz için desteklenen belge dosyası türleri gösterilmektedir.

Kod dosyaları	Belge dosyaları	Kayıt dosyaları
.c .cc .cpp .cs .css .cxx .go .h .hpp .htm .html .java .js .json .jsonl .jsx .lua .md .php .pl .py .rb .sh .swift .tex .ts .tsx	.md .rst .tex .txt .xml .xsd .xsl	.diff .err .log .out .patch

Desteklenen veri biçimleri

Unity Kataloğu tablosu sağlarsanız, Bilgi Ayıklama kaynak belgeleriniz için aşağıdaki veri türlerini ve şemaları destekler. Bilgi Ayıklama bu veri türlerini her belgeden de ayıklayabilir.

• str
• int
• float
• boolean
• enum (aracının yalnızca önceden tanımlanmış kategoriler arasından seçim yapması gereken sınıflandırma görevleri için kullanılır)
• Nesne
• Diziler

enum (aracının yalnızca önceden tanımlanmış bir kategori kümesinden sonuç üretmesini istediğimiz sınıflandırma görevleri için uygundur) nesne ("özel iç içe alanlar" yerine) dizi

2. Adım: Aracınızı geliştirin

Derleme sekmesinde, şema tanımınızı iyileştirmenize yardımcı olması için örnek çıkışları gözden geçirin ve daha iyi sonuçlar elde etmek için yönergeler ekleyin.

1. Sol tarafta örnek yanıtları gözden geçirin ve temsilcinizi ayarlamak için geri bildirim sağlayın. Bu örnekler geçerli ajan yapılandırmanızı temel alır.

   1. Tam girişi ve yanıtı gözden geçirmek için bir satıra tıklayın.
   2. En altta, Bu yanıt doğru mu? seçeneğinin yanında seçerek geri bildirim sağlayın. Evet veya Düzeltin. Düzelt geri bildirimi için, aracının yanıtını nasıl değiştirmesi gerektiğine ilişkin ek ayrıntılar sağlayın ve ardından Kaydet'i seçin.
   3. Tüm yanıtları gözden geçirmeyi bitirdikten sonra Evet, aracıyı güncelleştirin. Alternatif olarak, En az üç yanıtı gözden geçirdikten sonra Geri bildirimi kaydet ve güncelleştir'e tıklayabilirsiniz.

2. Sağ taraftaki Çıkış alanlarının altında, ayıklama şeması alanlarınız için açıklamaları geliştirin. Bu açıklamalar, neleri ayıklamak istediğinizi anlamak için aracının neye bağlı olduğunu gösterir. Şema tanımını iyileştirmenize yardımcı olması için soldaki örnek yanıtları kullanın.

   1. Her alan için şema tanımını gerektiği gibi gözden geçirin ve düzenleyin. Bu açıklamaları iyileştirmenize yardımcı olması için soldaki örnek yanıtları kullanın.
   2. Alan adını düzenlemek ve yazmak için Alanı düzenle'yi seçin.
   3. Yeni alan eklemek için Yeni alan ekleyin. Adı, türü ve açıklamayı girin, ardından Onayla'ya tıklayın.
   4. Bir alanı kaldırmak için Alanı kaldır'ı seçin.
   5. Aracı yapılandırmanızı güncelleştirmek için Kaydet ve güncelleştir'e tıklayın.

3. (İsteğe bağlı) Sağ taraftaki Yönergeler'in altında, aracınız için genel yönergeleri girin. Bu yönergeler ayıklanan tüm öğeler için geçerlidir. Yönergeleri uygulamak için Kaydet ve güncelleştir'e tıklayın.

4. Sol tarafta yeni örnek yanıtlar oluşturulur. Bu güncelleştirilmiş yanıtları gözden geçirin ve yanıtlar tatmin edici olana kadar aracı yapılandırmanızı iyileştirmeye devam edin.

3. Adım: Aracınızı kullanın

Ajanınızı Databricks platformu genelindeki iş akışlarında kullanabilirsiniz.

Aracınızı kullanmaya başlamak için Kullan'a tıklayın. Temsilcinizi çeşitli şekillerde kullanmayı seçebilirsiniz.

• Tüm belgeler için veri ayıklama: SQL düzenleyicisini açmak ve yeni bilgi ayıklama aracınıza istek göndermek için Ayıklamayı başlat'a tıklayın ve ai_query kullanın.
• ETL işlem hattı oluşturma: Aracınızı yeni verilerde kullanmak üzere sürekli zamanlı aralıklarla çalışan bir işlem hattı dağıtmak için İşlem hattı oluştur düğmesine tıklayın. İşlem hatları hakkında daha fazla bilgi için bkz. Spark Bildirimli İşlem Hatları .
• Aracınızı test etme: Aracınızı nasıl çalıştığını görmek üzere bir test ortamında denemek için Oyun Alanında Aç'a tıklayın. AI Playground hakkında daha fazla bilgi edinmek için bkz. AI Playground kullanarak LLM'lerle sohbet etme ve yapay zeka uygulamalarının prototiplerini oluşturma.

(İsteğe bağlı) 4. Adım: Aracınızı değerlendirin

Yüksek kaliteli bir aracı oluşturduğunuzdan emin olmak için bir değerlendirme çalıştırın ve sonuçta elde edilen kalite raporunu gözden geçirin.

1. Kalite sekmesine geçin.

2. Değerlendirmeyi çalıştırın.

3. Dışarı kayan Yeni Değerlendirme bölmesinde değerlendirmeyi yapılandırın:

   1. Değerlendirme çalışma adını seçin. Oluşturulan bir ad kullanmayı veya özel bir ad sağlamayı seçebilirsiniz.
   2. Değerlendirme veri kümesini seçin. Aracınızı oluşturmak için kullanılan kaynak veri kümesini kullanmayı veya etiketli veya etiketsiz verileri kullanarak özel bir değerlendirme veri kümesi sağlamayı seçebilirsiniz.

4. Değerlendirmeyi başlat'a tıklayın.

5. Değerlendirme çalıştırmanız tamamlandıktan sonra kalite raporunu gözden geçirin:

   • Varsayılan olarak Özet görünümü gösterilir. Değerlendirme ölçümlerinin genel kalite, maliyet, aktarım hızı ve özet raporunu gözden geçirin. Bu alanın nasıl değerlendirildiğini görmek için Şema alanının yanındaki tıklayın.

     

   • Ek ayrıntılar için Ayrıntılı görünüme geçin. Bu görünümde her bir istek ve her ölçüm için değerlendirme puanı gösterilir. Giriş, çıkış, değerlendirmeler, izlemeler ve bağlantılı istemler gibi ek ayrıntıları görmek için bir isteğe tıklayın. Ayrıca isteğin değerlendirmelerini düzenleyebilir ve ek geri bildirim sağlayabilirsiniz.

     

Aracı uç noktasını sorgula

Aracı sayfasında Model sunma simgesine tıklayın. Üst sağ köşede Aracı Durumuna Bak özelliğine giderek dağıtılmış ajan uç noktanızı alın ve uç nokta ayrıntılarına bakın.

Oluşturulan aracı uç noktasını sorgulamanın birden çok yolu vardır. Başlangıç noktası olarak AI Playground'da sağlanan kod örneklerini kullanın:

1. Aracı sayfasında Kullan'a tıklayın.
2. Oyun alanında aç'a tıklayın.
3. Oyun Alanı'nda Kod al'a tıklayın.
4. Uç noktayı nasıl kullanmak istediğinizi seçin:
   • Aracıyı belirli bir tablo sütununa uygulayan bir SQL sorgusu oluşturmak için Verilere uygula'yı seçin.
   • Curl kullanarak uç noktayı sorgulamak için bir kod örneği için Curl API'sini seçin.
   • Python kullanarak uç noktayla etkileşime geçmek için bir kod örneği için Python API'sini seçin.

İzinleri yönetme

Varsayılan olarak, aracıya yalnızca aracı yazarları ve çalışma alanı yöneticileri izinlerine sahiptir. Diğer kullanıcıların aracınızı düzenlemesine veya sorgulamasına izin vermek için onlara açıkça izin vermeniz gerekir.

Ajanınızdaki izinleri yönetmek için:

1. Aracılarınızı Aracılar sayfasında açın.
2. Üst kısımdaki Kebap menüsü.
3. İzinleri yönet'e tıklayın.
4. İzin Ayarları penceresinde kullanıcı, grup veya hizmet sorumlusunu seçin.
5. Vermek istediğiniz izni seçin:
   • Yönetilebilir: İzinleri ayarlama, aracı yapılandırmasını düzenleme ve kalitesini artırma dahil olmak üzere aracıyı yönetmeye izin verir.
   • Sorgulayabilir:AI Playground'da ve API aracılığıyla aracı uç noktasını sorgulamaya izin verir. Aracıyı yalnızca bu izne sahip kullanıcılar Aracılar sayfasında görüntüleyemez veya düzenleyemez.
6. Ekle'yi tıklatın.
7. Kaydet'e tıklayın.

Note

16 Eylül 2025'ten önce oluşturulan aracı uç noktaları için, Sunum uç noktaları sayfasından uç noktaya Can Query izinleri vekleyebilirsiniz.

Bilgi Ayıklama'da PDF'leri kullanma

PDF'ler henüz Bilgi Ayıklama ve Özel LLM'de yerel olarak desteklenmemektedir. Ancak, PDF dosyalarının bir klasörünü markdown'a dönüştürmek için UI iş akışını kullanabilir ve ardından aracınızı oluştururken girdi olarak elde edilen Unity Kataloğu tablosunu kullanabilirsiniz. Bu iş akışı, dönüştürme için ai_parse_document kullanır. Aşağıdaki adımları izleyin:

1. Sol gezinti bölmesinde Aracılar'a tıklayın.

2. Bilgi Ayıklama veya Özel LLM kullanım örneklerinde PDF'leri kullan'a tıklayın.

3. Açılan yan panelde, PDF'lerinizi dönüştürmek üzere yeni bir iş akışı oluşturmak için aşağıdaki alanları girin:

   1. PDF'lerin veya görüntülerin bulunduğu klasörü seçin: Kullanmak istediğiniz PDF'leri içeren Unity Kataloğu klasörünü seçin.
   2. Hedef tabloyu seçin: Dönüştürülen markdown tablosu için hedef şemayı seçin ve isteğe bağlı olarak aşağıdaki alanda tablo adını ayarlayın.
   3. Etkin SQL ambarını seçin: İş akışını çalıştırmak için SQL ambarını seçin.

   

4. İçeri aktarmayı başlat'a tıklayın.

5. Tüm PDF iş akışlarınızın listelendiği Tüm iş akışları sekmesine yönlendirilirsiniz. İşlerinizin durumunu izlemek için bu sekmeyi kullanın.

   

   İş akışınız başarısız olursa, iş adına tıklayarak açın ve hata ayıklamanıza yardımcı olacak hata iletilerini görüntüleyin.

6. İş akışınız başarıyla tamamlandığında, sütunları keşfetmek ve anlamak için tabloyu Katalog Gezgini'nde açmak için iş adına tıklayın.

7. Aracınızı yapılandırırken giriş verileri olarak Unity Kataloğu tablosunu kullanın.

Limitations

• Bilgi Ayıklama aracılarının bağlam uzunluğu üst sınırı 128k olur.
• Gelişmiş Güvenlik ve Uyumluluk etkinleştirilmiş çalışma alanları desteklenmez.
• Birleşim şeması türleri desteklenmez.