Metin için bir yapay zeka ajanı oluşturmak üzere Özel LLM kullanın (eski sürüm)

Warning

Bu, eski bir tekliftir. Verilerinizdeki özel metin görevleri için, örneğin ai_query, AI Functions kullanın. Legacy agent tekliflerine bakın.

Important

Bu özellik Beta sürümündedir.

Bu makalede, Özel LLM kullanarak özel metin tabanlı görevler için yapay zeka aracısı oluşturma açıklanmaktadır.

Özel LLM ile ne yapabilirsiniz?

Özetleme, sınıflandırma, metin dönüştürme ve içerik oluşturma gibi etki alanına özgü herhangi bir görev için yüksek kaliteli sonuçlar oluşturmak için Özel LLM kullanın.

Özel LLM aşağıdaki kullanım örnekleri için idealdir:

• Müşteri aramalarının sorununu ve çözümünü özetleme.
• Müşteri incelemelerinin duygu analizini yapma.
• Araştırma makalelerini konuya göre sınıflandırma.
• Yeni özellikler için basın bültenleri oluşturma.

Üst düzey yönerge ve örnekler verilen Özel LLM, kullanıcılar adına istemleri iyileştirir, değerlendirme ölçütlerini otomatik olarak çıkarsar, sağlanan verilerden sistemi değerlendirir ve modeli üretim yapılabilir bir uç nokta olarak dağıtır.

Özel LLM, belirli ayıklama göreviniz için maliyet-kalite dengesinin hızla değerlendirilmesini sağlamak amacıyla MLflow ve Agent Değerlendirme gibi otomatik değerlendirme özelliklerinden yararlanıyor. Bu değerlendirme, doğruluk ve kaynak yatırımı arasındaki denge hakkında bilinçli kararlar almanızı sağlar.

Özel LLM, her aracıyı destekleyen geçici veri dönüşümlerini, model denetim noktalarını ve iç meta verileri depolamak için varsayılan depolamayı kullanır. Aracı silme işleminde, aracıyla ilişkili tüm veriler varsayılan depolama alanından kaldırılır.

Gereksinimler

• Aşağıdakileri içeren bir çalışma alanı:
  • Sunucusuz işlem kullanılabilir ( desteklenen bir bölgede Unity Kataloğu ile çalışma alanlarında varsayılan olarak etkindir).
  • Unity Kataloğu etkinleştirildi. Bkz. Unity Kataloğu için bir çalışma alanını etkinleştirme.
  • Model Servisine erişim.
  • Şema aracılığıyla Unity Kataloğu'ndaki temel modellere system.ai erişim.
  • Sıfır olmayan bütçeye sahip sunucusuz kullanım ilkesine erişim.
• Desteklenen bölgelerden birinde bir çalışma alanı.
• SQL işlevini kullanmaai_query olanağı.
• Giriş verilerinizin kullanıma hazır olması gerekir. Aşağıdakilerden birini sağlamayı seçebilirsiniz:
  • Unity Kataloğu tablosu. Tablo adı herhangi bir özel karakter (örneğin -) içeremez.
    • PDF'leri kullanmak istiyorsanız, bunları Unity Kataloğu tablosuna dönüştürün. Bkz. Özel LLM'de PDF'leri kullanma.
  • En az 3 örnek giriş ve çıkış. Bu seçeneği belirlerseniz, aracı için bir Unity Kataloğu şema hedef yolu belirtmeniz ve CREATE REGISTERED MODEL'e ve CREATE TABLE bu şemaya yönelik izinlere sahip olmanız gerekir.
• Temsilcinizi optimize etmek istiyorsanız, en az 100 girişe (Unity Kataloğu tablosunda 100 satır veya el ile sağlanan 100 örnek) ihtiyacınız vardır.

Özel LLM aracısı oluşturma

Çalışma alanınızın sol gezinti bölmesindeki Agentler'e gidin. Özel LLM kutucuğundan Oluştur'a tıklayın.

1. Adım: Temsilcinizi yapılandırın

Özel LLM aracısı için örnek > giriş ve model yanıtını genişletmek için Oluştur sekmesinde Örneği göster'e tıklayın.

Aşağıdaki bölmede aracınızı yapılandırın:

1. Görevinizi açıklayın bölümünde, uzmanlık görevinizin amacı ve istenen sonucu da dahil olmak üzere net ve ayrıntılı bir açıklamasını girin.

2. Etiketli bir veri kümesi, etiketlenmemiş bir veri kümesi veya aracınızı oluşturmak için kullanılacak birkaç örnek sağlayın.

   PDF'leri kullanmak istiyorsanız, önce bunları Unity Kataloğu tablosuna dönüştürün. Bkz. Özel LLM'de PDF'leri kullanma.

   Aşağıdaki veri türleri desteklenir: string, intve double.

   Etiketli veri kümesi

   Etiketli veri kümesini seçerseniz:

   

   1. Veri kümesini UC tablosu olarak seçin altında, Unity Kataloğu'nda kullanmak istediğiniz tabloyu seçmek için Gözat'a tıklayın. Tablo adı herhangi bir özel karakter (örneğin -) içeremez.

      Aşağıda bir örnek verilmiştir:

      main.model_specialization.customer_call_transcripts

   2. Giriş sütunu alanında, giriş metni olarak kullanmak istediğiniz sütunu seçin. Açılan menü, seçtiğiniz tablodaki sütunlarla otomatik olarak doldurulur.

   3. Çıkış sütununda, beklenen dönüştürme için örnek bir çıkış olarak sağlamak istediğiniz sütunu seçin. Bu verilerin sağlanması, aracınızı etki alanına özgü gereksinimlerinize daha doğru bir şekilde uyum sağlayacak şekilde yapılandırmanıza yardımcı olur.

   Etiketsiz veri kümesi

   Etiketsiz veri kümesini seçerseniz:

   1. Veri kümesini UC tablosu olarak seçin altında, Unity Kataloğu'nda kullanmak istediğiniz tabloyu seçmek için Gözat'a tıklayın. Tablo adı herhangi bir özel karakter (örneğin -) içeremez.

   2. Giriş sütunu alanında, giriş metni olarak kullanmak istediğiniz sütunu seçin. Açılan menü, seçtiğiniz tablodaki sütunlarla otomatik olarak doldurulur.

   Birkaç örnek

   Birkaç örnek seçerseniz:

   1. Özelleştirme göreviniz için en az 3 giriş ve beklenen çıkış örneği sağlayın. Yüksek kaliteli örnekler sağlamak, gereksinimlerinizi daha iyi anlamak için özelleştirme aracınızı yapılandırmanıza yardımcı olur.
   2. Daha fazla örnek eklemek için + Ekle'ye tıklayın.
   3. Agent destination altında, Özel LLM'nin değerlendirme verileri içeren bir tablo oluşturmanıza yardımcı olacağı Unity Catalog şemasını seçin. CREATE REGISTERED MODEL'e ve CREATE TABLE bu şemaya yönelik izinlere sahip olmanız gerekir.

3. Temsilcinizi adlandırın.

4. Aracı oluştur'a tıklayın.

2. Adım: Aracınızı oluşturun ve geliştirin

Oluştur sekmesinde aracınızı geliştirmek için önerileri gözden geçirin, örnek model çıkışlarını gözden geçirin ve görev yönergelerinizi ve değerlendirme ölçütlerinizi ayarlayın.

1. Öneri bölmesinde Databricks, örnek yanıtları iyi veya kötü olarak iyileştirmenize ve değerlendirmenize yardımcı olacak öneriler sağlar.

   1. Ajan performansını optimize etmek için Databricks önerilerini gözden geçirin.
   2. Yanıtları geliştirmek için geri bildirim sağlayın. Her yanıt için Evet veya Hayır ile bu iyi bir yanıt mı? yanıtınızı verin. Hayır ise yanıtla ilgili isteğe bağlı geri bildirim sağlayın ve Kaydet'e tıklayarak sonrakine geçin.
   3. Öneriyi görmezden gelmeyi de seçebilirsiniz.

2. Sağ taraftaki Yönergeler'in altında, aracınızın doğru çıkışı üretmesine yardımcı olmak için açık yönergeler ayarlayın. Bunlar ayrıca kaliteyi otomatik olarak değerlendirmek için de kullanılır.

   1. Önerilen yönergeleri gözden geçirin. Acentenizi optimize etmenize yardımcı olmak için kılavuz önerileri otomatik olarak çıkarılır. Bunları daraltabilir veya silebilirsiniz.
   2. Özel LLM ek yönergeler önerebilir. Yeni yönergeyi eklemek için Kabul Et'i , reddetmek için Reddet'i seçin veya önce kılavuzu düzenlemek için metne tıklayın.
   3. Kendi yönergelerinizi eklemek için Ekle'yi seçin.
   4. Aracıyı güncelleştirmek için Kaydet ve güncelleştir'e tıklayın.

3. (İsteğe bağlı) Sağ taraftaki Yönergeler'in altında görevinizi açıklayın. Ajana yanıtlarını oluştururken izlemesi gereken ek yönergeler ekleyin. Yönergeleri uygulamak için Kaydet ve güncelleştir'e tıklayın.

4. Aracıyı güncelleştirdikten sonra yeni örnek yanıtlar oluşturulur. Bu yanıtları gözden geçirin ve geri bildirim sağlayın.

3. Adım: Aracınızı değerlendirin

Küçük bir değerlendirme sonuçları kümesi içeren kalite raporu, yönergelerinizden otomatik olarak oluşturulur. Kalite sekmesinde bu raporu gözden geçirin.

Kabul edilen her yönerge bir değerlendirme ölçümü olarak kullanılır. Oluşturulan her istek için yanıt, yönergeler kullanılarak değerlendirilir ve bir geçiş/başarısız değerlendirmesi verilir. Bu değerlendirmeler, en üstte gösterilen değerlendirme puanlarını oluşturmak için kullanılır. Tüm ayrıntıları görmek için bir değerlendirme sonucuna tıklayın.

Ajana daha fazla optimizasyona ihtiyacı olup olmadığını belirlemenize yardımcı olması için kalite raporunu kullanın.

(İsteğe bağlı) Aracınızı optimize edin

Özel LLM, aracınızı maliyet açısından iyileştirmeye yardımcı olabilir. Databricks, aracınızı iyileştirmek için en az 100 giriş (Unity Kataloğu tablonuzda 100 satır veya el ile sağlanan 100 örnek) önerir. Daha fazla giriş eklediğinizde, aracının öğrenebileceği bilgi bankası artar ve bu da aracı kalitesini ve yanıt doğruluğunu artırır.

Aracınızı iyileştirdiğinizde Databricks, iyileştirilmiş bir aracı oluşturmak ve dağıtmak için birden çok farklı iyileştirme stratejisini karşılaştırır. Bu stratejiler arasında Databricks Geos kullanan temel modelin ince ayarlanması yer alır.

Temsilcinizi optimize etmek için:

1. İyileştir'e tıklayın.

2. İyileştirmeyi başlat'a tıklayın.

   İyileştirme birkaç saat sürebilir. İyileştirme devam ederken etkin olan aracınızda değişiklik yapmak engellenir.

3. İyileştirme tamamlandığında, şu anda etkin olan aracınızla maliyet için iyileştirilmiş aracı karşılaştırmasını gözden geçirin.

4. Uç noktaya en iyi modeli dağıt'ın altında, bu sonuçları gözden geçirdikten sonra en iyi modeli seçin ve Dağıt'a tıklayın.

4. Adım: Ajanınızı kullanın

Databricks genelindeki iş akışlarında aracınızı deneyin.

Aracınızı kullanmaya başlamak için Kullan'a tıklayın. Aşağıdaki seçeneklere sahipsiniz:

• SQL düzenleyicisini açmak ve yeni Özel LLM aracınıza istekler göndermek için kullanmak amacıyla ai_query'ye tıklayın.

• Zamanlanmış aralıklarla çalışarak yeni veriler üzerinde aracınızı kullanan bir işlem hattı dağıtmak için İşlem hattı oluştur'a tıklayın. Boru hatları hakkında daha fazla bilgi için Lakeflow'daki Spark Declarative Pipelines bölümüne bakın.

• AI Playground ile bir sohbet ortamında temsilcinizi test etmek için Oyun Alanında Aç'a tıklayın.

İzinleri yönetme

Varsayılan olarak, aracıya yalnızca aracı yazarları ve çalışma alanı yöneticileri izinlerine sahiptir. Diğer kullanıcıların aracınızı düzenlemesine veya sorgulamasına izin vermek için onlara açıkça izin vermeniz gerekir.

Ajanınızdaki izinleri yönetmek için:

1. Aracılarınızı Aracılar sayfasında açın.
2. Üst kısımdaki Kebap menüsü.
3. İzinleri yönet'e tıklayın.
4. İzin Ayarları penceresinde kullanıcı, grup veya hizmet sorumlusunu seçin.
5. Vermek istediğiniz izni seçin:
   • Yönetilebilir: İzinleri ayarlama, aracı yapılandırmasını düzenleme ve kalitesini artırma dahil olmak üzere aracıyı yönetmeye izin verir.
   • Sorgulayabilir:AI Playground'da ve API aracılığıyla aracı uç noktasını sorgulamaya izin verir. Aracıyı yalnızca bu izne sahip kullanıcılar Aracılar sayfasında görüntüleyemez veya düzenleyemez.
6. Ekle'yi tıklatın.
7. Kaydet'e tıklayın.

Note

16 Eylül 2025'ten önce oluşturulan aracı uç noktaları için, Sunum uç noktaları sayfasından uç noktaya Can Query izinleri vekleyebilirsiniz.

Aracı uç noktasını sorgula

Aracı sayfasında Model sunma simgesine tıklayın. Üst sağ köşede Aracı Durumuna Bak özelliğine giderek dağıtılmış ajan uç noktanızı alın ve uç nokta ayrıntılarına bakın.

Oluşturulan aracı uç noktasını sorgulamanın birden çok yolu vardır. Başlangıç noktası olarak AI Playground'da sağlanan kod örneklerini kullanın:

1. Aracı sayfasında Kullan'a tıklayın.
2. Oyun alanında aç'a tıklayın.
3. Oyun Alanı'nda Kod al'a tıklayın.
4. Uç noktayı nasıl kullanmak istediğinizi seçin:
   • Aracıyı belirli bir tablo sütununa uygulayan bir SQL sorgusu oluşturmak için Verilere uygula'yı seçin.
   • Curl kullanarak uç noktayı sorgulamak için bir kod örneği için Curl API'sini seçin.
   • Python kullanarak uç noktayla etkileşime geçmek için bir kod örneği için Python API'sini seçin.

Özel LLM'de PDF'leri kullanma

PDF'ler henüz Bilgi Ayıklama ve Özel LLM'de yerel olarak desteklenmemektedir. Ancak, PDF dosyalarının bir klasörünü markdown'a dönüştürmek için UI iş akışını kullanabilir ve ardından aracınızı oluştururken girdi olarak elde edilen Unity Kataloğu tablosunu kullanabilirsiniz. Bu iş akışı, dönüştürme için ai_parse_document kullanır. Aşağıdaki adımları izleyin:

1. Sol gezinti bölmesinde Aracılar'a tıklayın.

2. Bilgi Ayıklama veya Özel LLM kullanım örneklerinde PDF'leri kullan'a tıklayın.

3. Açılan yan panelde, PDF'lerinizi dönüştürmek üzere yeni bir iş akışı oluşturmak için aşağıdaki alanları girin:

   1. PDF'lerin veya görüntülerin bulunduğu klasörü seçin: Kullanmak istediğiniz PDF'leri içeren Unity Kataloğu klasörünü seçin.
   2. Hedef tabloyu seçin: Dönüştürülen markdown tablosu için hedef şemayı seçin ve isteğe bağlı olarak aşağıdaki alanda tablo adını ayarlayın.
   3. Etkin SQL ambarını seçin: İş akışını çalıştırmak için SQL ambarını seçin.

   

4. İçeri aktarmayı başlat'a tıklayın.

5. Tüm PDF iş akışlarınızın listelendiği Tüm iş akışları sekmesine yönlendirilirsiniz. İşlerinizin durumunu izlemek için bu sekmeyi kullanın.

   

   İş akışınız başarısız olursa, iş adına tıklayarak açın ve hata ayıklamanıza yardımcı olacak hata iletilerini görüntüleyin.

6. İş akışınız başarıyla tamamlandığında, sütunları keşfetmek ve anlamak için tabloyu Katalog Gezgini'nde açmak için iş adına tıklayın.

7. Aracınızı yapılandırırken giriş verileri olarak Unity Kataloğu tablosunu kullanın.

Limitations

• Databricks, ajanınızı iyileştirmek için en az 100 giriş (Unity Kataloğu tablonuzda 100 satır veya manuel sağlanan 100 örnek) önerir. Daha fazla giriş eklediğinizde, aracının öğrenebileceği bilgi bankası artar ve bu da aracı kalitesini ve yanıt doğruluğunu artırır.
• Unity Kataloğu tablosu sağlarsanız, tablo adı herhangi bir özel karakter (örneğin -) içeremez.
• Giriş olarak yalnızca aşağıdaki veri türleri desteklenir: string, intve double.
• Kullanım kapasitesi şu anda dakikada 100 bin giriş ve çıkış belirteci ile sınırlıdır.
• Gelişmiş Güvenlik ve Uyumluluk etkinleştirilmiş çalışma alanları desteklenmez.
• İyileştirme, sınırlı erişim moduyla sunucusuz çıkış denetimi ağ ilkelerine sahip çalışma alanlarında veya çalışma alanı depolama hesabı için güvenlik duvarı desteğini etkinleştirmiş çalışma alanlarında başarısız olabilir.