Yapay zeka işlevlerini kullanarak verileri zenginleştirme

Önemli

Bu özellik Genel Önizleme aşamasındadır.

Yapay Zeka İşlevleri, veri dönüştürme ve zenginleştirme için Azure Databricks depolanan verilere LLM'leri veya en son düzey araştırma tekniklerini uygulamak için kullanabileceğiniz yerleşik işlevlerdir. Databricks SQL, not defterleri, Lakeflow Spark Bildirimli İşlem Hatları ve İş Akışları dahil olmak üzere Databricks'te her yerden çalıştırılabilirler.

Yapay Zeka İşlevleri kullanımı kolaydır, hızlı ve ölçeklenebilirdir. Analistler bunları kendi özel verilerine veri zekası uygulamak için kullanırken, veri mühendisleri, veri bilimcileri ve makine öğrenmesi mühendisleri bunları üretim sınıfı toplu işlem hatları oluşturmak için kullanabilir.

Göreve özgü ve genel amaçlı

AI İşlevleri göreve özgü ve genel amaçlı işlevlere sahiptir:

• Göreve özgü Yapay Zeka İşlevleri — Belge ayrıştırma, varlık ayıklama, sınıflandırma ve yaklaşım analizi gibi belirli bir görev için iyileştirilmiş amaca yönelik işlevler. Bu işlevler, Azure Databricks tarafından yönetilen, araştırma geri sistemleriyle desteklenir. Bazı işlevler kullanıcı arabirimi deneyimlerini içerir. Desteklenen işlevler ve modeller için bkz. Göreve özgü yapay zeka işlevleri .
• ai_query — Görev ve model esnekliği için genel amaçlı işlev. Bir istem sağlayın ve desteklenen Temel Model API'lerini seçin. Bkz . kullanma ai_query.

İşlevlere özgü yapay zeka

Göreve özgü işlevlerin kapsamı belirli bir görev için belirlenmiştir, böylece varlık ayıklama, çeviri ve sınıflandırma gibi rutin dönüştürmeleri otomatikleştirebilirsiniz. Databricks, Databricks tarafından sürdürülen ve özelleştirme gerektirmeyen en son düzey araştırma tekniklerini çağırdığı için bu işlevleri kullanmaya başlamanızı önerir.

Bir örnek için bkz. AI İşlevlerini kullanarak müşteri incelemelerini analiz etme .

Aşağıdaki işlevler göreve göre gruplandırılır.

Akıllı belge işleme:

İşlev	Açıklama
ai_parse_document	En son düzey araştırma tekniklerini kullanarak yapılandırılmamış belgelerden yapılandırılmış içeriği (metin, tablolar, şekil açıklamaları) ve düzeni ayrıştırın.
ai_extract	Tanımladığınız şemayı kullanarak belgelerden veya metinlerden yapılandırılmış alanları ayıklayın.
ai_classify	En son düzey araştırma tekniklerini kullanarak giriş metnini sağladığınız etiketlere göre sınıflandırın.
ai_prep_search	Ayrıştırılmış belge çıkışını vektör araması ve RAG işlem hatları için iyileştirilmiş aramaya hazır öbeklere dönüştürün.

Metni dönüştürme:

İşlev	Açıklama
ai_fix_grammar	En yeni üretici yapay zeka modelini kullanarak metindeki dil bilgisi hatalarını düzeltin.
ai_translate	En yeni üretici yapay zeka modelini kullanarak metni belirtilen hedef dile çevirin.
ai_summarize	SQL'i ve en yeni üretim yapay zeka modelini kullanarak metnin özetini oluşturun.
ai_mask	En son teknoloji ürünü bir yapay zeka modeli kullanarak metinde belirtilen varlıkları maskele.

Metni analiz etme:

İşlev	Açıklama
ai_duyguları_analiz_et	En gelişmiş üretici yapay zeka modelini kullanarak giriş metni üzerinde duygu analizi gerçekleştirin.
ai_similarity	son derece üretken bir yapay zeka modeli kullanarak iki dizeyi karşılaştırın ve anlamsal benzerlik puanını hesap edin.

İçerik oluşturma. Özel istemler veya belirli bir model için Kullan ai_query'a bakın.

İşlev	Açıklama
ai_gen	Son model oluşturucu yapay zeka modelini kullanarak kullanıcı tarafından sağlanan bir istem yanıtlayın.

Tahmin zaman serisi:

İşlev	Açıklama
ai_forecast	Verileri belirtilen ufka kadar tahmin etme. Bu tablo değerli işlev, zaman serisi verilerini geleceğe yönelik tahmin etmek için tasarlanmıştır.

Vektör Arama eklemeleriyle arama:

İşlev	Açıklama
vector_search	En son teknoloji ürünü bir üretken yapay zeka modeli kullanarak bir Mozaik AI Vektör Arama dizininde arama ve sorgulama yapın.

Üretim iş akışlarında yapay zeka işlevlerini kullanma

Büyük ölçekli toplu çıkarım için, Lakeflow Spark Bildirimci Boru Hatları, Databricks iş akışları ve Yapılandırılmış Akış gibi üretim iş akışlarınıza göreve özgü yapay zeka işlevlerini veya genel amaçlı ai_query işlevini entegre edebilirsiniz. Bu, büyük ölçekte üretim sınıfı işlemeyi etkinleştirir.

Üretimdeki yapay zeka işlevleri için en iyi yöntemler:

Yapay Zeka İşlevlerinin iş yükünüzü büyük ölçekte işlemesine izin verin: Yapay Zeka İşlevleri paralelleştirmeyi, yeniden denemeleri ve ölçeklendirmeyi otomatik olarak yönetir. Veri kümenizin tamamını el ile küçük gruplara bölmek yerine tek bir sorguda göndermeniz tavsiye edilir. Performans çok küçük iş yüklerinden büyük ölçekli iş yüklerine doğrusal olarak ölçeklendirilmeyebilir.

Databricks tarafından barındırılan temel modelleri kullanın: ai_query AI İşlevini kullanırken, önceden sağlanmış aktarım hızı yerine Databricks tarafından barındırılan temel modelleri (databricks- ön ekli) kullanın. Bu hazır olmayan uç noktalar tam olarak yönetilir ve toplu işlem için en iyi şekilde çalışır.

Örnekler ve ayrıntılar için bkz. Toplu çıkarım işlem hatlarını dağıtma .

AI İşlevlerinin ilerleme durumunu izleme

Kaç çıkarım tamamlandığını veya başarısız olduğunu anlamak ve performans sorunlarını gidermek için sorgu profili özelliğini kullanarak yapay zeka işlevlerinin ilerleme durumunu izleyebilirsiniz.

Databricks Runtime 16.1 ML ve üzeri sürümleri için çalışma alanınızdaki SQL düzenleyicisi sorgu penceresinden:

1. Ham sonuçlar penceresinin alt kısmındaki Çalışıyor--- bağlantısını seçin. Sağ tarafta performans penceresi görüntülenir.
2. Performans ayrıntılarını görüntülemek için Sorgu profilini görüntüle'ye tıklayın.
3. Tamamlanan ve başarısız çıkarımların sayısı ve isteğin tamamlanması için geçen toplam süre de dahil olmak üzere ilgili sorgunun ölçümlerini görmek için AI Sorgu tıklayın.

AI İşlevi iş yüklerinin maliyetlerini görüntüleme

AI İşlevi maliyetleri, MODEL_SERVING ürünün bir parçası olarak BATCH_INFERENCE teklif türü altında kaydedilir. Örnek sorgu için bkz. Toplu çıkarım iş yüklerinin maliyetlerini görüntüleme .

Uyarı

ai_parse_document, ai_extract, ve ai_classify maliyetleri, AI_FUNCTIONS ürünün bir parçası olarak kaydedilir. ai_parse_document örnek sorgusu için bkz.

Toplu çıkarım iş yüklerinin maliyetlerini görüntüleme

Aşağıdaki örneklerde iş, işlem, SQL ambarları ve Lakeflow Spark Bildirimli İşlem Hatları temelinde toplu çıkarım iş yüklerinin nasıl filtreleneceği gösterilmektedir.

AI İşlevleri kullanan toplu çıkarım iş yüklerinizin maliyetlerini görüntüleme hakkında genel örnekler için bkz. Model sunma maliyetlerini izleme .

İşler

Aşağıdaki sorgu, sistem tablosu kullanılarak system.workflow.jobs toplu çıkarım için hangi işlerin kullanıldığını gösterir. Bkz . Sistem tablolarıyla iş maliyetlerini ve performansını izleme.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

Aşağıda, sistem tablosu kullanılarak toplu çıkarım için hangi kümelerin system.compute.clusters kullanıldığı gösterilmektedir.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Lakeflow Spark Deklaratif İşlem Hatları

Aşağıda, sistem tablosu kullanılarak system.lakeflow.pipelines toplu çıkarım için hangi Lakeflow Spark Bildirimli İşlem Hatlarının kullanıldığı gösterilmektedir.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

SQL ambarı

Aşağıda, sistem tablosu kullanılarak system.compute.warehouses toplu çıkarım için hangi SQL ambarlarının kullanıldığı gösterilmektedir.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Çalıştırma maliyetlerini ai_parse_document görüntüle

Aşağıdaki örnekte çalıştırma maliyetlerini görüntülemek için ai_parse_document faturalama sistemi tablolarının nasıl sorgu yapılacağı gösterilmektedir.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS"
  AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT";