Yapay Zeka Fonksiyonları kullanarak yapılandırılmamış verileri dönüştürün

AI Fonksiyonları, Azure Databricks'te depolanan verilere LLM'ler veya son teknoloji araştırma teknikleri uygulayarak veri dönüşümü ve analizi için kullanabileceğiniz yerleşik fonksiyonlardır. Databricks SQL, not defterleri, Lakeflow işlem hatları ve İş Akışları'ndan çalıştırılabilirler.

Yapay Zeka İşlevleri kullanımı kolaydır, hızlı ve ölçeklenebilirdir. Analistler bunları kendi özel verilerine veri zekası uygulamak için kullanırken, veri mühendisleri, veri bilimcileri ve makine öğrenmesi mühendisleri bunları üretim sınıfı toplu işlem hatları oluşturmak için kullanabilir.

Bir AI Fonksiyonu çağırdığınızda, sorgunuz gönderdiğiniz hesaplama sisteminde çalışır; örneğin SQL deposu, defter, küme veya boru hattı. Fonksiyona bağlı olarak, model çıkarımı ayrı Databricks tarafından yönetilen ve bu hesaplamaya ek olarak faturalandırılan altyapıda çalışabilir. Bkz . Yapay Zeka Fonksiyonu iş yükleri için maliyetleri görüntüleyin.

Requirements

• Yapay Zeka Fonksiyonları Klasik SQL depolarında mevcut değildir.
• Databricks Runtime 15.4 LTS veya üzeri gereklidir. Databricks Runtime 18.2 veya üzeri en iyi performans ve en son özelliklere erişim için önerilir.

Göreve özgü ve genel amaçlı

AI İşlevleri göreve özgü ve genel amaçlı işlevlere sahiptir:

• Göreve özgü Yapay Zeka İşlevleri — Belge ayrıştırma, varlık ayıklama, sınıflandırma ve yaklaşım analizi gibi belirli bir görev için iyileştirilmiş amaca yönelik işlevler. Bu işlevler, Azure Databricks tarafından yönetilen, araştırma geri sistemleriyle desteklenir. Bazı işlevler kullanıcı arabirimi deneyimlerini içerir. Desteklenen işlevler ve modeller için bkz. Göreve özgü yapay zeka işlevleri .
• ai_query — Görev ve model esnekliği için genel amaçlı işlev. Bir istem sağlayın ve desteklenen Temel Model API'lerini seçin. Bkz . kullanma ai_query.

Kuruluşunuzun erişebileceği göreve özgü yapay zeka işlevlerini kısıtlamak için bkz. AI İşlevleri Unity Kataloğu izinleri.

İşlevlere özgü yapay zeka

Göreve özgü işlevlerin kapsamı belirli bir görev için belirlenmiştir, böylece varlık ayıklama, çeviri ve sınıflandırma gibi rutin dönüştürmeleri otomatikleştirebilirsiniz. Databricks, Databricks tarafından sürdürülen ve özelleştirme gerektirmeyen en son düzey araştırma tekniklerini çağırdığı için bu işlevleri kullanmaya başlamanızı önerir.

Bir örnek için bkz. AI İşlevlerini kullanarak müşteri incelemelerini analiz etme .

Aşağıdaki işlevler göreve göre gruplandırılır. Her bir arabirime ait başvuru sayfasını açmak için SQL ve REST API sütunlarını kullanın. REST API sütununda bir tire işareti, özel bir REST API referansının listelenmediği anlamına gelir.

Akıllı belge işleme:

İşlev	Açıklama	SQL	REST API
ai_parse_document	En son düzey araştırma tekniklerini kullanarak yapılandırılmamış belgelerden yapılandırılmış içeriği (metin, tablolar, şekil açıklamaları) ve düzeni ayrıştırın.	SQL referansı	REST API başvurusu
ai_extract	Tanımladığınız şemayı kullanarak belgelerden veya metinlerden yapılandırılmış alanları ayıklayın.	SQL başvurusu	REST API başvurusu
ai_classify	En son düzey araştırma tekniklerini kullanarak giriş metnini sağladığınız etiketlere göre sınıflandırın.	SQL başvurusu	REST API başvurusu
ai_prep_search (Beta)	Ayrıştırılmış belgeleri veya düz metin ve markdown'ı, AI Arama ve RAG pipeline'ları için optimize edilmiş arama hazır parçalara dönüştürün.	SQL başvurusu	—
ai_search (Beta)	Bir veya daha fazla bilgi kaynağından, doğal dildeki bir sorgu için sıralanmış, tekilleştirilmiş belgeleri ve bu kaynaklara dayalı bir yanıtı alın.	SQL başvuru kılavuzu	—
ai_enrich (Beta)	Tanımladığınız bir şemadan her satır için yeni sütunlar oluşturun, isteğe bağlı olarak yapay zeka arama indeksleri veya web araması temelinde.	SQL başvurusu	—

Metni dönüştürme:

İşlev	Açıklama	SQL	REST API
ai_fix_grammar	Metindeki dilbilgisi hatalarını en son teknoloji yapay zeka modeliyle düzeltin.	SQL başvurusu	—
ai_translate	Metni en son teknoloji bir yapay zeka modeli kullanarak belirli bir hedef dile çevirin.	SQL referansı	—
ai_summarize	SQL ve son teknoloji bir yapay zeka modeli kullanarak metin özeti oluşturun.	SQL başvurusu	—
ai_mask	Metinde belirtilen varlıkları en son teknoloji bir yapay zeka modeli kullanarak maskeleyin.	SQL başvurusu	—

Yapılandırılmamış metni analiz edin:

İşlev	Açıklama	SQL	REST API
ai_decide (Beta)	Soruları metne veya yapılandırılmış verilere göre değerlendirin ve olasılıklar, seçenekler veya puanlar döndürün.	SQL başvuru kılavuzu	REST API başvurusu
ai_analyze_sentiment	Giriş metni üzerinde en son teknoloji yapay zeka modeli kullanarak duygusal analiz yapın.	SQL başvurusu	—
ai_similarity	İki diziyi karşılaştırın ve son teknoloji bir yapay zeka modeliyle anlamsal benzerlik puanını hesaplayın.	SQL Referansı	—

İçerik oluşturma. Özel istemler veya belirli bir model için Kullan ai_query'a bakın.

İşlev	Açıklama	SQL	REST API
ai_gen	Kullanıcı tarafından sağlanan bir soruyu son teknoloji bir yapay zeka modeliyle yanıtlayın.	SQL başvurusu	—

Sonuçları tahmin edin:

İşlev	Açıklama	SQL	REST API
ai_predict_class (Beta)	Bir sınıflandırma modeli eğitin ve hedef sütunun olduğu NULLsatırlar için sınıf etiketlerini tahmin edin.	SQL Başvurusu	—
ai_predict_value (Beta)	Bir regresyon modeli eğitin ve hedef sütunun olduğu NULLsatırlar için sayısal değerleri tahmin edin.	SQL başvurusu	—

Tahmin zaman serisi:

İşlev	Açıklama	SQL	REST API
ai_forecast	Verileri belirtilen ufka kadar tahmin etme. Bu tablo değerli işlev, zaman serisi verilerini geleceğe yönelik tahmin etmek için tasarlanmıştır.	SQL referansı	—
ai_detect_anomalies (Beta)	Tarihsel zaman serisi verilerinde anormal değerleri belirleyin ve beklenen değerleri, tahmin sınırlarını ve anomali puanlarını döndürün.	SQL referansı	—

Ölçüm değişikliklerini analiz etme:

İşlev	Açıklama	SQL	REST API
ai_top_drivers (Beta)	Ölçümde denetim grubuyla test grubu arasındaki değişikliğe en çok katkıda bulunan boyut değerlerini derecelendirme.	SQL başvurusu	—

Yapay Zeka Arama eklemeleriyle arama:

İşlev	Açıklama	SQL	REST API
vector_search	Son teknoloji bir yapay zeka modeli kullanarak bir AI Arama indeksi arayın ve sorgulayın.	SQL başvurusu	REST API başvurusu

Üretim iş akışlarında yapay zeka işlevlerini kullanma

Büyük ölçekli toplu çıkarım için, göreve özgü Yapay Zeka İşlevlerini veya genel amaçlı işlevi ai_query Lakeflow işlem hatları, Databricks iş akışları ve Yapılandırılmış Akış gibi üretim iş akışlarınızla tümleştirebilirsiniz. Bu, büyük ölçekte üretim sınıfı işlemeyi etkinleştirir.

Üretimdeki yapay zeka işlevleri için en iyi yöntemler:

Yapay Zeka İşlevlerinin iş yükünüzü büyük ölçekte işlemesine izin verin: Yapay Zeka İşlevleri paralelleştirmeyi, yeniden denemeleri ve ölçeklendirmeyi otomatik olarak yönetir. Veri kümenizin tamamını el ile küçük gruplara bölmek yerine tek bir sorguda göndermeniz tavsiye edilir. Performans çok küçük iş yüklerinden büyük ölçekli iş yüklerine doğrusal olarak ölçeklendirilmeyebilir.

Databricks tarafından barındırılan temel modelleri kullanın: ai_query AI İşlevini kullanırken, önceden sağlanmış aktarım hızı yerine Databricks tarafından barındırılan temel modelleri (databricks- ön ekli) kullanın. Bu hazır olmayan uç noktalar tam olarak yönetilir ve toplu işlem için en iyi şekilde çalışır.

Örnekler ve ayrıntılar için bkz. Toplu çıkarım işlem hatlarını dağıtma .

AI İşlevlerinin ilerleme durumunu izleme

Kaç çıkarım tamamlandığını veya başarısız olduğunu anlamak ve performans sorunlarını gidermek için sorgu profili özelliğini kullanarak yapay zeka işlevlerinin ilerleme durumunu izleyebilirsiniz.

Databricks Runtime 16.1 ML ve üzeri sürümleri için çalışma alanınızdaki SQL düzenleyicisi sorgu penceresinden:

1. Ham sonuçlar penceresinin alt kısmındaki Çalışıyor--- bağlantısını seçin. Sağ tarafta performans penceresi görüntülenir.
2. Performans ayrıntılarını görüntülemek için Sorgu profilini görüntüle'ye tıklayın.
3. Tamamlanan ve başarısız çıkarımların sayısı ve isteğin tamamlanması için geçen toplam süre de dahil olmak üzere ilgili sorgunun ölçümlerini görmek için AI Sorgu tıklayın.

AI İşlevi iş yüklerinin maliyetlerini görüntüleme

Sorunuzu çalıştıran hesaplama her zaman faturalandırılır, örneğin bir SQL deposu veya iş kümesi. Ek bir model çıkarımı maliyeti olup olmaması fonksiyona bağlıdır:

• Göreve özgü fonksiyonlar (örneğin, ai_classify, ai_summarize, ai_translate), Model Serving aracılığıyla Databricks tarafından yönetilen sunucusuz GPU altyapısında çıkarım yapar. Bu altyapıyı siz oluşturmazsınız, ancak bunun ücreti sorgu işlem kaynaklarınıza ek olarak faturalandırılır.
• ai_query belirttiğiniz Model Hizmet uç noktası için faturalandırılır. Databricks tarafından barındırılan temel model uç noktaları, göreve özel işlevler gibi faturalandırılır; özel model ve ayrılmış aktarım kapasitesine sahip uç noktalar, kendilerine ayrılmış sunum işlem kaynaklarında çalışır ve buna göre faturalandırılır.
• ai_forecast, ai_detect_anomalies, ai_predict_class, ai_predict_value, ve ai_top_drivers tamamen gönderdiğiniz hesaplama üzerinde çalıştırılır, ayrı çıkarım maliyeti yoktur.
• vector_search Databricks tarafından yönetilen AI Arama hizmeti aracılığıyla AI Arama indeksinizi sorgular.

AI İşlevi maliyetleri, MODEL_SERVING ürünün bir parçası olarak BATCH_INFERENCE teklif türü altında kaydedilir. Örnek sorgu için bkz. Toplu çıkarım iş yüklerinin maliyetlerini görüntüleme .

Uyarı

ai_parse_document, ai_extract, ve ai_classify maliyetleri, AI_FUNCTIONS ürünün bir parçası olarak kaydedilir. ai_parse_document örnek sorgusu için bkz.

Toplu çıkarım iş yüklerinin maliyetlerini görüntüleme

Aşağıdaki örneklerde iş, işlem, SQL ambarları ve Lakeflow işlem hatlarına göre toplu çıkarım iş yüklerinin nasıl filtreleneceği gösterilmektedir.

AI İşlevleri kullanan toplu çıkarım iş yüklerinizin maliyetlerini görüntüleme hakkında genel örnekler için bkz. Model sunma maliyetlerini izleme .

İşler

Aşağıdaki sorgu, sistem tablosu kullanılarak system.workflow.jobs toplu çıkarım için hangi işlerin kullanıldığını gösterir. Bkz . Sistem tablolarıyla iş maliyetlerini ve performansını izleme.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

Aşağıda, sistem tablosu kullanılarak toplu çıkarım için hangi kümelerin system.compute.clusters kullanıldığı gösterilmektedir.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Lakeflow Spark Deklaratif İşlem Hatları

Aşağıda, sistem tablosu kullanılarak system.lakeflow.pipelines toplu çıkarım için hangi Lakeflow işlem hatlarının kullanıldığı gösterilmektedir.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

SQL ambarı

Aşağıda, sistem tablosu kullanılarak system.compute.warehouses toplu çıkarım için hangi SQL ambarlarının kullanıldığı gösterilmektedir.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Çalıştırma maliyetlerini ai_parse_document görüntüle

Aşağıdaki örnekte çalıştırma maliyetlerini görüntülemek için ai_parse_document faturalama sistemi tablolarının nasıl sorgu yapılacağı gösterilmektedir.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS"
  AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT";