Databricks Foundation Model API'leri

Bu makalede, Azure Databricks'te Temel Model API'lerine genel bir bakış sağlanır. Kullanım gereksinimlerini, desteklenen modelleri ve sınırlamaları içerir.

Databricks Foundation Model API'leri nedir?

Model Sunma artık bir sunum uç noktasından son modellere erişmenize ve bunları sorgulamanıza olanak tanıyan Temel Model API'lerini destekler. Bu modeller Databricks tarafından barındırılır ve kendi model dağıtımınızı korumadan bunları kullanan uygulamaları hızlı ve kolay bir şekilde oluşturabilirsiniz. Temel Model API'si bir Databricks Atanmış Hizmeti olup, bu, müşteri içeriğini işlerken veri yerleşimini yönetmek için Databricks Geos kullandığı anlamına gelir.

Temel Model API'leri aşağıdaki modlarda sağlanır:

  • Belirteç başına ödeme: Bu, Databricks'te temel modellere erişmeye başlamanın en kolay yoludur ve Temel Model API'leriyle yolculuğunuza başlamak için önerilir. Databricks, üretim iş yükleri için, yük altında daha tutarlı performansa ihtiyaç duyan gecikmeye duyarlı iş yüklerinde, öncelik modu olarak da bilinen öncelikli belirteç başına ödeme kullanımını önerir.

  • Sağlanan aktarım hızı: Bu mod, özellikle yüksek aktarım hızı, performans garantileri, ince ayarlı modeller gerektiren veya ek güvenlik gereksinimleri olan tüm üretim iş yükleri için önerilir. Sağlanan aktarım hızı uç noktaları HIPAA gibi uyumluluk sertifikalarıyla kullanılabilir.

  • AI İşlevleri için iyileştirilmiş modeller: Bu mod toplu çıkarım iş yükleri için önerilir. AI İşlevleri'ni kullanarak herhangi bir yapay zeka veya ML modelini kullanarak toplu çıkarım çalıştırmayı seçebilirsiniz.

Bu modları ve desteklenen modelleri kullanma hakkında yönergeler için bkz. Temel Model API'lerini kullanma.

Temel Model API'lerini kullanarak aşağıdakileri yapabilirsiniz:

  • Daha fazla kaynak yatırımı yapmadan önce projenin geçerliliğini doğrulamak için genelleştirilmiş bir LLM'yi sorgulayın.
  • Özel bir modelin eğitimi ve dağıtımına yatırım yapmadan önce, LLM tabanlı bir uygulama için hızlı bir kavram kanıtı oluşturmak amacıyla genelleştirilmiş bir LLM'yi sorgulamak gerekir.
  • Alma artırılmış nesli (RAG) kullanarak sohbet botu oluşturmak için vektör diziniyle birlikte bir temel model kullanın.
  • Maliyet ve performans için iyileştirme yapmak için özel modelleri açık alternatiflerle değiştirin.
  • Kullanım örneğiniz için en iyi adayı görmek için LLM'leri verimli bir şekilde karşılaştırın veya üretim modelini daha iyi performans gösteren bir modelle değiştirin.
  • Üretim trafiği artışlarınızı destekleyebilen ölçeklenebilir, SLA destekli bir LLM sunan çözümün üzerine geliştirme veya üretim için bir LLM uygulaması oluşturun.

Gereksinimler

Temel Model API'lerini Kullanın

Temel Model API'lerini kullanmak için birden çok seçeneğiniz vardır.

API'ler OpenAI ile uyumludur, bu nedenle sorgulama için OpenAI istemcisini kullanabilirsiniz. Desteklenen modelleri sorgulamak için kullanıcı arabirimini, Temel Modeller API'leri Python SDK'sını, MLflow Dağıtımları SDK'sını veya REST API'yi de kullanabilirsiniz. Databricks, genişletilmiş etkileşimler için OpenAI istemci SDK'sını veya API'yi ve özelliği denemek için kullanıcı arabirimini kullanmanızı önerir.

Puanlama örnekleri için temel modelleri kullanma bölümüne bakın.

Token Başına Ödeme Sunan Temel Model API'leri

Belirteç başına ödeme modellerine hizmet veren önceden yapılandırılmış uç noktalara Azure Databricks çalışma alanınızdan erişilebilir. Başlangıç için jeton başına ödeme modelleri önerilir. Çalışma alanınızda bunlara erişmek için sol kenar çubuğundaki Sunma sekmesine gidin. Temel Model API'leri Uç Noktalar liste görünümünün en üstünde bulunur.

Sunum uç noktaları listesi

Token başına öncelikli ödeme

Öncelik modu olarak da adlandırılan belirteç başına öncelikli ödeme, gecikme süresine duyarlı, gerçek zamanlı uygulamalar için belirteç başına ödeme özelliğidir. service_tier parametresi "priority" olarak ayarlanmış bir istek gönderdiğinizde Azure Databricks, yük altında daha tutarlı gecikme süreleri sağlamak için isteğe standart, token başına ödemeli en iyi çaba trafiğine göre öncelik verir. Öncelik modu her istek için ayrı ayrı etkinleştirilir, taahhüt gerektirmez ve belirteç başına daha yüksek bir ücret üzerinden faturalandırılır.

Bkz. Temel Model API'leri için belirteç başına öncelikli ödeme.

Sağlanmış veri işleme kapasitesi Temel Model API'leri

Sağlanan aktarım hızı, uç noktalara performans garantisi gerektiren temel model iş yükleri için iyileştirilmiş çıkarım sağlar. Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir.

Sağlanan aktarım hızı desteği şunları içerir:

  • Tüm Boyutlardaki Temel Modeller. Temel modellere Databricks Marketi kullanılarak erişilebilir veya alternatif olarak Yüz Tanıma'dan veya başka bir dış kaynaktan indirip Unity Kataloğu'na kaydedebilirsiniz. İkinci yaklaşım, desteklenen modellerin herhangi bir ince ayarlı varyantında çalışır.
  • Temel modellerin ince ayarlı varyantları, özel veriler üzerinde ince ayar yapılmış modeller gibidir.
  • Tamamen özelleştirilmiş ağırlıklar ve belirteçler,sıfırdan eğitilenler veya önceden eğitilmişlerin devamı olarak ya da temel model mimarisi (örneğin, CodeLlama) kullanılarak elde edilen diğer varyasyonlar gibi.

Toplu çıkarım için AI İşlevleri

Bkz. Yapay Zeka Fonksiyonları kullanarak yapılandırılmamış veriyi dönüştür.

AI İşlevlerini kullanarak toplu çıkarım işlem hatları oluşturma hakkında bilgi için bkz. Toplu çıkarım işlem hatlarını dağıtma.

Sınırlama

Bkz. Foundation Model API'lerin sınırları.

Ek kaynaklar

  • Last updated on