Databricks Foundation Model API'leri

Bu makalede, Azure Databricks'te Temel Model API'lerine genel bir bakış sağlanır. Kullanım gereksinimlerini, desteklenen modelleri ve sınırlamaları içerir.

Databricks Foundation Model API'leri nedir?

Model Sunma artık bir sunum uç noktasından son modellere erişmenize ve bunları sorgulamanıza olanak tanıyan Temel Model API'lerini destekler. Bu modeller Databricks tarafından barındırılır ve kendi model dağıtımınızı korumadan bunları kullanan uygulamaları hızlı ve kolay bir şekilde oluşturabilirsiniz. Temel Model API'si bir Databricks Atanmış Hizmeti olup, bu, müşteri içeriğini işlerken veri yerleşimini yönetmek için Databricks Geos kullandığı anlamına gelir.

Temel Model API'leri aşağıdaki modlarda sağlanır:

  • Belirteç başına ödeme: Bu, Databricks'te temel modellere erişmeye başlamanın en kolay yoludur ve Temel Model API'leriyle yolculuğunuza başlamak için önerilir. Bu mod yüksek aktarım hızı uygulamaları için tasarlanmamıştır, ancak üretim iş yükleri için kullanılabilir.
  • Sağlanan aktarım hızı: Bu mod, özellikle yüksek aktarım hızı, performans garantileri, ince ayarlı modeller gerektiren veya ek güvenlik gereksinimleri olan tüm üretim iş yükleri için önerilir. Sağlanan aktarım hızı uç noktaları HIPAA gibi uyumluluk sertifikalarıyla kullanılabilir.
  • AI İşlevleri için iyileştirilmiş modeller: Bu mod toplu çıkarım iş yükleri için önerilir. AI İşlevleri'ni kullanarak herhangi bir üretken yapay zeka veya ML modeli kullanarak toplu çıkarım çalıştırmayı seçebilirsiniz.

Bu modları ve desteklenen modelleri kullanma hakkında yönergeler için bkz. Temel Model API'lerini kullanma.

Temel Model API'lerini kullanarak aşağıdakileri yapabilirsiniz:

  • Daha fazla kaynak yatırımı yapmadan önce projenin geçerliliğini doğrulamak için genelleştirilmiş bir LLM'yi sorgulayın.
  • Özel bir modelin eğitimi ve dağıtımına yatırım yapmadan önce, LLM tabanlı bir uygulama için hızlı bir kavram kanıtı oluşturmak amacıyla genelleştirilmiş bir LLM'yi sorgulamak gerekir.
  • Alma artırılmış nesli (RAG) kullanarak sohbet botu oluşturmak için vektör diziniyle birlikte bir temel model kullanın.
  • Maliyet ve performans için iyileştirme yapmak için özel modelleri açık alternatiflerle değiştirin.
  • Kullanım örneğiniz için en iyi adayı görmek için LLM'leri verimli bir şekilde karşılaştırın veya üretim modelini daha iyi performans gösteren bir modelle değiştirin.
  • Üretim trafiği artışlarınızı destekleyebilen ölçeklenebilir, SLA destekli bir LLM sunan çözümün üzerine geliştirme veya üretim için bir LLM uygulaması oluşturun.

Gereksinimler

Temel Model API'lerini Kullanın

Temel Model API'lerini kullanmak için birden çok seçeneğiniz vardır.

API'ler OpenAI ile uyumludur, bu nedenle sorgulama için OpenAI istemcisini kullanabilirsiniz. Desteklenen modelleri sorgulamak için kullanıcı arabirimini, Temel Modeller API'leri Python SDK'sını, MLflow Dağıtımları SDK'sını veya REST API'yi de kullanabilirsiniz. Databricks, genişletilmiş etkileşimler için OpenAI istemci SDK'sını veya API'yi ve özelliği denemek için kullanıcı arabirimini kullanmanızı önerir.

Puanlama örnekleri için temel modelleri kullanma bölümüne bakın.

Token Başına Ödeme Sunan Temel Model API'leri

Belirteç başına ödeme modellerine hizmet veren önceden yapılandırılmış uç noktalara Azure Databricks çalışma alanınızdan erişilebilir. Başlangıç için jeton başına ödeme modelleri önerilir. Çalışma alanınızda bunlara erişmek için sol kenar çubuğundaki Sunma sekmesine gidin. Temel Model API'leri Uç Noktalar liste görünümünün en üstünde bulunur.

Sunum uç noktaları listesi

Sağlanmış veri işleme kapasitesi Temel Model API'leri

Sağlanan aktarım hızı, uç noktalara performans garantisi gerektiren temel model iş yükleri için iyileştirilmiş çıkarım sağlar. Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir.

Sağlanan aktarım hızı desteği şunları içerir:

  • Tüm Boyutlardaki Temel Modeller. Temel modellere Databricks Marketi kullanılarak erişilebilir veya alternatif olarak Yüz Tanıma'dan veya başka bir dış kaynaktan indirip Unity Kataloğu'na kaydedebilirsiniz. İkinci yaklaşım, desteklenen modellerin herhangi bir ince ayarlı varyantında çalışır.
  • Temel modellerin ince ayarlı varyantları, özel veriler üzerinde ince ayar yapılmış modeller gibidir.
  • Tamamen özelleştirilmiş ağırlıklar ve belirteçler,sıfırdan eğitilenler veya önceden eğitilmişlerin devamı olarak ya da temel model mimarisi (örneğin, CodeLlama) kullanılarak elde edilen diğer varyasyonlar gibi.

Toplu çıkarım için AI İşlevleri

Bkz . Yapay zeka işlevlerini kullanarak verileri zenginleştirme.

AI İşlevlerini kullanarak toplu çıkarım işlem hatları oluşturma hakkında bilgi için bkz. Toplu çıkarım işlem hatlarını dağıtma.

Sınırlama

Bkz. Foundation Model API'lerin sınırları.

Ek kaynaklar

  • Last updated on