Share via

Databricks Foundation Model API'leri

  • Makale

Bu makalede, Azure Databricks'teki Temel Model API'lerine genel bir bakış sağlanır. Kullanım gereksinimlerini, desteklenen modelleri ve sınırlamaları içerir.

Databricks Foundation Model API'leri nedir?

Databricks Model Sunma artık bir sunum uç noktasından en son sürüm açık modellere erişmenizi ve bunları sorgulamanızı sağlayan Temel Model API'lerini desteklemektedir. Temel Model API'leri ile, kendi model dağıtımınızı korumadan yüksek kaliteli üretken bir yapay zeka modelinden yararlanan uygulamaları hızlı ve kolay bir şekilde oluşturabilirsiniz.

Temel Model API'leri iki fiyatlandırma modunda sağlanır:

  • Belirteç başına ödeme: Bu, Databricks'te temel modellere erişmeye başlamanın en kolay yoludur ve Temel Model API'leriyle yolculuğunuza başlamak için önerilir. Bu mod yüksek aktarım hızına sahip uygulamalar veya yüksek performanslı üretim iş yükleri için tasarlanmamıştır.
  • Sağlanan aktarım hızı: Bu mod, özellikle yüksek aktarım hızı, performans garantileri, ince ayarlı modeller gerektiren veya ek güvenlik gereksinimleri olan tüm üretim iş yükleri için önerilir. Sağlanan aktarım hızı uç noktaları HIPAA gibi uyumluluk sertifikalarıyla kullanılabilir.

Bu iki modu ve desteklenen modelleri kullanma yönergeleri için bkz . Temel Model API'lerini kullanma.

Temel Model API'lerini kullanarak aşağıdakileri yapabilirsiniz:

  • Daha fazla kaynak yatırımı yapmadan önce projenin geçerliliğini doğrulamak için genelleştirilmiş bir LLM'yi sorgulayın.
  • Eğitime ve özel model dağıtmaya yatırım yapmadan önce LLM tabanlı bir uygulama için hızlı bir kavram kanıtı oluşturmak için genelleştirilmiş bir LLM'yi sorgular.
  • Alma artırılmış nesli (RAG) kullanarak sohbet botu oluşturmak için vektör veritabanıyla birlikte bir temel model kullanın.
  • Maliyet ve performans için iyileştirme yapmak için özel modelleri açık alternatiflerle değiştirin.
  • Kullanım örneğiniz için en uygun adayı görmek için LLM'leri verimli bir şekilde karşılaştırın veya bir üretim modelini daha iyi performans gösteren bir modelle değiştirin.
  • Üretim trafiği artışlarınızı destekleyebilen ölçeklenebilir, SLA destekli bir LLM sunan çözümün üzerine geliştirme veya üretim için bir LLM uygulaması oluşturun.

Gereksinim -leri

Not

DBRX Temel modelini kullanan sağlanan aktarım hızı iş yükleri için bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları .

Temel Model API'lerini kullanma

Temel Model API'lerini kullanmak için birden çok seçeneğiniz vardır.

API'ler OpenAI ile uyumludur, bu nedenle sorgulama için OpenAI istemcisini bile kullanabilirsiniz. Desteklenen modelleri sorgulamak için kullanıcı arabirimini, Temel Modeller API'leri Python SDK'sını, MLflow Dağıtımları SDK'sını veya REST API'yi de kullanabilirsiniz. Databricks, genişletilmiş etkileşimler için MLflow Dağıtımları SDK'sını veya REST API'yi ve özelliği denemek için kullanıcı arabirimini kullanmanızı önerir.

Puanlama örnekleri için bkz . Sorgu temeli modelleri .

Belirteç başına ödeme temel modeli API'leri

Önemli

Bu özellik Genel Önizlemededir.

Belirteç başına ödeme modellerine Azure Databricks çalışma alanınızdan erişilebilir ve kullanmaya başlamanız önerilir. Çalışma alanınızda bunlara erişmek için sol kenar çubuğundaki Sunum sekmesine gidin. Temel Model API'leri Uç Noktalar liste görünümünün en üstünde bulunur.

Uç noktalar listesi sunma

Aşağıdaki tabloda belirteç başına ödeme için desteklenen modeller özetlenmektedir. Ek model bilgileri için bkz . Belirteç başına ödeme için desteklenen modeller.

Test etmek ve bu modellerle sohbet etmek istiyorsanız yapay zeka Oyun Alanı'nı kullanarak bunu yapabilirsiniz. Bkz . AI Playground kullanarak desteklenen LLM'lerle sohbet edin.

Model Görev türü Uç nokta
DBRX Yönergesi Sohbet databricks-dbrx-instruct
Meta-Llama-3-70B-Instruct Sohbet databricks-meta-llama-3-70b-instruct
Meta-Lama-2-70B-Chat Sohbet databricks-llama-2-70b-chat
Mixtral-8x7B Yönergesi Sohbet databricks-mixtral-8x7b-instruct
MPT 7B Yönergesi Tamamlama databricks-mpt-7b-instruct
MPT 30B Yönergesi Tamamlama databricks-mpt-30b-instruct
BGE Large (İngilizce) Ekleme databricks-bge-large-en

Sağlanan aktarım hızı Temel Model API'leri

Sağlanan aktarım hızı genel olarak kullanılabilir ve Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir. Sağlanan aktarım hızı, uç noktalara performans garantisi gerektiren temel model iş yükleri için iyileştirilmiş çıkarım sağlar. Temel Model API'lerini sağlama modunda dağıtma hakkında adım adım kılavuz için bkz. Sağlanan aktarım hızı Temel Model API'leri.

Sağlanan aktarım hızı desteği şunları içerir:

  • DBRX Tabanı gibi tüm boyutlardaki temel modeller. Temel modellere Databricks Marketi kullanılarak erişilebilir veya alternatif olarak Yüz Tanıma'dan veya başka bir dış kaynaktan indirip Unity Kataloğu'na kaydedebilirsiniz. İkinci yaklaşım, kullanılan ince ayar yönteminden bağımsız olarak desteklenen modellerin herhangi bir ince ayarlı çeşidiyle çalışır.
  • LlamaGuard-7B gibi temel modellerin ince ayarlı varyantları. Bu, özel veriler üzerinde ince ayarlı modeller içerir.
  • Sıfırdan eğitilenler veya temel model mimarisini (CodeLlama, Yi-34B-Chat veya SOLAR-10.7B gibi) kullanarak devam eden önceden eğitilmiş veya diğer çeşitlemeler gibi tamamen özel ağırlıklar ve belirteçler.

Aşağıdaki tabloda sağlanan aktarım hızı için desteklenen model mimarileri özetlenmektedir.

Model mimarisi Görev türleri Notlar
DBRX Sohbet veya Tamamlama Bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları .
Meta Lama 3 Sohbet veya Tamamlama
Meta Lama 2 Sohbet veya Tamamlama
Mistral Sohbet veya Tamamlama
Mixtral Sohbet veya Tamamlama
MPT Sohbet veya Tamamlama
BGE v1.5 (İngilizce) Ekleme

Sınırlamalar

Bkz. Model Sunma sınırları ve bölgeleri.

Ek kaynaklar