Uç noktalara hizmet veren temel model (miras)

Note

Bu sayfa, eski uç nokta tabanlı Model Servis iş akışını açıklar. Unity Gateway üzerinden modelleri bulmak ve sorgulamak için mevcut modellere ve sorgulama model hizmetlerine bakabilirsiniz.

Databricks dışında barındırılan temel modellere erişim

OpenAI ve Antropik gibi LLM sağlayıcıları tarafından oluşturulan temel modellere Databricks'te Dış modeller kullanılarak da erişilebilir. Bu modeller Databricks dışında barındırılır ve bunları sorgulamak için bir uç nokta oluşturabilirsiniz. Bu uç noktalar, kuruluşunuzdaki çeşitli LLM sağlayıcılarının kullanımını ve yönetimini kolaylaştıran Azure Databricks'ten merkezi olarak yönetilebilir.

Aşağıdaki tabloda desteklenen modellerin ve ilgili uç nokta türlerinin kapsamlı olmayan bir listesi sunulmaktadır. Listelenen model çağrışımlarını, yeni piyasaya sürülen model türleri için belirli bir sağlayıcı tarafından kullanılabilir hale geldikçe bir uç noktayı yapılandırmanıza yardımcı olmak için kullanabilirsiniz. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.

Note

LLM'lerin hızlı bir şekilde geliştirilmesiyle, bu listenin her zaman güncel olduğunu garanti etmemektedir. Aynı sağlayıcının yeni model sürümleri, listede olmasalar bile genellikle desteklenir.

Model sağlayıcısı	llm/v1/tamamlama işlemleri	llm/v1/chat	llm/v1/gömülüler
OpenAI**	gpt-3.5-turbo-instruct babbage-002 davinci-002	o1 o1-mini o1-mini-2024-09-12 gpt-3.5-turbo gpt-4 gpt-4-turbo gpt-4-turbo-2024-04 gpt-4o gpt-4o-2024-05-13 gpt-4o-mini	metin yerleştirme-ada-002 text-embedding-3-large text-embedding-3-small
Azure OpenAI**	text-davinci-003 gpt-35-turbo-instruct	o1 o1-mini gpt-35-turbo gpt-35-turbo-16k gpt-4 gpt-4-turbo gpt-4-32k gpt-4o gpt-4o-mini	metin yerleştirme-ada-002 text-embedding-3-large text-embedding-3-small
Anthropic	claude-1 claude-1.3-100k claude-2 claude-2.1 claude-2.0 claude-instant-1.2	claude-3-5-sonnet-en yeni Claude 3.5 Haiku - Son Sürüm "claude-3-5-opus-latest" claude-3-5-sonnet-20241022 claude-3-5-haiku-20241022 claude-3-5-sonnet-20240620 claude-3-haiku-20240307 claude-3-opus-20240229 claude-3-sonnet-20240229
Bağdaşmak	command komut lambası	komut-r7b-12-2024 command-r-plus-08-2024 command-r-08-2024 Command-R-Plus Komut-R command komut-ışık-gecelik komut lambası geceleyin komut	gömülü-ingilizce-v2.0 embed-multilingual-v2.0 embed-ingilizce-hafif-v2.0 gömülü-ingilizce-v3.0 embed-english-light-v3.0 embed-multilingual-v3.0 embed-multilingual-light-v3.0
Model Hizmeti	Uç nokta sunan Databricks	Uç nokta sunan Databricks	Uç nokta sunan Databricks
Amazon Bedrock	Antropik: claude-instant-v1 claude-v2 Uyum içinde olmak komut-metin-v14 komut-hafif-metnin-v14 AI21 Laboratuvarları: j2-grande-instruct j2-jumbo-instruct j2-mid j2-mid-v1 j2-ultra j2-ultra-v1	Antropik: claude-3-5-sonnet-20241022-v2:0 claude-3-5-haiku-20241022-v1:0 claude-3-opus-20240229-v1:0 claude-3-sonnet-20240229-v1:0 claude-3-5-sonnet-20240620-v1:0 Uyum içinde olmak command-r-plus-v1:0 komut-r-v1:0 Amazon: nova-lite-v1:0 nova-micro-v1:0 nova-pro-v1:0	Amazon: titan-embed-text-v2:0 titan-embed-text-v1 titan-embed-g1-text-02 Uyum içinde olmak embed-english-v3 embed-multilingual-v3
AI21 Laboratuvarları†	j2-mid j2-light j2-ultra
Google Cloud Vertex AI	metin bizonu	Chat-Bison gemini-pro gemini-1.0-pro gemini-1.5-pro gemini-1.5-flaş gemini-2.0-flash	metin ekleme-004 metin ekleme-005 metin gömme-gecko modeli

** Model sağlayıcısı hassas tamamlama ve sohbet modellerini destekler. hassas bir modeli sorgulamak için, name yapılandırmasının external model alanını ince ayarlı modelinizin adıyla doldurun.

† Model sağlayıcısı özel tamamlama modellerini destekler.

Uç noktalara hizmet veren temel model oluşturma

Yapay zeka uygulamalarınızda temel modelleri sorgulamak ve kullanmak için önce uç noktaya hizmet veren bir model oluşturmanız gerekir. Model Sunma, uç noktalara hizmet veren temel modeli oluşturmak ve güncelleştirmek için birleşik bir API ve kullanıcı arabirimi kullanır.

• Temel Model API'leri tarafından sağlanan aktarım hızı kullanılarak kullanıma sunulan temel modellerinin ince ayarlı varyantlarına hizmet veren bir uç nokta oluşturmak için bkz. REST API kullanarak sağlanan aktarım hızı uç noktanızı oluşturma.
• Harici model teklifi kullanılarak erişime açılan temel modeller için hizmet uç noktaları oluşturmak konusunda bilgi almak üzere bkz. Harici bir model sunma uç noktası oluşturma.

Uç noktaları sunan sorgu temeli modeli

Sunum uç noktanızı oluşturduktan sonra temel modelinizi sorgulayabilirsiniz. Model Sunma, temel modelleri sorgulamak için birleştirilmiş OpenAI uyumlu BIR API ve SDK kullanır. Bu birleşik deneyim, desteklenen bulutlar ve sağlayıcılar arasında üretim için temel modellerle deneme ve özelleştirme işlemlerini basitleştirir.

Bkz . Temel modelleri kullanma.