Aracılığıyla paylaş

Belirteç başına ödeme için desteklenen modeller

  • Makale

Önemli

Bu özellik Genel Önizlemededir.

Bu makalede Databricks Foundation Model API'leri tarafından belirteç başına ödeme modunda desteklenen en yeni açık modeller açıklanmaktadır.

Databricks çalışma alanınızda bulunan belirteç başına ödeme uç noktalarını kullanarak bu modellere sorgu istekleri gönderebilirsiniz. Bkz. Sorgu temeli modelleri.

Foundation Model API'leri, belirteç başına ödeme modunda modelleri desteklemeye ek olarak sağlanan aktarım hızı modu da sunar. Databricks, üretim iş yükleri için sağlanan aktarım hızını önerir. Bu mod, belirteç başına ödeme modunda desteklenen ince ayarlı ve özel önceden eğitilmiş modeller de dahil olmak üzere model mimarisi ailesinin tüm modellerini (örneğin DBRX modelleri) destekler. Desteklenen mimarilerin listesi için bkz . Sağlanan aktarım hızı Temel Modeli API'leri .

AI Playground'i kullanarak desteklenen bu modellerle etkileşim kurabilirsiniz.

DBRX Yönergesi

Önemli

DBRX, Databricks Açık Model Lisansı, Telif Hakkı © Databricks, Inc. altında sağlanır ve bu lisansa tabidir. Tüm hakları saklıdır. Müşteriler, Databricks Kabul Edilebilir Kullanım ilkesi de dahil olmak üzere geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.

DBRX Instruct, Databricks tarafından eğitilen uzmanların (MoE) son model bir karışımıdır.

Model, standart karşılaştırmalar üzerinde oluşturulan açık kaynak modellerden daha iyi performans gösterir ve metin özetleme, soru-cevap verme, ayıklama ve kodlama gibi geniş bir doğal dil görev kümesinde üstünlük sağlar.

DBRX Yönergesi, en fazla 32k giriş uzunluğu belirteci işleyebilir ve 4k belirteçlere kadar çıkışlar oluşturur. MoE mimarisi sayesinde DBRX Instruct, toplam 132B eğitilmiş parametreden yalnızca 36B parametreyi etkinleştirerek çıkarım için son derece verimlidir. Bu modele hizmet veren belirteç başına ödeme uç noktası, saniyede bir sorgu hız sınırına sahiptir. Bkz. Model Sunma sınırları ve bölgeleri.

DBRX Instruct çıkışı, diğer büyük dil modellerine benzer şekilde bazı olguları atlayıp bazen yanlış bilgiler üretebilir. Databricks, doğruluğun özellikle önemli olduğu senaryolarda alma artırılmış oluşturma (RAG) kullanılmasını önerir.

DBRX modelleri, model yanıtlarında ilgi ve doğruluk sağlamak için aşağıdaki varsayılan sistem istemini kullanır:

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Meta Llama 3 70B Yönergesi

Önemli

Llama 3, LLAMA 3 Topluluk Lisansı, Telif Hakkı © Meta Platformları, Inc. altında lisanslanır. Tüm Hakları Saklıdır. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.

Meta-Llama-3-70B-Instruct, Meta tarafından oluşturulan ve eğitilen 8000 belirteç bağlamı ile en yeni 70B parametreli yoğun dil modelidir. Model, diyalog kullanım örnekleri için iyileştirilmiştir ve yararlılık ve güvenlik için insan tercihleriyle uyumlu hale getirilmiştir. İngilizce dışındaki dillerde kullanılmak üzere tasarlanmamıştır. Meta Llama 3 modelleri hakkında daha fazla bilgi edinin.

Diğer büyük dil modellerine benzer şekilde, Lama-3'ün çıkışı bazı olguları atlayıp bazen yanlış bilgiler üretebilir. Databricks, doğruluğun özellikle önemli olduğu senaryolarda alma artırılmış oluşturma (RAG) kullanılmasını önerir.

Lama 2 70B Sohbet

Önemli

Llama 2, LLAMA 2 Topluluk Lisansı, Telif Hakkı © Meta Platformları, Inc. altında lisanslanır. Tüm Hakları Saklıdır. Müşteriler, geçerli model lisanslarıyla uyumluluğu sağlamakla sorumludur.

Llama-2-70B-Chat, Meta tarafından eğitilen 4.096 belirteç bağlam uzunluğuna sahip son model bir 70B parametre dili modelidir. Özetleme, soru yanıtlama ve sohbet uygulamaları gibi güçlü mantık yürütme özellikleri gerektiren etkileşimli uygulamalarda üstünlük sağlar.

Diğer büyük dil modellerine benzer şekilde, Lama-2-70B'nin çıkışı bazı olguları atlayıp bazen yanlış bilgiler üretebilir. Databricks, doğruluğun özellikle önemli olduğu senaryolarda alma artırılmış oluşturma (RAG) kullanılmasını önerir.

Mixtral-8x7B Yönergesi

Mixtral-8x7B Instruct, Mistral AI tarafından eğitilen yüksek kaliteli bir seyrek uzman modeli (SMoE) karışımıdır. Mixtral-8x7B Instruct, soru-cevap verme, özetleme ve ayıklama gibi çeşitli görevler için kullanılabilir.

Mixtral, 32k belirteçlere kadar bağlam uzunluklarını işleyebilir. Mixtral İngilizce, Fransızca, İtalyanca, Almanca ve İspanyolcayı işleyebilir. Mixtral, çoğu kıyaslamada (Mixtral performansı) 2 70B ve GPT3.5 ile eşleşir veya daha iyi performans gösterirken, çıkarım sırasında Lama 70B'den dört kat daha hızlıdır.

Diğer büyük dil modellerine benzer şekilde, Mixtral-8x7B Instruct modeli de olgusal olarak doğru bilgiler üretmek için güvenilir olmamalıdır. Ön eğitim verilerini temizlemek için büyük çaba harcanmış olsa da, bu modelin uygunsuz, taraflı veya başka bir şekilde rahatsız edici çıkışlar üretmesi mümkündür. Riski azaltmak için Databricks varsayılan olarak Mistral'in güvenli mod sistem isteminin bir değişkenini kullanır.

MPT 7B Yönergesi

MPT-7B-8K-Instruct, MozaikML tarafından uzun biçimli yönerge için eğitilmiş bir 6,7B parametre modelidir ve özellikle daha uzun belgelerin soru-yanıtlanması ve özetlenmesi. Model, veri kümelerinin bir karışımı üzerinde 1,5T belirteçler için önceden eğitilir ve Databricks Dolly-15k ile Antropik Yararlı ve Zararsız (HH-RLHF) veri kümelerinden türetilen bir veri kümesinde ince ayarlar yapılır Üründe gördüğünüz model adıdır mpt-7b-instruct ancak özellikle kullanılan model modelin daha yeni sürümüdür.

MPT-7B-8K-Instruct, soru yanıtlama, özetleme ve ayıklama gibi çeşitli görevler için kullanılabilir. Lama-2-70B'ye göre çok hızlıdır, ancak daha düşük kaliteli yanıtlar üretebilir. Bu model 8 bin belirteç bağlam uzunluğunu destekler. MPT-7B-8k-Instruct modeli hakkında daha fazla bilgi edinin.

Bu boyuttaki diğer dil modellerine benzer şekilde, MPT-7B-8K-Instruct, olgusal olarak doğru bilgiler üretmek için güvenilir olmamalıdır. Bu model çeşitli genel veri kümeleri üzerinde eğitildi. Ön eğitim verilerini temizlemek için büyük çaba harcanmış olsa da, bu modelin uygunsuz, taraflı veya başka bir şekilde rahatsız edici çıkışlar üretmesi mümkündür.

MPT 30B Yönergesi

MPT-30B-Instruct, MozaikML tarafından eğitilen yönerge için bir 30B parametre modelidir. Model, İngilizce metin ve kodun bir karışımı üzerinde 1T belirteçler için önceden eğitilmiştir ve ardından Databricks Dolly-15k, Anthropic Helpful and Harmless (HH-RLHF), CompetitionMath, DuoRC, CoT GSM8k, QASPER, QuALITY, SummScreen ve Spider veri kümelerinden türetilen bir veri kümesinde ince ayarlı yönergelerdir.

MPT-30B-Instruct, soru yanıtlama, özetleme ve ayıklama gibi çeşitli görevler için kullanılabilir. Lama-2-70B'ye göre çok hızlıdır, ancak daha düşük kaliteli yanıtlar oluşturabilir ve çok aşamalı sohbeti desteklemez. Bu model 8.192 belirteç bağlam uzunluğunu destekler. MPT-30B-Instruct modeli hakkında daha fazla bilgi edinin.

Bu boyuttaki diğer dil modellerine benzer şekilde, MPT-30B-Instruct olgusal olarak doğru bilgiler üretmek için güvenilir olmamalıdır. Bu model çeşitli genel veri kümeleri üzerinde eğitildi. Eğitim öncesi verileri temizlemek için büyük çaba harcansa da, bu modelin uygunsuz, taraflı veya başka bir şekilde rahatsız edici çıkışlar üretmesi mümkündür.

BGE Büyük (En)

BAAI Genel Ekleme (BGE), herhangi bir metni 1024 boyutlu bir ekleme vektörine ve 512 belirteç içeren bir ekleme penceresine eşleyebilecek bir metin ekleme modelidir. Bu vektörler LLM'ler için vektör veritabanlarında ve alma, sınıflandırma, soru-yanıt verme, kümeleme veya anlamsal arama gibi görevler için kullanılabilir. Bu uç nokta modelin İngilizce sürümüne hizmet eder.

Ekleme modelleri özellikle artırılmış nesil (RAG) kullanım örnekleri için LLM'lerle birlikte kullanıldığında etkilidir. BGE, bir LLM bağlamında kullanılabilecek büyük belge öbeklerinde ilgili metin parçacıklarını bulmak için kullanılabilir.

RAG uygulamalarında, bir yönerge parametresi ekleyerek alma sisteminizin performansını geliştirebilirsiniz. BGE yazarları, performans etkisi etki alanına bağımlı olsa da sorgu ekleme yönergelerini "Represent this sentence for searching relevant passages:" denemenizi önerir.

Ek kaynaklar