Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Tento článek popisuje základní modely, které můžete obsluhovat pomocí Služby modelu Mosaic AI.
Základní modely jsou velké předem natrénované neurální sítě, které jsou natrénované na velkých i širokých rozsazích dat. Tyto modely jsou navržené tak, aby se naučily obecné vzory v jazyce, obrázcích nebo jiných datových typech a dají se vyladit pro konkrétní úlohy s dalšími školeními. Vaše použití určitých základních modelů podléhá podmínkám modelu a přijatelným zásadám použití. Viz Platné podmínky modelu.
Obsluha modelů nabízí flexibilní možnosti hostování a dotazování základních modelů na základě vašich potřeb:
- s platbou za token: Ideální pro experimentování a rychlý průzkum. Tato možnost umožňuje dotazovat se na předem nakonfigurované koncové body v pracovním prostoru Databricks bez počátečních závazků infrastruktury.
- Funkce AI (dávkové odvozování):: Podmnožina modelů hostovaných v Databricks je optimalizovaná pro funkce AI. AI můžete použít na data a spouštět produkční úlohy dávkového odvozování ve velkém měřítku pomocí těchto funkcí a jejich podporovaných modelů.
- Zřízená propustnost: Doporučeno pro případy použití v produkčním prostředí vyžadující záruky výkonu. Tato možnost umožňuje nasazení jemně vyladěných základních modelů s optimalizovanými obslužnými koncovými body.
- Externí modely: Tato možnost umožňuje přístup k základním modelům hostovaným mimo Databricks, jako jsou ty, které poskytuje OpenAI nebo Anthropic. Tyto modely je možné centrálně spravovat v Databricks, aby se zjednodušily zásady správného řízení.
Základní modely hostované v Databricks
Databricks hostuje nejmodernější otevřené základní modely, jako je Meta Llama. Tyto modely jsou k dispozici pomocí rozhraní API základního modelu.
Následující tabulka shrnuje, které modely a rodiny modelů hostované službou Databricks jsou podporovány v každé oblasti na základě funkce Obsluha modelu.
Důležitý
- Anthropic Claude 3.7 Sonnet již není k dispozici. Informace o tom, jak migrovat během vyřazení, najdete v části Vyřazené modely s doporučeným náhradním modelem a pokyny k migraci.
- Meta Llama 4 Maverick je k dispozici pro úlohy s propustností rozhraní API základních modelů ve verzi Public Preview.
- Meta-Llama-3.1-405B-Instruct už není k dispozici pro úlohy s platbami za tokeny. Od 15. května 2026 bude také ukončena pro pracovní zátěže s nastavenou propustností. Informace o tom, jak migrovat během vyřazení, najdete v části Vyřazené modely s doporučeným náhradním modelem a pokyny k migraci.
- Několik starších modelových řad bylo vyřazeno. Úplný seznam vyřazených modelů a doporučených nahrazení najdete v části Vyřazené modely .
⥂ Tento model je podporovaný na základě dostupnosti GPU a vyžaduje povolení směrování napříč geografickými oblastmi.
základních modelů Accessu hostovaných mimo Databricks
Základní modely vytvořené poskytovateli LLM, jako jsou OpenAI a Anthropic, jsou také přístupné v Databricks pomocí externích modelů. Tyto modely jsou hostované mimo Databricks a můžete vytvořit koncový bod pro jejich dotazování. Tyto koncové body se dají centrálně řídit z Azure Databricks, což zjednodušuje používání a správu různých poskytovatelů LLM ve vaší organizaci.
Následující tabulka uvádí seznam podporovaných modelů a odpovídajících typů koncových bodů . Pomocí uvedených přidružení modelů můžete nakonfigurovat koncový bod pro všechny nově vydané typy modelů, jakmile budou dostupné u daného poskytovatele. Zákazníci nesou odpovědnost za zajištění souladu s platnými licencemi modelu.
Poznámka
Díky rychlému vývoji LLM není zaručeno, že je tento seznam neustále aktuální. Nové verze modelu od stejného poskytovatele se obvykle podporují i v případě, že nejsou v seznamu.
| Zprostředkovatel modelů | llm/v1/doplnění | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Antropický |
|
|
|
| Cohere |
|
|
|
| Model umělé inteligence Mosaic pro nasazení | Koncový bod služby Databricks | Koncový bod služby Databricks | Koncový bod služby Databricks |
| Amazon Bedrock | Anthropic:
Spojit se!
Testovací prostředí AI21:
|
Anthropic:
Spojit se!
Amazonka:
|
Amazonka:
Spojit se!
|
Testovací prostředí AI21† |
|
||
| Google Cloud Vertex AI | text-bizon |
|
|
poskytovatel modelů ** podporuje jemně vyladěné modely dokončování a chatu. Pokud chcete dotazovat jemně vyladěný model, vyplňte pole name konfigurace external model názvem jemně vyladěného modelu.
† Zprostředkovatel modelů podporuje vlastní modely dokončování.
Vytvořte koncové body pro obsluhu základního modelu
Pokud chcete dotazovat a používat základní modely v aplikacích AI, musíte nejprve vytvořit koncový bod obsluhy modelu. Obsluha modelů používá jednotné rozhraní API a uživatelské rozhraní k vytváření a aktualizaci základních modelů obsluhujících koncové body.
- Pokud chcete vytvořit koncový bod, který obsluhuje jemně vyladěné varianty základních modelů zpřístupněných pomocí zřízené propustnosti rozhraní API základního modelu, přečtěte si téma Vytvoření zřízeného koncového bodu propustnosti pomocí rozhraní REST API.
- Pro vytvoření obslužných koncových bodů, které přistupují k základním modelům zpřístupněným prostřednictvím nabídky Externí modely, se podívejte na Vytvoření externího modelu obsluhujícího koncový bod.
Dotazování na koncové body obsluhující základní model
Po vytvoření koncového bodu obsluhy se můžete dotazovat na výchozí model. Obsluha modelů používá pro dotazování základních modelů sjednocené rozhraní API kompatibilní s OpenAI a sadou SDK. Toto jednotné prostředí zjednodušuje experimentování se základními modely pro produkční prostředí napříč podporovanými cloudy a poskytovateli.