Sdílet prostřednictvím

Rozhraní API základního modelu Databricks

  • Článek

Tento článek obsahuje přehled rozhraní API základního modelu v Azure Databricks. Zahrnuje požadavky na použití, podporované modely a omezení.

Co jsou rozhraní API modelu Foundation Databricks?

Rozhraní API základního modelu AI, která umožňují přístup k špičkovým otevřeným modelům a dotazování na nich z koncového bodu obsluhy, teď podporuje rozhraní API základního modelu. Pomocí rozhraní API pro základní modely můžete rychle a snadno vytvářet aplikace, které využívají vysoce kvalitní model generující AI bez údržby vlastního nasazení modelu. Rozhraní API základního modelu je určená služba Databricks, což znamená, že ke správě rezidence dat při zpracování obsahu zákazníka používá Geos Databricks .

Rozhraní API základního modelu jsou poskytována ve dvou cenových režimech:

  • Platba za token: Nejjednodušší způsob, jak začít používat základní modely v Databricks a doporučuje se začít s rozhraními API základního modelu. Tento režim není určený pro aplikace s vysokou propustností ani pro výkonné produkční úlohy.
  • Zřízená propustnost: Tento režim se doporučuje pro všechny produkční úlohy, zejména pro ty, které vyžadují vysokou propustnost, záruky výkonu, jemně vyladěné modely nebo mají další požadavky na zabezpečení. Koncové body zřízené propustnosti jsou k dispozici s certifikacemi dodržování předpisů, jako je HIPAA.

Pokyny k použití těchto dvou režimů a podporovaných modelů najdete v tématu Použití rozhraní API pro základní modely.

Pomocí rozhraní API základního modelu můžete:

  • Dotazem na generalizovaný LLM ověřte platnost projektu před investováním dalších zdrojů.
  • Dotazování generalizovaného LLM za účelem vytvoření rychlého testování konceptu pro aplikaci založenou na LLM před investicemi do trénování a nasazení vlastního modelu.
  • K vytvoření chatovacího robota pomocí načítání rozšířené generace (RAG) použijte základní model spolu s vektorovou databází.
  • Nahraďte proprietární modely otevřenými alternativami pro optimalizaci nákladů a výkonu.
  • Efektivně porovnejte LLM a zjistěte, který z nich je nejlepším kandidátem pro váš případ použití, nebo prohození produkčního modelu s lepším výkonem.
  • Vytvořte aplikaci LLM pro vývoj nebo produkci na základě škálovatelného řešení s podporou LLM založeného na sla, které může podporovat špičky provozu v produkčním prostředí.

Požadavky

  • Token rozhraní API Databricks pro ověření požadavků koncového bodu
  • Bezserverové výpočetní prostředky (pro zřízené modely propustnosti)
  • Pracovní prostor v podporované oblasti:

Použití rozhraní API základního modelu

Pro použití rozhraní API základního modelu máte několik možností.

Rozhraní API jsou kompatibilní s OpenAI, takže pro dotazování můžete použít klienta OpenAI. K dotazování podporovaných modelů můžete použít také uživatelské rozhraní, rozhraní PYTHON SDK pro základní modely, sadu SDK pro nasazení MLflow nebo rozhraní REST API. Databricks doporučuje používat klientskou sadu SDK nebo rozhraní API OpenAI pro rozšířené interakce a uživatelské rozhraní pro vyzkoušení této funkce.

Příklady vyhodnocování najdete v tématu Modely generování dotazů AI.

Rozhraní API základního modelu s platbami za tokeny

Modely s platbami za tokeny jsou dostupné ve vašem pracovním prostoru Azure Databricks a doporučuje se začít. Přístup k nim v pracovním prostoru získáte tak, že na levém bočním panelu přejdete na kartu Obsluha . Rozhraní API základního modelu se nacházejí v horní části zobrazení seznamu koncových bodů.

Obsluha seznamu koncových bodů

Následující tabulka shrnuje podporované modely pro platby za token. Další informace o modelu najdete v podporovaných modelech pro platby za token .

Pokud chcete otestovat a chatovat s těmito modely, můžete to udělat pomocí AI Playground. Podívejte se na chat s LLMs a prototypy aplikací GenAI pomocí AI Playground.

Důležité

  • Od 23. července 2024 nahrazuje meta-llama-3.1-70B-Instruct podporu pro koncové body Meta-Llama-3-70B-Instruct v rozhraních API modelu foundation.
  • Meta-Llama-3.1-405B-Instruct je největší opensourcový špičkový velký jazykový model vytvořený a natrénovaný meta a distribuovaný službou Azure Machine Learning pomocí katalogu modelů AzureML.
  • Následující modely jsou teď vyřazené. Doporučené náhradní modely najdete v části Vyřazené modely .
    • Llama 2 70B Chat
    • MPT 7B – pokyn
    • MPT 30B – pokyn
Model Typ úkolu Koncový bod Notes
GTE Large (angličtina) Vkládání databricks-gte-large-en Negeneruje normalizované vkládání.
Meta-Llama-3.1-70B-Instruct Chat databricks-meta-llama-3-1-70b-instruct
Meta-Llama-3.1-405B-Instruct* Chat databricks-meta-llama-3-1-405b-instruct Viz omezení rozhraní API základního modelu pro dostupnost oblastí.
DbRX – pokyn Chat databricks-dbrx-instruct Viz omezení rozhraní API základního modelu pro dostupnost oblastí.
Mixtral-8x7B – pokyn Chat databricks-mixtral-8x7b-instruct Viz omezení rozhraní API základního modelu pro dostupnost oblastí.
BGE Large (angličtina) Vkládání databricks-bge-large-en Viz omezení rozhraní API základního modelu pro dostupnost oblastí.

* Pokud při používání tohoto modelu narazíte na selhání koncových bodů nebo chyby stabilizace, obraťte se na svůj tým účtu Databricks.

Rozhraní API základního modelu zřízené propustnosti

Zřízená propustnost poskytuje koncové body s optimalizovaným odvozováním pro úlohy základních modelů, které vyžadují záruky výkonu. Databricks doporučuje zřízenou propustnost pro produkční úlohy. Podrobné pokyny k nasazení rozhraní API základních modelů se zřízenou propustností najdete v podrobném průvodci nasazením rozhraní API základního modelu ve zřízeném režimu.

Podpora zřízené propustnosti zahrnuje:

  • Základní modely všech velikostí, například DBRX Base. K základním modelům můžete přistupovat pomocí Webu Databricks Marketplace nebo si je můžete stáhnout z webu Hugging Face nebo jiného externího zdroje a zaregistrovat je v katalogu Unity. Druhý přístup funguje s libovolnou jemně vyladěnou variantou podporovaných modelů bez ohledu na použitou metodu jemného ladění.
  • Jemně vyladěné varianty základních modelů, jako je LlamaGuard-7B nebo meta-llama/Llama-3.1-8B. To zahrnuje modely, které jsou jemně vyladěné na proprietárních datech.
  • Plně vlastní váhy a tokenizátory, jako jsou ty, které jsou vytrénované úplně od začátku, nebo trvalé předem natrénované nebo jiné varianty využívající architekturu základního modelu (například CodeLlama).

Následující tabulka shrnuje podporované architektury modelů pro zřízenou propustnost.

Důležité

Meta Llama 3.2 je licencovaný v rámci licence LLAMA 3.2 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění souladu s podmínkami této licence a zásadami přijatelného použití Llama 3.2.

Meta Llama 3.1 jsou licencované v rámci licence LLAMA 3.1 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování předpisů s příslušnými licencemi modelu.

Architektura modelu Typy úkolů Notes
Meta Llama 3.2 3B Chat nebo dokončení Viz Omezení zřízené propustnosti pro podporované varianty modelů a dostupnost oblastí.
Meta Llama 3.2 1B Chat nebo dokončení Viz Omezení zřízené propustnosti pro podporované varianty modelů a dostupnost oblastí.
Meta Llama 3.1 Chat nebo dokončení Viz Omezení zřízené propustnosti pro podporované varianty modelů a dostupnost oblastí.
Meta Llama 3 Chat nebo dokončení
Meta Llama 2 Chat nebo dokončení
DBRX Chat nebo dokončení Viz Omezení zřízené propustnosti pro dostupnost oblastí.
Mistral Chat nebo dokončení
Mixtral Chat nebo dokončení
MPT Chat nebo dokončení
GTE v1.5 (angličtina) Vkládání Negeneruje normalizované vkládání.
BGE v1.5 (angličtina) Vkládání

Omezení

Viz omezení rozhraní API základního modelu.

Další materiály