Sdílet prostřednictvím

Rozhraní API modelu Databricks Foundation

Tento článek obsahuje přehled rozhraní API základních modelů v Azure Databricks. Zahrnuje požadavky na použití, podporované modely a omezení.

Co jsou API Foundation modelu od Databricks?

Mosaic AI Model Serving nyní podporuje rozhraní API základních modelů, která umožňují přístup a dotazování na špičkové otevřené modely z koncového bodu obsluhy. Tyto modely jsou hostované službou Databricks a můžete rychle a snadno vytvářet aplikace, které je používají bez údržby vlastního nasazení modelu. Rozhraní API Foundation Model je specifikovaná služba Databricks, což znamená, že používá Databricks Geos ke správě datové rezidence při zpracování obsahu zákazníka.

Rozhraní API jsou k dispozici v následujících režimech základního modelu:

  • Platba za tokeny: Toto je nejjednodušší způsob, jak začít přístup k základním modelům na platformě Databricks, a doporučuje se pro zahájení práce s API základních modelů. Tento režim není určený pro aplikace s vysokou propustností, ale lze ho použít pro produkční úlohy.
  • Zřízená propustnost: Tento režim se doporučuje pro všechny produkční úlohy, zejména pro ty, které vyžadují vysokou propustnost, záruky výkonu, jemně vyladěné modely nebo mají další požadavky na zabezpečení. Předdefinované koncové body propustnosti jsou k dispozici s certifikacemi pro dodržování předpisů, jako je HIPAA.
  • Modely optimalizované pro AI Functions: Tento režim se doporučuje pro úlohy odvozování dávek. Pomocí funkcí AI můžete spouštět dávkové odvozování pomocí libovolného generujícího modelu AI nebo ML.

Pokyny k používání těchto režimů a podporovaných modelů najdete v tématu Použití rozhraní API základních modelů.

Pomocí rozhraní API základního modelu můžete provést následující akce:

  • Dotazem na generalizovaný LLM ověřte platnost projektu před investováním dalších zdrojů.
  • Dotazováním zobecněného LLM vytvořte rychlou kontrolu konceptu pro aplikaci založenou na LLM, než začnete investovat do trénování a nasazení vlastního modelu.
  • Pomocí základního modelu spolu s vektorovým indexem můžete vytvořit chatovacího robota pomocí načtení rozšířené generace (RAG).
  • Nahraďte proprietární modely otevřenými alternativami pro optimalizaci nákladů a výkonu.
  • Efektivně porovnejte LLM, abyste viděli nejlepšího kandidáta na váš případ použití, nebo prohoďte produkční model s lepším výkonem.
  • Vytvořte aplikaci LLM pro účely vývoje nebo produkce na základě škálovatelného řešení pro poskytování LLM, které je zajištěno SLA a dokáže zvládnout špičky provozu ve vašem produkčním prostředí.

Požadavky

Použití API základního modelu

Pro použití rozhraní API základního modelu máte několik možností.

Rozhraní API jsou kompatibilní s OpenAI, takže pro dotazování můžete použít klienta OpenAI. K dotazování podporovaných modelů můžete použít také uživatelské rozhraní, rozhraní PYTHON SDK pro základní modely, sadu SDK pro nasazení MLflow nebo rozhraní REST API. Databricks doporučuje používat klientskou sadu SDK nebo rozhraní API OpenAI pro rozšířené interakce a uživatelské rozhraní pro vyzkoušení této funkce.

Příklady vyhodnocování najdete v tématu Použití základních modelů .

Model rozhraní API s platbou za každý token

Předkonfigurované koncové body, které obsluhují modely s platbami za tokeny, jsou přístupné ve vašem pracovním prostoru Azure Databricks. Tyto modely plateb za token se doporučují pro začátek. Přístup k nim v pracovním prostoru získáte tak, že na levém bočním panelu přejdete na kartu Obsluha. Rozhraní API základního modelu se nacházejí v horní části zobrazení seznamu koncových bodů.

Přehled obslužných koncových bodů

rozhraní API s předem nastavenou propustností základního modelu

Zřízená propustnost poskytuje koncové body s optimalizovaným odvozováním pro úlohy základních modelů, které vyžadují záruky výkonu. Databricks doporučuje vyhrazenou propustnost pro produkční úlohy.

Podpora předem určené propustnosti zahrnuje:

  • základní modely všech velikostí. K základním modelům můžete přistupovat pomocí Webu Databricks Marketplace nebo si je můžete stáhnout z webu Hugging Face nebo jiného externího zdroje a zaregistrovat je v katalogu Unity. Druhý přístup funguje s libovolnou vyladěnou variantou podporovaných modelů.
  • Vyladěné varianty základních modelů, jako jsou modely, které jsou vyladěné pomocí proprietárních dat.
  • Vlastní váhy a tokenizátory, jako například ty, které jsou trénované od základů nebo následně předtrénované, či další varianty používající architekturu základního modelu (například CodeLlama).

funkce AI pro hromadné odvozování

Viz Použijte umělou inteligenci na data pomocí Azure Databricks AI Functions.

Informace o vytváření kanálů dávkového odvozování pomocí funkcí AI najdete v tématu Nasazení kanálů dávkového odvozování .

Omezení

Viz omezení rozhraní API základního modelu.

Další zdroje informací

  • Last updated on