Nasazení základních modelů generující umělé inteligence

  • Článek

Tento článek popisuje podporu obsluhy a dotazování generujících základních modelů AI a LLM pomocí obsluhy modelů Databricks.

Důležité

Úvodní kurz o dotazování základního modelu v Databricks najdete v tématu Začínáme s dotazováním LLM v Databricks.

Co jsou základní modely?

Základní modely jsou velké modely ML předem natrénované se záměrem, že je potřeba je doladit pro konkrétnější porozumění jazyku a generování úloh. Tyto modely se používají k rozlišení vzorů ve vstupních datech pro úlohy generující AI a LLM.

Obsluha modelů Databricks podporuje obsluhu a dotazování základních modelů s využitím následujících funkcí:

  • Rozhraní API základního modelu Tato funkce zpřístupňuje nejmodernější otevřené modely pro váš koncový bod obsluhy modelu. Tyto modely jsou kurátorované základní architektury modelů, které podporují optimalizované odvozování. Základní modely, jako je DBRX Instruct, Llama-2-70B-chat, BGE-Large a Mistral-7B, jsou k dispozici pro okamžité použití s cenami plateb za token a úlohy, které vyžadují záruky výkonu a jemně vyladěné varianty modelu, je možné nasadit se zřízenou propustností.
  • Externí modely. Jedná se o modely hostované mimo Databricks. Koncové body, které obsluhují externí modely, se dají centrálně řídit a zákazníci pro ně můžou stanovit omezení rychlosti a řízení přístupu. Mezi příklady patří základní modely, jako je GPT-4 OpenAI, Anthropic Clauda a další.

Požadavky

Pokud chcete získat přístup k základním modelům a dotazovat je pomocí obsluhy modelů Databricks, projděte si požadavky na jednotlivé funkce.

Vytvoření základního modelu obsluhujícího koncový bod

Viz Vytvoření základního modelu obsluhující koncové body.

Dotazování základního modelu

Další materiály