Sdílet prostřednictvím

Úvod do vytváření aplikací AI genu v Databricks

  • Článek

Společnost Mosaic AI poskytuje komplexní platformu pro sestavování, nasazování a správu aplikací GenAI. Tento článek vás provede základními komponentami a procesy, které jsou součástí vývoje aplikací GenAI v Databricks.

Nasazení a dotazování modelů AI genu

Pro jednoduché případy použití můžete přímo obsluhovat a dotazovat modely umělé inteligence genu, včetně vysoce kvalitních opensourcových modelů, a také modelů třetích stran od poskytovatelů LLM, jako jsou OpenAI a Anthropic.

Služba obsluhy modelů SI v systému Mosaic AI podporuje obsluhu a dotazování generujících modelů AI s využitím následujících funkcí:

  • Rozhraní API základního modelu Díky této funkci jsou pro koncový bod obsluhy modelu dostupné nejmodernější otevřené modely a jemně vyladěné varianty modelů. Tyto modely jsou kurátorované základní architektury modelů, které podporují optimalizované odvozování. Základní modely, jako je DBRX Instruct, Llama-2-70B-chat, BGE-Large a Mistral-7B, jsou k dispozici pro okamžité použití s cenami plateb za token a úlohy, které vyžadují záruky výkonu, jako jsou jemně vyladěné varianty modelů, je možné nasadit se zřízenou propustností.
  • Externí modely. Jedná se o generující modely AI hostované mimo Databricks. Koncové body, které obsluhují externí modely, se dají centrálně řídit a zákazníci pro ně můžou stanovit omezení rychlosti a řízení přístupu. Mezi příklady patří základní modely, jako je GPT-4 OpenAI, Anthropic Clauda a další.

Viz Vytvoření modelu generování AI obsluhující koncové body.

Architektura agenta systému Mosaic AI

Rozhraní AI Agent Framework pro systém Mosaic se skládá ze sady nástrojů v Databricks navržených tak, aby vývojářům pomohly sestavovat, nasazovat a vyhodnocovat agenty pro produkční kvalitu, jako jsou aplikace RAG (Retrieval Augmented Generation).

Je kompatibilní s architekturami třetích stran, jako jsou LangChain a LlamaIndex, a umožňuje vyvíjet s upřednostňovanou architekturou a využívat spravované katalogy Unity, Agent Evaluation Framework a další výhody platformy databricks.

Pomocí následujících funkcí můžete rychle iterovat vývoj agentů:

  • Vytvářejte a protokolovat agenty pomocí libovolné knihovny a MLflow. Parametrizujte agenty, abyste mohli rychle experimentovat a iterovat při vývoji agentů.
  • Trasování agentů umožňuje protokolovat, analyzovat a porovnávat trasování napříč kódem agenta, abyste mohli ladit a pochopit, jak agent reaguje na požadavky.
  • Zlepšení kvality agenta pomocí DSPy DSPy dokáže automatizovat přípravu výzvy a vyladění, aby se zlepšila kvalita agentů GenAI.
  • Nasaďte agenty do produkčního prostředí s nativní podporou streamování tokenů a protokolování požadavků a odpovědí a integrovanou revizní aplikaci pro získání zpětné vazby uživatelů pro vašeho agenta.