Klíčové výzvy při vytváření aplikací GenAI

Navzdory výkonu moderních modelů GenAI je obtížné vytvořit aplikace generativní AI v produkční kvalitě. Tři klíčové výzvy je možné shrnout takto:

  • Zásady správného řízení: Mnoho platforem se snaží poskytovat jednotné zásady správného řízení, ochranu osobních údajů a zabezpečení dat a prostředků umělé inteligence.
  • Kvalita: Flexibilní a nepředvídatelné chování modelů GenAI zvyšuje složitost hodnocení.
  • Řízení: Platformy musí poskytovat flexibilitu, volbu modelu a přizpůsobení.

Zásady správného řízení pro data a AI

Aplikace GenAI vyžadují různorodá data a prostředky AI: tabulky, vektorové indexy, modely AI, nástroje a další. Platforma GenAI musí vývojářům poskytovat jemně odstupňovaný přístup k těmto prostředkům a současně poskytovat správcům společné zásady správného řízení. Bez úplného řízení čelí organizace rizikům, jako jsou:

  • Únik dat: Citlivá zákaznická nebo podniková data je možné zneužít bez správného sledování rodokmenu a řízení přístupu a data mohou neúmyslně uniknout výstupy modelu, pokud nejsou vynuceny správné mantinely.
  • Omezení dodržování předpisů: Řada organizací má požadavky na dodržování předpisů, jako je SOC2 nebo HIPAA, a integrace modelů GenAI do kompatibilních starších platforem může být složitá, což vede ke zpožděním nebo omezením při používání nejlepších modelů.
  • Neoprávněné využití nebo neočekávané náklady: Bez řízení přístupu a mantinely využití můžou modely AI používat neautorizované týmy nebo můžou mít vysoké náklady na využití.

Azure Databricks zjednodušuje jednotné zásady správného řízení pro data a AI prostřednictvím:

  • Katalog Unity, který spravuje soubory, tabulky, vektorové indexy, úložiště funkcí, modely a nástroje v rámci jednotného modelu zásad správného řízení
  • AI Gateway, která poskytuje jednotné zásady správného řízení a monitorování koncových bodů modelu AI, včetně bezpečnostních mantinely a limitů využití
  • Databricks AI Security Framework, který poskytuje komplexního průvodce správou rizik umělé inteligence
  • Databricks AI Governance Framework, který doplňuje architekturu zabezpečení tím, že poskytuje pohled na zásady správného řízení, které pokrývají zabezpečení i provozní integritu

Kvalita modelů, agentů a aplikací

Modely GenAI vytvářejí otevřené, stochastické výstupy a často se používají u otevřených problémů s mnoha "dobrými" odpověďmi. I definování "vysoké kvality" může být náročné a často vyžaduje iterativní zpětnou vazbu od odborníků na domény nebo uživatelů. Bez robustních procesů hodnocení čelí organizace rizikům, jako jsou:

  • Chybné uživatelské prostředí: Pokud se aplikace GenAI nevyhodnocují na základě metrik odpovídajících potřebám uživatelů, můžou uživatelé najít odpovědi neužitečné, nepřesné nebo dokonce škodlivé nebo urážlivé. Reputace značky může trpět v extrémních případech.
  • Vývojové vakuum: Pokud nelze definovat nebo měřit kvalitu způsobem, který umožňuje schválení zainteresovanými stranami, mohou být projekty GenAI zpožděny nebo zrušeny kvůli nedostatku "důkazu" kvality.

Azure Databricks zjednodušuje měření a optimalizaci kvality AI prostřednictvím:

  • Hodnocení a monitorování MLflow s integrovanými porotci a vlastními scorery pro měření kvality, použitelné v monitorování vývoje i produkce
  • Trasování MLflow s automatickým i ručním trasováním, které poskytuje monitoring pro potřeby vývoje i produkce
  • Shromažďování lidských názorů s integrovanou aplikací pro odbornou zpětnou vazbu během vývoje a rozhraní API pro zpětnou vazbu uživatelů z produkčních aplikací

Řízení dat a modelů

Nejmodernější GenAI modely poskytuje mnoho poskytovatelů modelů, stejně jako samostatně hostované možnosti open-source. Kvůli komplikacím ochrany osobních údajů a licencování dat se mnoho platforem snaží podporovat tento různorodý ekosystém a umožnit rychlou iteraci a přizpůsobení. Organizace musí udržovat kontrolu nad svými daty a volbami nad modely, aby se zabránilo rizikům, jako jsou:

  • Omezení ochrany osobních údajů dat: Požadavky na dodržování předpisů nebo integrace můžou organizacím zabránit v přístupu k nejvyšším modelům GenAI od několika poskytovatelů a obětovat flexibilitu a kompromisy mezi náklady na kvalitu.
  • Nedostatek konkurenčních výhod: Pokud modely, data, agenti a aplikace nejsou přizpůsobitelné na základě proprietárních dat organizace, pak je obtížné vytvořit duševní vlastnictví.

Azure Databricks poskytuje řízení a flexibilitu pro data a modely prostřednictvím:

  • Rozhraní API základního modelu, která obsluhují hraniční modely od špičkových poskytovatelů modelů ve vašem vlastním prostředí Azure Databricks, společně s vlastními modely a agenty v poskytování modelů.
  • Přizpůsobené aplikace, agenti, modely, nástroje a zdroje dat založené na vašich vlastních datech. Všechny tyto úrovně umělé inteligence podporují analýzu dat, od vytváření aplikací a agentů až po poskytování dat prostřednictvím nástrojů, vyhodnocení a optimalizaci agentů na základě vašich dat.

Další zdroje informací

  • Last updated on