Volba mezi cloudovými a místními modely AI

Vývojářům aplikací, kteří chtějí integrovat funkce AI, nabízí Microsoft Windows komplexní a flexibilní platformu, která podporuje jak místní, zpracování na zařízení, tak škálovatelná cloudová řešení.

Volba mezi cloudovými a místními modely AI závisí na konkrétních potřebách a prioritách. Řada produkčních aplikací používá hybridní strategii: nejprve zkuste místní Windows rozhraní API AI nebo místní model a pak se vraťte ke koncovému bodu cloudu, když není model nainstalovaný, zařízení se nepodporuje, uživatel nesouhlasí se stažením modelu nebo úloha vyžaduje větší model.

Mezi faktory, které je potřeba vzít v úvahu, patří:

  • Ochrana osobních údajů, dodržování předpisů a zabezpečení dat
  • Dostupnost prostředků
  • Usnadnění a spolupráce
  • Náklady
  • Údržba a aktualizace
  • Výkon a latence
  • Škálovatelnost
  • Požadavky na připojení
  • Velikost a složitost modelu
  • Nástroje a přidružený ekosystém
  • Přizpůsobení a řízení

Klíčové rozhodovací faktory pro vývojáře aplikací

  • Ochrana osobních údajů, dodržování předpisů a zabezpečení dat

    • Místní, on-premises: Vzhledem k tomu, že data zůstávají na zařízení, může místní spuštění modelu nabídnout výhody týkající se zabezpečení a ochrany osobních údajů, přičemž odpovědnost za zabezpečení dat spočívá na uživateli. Vývojář zodpovídá za správu aktualizací, zajištění kompatibility a monitorování ohrožení zabezpečení.

    • Cloud: poskytovatelé cloudu nabízejí robustní bezpečnostní opatření, ale data je potřeba přenést do cloudu, což může v některých případech vyžadovat obavy ohledně ochrany osobních údajů dat pro správce obchodních nebo aplikačních služeb. Odesílání dat do cloudu také musí v závislosti na povaze dat a oblasti, ve které aplikace funguje, dodržovat předpisy o ochraně dat, jako je GDPR nebo HIPAA. Poskytovatelé cloudu obvykle zpracovávají aktualizace zabezpečení a údržbu, ale uživatelé musí zajistit, aby používali zabezpečená rozhraní API a postupovali podle osvědčených postupů pro zpracování dat.

  • Dostupnost prostředků

    • Místní, místní: Spuštění modelu závisí na prostředcích dostupných na používaném zařízení, včetně procesoru, GPU, NPU, paměti a kapacity úložiště. To může být omezující, pokud zařízení nemá vysoký výpočetní výkon nebo dostatečné úložiště. Malé jazykové modely (SLM), jako Phi, jsou vhodnější pro místní použití na zařízení. Copilot+ Počítače nabízejí integrované modely s připravenými funkcemi umělé inteligence (AI), které jsou podporovány Microsoft Foundry on Windows.

    • Cloud: Cloudové platformy, jako Azure AI služby, nabízejí škálovatelné prostředky. Můžete použít tolik výpočetního výkonu nebo úložiště, kolik potřebujete, a platit jenom za to, co používáte. Velké jazykové modely (LLM), jako jsou jazykové modely OpenAI, vyžadují více prostředků, ale jsou také výkonnější.

  • Usnadnění a spolupráce

    • Místní, na pracovišti: Model a data jsou přístupné jenom na zařízení, pokud nejsou sdíleny ručně. To má potenciál, aby spolupráce na modelových datech byla náročnější.

    • Cloud: k modelu a datům je možné přistupovat odkudkoli s připojením k internetu. To může být lepší pro scénáře spolupráce.

  • Náklady

    • Lokální, on-premise: Po počáteční investici do hardwaru zařízení nejsou žádné další náklady.

    • Cloud: Zatímco cloudové platformy pracují s modelem průběžných plateb, náklady se můžou nahromadět na základě použitých prostředků a doby trvání využití.

  • údržba a aktualizace

    • Místní, on-premises: Uživatel zodpovídá za údržbu systému a instalaci aktualizací.

    • Cloud: Údržbu, aktualizace systému a nové aktualizace funkcí zpracovává poskytovatel cloudových služeb a snižuje režijní náklady na údržbu pro uživatele.

  • Výkon a latence

    • Místní, místní: Místní spuštění modelu může snížit latenci, protože data nemusí být odesílána přes síť. Výkon je ale omezený hardwarovými možnostmi zařízení.

    • Mrak: Cloudové modely můžou využívat výkonný hardware, ale mohou zavádět latenci kvůli síťové komunikaci. Výkon se může lišit v závislosti na internetovém připojení uživatele a době odezvy cloudové služby.

  • Škálovatelnost

    • Místní, místní: Škálování modelu na místním zařízení může vyžadovat významné upgrady hardwaru nebo přidání dalších zařízení, což může být nákladné a časově náročné.

    • Mrak: Cloudové platformy nabízejí snadnou škálovatelnost, takže můžete rychle upravit prostředky na základě poptávky bez nutnosti změn fyzického hardwaru.

  • Požadavky na připojení

    • Místní, místní: Místní zařízení nevyžaduje připojení k internetu ke spuštění modelu, což může být výhodné v prostředích s omezeným připojením.

    • Mrak: Cloudové modely vyžadují stabilní připojení k internetu pro přístup a mohou být ovlivněny problémy se sítí.

  • Dostupnost runtime a záložní řešení

    • Místní, místní: Místní funkce AI můžou záviset na hardwaru, Windows verzi, Windows verzi sady App SDK, oblasti a na tom, jestli je nainstalovaný volitelný model. Před spuštěním lokální funkce AI zkontrolujte, zda je připravena, a proveďte uživatele případným požadovaným stažením modelu nebo procesem udělení souhlasu. Pro Windows rozhraní API AI použijte postup připravenosti specifický pro dané rozhraní API, který je zdokumentovaný v tématu Začínáme s rozhraními Windows API AI a na jednotlivých stránkách rozhraní API.

    • Cloud: Koncový bod cloudu může poskytovat náhradní řešení, pokud místní model není na aktuálním zařízení připravený nebo podporovaný. Rozhodněte, zda je záložní mechanismus ve scénářích citlivých na ochranu soukromí automatický, řízený uživatelem, nebo zakázaný. Ujistěte se, že uživatelské rozhraní vysvětluje, kdy data opustí zařízení.

  • Velikost a složitost modelu

    • Místní, místní: Místní zařízení můžou mít omezení velikosti a složitosti modelů, které je možné spouštět kvůli hardwarovým omezením. Menší modely, například Phi, jsou vhodnější pro místní spouštění.

    • Mrak: Cloudové platformy můžou kvůli škálovatelné infrastruktuře zpracovávat větší a složitější modely, jako jsou ty, které poskytuje OpenAI.

  • Nástroje a přidružený ekosystém

    • Místní, on-premises: Místní řešení AI, jako Microsoft FoundryMicrosoft Foundry on Windows, Windows ML a Foundry Local, se integrují se Windows sadou App SDK a ONNX Runtime, což vývojářům umožňuje vkládat modely přímo do desktopových nebo edge aplikací s minimálními externími závislostmi.

    • Cloud: Cloudová řešení AI, jako Microsoft Foundry, služby Azure AI a Azure OpenAI služba, poskytují komplexní sadu rozhraní API a sad SDK pro vytváření aplikací AI. Tyto služby jsou navržené tak, aby se bez problémů integrovali s Azure DevOps, GitHubem Copilot, semantickým jádrem a dalšími Azure službami, což umožňuje kompletní orchestraci, nasazení modelu a monitorování ve velkém měřítku.

  • Přizpůsobení a řízení

    • Místní, na místě: Místní modely se dají používat bez nutnosti vysoké úrovně expertízy. Microsoft Foundry on Windows nabízí modely jako Phi Silica, které jsou připravené k použití. Alternativně Windows ML také umožňuje vývojářům spouštět vlastní modely, například ty, které byly natrénovány pomocí ONNX Runtime, přímo na Windows zařízeních. To poskytuje vysokou úroveň kontroly nad modelem a jeho chováním, což umožňuje vyladění a optimalizaci na základě konkrétních případů použití. Foundry Local umožňuje také vývojářům spouštět modely místně na Windows zařízeních, což poskytuje vysokou úroveň kontroly nad modelem a jeho chováním.

    • Mrak: Cloudové modely také nabízejí možnosti připravené k použití a přizpůsobitelné možnosti, které vývojářům umožňují využívat předem natrénované funkce a zároveň model přizpůsobovat svým konkrétním potřebám. Microsoft Foundry je sjednocená Azure platforma jako služba, která nabízí řešení pro operace AI v podnicích, autory modelů a vývoj aplikací. Tato nadace kombinuje infrastrukturu na úrovni produkce s přátelskými rozhraními, což vývojářům umožňuje soustředit se na vytváření aplikací místo správy infrastruktury.

Cloudové AI ukázky

Pokud cloudové řešení funguje pro váš scénář aplikace Windows lépe, může vás zajímat některé z níže uvedených kurzů.

Mnoho rozhraní API je k dispozici pro přístup ke cloudovým modelům pro výkon funkcí umělé inteligence ve vaší Windows aplikaci bez ohledu na to, jestli jsou tyto modely přizpůsobené nebo připravené k použití. Použití cloudového modelu může vaší aplikaci umožnit, aby zůstala zjednodušená delegováním úloh náročných na prostředky do cloudu. Několik zdrojů informací, které vám pomůžou přidat cloudová rozhraní API založená na umělé inteligenci, která nabízí Microsoft nebo OpenAI, zahrnují:

  • Přidání dokončování chatu OpenAI do WinUI 3 / Windows desktopové aplikace App SDK: Kurz integrace cloudových schopností dokončování OpenAI ChatGPT do desktopové aplikace WinUI 3 / Windows App SDK.

  • Přidání DALL-E do WinUI 3 / Windows App SDK desktopové aplikace: Návod, jak integrovat cloudové schopnosti generování obrázků OpenAI DALL-E do desktopové aplikace WinUI 3 / Windows App SDK.

  • Azure Služba OpenAI: Pokud chcete, aby vaše Windows aplikace přistupovala k modelům OpenAI, jako jsou GPT-4, GPT-4 Turbo s vision, GPT-3.5-Turbo, DALLE-3 nebo modelová řada Vkládání, s přidaným zabezpečením a podnikovými možnostmi Azure, najdete pokyny v této Azure dokumentaci k OpenAI.

  • Azure Služby AI: Azure Nabízí celou sadu služeb AI, které jsou dostupné prostřednictvím rozhraní REST API a sad SDK klientských knihoven v oblíbených vývojových jazycích. Další informace najdete v dokumentaci ke každé službě. Tyto služby založené na cloudu pomáhají vývojářům a organizacím rychle vytvářet inteligentní, špičkové, připravené pro trh a zodpovědné aplikace s hotovými a přizpůsobitelnými rozhraními API a modely. Mezi ukázkové aplikace patří zpracování přirozeného jazyka pro konverzace, vyhledávání, monitorování, překlad, řeč, vizi a rozhodování.

Návrh hybridní místní/cloudové cesty

Zvolte hybridní přístup, pokud má vaše aplikace využívat lokální inferenci, když je k dispozici, a zároveň poskytovat smysluplné používání i na nepodporovaných zařízeních nebo dříve, než bude lokální model připraven.

  1. Nejprve zvolte místní schopnost. Začněte s rozhraním Windows API pro AI, když odpovídá vašemu scénáři, nebo použijte Windows ML/ Foundry Local , když potřebujete spustit konkrétní model.
  2. Před použitím zkontrolujte připravenost. Při spuštění nebo před zobrazením této funkce zadejte dotaz na stav připravenosti místní funkce. Pokud rozhraní API hlásí, že funkce není podporovaná, není nainstalovaná nebo potřebuje stáhnout, nevyvolejte ji nevidomě.
  3. Požádejte o souhlas, když se musí stáhnout místní model. Některé lokální modely jsou volitelné a mohou mít velikost několik GB. Vysvětlete velikost stahování, proč je model potřebný a jestli aplikace bez ní může pokračovat.
  4. Definujte záložní cloudové řešení. Pokud místní model není připravený, zavolejte koncový bod cloudu jenom v případě, že uživatel a organizace povolí, aby data opustila zařízení. Zachovejte místní a cloudové cesty za stejnou abstrakcí na úrovni aplikace, takže zbytek aplikace nezávisí na tom, kde se spouští odvozování.
  5. Udržujte chování pozorovatelné. Protokolujte, kterou cestu jste použili, selhání připravenosti, výsledky stahování modelů a chyby náhradního cloudu bez výzvy k protokolování, tokenů nebo citlivého obsahu, pokud vaše organizace tuto zpracování dat neschválila.

Hybridní rozhodovací tok pro náhradní použití

Tento tok použijte jako výchozí bod:

  1. Když uživatel spustí funkci AI, zkontrolujte, jestli místní funkce AI odpovídá úloze.
  2. Pokud žádná místní funkce odpovídá úloze, použijte cloudovou AI nebo jinou službu.
  3. Pokud místní funkce odpovídá úloze, zkontrolujte, jestli je tato funkce na aktuálním zařízení připravená.
  4. Pokud je místní funkce připravená, spusťte místní odvození.
  5. Pokud místní funkce potřebuje stažení modelu, před zahájením stahování požádejte uživatele o souhlas uživatele.
  6. Pokud uživatel souhlasí, stáhněte nebo připravte model a poté znovu spusťte místní inferenci.
  7. Pokud uživatel nesouhlasí nebo pokud místní funkce není podporovaná, zkontrolujte, jestli je pro tento scénář povolená záložní cloudová aplikace.
  8. Pokud je povoleno záložní použití cloudu, použijte cloudovou cestu.
  9. Pokud náhradní cloud není povolený, vysvětlete požadavek na zařízení, model nebo zásadu a funkci zakažte nebo skryjte.

Směrování podle složitosti úkolů

Kromě přechodu z místního modelu do cloudu pouze v případě, že místní model není k dispozici, mnohé aplikace dosahují nižších nákladů, nižší latence a vyšší kvality směrováním jednotlivých požadavků na model, který je pro ně nejvhodnější: malý model v zařízení, například Phi Silica, pro jednoduché, jasně vymezené úlohy, a větší cloudový model pro úlohy, které potřebují hlubší odůvodnění, širší znalosti nebo větší kontextové okno.

Upřednostňujte místní model pro úlohy, jako jsou:

  • Krátká klasifikace v rámci jediné interakce nebo detekce záměru (například směrování zprávy podpory do kategorie)
  • Přepisování, shrnutí nebo přeformátování krátkého dobře strukturovaného textu, který se pohodlně vejde do kontextového okna místního modelu
  • Extrahování strukturovaných dat (například tabulka nebo klíčová pole) z krátkého čistého vstupu
  • Konverzační odpovědi s nízkým rizikem, kde uživatelé můžou snadno ověřit nebo opravit odpověď
  • Jakýkoli scénář, ve kterém musí úloha pracovat offline nebo kde je uchovávání dat na zařízení povinné a nejde jen o preferenci

Upřednostněte cloudový model pro úlohy, jako jsou:

  • Vícestupňové uvažování, plánování nebo úlohy, které zřetězují několik volání nástrojů
  • Scénáře s dlouhým dokumentem nebo vícekolové scénáře, které překračují kontextové okno místního modelu
  • Úlohy, které vyžadují široké obecné znalosti přesahující možnosti místního modelu nebo aktuální informace z cloudové služby, která poskytuje vyhledávání nebo jiný aktuální zdroj dat
  • Scénáře s vysokou přesností, kde potřebujete nejsilnější dostupný model a můžete tolerovat latenci sítě a náklady
  • Komplexní generování kódu, generování obrázků nebo jiné výstupy lépe obsluhované větším specializovaným modelem

Pokyny k implementaci:

  1. Klasifikujte úkol před výběrem modelu. Používejte jednoduché, explicitní signály, které řídíte – funkci nebo vstupní bod uživatelského rozhraní, délku vstupu nebo jednoduchý místní klasifikační krok – místo toho, abyste se pokusili odvodit obtížnost úlohy z výstupu modelu po faktu.
  2. Použijte rozhodovací model pro směrování připojené ke cloudu, pokud je to vhodné. Rozhodovací model, například Microsoft-Decision-1, může pomoct klasifikovat požadavky a směrovat je do místního modelu, cloudového modelu, nástroje nebo cesty kontroly člověka na základě požadavků na kvalitu, latenci, náklady a míru důvěry.
  3. Začněte s místním modelem pro úlohy, které jste klasifikovali jako jednoduché, a před jeho vyvoláním zkontrolujte jeho připravenost (viz rozhodovací postup pro hybridní záložní režim) stejně jako u všech ostatních místních funkcí AI.
  4. Směrujte přímo na cloudovou cestu pro úlohy, které jste klasifikovali jako pokročilé, místo toho, abyste se nejprve pokusili o lokální inferenci a zahodili výsledek s nízkou kvalitou – tím se vyhnete výdajům na místní výpočetní výkon a latenci u požadavku, který nikdy nebyl vhodný pro místní model.
  5. Umožnit uživatelům eskalovat. Pokud místní odpověď plně neodpoví na požadavek, nabídněte jasný způsob, jak opakovat stejný požadavek pomocí cloudového modelu, místo tichého selhání.
  6. Znovu zvažte svá pravidla směrování, jak se místní modely zlepšují. Úkol, který dnes vyžaduje cloud, lze po aktualizaci modelu bez problémů spustit na menším modelu v zařízení – udržujte logiku klasifikace na jednom místě, abyste ji mohli snadno upravit.

Podrobnosti o místní připravenosti najdete v tématu Windows Rozhraní API AI, Začínáme s rozhraními WindowsFoundry LocalAPI AI a Windows ML.

  • Poslední aktualizace v