Sdílet prostřednictvím

Volba mezi cloudovými a místními modely AI

Vývojářům aplikací, kteří chtějí integrovat funkce AI, nabízí Microsoft Windows komplexní a flexibilní platformu, která podporuje jak místní, zpracování na zařízení, tak škálovatelná cloudová řešení.

Volba mezi cloudovými a místními modely AI závisí na konkrétních potřebách a prioritách. Mezi faktory, které je potřeba vzít v úvahu, patří:

  • Ochrana osobních údajů, dodržování předpisů a zabezpečení dat
  • Dostupnost prostředků
  • Usnadnění a spolupráce
  • Náklady
  • Údržba a aktualizace
  • Výkon a latence
  • Škálovatelnost
  • Požadavky na připojení
  • Velikost a složitost modelu
  • Nástroje a přidružený ekosystém
  • Přizpůsobení a řízení

Klíčové rozhodovací faktory pro vývojáře aplikací

  • Ochrana osobních údajů, dodržování předpisů a zabezpečení dat

      • Místní, místní: Vzhledem k tomu, že data zůstávají na zařízení, může místní spuštění modelu nabídnout výhody týkající se zabezpečení a ochrany osobních údajů a zodpovědností za zabezpečení dat uložených na uživateli. Vývojář zodpovídá za správu aktualizací, zajištění kompatibility a monitorování ohrožení zabezpečení.
      • Cloud: poskytovatelé cloudu nabízejí robustní bezpečnostní opatření, ale data je potřeba přenést do cloudu, což může v některých případech vyžadovat obavy ohledně ochrany osobních údajů dat pro správce obchodních nebo aplikačních služeb. Odesílání dat do cloudu také musí v závislosti na povaze dat a oblasti, ve které aplikace funguje, dodržovat předpisy o ochraně dat, jako je GDPR nebo HIPAA. Poskytovatelé cloudu obvykle zpracovávají aktualizace zabezpečení a údržbu, ale uživatelé musí zajistit, aby používali zabezpečená rozhraní API a postupovali podle osvědčených postupů pro zpracování dat.

  • Dostupnost prostředků

    • Místní, místní: Spuštění modelu závisí na prostředcích dostupných na používaném zařízení, včetně procesoru, GPU, NPU, paměti a kapacity úložiště. To může být omezující, pokud zařízení nemá vysoký výpočetní výkon nebo dostatečné úložiště. Malé jazykové modely (SLM), jako Phi, jsou vhodnější pro místní použití na zařízení. Copilot+ Počítače nabízejí integrované modely s připravenými funkcemi umělé inteligence (AI), které jsou podporovány Microsoft Foundry on Windows.

      • Cloud: Cloudové platformy, jako Azure AI služby, nabízejí škálovatelné prostředky. Můžete použít tolik výpočetního výkonu nebo úložiště, kolik potřebujete, a platit jenom za to, co používáte. Velké jazykové modely (LLM), jako jsou jazykové modely OpenAI, vyžadují více prostředků, ale jsou také výkonnější.

  • Usnadnění a spolupráce

      • Místní, místní: Model a data jsou přístupné jenom na zařízení, pokud ho nesdílíte ručně. To má potenciál, aby spolupráce na modelových datech byla náročnější.
      • Cloud: k modelu a datům je možné přistupovat odkudkoli s připojením k internetu. To může být lepší pro scénáře spolupráce.

  • Náklady

    • Místní, místní: Za počáteční investici do hardwaru zařízení nejsou žádné další náklady.

    • Cloud: Zatímco cloudové platformy pracují s modelem průběžných plateb, náklady se můžou nahromadět na základě použitých prostředků a doby trvání využití.

  • údržba a aktualizace

    • Místní, místní: Uživatel zodpovídá za údržbu systému a instalaci aktualizací.

    • Cloud: Údržbu, aktualizace systému a nové aktualizace funkcí zpracovává poskytovatel cloudových služeb a snižuje režijní náklady na údržbu pro uživatele.

  • Výkon a latence

    • Místní, místní: Místní spuštění modelu může snížit latenci, protože data nemusí být odesílána přes síť. Výkon je ale omezený hardwarovými možnostmi zařízení.

    • Mrak: Cloudové modely můžou využívat výkonný hardware, ale mohou zavádět latenci kvůli síťové komunikaci. Výkon se může lišit v závislosti na internetovém připojení uživatele a době odezvy cloudové služby.

  • Škálovatelnost

    • Místní, místní: Škálování modelu na místním zařízení může vyžadovat významné upgrady hardwaru nebo přidání dalších zařízení, což může být nákladné a časově náročné.

    • Mrak: Cloudové platformy nabízejí snadnou škálovatelnost, takže můžete rychle upravit prostředky na základě poptávky bez nutnosti změn fyzického hardwaru.

  • Požadavky na připojení

    • Místní, místní: Místní zařízení nevyžaduje připojení k internetu ke spuštění modelu, což může být výhodné v prostředích s omezeným připojením.

    • Mrak: Cloudové modely vyžadují stabilní připojení k internetu pro přístup a mohou být ovlivněny problémy se sítí.

  • Velikost a složitost modelu

    • Místní, místní: Místní zařízení můžou mít omezení velikosti a složitosti modelů, které je možné spouštět kvůli hardwarovým omezením. Menší modely, například Phi, jsou vhodnější pro místní spouštění.

    • Mrak: Cloudové platformy můžou kvůli škálovatelné infrastruktuře zpracovávat větší a složitější modely, jako jsou ty, které poskytuje OpenAI.

  • Nástroje a přidružený ekosystém

    • Místní, on-premises: Místní řešení AI, jako Microsoft FoundryMicrosoft Foundry on Windows, Windows ML a Foundry Local, se integrují se Windows sadou App SDK a ONNX Runtime, což vývojářům umožňuje vkládat modely přímo do desktopových nebo edge aplikací s minimálními externími závislostmi.

    • Mrak: Cloudová řešení AI, jako Microsoft Foundryjsou služby Azure AI a Azure OpenAI Service, poskytují komplexní sadu rozhraní API a sad SDK pro vytváření aplikací AI. Tyto služby jsou navržené tak, aby se bez problémů integrovali s Azure DevOps, GitHubem Copilot, semantickým jádrem a dalšími Azure službami, což umožňuje kompletní orchestraci, nasazení modelu a monitorování ve velkém měřítku.

  • Přizpůsobení a řízení

    • Místní, místní: Místní modely se dají používat bez nutnosti vysoké úrovně odborných znalostí. Microsoft Foundry on Windows nabízí modely, jako Phi Silica jsou modely, které jsou připravené k použití. Ml takéWindows umožňuje vývojářům spouštět vlastní modely, například ty, které jsou natrénované pomocí modulu RUNTIME ONNX, přímo na Windows zařízeních. To poskytuje vysokou úroveň kontroly nad modelem a jeho chováním, což umožňuje vyladění a optimalizaci na základě konkrétních případů použití. Foundry Local umožňuje také vývojářům spouštět modely místně na Windows zařízeních, což poskytuje vysokou úroveň kontroly nad modelem a jeho chováním.

    • Mrak: Cloudové modely také nabízejí možnosti připravené k použití a přizpůsobitelné možnosti, které vývojářům umožňují využívat předem natrénované funkce a zároveň model přizpůsobovat svým konkrétním potřebám. Microsoft Foundry je sjednocená Azure nabídka typu platforma jako služba pro podnikové operace AI, tvůrce modelů a vývoj aplikací. Tato nadace kombinuje infrastrukturu na úrovni produkce s přátelskými rozhraními, což vývojářům umožňuje soustředit se na vytváření aplikací místo správy infrastruktury.

Cloudové AI ukázky

Pokud cloudové řešení funguje pro váš scénář aplikace Windows lépe, může vás zajímat některé z níže uvedených kurzů.

Mnoho rozhraní API je k dispozici pro přístup ke cloudovým modelům pro výkon funkcí umělé inteligence ve vaší Windows aplikaci bez ohledu na to, jestli jsou tyto modely přizpůsobené nebo připravené k použití. Použití cloudového modelu může vaší aplikaci umožnit, aby zůstala zjednodušená delegováním úloh náročných na prostředky do cloudu. Několik zdrojů informací, které vám pomůžou přidat cloudová rozhraní API založená na umělé inteligenci, která nabízí Microsoft nebo OpenAI, zahrnují:

  • Last updated on