Sdílet prostřednictvím

Začínáme s AI ve Windows

  • Článek

Schopnost vytvářet inteligentní AI zkušenosti na Windows a s Windows se rychle vyvíjí. Windows Copilot Runtime nabízí funkce založené na umělé inteligenci a APIs na počítačích Copilot+ . Tyto funkce jsou v aktivním vývoji a běží místně na pozadí vždy. Další informace o Windows Copilot Runtime.

Kromě Windows Copilot Runtimenabízí Microsoft celou řadu služeb AI, podpory a pokynů. Pokud chcete začít a naučit se bezpečně integrovat AI pro vaše obchodní potřeby, projděte si pokyny v naší dokumentaci k AI pro Windows, včetně těchto:

Jak můžete používat AI ve své aplikaci pro Windows?

Mezi způsoby, jak aplikace pro Windows mohou využívat modely Strojového učení (ML) k vylepšení jejich funkcí a uživatelského prostředí pomocí AI, patří:

  • Aplikace mohou používat generativní AI modely k porozumění složitým tématům pro jejich shrnutí, přepsání, zprávu nebo rozšíření.
  • Aplikace můžou používat modely, které transformují volný obsah do strukturovaného formátu, kterému vaše aplikace rozumí.
  • Aplikace můžou používat sémantické vyhledávací modely, které uživatelům umožňují vyhledávat obsah podle významu a rychle najít související obsah.
  • Aplikace můžou používat modely zpracování přirozeného jazyka k odůvodnění složitých požadavků v přirozeném jazyce a plánovat a spouštět akce, které umožní provést žádost uživatele.
  • Aplikace mohou k inteligentní úpravě obrázků, mazání nebo přidávání subjektů, zvětšování rozlišení nebo generování nového obsahu využívat modely pro úpravu obrázků.
  • Aplikace mohou používat prediktivní diagnostické modely k identifikaci a předvídání potíží, a tím buď uživatele vést, nebo jednat za něj.

Volba mezi cloudovými a místními službami AI

Integraci umělé inteligence do aplikace pro Windows je možné dosáhnout dvěma primárními metodami: místním modelem nebo cloudovým modelem. Při určování správné možnosti pro vaše potřeby je potřeba vzít v úvahu několik aspektů.

  • Dostupnost prostředků

    • Místní zařízení: Spuštění modelu závisí na používaných prostředcích, včetně procesoru, GPU, NPU, paměti a kapacity úložiště. To může být omezující, pokud zařízení nemá vysoký výpočetní výkon nebo dostatečné úložiště. Malé jazykové modely (SLM), jako je Phi, jsou vhodnější pro místní použití na zařízení. Počítače Copilot+ nabízejí integrované modely, které jsou řízeny Windows Copilot Runtime s připravenými funkcemi AI.
    • Cloud: cloudové platformy, jako jsou služby Azure AI Services, nabízejí škálovatelné prostředky. Můžete použít tolik výpočetního výkonu nebo úložiště, kolik potřebujete, a platit jenom za to, co používáte. Velké jazykové modely (LLM), jako jsou jazykové modely OpenAI, vyžadují více prostředků, ale jsou také výkonnější.

  • Ochrana osobních údajů a zabezpečení dat

    • místní zařízení: Vzhledem k tomu, že data zůstávají na zařízení, může mít místní spuštění modelu výhody ohledně zabezpečení a ochrany soukromí, přičemž za zabezpečení dat je zodpovědný uživatel.
    • Cloud: poskytovatelé cloudu nabízejí robustní bezpečnostní opatření, ale data je potřeba přenést do cloudu, což může v některých případech vyžadovat obavy ohledně ochrany osobních údajů dat pro správce obchodních nebo aplikačních služeb.

  • Přístupnost a spolupráce

    • místní zařízení: Model a data jsou přístupné jenom na zařízení, pokud ho nesdílíte ručně. To má potenciál, aby spolupráce na modelových datech byla náročnější.
    • Cloud: k modelu a datům je možné přistupovat odkudkoli s připojením k internetu. To může být lepší pro scénáře spolupráce.

  • Náklady

    • místní zařízení: Nad rámec počáteční investice do hardwaru zařízení nejsou žádné další náklady.
    • Cloud: Zatímco cloudové platformy pracují s modelem průběžných plateb, náklady se můžou nahromadět na základě použitých prostředků a doby trvání využití.

  • údržba a aktualizace

    • místní zařízení: Uživatel zodpovídá za údržbu systému a instalaci aktualizací.
    • Cloud: Údržbu, aktualizace systému a nové aktualizace funkcí zpracovává poskytovatel cloudových služeb a snižuje režijní náklady na údržbu pro uživatele.

Použijte Windows Copilot Runtime

Pokud je lokální model AI správným řešením, můžete pomocí funkcionality Windows Copilot Runtime integrovat AI služby pro uživatele na zařízeních Copilot+. Několik z těchto funkcí AI připravených k použití, ke kterým můžete využít přístup z aplikace pro Windows, patří:

  • Phi Silica: místní, připravený k použití jazykový model.
  • Recall: Uživatelské rozhraní API, které využívá AI k pomoci prohledání vaší předchozí aktivity, podporované funkcí Klikni pro akci, která používá Phi Silica k propojení akcí s obsahem (text nebo obrázky) nalezeným Recall.
  • AI Imaging: škálování a zostření obrázků pomocí umělé inteligence (obrazu) a také identifikace objektů v rámci obrázku (segmentace obrázků).
  • Windows Studio Effects: pokud chcete použít efekty AI na kameru zařízení nebo vestavěný mikrofon.

Přečtěte si další informace o funkcích dostupných v Windows Copilot Runtime Oveview.

Použití na cloudu APIs

Pokud cloudové řešení funguje lépe pro váš scénář aplikace pro Windows, může vás zajímat některé z níže uvedených kurzů.

Mnoho APIs je k dispozici pro přístup ke cloudovým modelům pro výkon funkcí umělé inteligence ve vaší aplikaci pro Windows bez ohledu na to, jestli jsou tyto modely přizpůsobené nebo připravené k použití. Použití cloudového modelu může vaší aplikaci umožnit, aby zůstala zjednodušená delegováním úloh náročných na prostředky do cloudu. Několik zdrojů informací, které vám pomůžou přidat cloudové služby APIs založené na umělé inteligenci, které nabízí Microsoft nebo OpenAI, zahrnují:

  • Přidání dokončování chatu OpenAI do desktopové aplikace WinUI 3 / Windows App SDK: Kurz integrace cloudových možností dokončování OpenAI ChatGPT do desktopové aplikace WinUI 3 / Windows App SDK.

  • Přidání DALL-E do desktopové aplikace WinUI 3 / Windows App SDK: Kurz integrace cloudových možností generování obrázků OpenAI DALL-E do desktopové aplikace WinUI 3 / Windows App SDK.

  • Vytvoření aplikace pro doporučení s využitím rozhraní .NET MAUI a chatGPT: Kurz vytvoření ukázkové aplikace doporučení, která integruje cloudové možnosti dokončování ChatGPT openAI do aplikace .NET MAUI.

  • přidání DALL-E do desktopové aplikace .NET MAUI pro Windows: Kurz integrace cloudových možností generování imagí OpenAI DALL-E do aplikace .NET MAUI.

  • služba Azure OpenAI: Pokud chcete, aby vaše aplikace pro Windows přistupovala k modelům OpenAI, jako je GPT-4, GPT-4 Turbo s Vision, GPT-3.5-Turbo, DALLE-3 nebo modelová řada Embeddings, s přidanými možnostmi zabezpečení a podnikových funkcí Azure, najdete pokyny v této dokumentaci k Azure OpenAI.

  • azure AI Services: Azure nabízí celou sadu služeb AI dostupných prostřednictvím sad REST APIs a sad SDK klientské knihovny v oblíbených vývojových jazycích. Další informace najdete v dokumentaci ke každé službě. Tyto cloudové služby pomáhají vývojářům a organizacím rychle vytvářet inteligentní, špičkové, připravené pro trh a odpovědné aplikace s hotovými řešeními a předem připravenými a přizpůsobitelnými APIs a modely. Mezi ukázkové aplikace patří zpracování přirozeného jazyka pro konverzace, vyhledávání, monitorování, překlad, řeč, vizi a rozhodování.

Použití vlastního modelu na místním počítači

Pokud máte možnost trénovat vlastní model pomocí vlastních privátních dat s platformami, jako jsou TensorFlow nebo PyTorch. Tento vlastní model můžete integrovat do aplikace pro Windows tím, že ho spustíte místně na hardwaru zařízení pomocí ONNX Runtime a AI Toolkit pro Visual Studio Code.

AI Toolkit pro Visual Studio Code je rozšíření VS Code, které umožňuje stahovat a spouštět modely AI místně, včetně přístupu k hardwarové akceleraci pro lepší výkon a škálování prostřednictvím DirectML. AI Tookit vám také pomůže s:

  • Testování modelů v intuitivním dětském prostředí nebo v aplikaci pomocí rozhraní REST API
  • Vyladění modelu AI místně i v cloudu (na virtuálním počítači) za účelem vytvoření nových dovedností, zlepšení spolehlivosti odpovědí, nastavení tónu a formátu odpovědi
  • Vyladění oblíbených malých jazykových modelů (SLM), jako jsou Phi-3 a Mistral.
  • Nasaďte funkci AI buď do cloudu, nebo pomocí aplikace, která běží na zařízení.
  • Využijte hardwarovou akceleraci pro lepší výkon s funkcemi AI pomocí DirectML. DirectML je rozhraní API nízké úrovně, které umožňuje hardwaru zařízení s Windows zrychlit výkon modelů ML pomocí GPU nebo NPU zařízení. Párování DirectML s ONNX Runtime je obvykle nejjednodušší způsob, jak vývojářům přinést hardwarově akcelerovanou AI uživatelům ve velkém měřítku. Další informace: DirectML Overview.

Můžete se také podívat na tyto koncepty jemného ladění modelů, abyste upravili předem natrénovaný model tak, aby lépe odpovídal vašim datům.

Vyhledání opensourcových modelů

Open source modely ML najdete na webu, mezi nejoblíbenější patří:

  • Hugging Face: Centrum více než 10 000 předtrénovaných modelů strojového učení pro zpracování přirozeného jazyka, které využívá knihovnu Transformers. Můžete najít modely pro klasifikaci textu, odpovědi na otázky, shrnutí, překlad, generování a další.
  • ONNX Model Zoo: Kolekce předem natrénovaných modelů ML ve formátu ONNX, která pokrývá širokou škálu domén a úloh, jako je počítačové zpracování obrazu, zpracování přirozeného jazyka, řeč a další.
  • Qualcomm AI Hub: Platforma, která poskytuje přístup k různým modelům a nástrojům ML optimalizovaným pro zařízení s procesory Qualcomm Snapdragon. Modely pro zpracování obrázků, videa, zvuku a senzorů a také architektury, knihovny a sady SDK pro vytváření a nasazování aplikací ML na mobilních zařízeních. Qualcomm AI Hub také nabízí kurzy, nápovědy a podporu komunity pro vývojáře a výzkumné pracovníky.
  • Pytorch Hub: Předem natrénované úložiště modelů navržené tak, aby usnadnilo reprodukci výzkumu a umožnilo nový výzkum. Jedná se o jednoduché rozhraní API a pracovní postup, který poskytuje základní stavební bloky pro zlepšení reprodukovatelnosti výzkumu strojového učení. PyTorch Hub se skládá z předem natrénovaného úložiště modelu navrženého speciálně pro usnadnění reprodukovatelnosti výzkumu.
  • TensorFlow Hub: Úložiště předem natrénovaných modelů ML a opakovaně použitelných komponent pro TensorFlow, což je oblíbená architektura pro vytváření a trénování modelů ML. Můžete najít modely pro zpracování obrázků, textu, videa a zvuku, stejně jako pro transferové učení a doladění.
  • Model Zoo: Platforma, která spravuje a řadí nejlepší open-source modely ML pro různé frameworky a úlohy. Modely můžete procházet podle kategorií, architektury, licence a hodnocení a zobrazit ukázky, kód a dokumenty pro každý model.

Některé knihovny modelů nejsou určené k přizpůsobení a distribuci prostřednictvím aplikace, ale jsou užitečné nástroje pro praktické zkoumání a zjišťování v rámci životního cyklu vývoje, například:

  • Ollama: Ollama je marketplace modelů ML připravených k použití pro různé úlohy, jako je detekce tváří, analýza mínění nebo rozpoznávání řeči. Modely můžete procházet, testovat a integrovat do aplikace několika kliknutími.
  • LM Studio: Lmstudio je nástroj, který umožňuje vytvářet vlastní modely ML z vlastních dat pomocí přetahování rozhraní. Můžete si vybrat z různých algoritmů ML, předzpracovat a vizualizovat data a trénovat a vyhodnocovat modely.

Používání postupů zodpovědné umělé inteligence

Při každém začlenění funkcí AI do aplikace pro Windows důrazně doporučujeme postupovat podle pokynů pro vývoj zodpovědných aplikací a funkcí pro generování AI ve Windows.

Tyto pokyny vám pomohou porozumět zásadám řízení, praktikám a procesům, identifikovat rizika, doporučovat testovací metody, využívat bezpečnostní opatření, jako jsou moderátoři a filtry, a upozorňují na konkrétní ohledy při výběru modelu, který je bezpečný a zodpovědný pro práci.

Windows Copilot Runtime generativní modely umělé inteligence přímo na zařízení vám mohou pomoci vynutit místní funkce pro bezpečnost obsahu, jako jsou moduly klasifikace na zařízení pro škodlivý obsah a výchozí seznam blokací. Microsoft upřednostňuje podporu vývojářů při vytváření bezpečných a důvěryhodných prostředí umělé inteligence s místními modely ve Windows.

Další zdroje informací