Co je Microsoft Foundry on Windows?

Microsoft Foundry on Windows poskytuje řadu funkcí založených na umělé inteligenci a APIs pro počítače Copilot+ spouštěné místně i na pozadí.

Microsoft Foundry on Windows obsahuje několik komponent, které podporují jedinečná prostředí umělé inteligence:

1. Windows AI APIs: Pomocí integrované umělé inteligence APIs pro Windows můžete integrovat služby AI do aplikací pro Windows. Patří mezi ně APIs následující:

   • Phi Silica: Místní jazykový model, připravený k použití.
   • Přizpůsobení jazykového modelu: Dolaďte model Phi Silica pomocí nízkopořadové adaptace (LoRA).
   • Obrázek: Škálování a zostření obrázku (super rozlišení obrázku), vygenerování textu popisovaného obrázku (Popis obrázku), identifikace objektů v obrázku (segmentace obrázku), odebrání objektů z obrázku (vymazání objektu) a generování obrázků z textu výzvy (generování obrázku).
   • Video Super Resolution (VSR): Zvětšuje nízkorozpočtové video streamy.
   • Textová inteligence: Rozpozná a extrahuje text v obrázcích a převede ho na strojově čitelné datové proudy znaků (Text Recognition), naformátuje odpověď výzvy do strukturovaného formátu tabulky, sumarizuje text výzvy a konverzace a přepíše text výzvy k optimalizaci srozumitelnosti, čitelnosti a tónu (nebo stylu).
   • Vyhledávání obsahu aplikace: Indexujte obsah v aplikaci, abyste ho mohli prohledávat podle klíčového slova nebo sémantického významu, a vytvořte místní kanál RAG (Retrieval Augmented Generation) a znalostní bázi na zařízení pro místní nebo cloudový rozsáhlý jazykový model (LLM).

2. Foundry Local: oblíbené modely operačního systému, které můžete využít a načíst do aplikace

3. Windows ML: Umožňuje odvozování AI s vlastním modelem ONNX.

4. Dev Tools: Nástroje, jako je Visual Studio AI Toolkit a Galerie vývojářů AI , které vám pomůžou úspěšně vytvářet funkce AI

Jak můžete používat AI ve své aplikaci pro Windows?

Mezi způsoby, jak aplikace pro Windows mohou využívat modely Strojového učení (ML) k vylepšení jejich funkcí a uživatelského prostředí pomocí AI, patří:

• Aplikace mohou používat generativní AI modely k porozumění složitým tématům pro jejich shrnutí, přepsání, zprávu nebo rozšíření.
• Aplikace můžou používat modely, které transformují volný obsah do strukturovaného formátu, kterému vaše aplikace rozumí.
• Aplikace můžou používat sémantické vyhledávací modely, které uživatelům umožňují vyhledávat obsah podle významu a rychle najít související obsah.
• Aplikace můžou používat modely zpracování přirozeného jazyka k odůvodnění složitých požadavků v přirozeném jazyce a plánovat a spouštět akce, které umožní provést žádost uživatele.
• Aplikace mohou k inteligentní úpravě obrázků, mazání nebo přidávání subjektů, zvětšování rozlišení nebo generování nového obsahu využívat modely pro úpravu obrázků.
• Aplikace mohou používat prediktivní diagnostické modely k identifikaci a předvídání potíží, a tím buď uživatele vést, nebo jednat za něj.

Použití Windows AI APIs versus vlastní modely

Použití umělé inteligence systému Windows APIs

Pokud je místním modelem AI správné řešení, můžete pomocí umělé inteligence APIssystému Windows integrovat služby AI pro uživatele na počítačích Copilot+ . Jsou APIs integrované na vašem počítači a umožňují jedinečné funkce využívající AI s relativně malými režijními náklady.

Trénování vlastního modelu

Pokud máte možnost trénovat vlastní model pomocí vlastních privátních dat s platformami, jako jsou TensorFlow nebo PyTorch. Tento vlastní model můžete integrovat do aplikace pro Windows tím, že ho spustíte místně na hardwaru zařízení pomocí ONNX Runtime a AI Toolkit pro Visual Studio Code.

AI Toolkit pro Visual Studio Code je rozšíření VS Code, které umožňuje stahovat a spouštět modely AI místně, včetně přístupu k hardwarové akceleraci pro lepší výkon a škálování prostřednictvím DirectML. AI Tookit vám také pomůže s:

• Testování modelů v intuitivním dětském prostředí nebo v aplikaci pomocí rozhraní REST API
• Vyladění modelu AI místně i v cloudu (na virtuálním počítači) za účelem vytvoření nových dovedností, zlepšení spolehlivosti odpovědí, nastavení tónu a formátu odpovědi
• Vyladění oblíbených malých jazykových modelů (SLM), jako jsou Phi-3 a Mistral.
• Nasaďte funkci AI buď do cloudu, nebo pomocí aplikace, která běží na zařízení.
• Využijte hardwarovou akceleraci pro lepší výkon s funkcemi AI pomocí DirectML. DirectML je rozhraní API nízké úrovně, které umožňuje hardwaru zařízení s Windows zrychlit výkon modelů ML pomocí GPU nebo NPU zařízení. Párování DirectML s ONNX Runtime je obvykle nejjednodušší způsob, jak vývojářům přinést hardwarově akcelerovanou AI uživatelům ve velkém měřítku. Další informace: DirectML Overview.
• Kvantování a ověření modelu pro použití v NPU pomocí funkcí převodu modelů

Můžete se také podívat na tyto koncepty jemného ladění modelů, abyste upravili předem natrénovaný model tak, aby lépe odpovídal vašim datům.

Použití cloudových modelů AI

Pokud pro vás použití místních funkcí AI není správnou cestou, může být řešením použití modelů a prostředků Cloudové AI .

Další funkce umělé inteligence

1. Akce aplikací ve Windows: Vytvoření akcí pro vaši aplikaci umožňujících uživatelům nové a jedinečné funkce umělé inteligence

Používání postupů zodpovědné umělé inteligence

Při každém začlenění funkcí AI do aplikace pro Windows důrazně doporučujeme postupovat podle pokynů pro vývoj zodpovědných aplikací a funkcí pro generování AI ve Windows.