Mi az a Microsoft Foundry on Windows?

Microsoft Foundry on Windows számos AI-alapú funkciót és APIs biztosít azoknak a Copilot+ számítógépeknek, amelyek mindig helyileg és a háttérben futnak.

Microsoft Foundry on Windows számos olyan összetevőt tartalmaz, amelyek támogatják az egyedi AI-szolgáltatásokat:

1. Windows AI APIs: A beépített Windows AI APIs használatával integrálhatja az AI-szolgáltatásokat a Windows-alkalmazásokba. Ezek APIs közé tartoznak a következők:

   • Phi Silica: Helyi, használatra kész nyelvi modell.
   • Nyelvi modell testreszabása: A Phi Silica-modell finomhangolása a Low Rank Adapt (LoRA) használatával.
   • Képalkotás: Kép méretezése és élesítése (képfelbontás), képleírást leíró szöveg létrehozása (Kép leírása), objektumok azonosítása a képen belül (Képszegmentálás), objektumok eltávolítása egy képből (Objektum törlése), és képek létrehozása a parancssori szövegből (Képgenerálás).
   • Video szuperfelbontás (VSR): Alacsony felbontású videóstreamek felkonvertálása.
   • Szövegintelligencia: Szöveg észlelése és kinyerése képeken belül, gépi olvasható karakterfolyamokká alakítása (Text Recognition), a parancssori válasz strukturált táblázatos formátumba való formázása, a parancssori szövegek és beszélgetések összegzése, valamint a parancssori szöveg újraírása az érthetőség, az olvashatóság és a hangszín (vagy stílus) optimalizálása érdekében.
   • Alkalmazástartalom-keresés: Indexelje az alkalmazáson belüli tartalmakat, hogy kulcsszó vagy szemantikai jelentés alapján kereshető legyen, és helyi lekéréses bővített generációs (RAG) folyamatot és eszközalapú tudásbázist hozzon létre egy helyi vagy felhőalapú nagy nyelvi modellhez (LLM).

2. Foundry Local: népszerű OSS-modellek, amelyeket felhasználhat és beolvashat az alkalmazásba

3. Windows ML: lehetővé teszi az AI-következtetést saját ONNX-modellel

4. Fejlesztői eszközök: olyan eszközök, mint a Visual Studio AI Toolkit és az AI Dev Gallery , amelyek segítenek a mi-képességek sikeres kiépítésében

Hogyan használhatja az AI-t a Windows-alkalmazásban?

A Windows-alkalmazások a gépi tanulási (ML) modellek felhasználásával különböző módokon fejleszthetik funkcióikat és javíthatják a felhasználói élményt a mesterséges intelligenciával, többek között a következőket:

• Az alkalmazások Generatív AI-modellek használatával összetett témaköröket ismerhetnek meg az összegzéshez, átíráshoz, jelentéskészítéshez vagy bővítéshez.
• Az alkalmazások olyan modelleket használhatnak, amelyek a szabad formátumú tartalmakat strukturált formátummá alakítják, amelyeket az alkalmazás megérthet.
• Az alkalmazások szemantikai keresési modelleket használhatnak, amelyek lehetővé teszik a felhasználók számára a tartalom jelentés szerinti keresését és a kapcsolódó tartalmak gyors megtalálását.
• Az alkalmazások természetes nyelvi feldolgozási modelleket használhatnak az összetett természetes nyelvi követelmények magyarázatára, valamint a felhasználó kérésének végrehajtásához szükséges műveletek megtervezésére és végrehajtására.
• Az alkalmazások képmanipulációs modellek használatával intelligensen módosíthatják a képeket, törölhetik vagy hozzáadhatnak témákat, felskálázhatják vagy új tartalmakat hozhatnak létre.
• Az alkalmazások prediktív diagnosztikai modelleket használhatnak a problémák azonosításához és előrejelzéséhez, és segíthetnek a felhasználó irányításában vagy a számukra történő megoldásában.

A Windows AI APIs használata a saját modellek használata helyett

A Windows AI használata APIs

Ha egy helyi AI-modell a megfelelő megoldás, a Windows AI APIs használatával integrálhatja a Copilot+ pc-ket használó felhasználók AI-szolgáltatásait. Ezek APIs beépítettek a pc-re, és viszonylag kevés többletterheléssel teszik lehetővé az AI-alapú egyedi funkciókat.

Képezze saját modelljét

Ha képes saját modellt betaníteni a saját személyes adataival olyan platformokon, mint a TensorFlow vagy a PyTorch. Ezt az egyéni modellt integrálhatja a Windows-alkalmazásba, ha helyileg futtatja az eszköz hardverén a Visual Studio Code ONNX Runtime és AI Toolkit használatával.

AI Toolkit A Visual Studio Code egy VS Code-bővítmény, amely lehetővé teszi az AI-modellek helyi letöltését és futtatását, beleértve a hardveres gyorsításhoz való hozzáférést a jobb teljesítmény és a DirectML-beli skálázás érdekében. Az AI Tookit a következőket is segítheti:

• Modellek tesztelése intuitív játszótéren vagy az alkalmazásban REST API-val.
• Az AI-modell finomhangolása helyileg vagy a felhőben (virtuális gépen) új készségek létrehozásához, a válaszok megbízhatóságának javításához, a válasz hangnemének és formátumának beállításához.
• A népszerű kis nyelvi modellek, például a Phi-3 és a Mistral, finomhangolása (SLM-ek).
• Az AI-funkció üzembe helyezése a felhőben vagy egy eszközön futó alkalmazással.
• Használja ki a hardveres gyorsítást a jobb teljesítmény érdekében a DirectML-t használó AI-funkciókkal. A DirectML egy alacsony szintű API, amely lehetővé teszi, hogy a Windows-eszköz hardvere felgyorsítsa az ml-modellek teljesítményét az eszköz GPU-jának vagy NPU-jának használatával. A DirectML és a ONNX Runtime párosítása általában a legegyértelmesebb módja annak, hogy a fejlesztők a hardveresen gyorsított AI-t nagy léptékben érhessék el a felhasználók számára. További információ: A DirectML áttekintése.
• Modell kvantálása és érvényesítése NPU-n való használatra a modellkonvertálási képességek használatával

Érdemes lehet áttekinteni ezeket a modell finomhangolási fogalmait is, hogy az adatokhoz jobban illeszkedő előre betanított modellt alakítsa ki.

Felhőbeli AI-modellek használata

Ha a helyi AI-funkciók használata nem a megfelelő elérési út, a felhőalapú AI-modellek és -erőforrások használata megoldást jelenthet.

Egyéb AI-funkciók

1. Alkalmazásműveletek Windows rendszeren: új és egyedi AI-képességeket lehetővé tevő műveletek létrehozása az alkalmazáshoz a fogyasztók számára

Felelős AI-eljárások használata

Amikor AI-funkciókat épít be a Windows-alkalmazásba, javasoljuk , hogy kövesse a Felelős Generatív AI-alkalmazások és -szolgáltatások fejlesztését ismertető útmutatót .