Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
Microsoft Foundry on Windows A helyi AI-képességek windowsos alkalmazásba való integrálását tervező fejlesztők számára a premier megoldás.
Microsoft Foundry on Windows a fejlesztők számára...
- Használatra kész AI-modellek és API-kWindowson AI APIs és Foundry Local
- AI-következtetési keretrendszer bármely modell helyi futtatásához Windows ML
Függetlenül attól, hogy ön még nem ismeri az AI-t, vagy tapasztalt gépi tanulási (ML) szakértő, Microsoft Foundry on Windows van valami az Ön számára.
Egy diagram mutatja be a különböző összetevőket, amelyek a következőkből állnak: Microsoft Foundry on Windows (Windows AI APIs, Foundry Local, és Windows ML).
Használatra kész AI-modellek és API-k
Az alkalmazás egy órán belül könnyedén használhatja a következő helyi AI-modelleket és API-kat. A modellfájlok terjesztését és futtatókörnyezetét a Microsoft kezeli, a modelleket pedig az alkalmazások osztják meg. Ezeknek a modelleknek és API-knak a használata csak néhány sornyi kódot vesz igénybe, és nincs szükség ml-szakértelemre.
| Modell típusa vagy API | Mi ez | Beállítások és támogatott eszközök |
|---|---|---|
| Nagy nyelvi modellek (LLM-ek) | Generatív szövegmodellek | Phi Silica AI APIs keresztül (támogatja a finomhangolást) vagy több mint 20 OSS LLM modell Foundry Local keresztül További információért lásd a helyi LLM-eket . |
| Kép leírása | Kép természetes nyelvű szöveges leírásának lekérése | Kép leírása a AI APIs (Copilot+ számítógépek) |
| Kép előtérelválasztó | Kép előterének szegmentálása | Kép előtérkivonó használatával AI APIs (Copilot+ PC-k) |
| Képgenerálás | Képek létrehozása szövegből | Kép létrehozás a AI APIs (Copilot+ PC-kkel) |
| Képobjektum törlése | Objektumok törlése képekről | Képobjektum törlése a AI APIs (Copilot+ PC-k) |
| Image Object Extractor | Adott objektumok szegmentálása egy képen | "Image Object Extractor" via AI APIs (Copilot+ PC) |
| Képfelbontás | Képek felbontásának növelése | Képszuperfelbontás a következőn keresztül: AI APIs (Copilot+ PC-k) |
| Szemantikai keresés | Szemantikai keresés szövegben és képekben | Alkalmazástartalom-keresés a AI APIs segítségével (Copilot+ PC-k) |
| Beszédfelismerés | Beszéd szöveggé alakítása | Suttogás a Windows SDK-val Foundry Local vagy beszédfelismeréssel További információ: Beszédfelismerés . |
| Szövegfelismerés (OCR) | Szöveg felismerése képekből | OCR által AI APIs (Copilot+ PC-k) |
| Videó szuperfelbontása (VSR) | Videók felbontásának növelése | A videó felbontásának javítása a következő által: AI APIs (Copilot+ PC-k) |
Más modellek használata a következővel: Windows ML
A Face vagy más forrásokból származó modellek széles skáláját használhatja, vagy akár saját modellek betanítását is végezheti, és helyileg futtathatja őket Windows 10 és újabb rendszerű számítógépeken Windows ML(a modell kompatibilitása és teljesítménye az eszköz hardverétől függően változik).
További információkért tekintse meg a modellek kereséséről vagy betanításáról szóló útmutatót Windows ML.
Melyik beállítással kezdje?
Kövesse ezt a döntési fát az alkalmazáshoz és forgatókönyvhöz leginkább megfelelő megközelítés kiválasztásához:
Ellenőrizze, hogy a beépített Windows AI APIs lefedi-e a forgatókönyvet, és a Copilot+ pc-ket célozza-e. Ez a leggyorsabb út a piacra minimális fejlesztési erőfeszítéssel.
Ha a Windows AI APIs nem rendelkezik azzal, amire szüksége van, vagy támogatnia kell a Windows 10-et és újabb verziókat, fontolja meg Foundry Local az LLM- vagy a beszéd-szöveggé alakítási forgatókönyveket.
Ha egyéni modellekre van szüksége, szeretné kihasználni az Ölelés Arc vagy más forrásokból származó meglévő modelleket, vagy olyan konkrét modellkövetelményekkel rendelkezik, amelyekre a fenti lehetőségek nem vonatkoznak, Windows ML rugalmasan keresheti meg vagy taníthatja be saját modelljeit (és támogatja a Windows 10-et és újabb verziókat).
Az alkalmazás mindhárom technológia kombinációját is használhatja.
A helyi AI-hez elérhető technológiák
A következő technológiák érhetők el itt: Microsoft Foundry on Windows
| Windows AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| Mi ez | Használatra kész AI-modellek és API-k számos különböző feladattípusban, a Copilot+ PC-khez optimalizálva | Használatra kész LLM-ek és hang-szöveg modellek | ONNX Runtime keretrendszer a talált vagy betanított modellek futtatásához |
| Támogatott eszközök | Copilot+ PC-k | Windows 10 és újabb rendszerű számítógépek és többplatformos támogatás (A teljesítmény az elérhető hardvertől függően változik, nem minden elérhető modell) |
Windows 10 és későbbi verziójú PC-k, valamint platformfüggetlen és nyílt forráskódú ONNX Runtime (A teljesítmény a rendelkezésre álló hardvertől függően változik) |
| Modelltípusok és API-k érhetők el |
LLM Kép leírása Kép előtérelválasztó Képgenerálás Képobjektum törlése Image Object Extractor Képfelbontás Szemantikai keresés Szövegfelismerés (OCR) Videó szuperfelbontása |
LLM-ek (több) beszéd szöveggé alakítása Több mint 20 elérhető modell tallózása |
Saját modellek keresése vagy betanítása |
| Modeldisztribúció | A Microsoft üzemelteti, futás közben kerül beszerzésre, és megoszlik az alkalmazások között. | A Microsoft üzemelteti, futás közben kerül beszerzésre, és megoszlik az alkalmazások között. | Az alkalmazás által kezelt disztribúció (az alkalmazástárak modelleket oszthatnak meg az alkalmazások között) |
| Tudj meg többet | A dokumentumok olvasása AI APIs | A dokumentumok olvasása Foundry Local | A dokumentumok olvasása Windows ML |
Microsoft Foundry on Windows Olyan fejlesztői eszközöket is tartalmaz, mint a AI Toolkit Visual Studio Code és az AI Dev Gallery , amelyek segítenek az AI-képességek sikeres kiépítésében.
AI Toolkit A Visual Studio Code egy VS Code-bővítmény, amely lehetővé teszi az AI-modellek helyi letöltését és futtatását, beleértve a hardveres gyorsításhoz való hozzáférést a jobb teljesítmény és a DirectML-beli skálázás érdekében. A AI Toolkit következőkkel is segíthet:
- Modellek tesztelése intuitív játszótéren vagy az alkalmazásban REST API-val.
- Az AI-modell finomhangolása helyileg vagy a felhőben (virtuális gépen) új készségek létrehozásához, a válaszok megbízhatóságának javításához, a válasz hangnemének és formátumának beállításához.
- A népszerű kis nyelvi modellek, például a Phi-3 és a Mistral, finomhangolása (SLM-ek).
- Az AI-funkció üzembe helyezése a felhőben vagy egy eszközön futó alkalmazással.
- Használja ki a hardveres gyorsítást a jobb teljesítmény érdekében a DirectML-t használó AI-funkciókkal. A DirectML egy alacsony szintű API, amely lehetővé teszi, hogy a Windows-eszköz hardvere felgyorsítsa az ml-modellek teljesítményét az eszköz GPU-jának vagy NPU-jának használatával. A DirectML és a ONNX Runtime párosítása általában a legegyértelmesebb módja annak, hogy a fejlesztők a hardveresen gyorsított AI-t nagy léptékben érhessék el a felhasználók számára. További információ: A DirectML áttekintése.
- Modell kvantálása és érvényesítése NPU-n való használatra a modellkonvertálási képességek használatával
Ötletek a helyi AI kihasználásához
A Windows-alkalmazások a helyi AI-t a működésük és a felhasználói élményük fokozására használhatják:
- Az alkalmazások a Generatív AI LLM-modellek segítségével összetett témaköröket ismerhetnek meg az összegzéshez, átíráshoz, jelentéskészítéshez vagy bővítéshez.
- Az alkalmazások LLM-modelleket használhatnak a szabad formátumú tartalmak strukturált formátumtá alakításához, amelyet az alkalmazás megérthet.
- Az alkalmazások szemantikai keresési modelleket használhatnak , amelyek lehetővé teszik a felhasználók számára a tartalom jelentés szerinti keresését és a kapcsolódó tartalmak gyors megtalálását.
- Az alkalmazások természetes nyelvi feldolgozási modelleket használhatnak az összetett természetes nyelvi követelmények magyarázatára, valamint a felhasználó kérésének végrehajtásához szükséges műveletek megtervezésére és végrehajtására.
- Az alkalmazások képmanipulációs modellek használatával intelligensen módosíthatják a képeket, törölhetik vagy hozzáadhatnak témákat, felskálázhatják vagy új tartalmakat hozhatnak létre.
- Az alkalmazások prediktív diagnosztikai modelleket használhatnak a problémák azonosításához és előrejelzéséhez, és segíthetnek a felhasználó irányításában vagy a számukra történő megoldásában.
Felhőbeli AI-modellek használata
Ha a helyi AI-funkciók használata nem a megfelelő elérési út, a felhőalapú AI-modellek és -erőforrások használata megoldást jelenthet.
Felelős AI-eljárások használata
Amikor AI-funkciókat épít be a Windows-alkalmazásba, javasoljuk , hogy kövesse a Felelős Generatív AI-alkalmazások és -szolgáltatások fejlesztését ismertető útmutatót .