Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Microsoft Foundry on Windows är den främsta lösningen för utvecklare som vill integrera lokala AI-funktioner i sina Windows appar.
Microsoft Foundry on Windows ger utvecklare...
- Färdiga att använda AI-modeller och API:er via Windows AI APIs och Foundry Local
- AI-slutsatsdragningsramverk för att köra valfri modell lokalt via Windows ML
Oavsett om du är nybörjare på AI eller en erfaren Machine Learning (ML)-expert har Microsoft Foundry on Windows något åt dig.
Färdiga AI-modeller och API:er
Appen kan enkelt använda följande lokala AI-modeller och API:er på mindre än en timme. Distribution och körning av modellfilerna hanteras av Microsoft och modellerna delas mellan appar. Med hjälp av dessa modeller och API:er krävs bara en handfull kodrader, ingen ML-expertis krävs.
| Modelltyp eller API | Vad är det | Alternativ och enheter som stöds |
|---|---|---|
| Stora språkmodeller (LLM: er) | Textgenereringsmodeller | Phi Silica via AI APIs (stödjer finjustering) eller 20+ OSS LLM-modeller via Foundry Local Mer information finns i Lokala LLM:er . |
| Bildbeskrivning | Hämta en textbeskrivning på naturligt språk för en bild | Imagebeskrivning via AI APIs (Copilot+ datorer) |
| Avbildningsförgrundsextraktor | Segmentera förgrunden för en bild | Image Foreground Extractor via AI APIs (Copilot+ datorer) |
| Bildgenerering | Generera bilder från text | Image Generation via AI APIs (Copilot+ datorer) |
| Radera bildobjekt | Radera objekt från bilder | Radering av bildobjekt via AI APIs (Copilot+ datorer) |
| Extraktor för bildobjekt | Segmentera specifika objekt i en bild | Image Object Extractor via AI APIs (Copilot+ datorer) |
| Superupplösning för bild | Öka bildupplösningen | Image Super Resolution via AI APIs (Copilot+ datorer) |
| Semantisk sökning | Semantiskt söka efter text och bilder | Appinnehållssökning via AI APIs (Copilot+ datorer) |
| Taligenkänning | Konvertera tal till text | Viska via Foundry Local eller taligenkänning via Windows SDK Mer information finns i Taligenkänning . |
| Textigenkänning (OCR) | Identifiera text från bilder | OCR via AI APIs (Copilot+ datorer) |
| Video Super Resolution (VSR) | Öka upplösningen för videor | Video Super Resolution via AI APIs (Copilot+ datorer) |
Använda andra modeller med Windows ML
Du kan använda en mängd olika modeller från Hugging Face eller andra källor, eller till och med träna dina egna modeller, och köra dem lokalt på Windows 10 och senare datorer med hjälp av Windows ML(modellkompatibilitet och prestanda varierar beroende på enhetens maskinvara).
Se hitta eller träna modeller för användning med Windows ML för mer information.
Vilket alternativ du ska börja med
Följ det här beslutsträdet för att välja den bästa metoden för ditt program och scenario:
Kontrollera om den inbyggda Windows AI APIs täcker ditt scenario och du riktar in dig på Copilot+ datorer. Detta är den snabbaste vägen till marknaden med minimal utvecklingsinsats.
Om Windows AI APIs inte har det du behöver, eller om du behöver stöd för Windows 10 och senare, bör du överväga Foundry Local för LLM- eller röst-till-text-scenarier.
Om du behöver anpassade modeller, vill utnyttja befintliga modeller från Hugging Face eller andra källor, eller har specifika modellkrav som inte omfattas av ovanstående alternativ, Windows ML ger dig flexibiliteten att hitta eller träna dina egna modeller (och stöder Windows 10 och senare).
Din app kan också använda en kombination av alla tre av dessa tekniker.
Tekniker som är tillgängliga för lokal AI
Följande tekniker är tillgängliga i Microsoft Foundry on Windows:
| Windows AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| Vad är det | Färdiga AI-modeller och API:er för olika typer av uppgifter, optimerade för Copilot+ datorer | Färdiga att använda LLM:er och röst-till-text-modeller | ONNX Runtime ramverk för att köra modeller som du hittar eller tränar |
| Enheter som stöds | Copilot+ datorer | Windows 10 och senare PC-datorer och plattformsöverskridande (Prestanda varierar beroende på tillgänglig maskinvara, inte alla tillgängliga modeller) |
Windows 10 och senare datorer och plattformsoberoende via ONNX Runtime med öppen källkod (Prestanda varierar beroende på tillgänglig maskinvara) |
| Modelltyper och API:er tillgängliga |
LLM Bildbeskrivning Avbildningsförgrundsextraktor Bildgenerering Radera bildobjekt Extraktor för bildobjekt Superupplösning för bild Semantisk sökning Textigenkänning (OCR) Video superupplösning |
LLM:er (flera) röst till text Bläddra bland över 20 tillgängliga modeller |
Hitta eller träna dina egna modeller |
| Modelldistribution | Hanteras av Microsoft, hämtas vid körning och delas mellan appar | Hanteras av Microsoft, hämtas vid körning och delas mellan appar | Distribution som hanteras av din app (appbibliotek kan dela modeller mellan appar) |
| Läs mer | AI APIs Läs dokumenten | Foundry Local Läs dokumenten | Windows ML Läs dokumenten |
Microsoft Foundry on Windows innehåller även utvecklarverktyg som Foundry Toolkit för Visual Studio Code och AI Dev Gallery som hjälper dig att skapa AI-funktioner.
Foundry Toolkit för Visual Studio Code är ett VS Code-tillägg som gör att du kan ladda ned och köra AI-modeller lokalt, inklusive åtkomst till maskinvaruacceleration för bättre prestanda och skalning via DirectML. Foundry Toolkit Kan också hjälpa dig med:
- Testa modeller på en intuitiv lekplats eller i ditt program med ett REST-API.
- Finjustera DIN AI-modell, både lokalt eller i molnet (på en virtuell dator) för att skapa nya färdigheter, förbättra svarstillförlitligheten, ange tonen och formatet för svaret.
- Finjustera populära småspråksmodeller som Phi-3 och Mistral.
- Distribuera din AI-funktion antingen till molnet eller med ett program som körs på en enhet.
- Utnyttja maskinvaruacceleration för bättre prestanda med AI-funktioner med DirectML. DirectML är ett lågnivå-API som gör det möjligt för din Windows enhetsmaskinvara att påskynda prestandan för ML-modeller med hjälp av enhetens GPU eller NPU. Att para ihop DirectML med ONNX Runtime är vanligtvis det enklaste sättet för utvecklare att få maskinvaruaccelererad AI till sina användare i stor skala. Läs mer: Översikt över DirectML.
- Kvantifiera och validera en modell för användning på NPU med hjälp av modellkonverteringsfunktionerna
Idéer för att utnyttja lokal AI
Några sätt som Windows appar kan använda lokal AI för att förbättra deras funktioner och användarupplevelse är:
- Appar kan använda Generative AI LLM-modeller för att förstå komplexa ämnen för att sammanfatta, skriva om, rapportera om eller expandera.
- Appar kan använda LLM-modeller för att omvandla innehåll i fritt format till ett strukturerat format som din app kan förstå.
- Appar kan använda semantiska sökmodeller som gör det möjligt för användare att söka efter innehåll med mening och snabbt hitta relaterat innehåll.
- Appar kan använda bearbetningsmodeller för naturligt språk för att resonera över komplexa krav på naturligt språk och planera och köra åtgärder för att utföra användarens fråga.
- Appar kan använda modeller för bildmanipulering för att på ett intelligent sätt ändra bilder, radera eller lägga till ämnen, skala upp eller generera nytt innehåll.
- Appar kan använda förutsägelsediagnostikmodeller för att identifiera och förutsäga problem och hjälpa till att vägleda användaren eller göra det åt dem.
Använda AI-modeller i molnet
Om det inte är rätt väg att använda lokala AI-funktioner kan det vara en lösning att använda AI-modeller och resurser i molnet .
Använda ansvarsfulla AI-metoder
När du införlivar AI-funktioner i din Windows-app starkt rekommenderar vi att du följer Utveckling av ansvarsfulla generativa AI-applikationer och funktioner på Windows för vägledning.