Dela via


Använda lokal AI med Microsoft Foundry on Windows

Microsoft Foundry on Windows är den främsta lösningen för utvecklare som vill integrera lokala AI-funktioner i sina Windows-appar.

Microsoft Foundry on Windows ger utvecklare...

Oavsett om du är nybörjare på AI eller en erfaren maskininlärningsexpert Microsoft Foundry on Windows (ML) har något åt dig.

Ett diagram som visar de olika komponenterna som ingår Microsoft Foundry on Windows (Windows AI APIs, Foundry Localoch Windows ML).

Färdiga AI-modeller och API:er

Appen kan enkelt använda följande lokala AI-modeller och API:er på mindre än en timme. Distribution och körning av modellfilerna hanteras av Microsoft och modellerna delas mellan appar. Med hjälp av dessa modeller och API:er krävs bara en handfull kodrader, ingen ML-expertis krävs.

Modelltyp eller API Vad är det Alternativ och enheter som stöds
Stora språkmodeller (LLM: er) Textgenereringsmodeller Phi Silica via AI APIs (stödjer finjustering) eller 20+ OSS LLM-modeller via Foundry Local

Mer information finns i Lokala LLM:er .
Bildbeskrivning Hämta en textbeskrivning på naturligt språk för en bild Bildbeskrivning via AI APIs (Copilot+ datorer)
Avbildningsförgrundsextraktor Segmentera förgrunden för en bild Förgrundsextraktor för bild via AI APIs (Copilot+ datorer)
Bildgenerering Generera bilder från text Bildgenerering via AI APIs (Copilot+ datorer)
Radera bildobjekt Radera objekt från bilder Via AI APIs radera bildobjekt (Copilot+ datorer)
Extraktor för bildobjekt Segmentera specifika objekt i en bild Extraktor för bildobjekt via AI APIs (Copilot+ PC)
Superupplösning för bild Öka bildupplösningen Bild superupplösning via AI APIs (Copilot+ datorer)
Semantisk sökning Semantiskt söka efter text och bilder Appinnehållssökning via AI APIs (Copilot+ datorer)
Taligenkänning Konvertera tal till text Viska via Foundry Local eller taligenkänning via Windows SDK

Mer information finns i Taligenkänning .
Textigenkänning (OCR) Identifiera text från bilder OCR via AI APIs (Copilot+ datorer)
Video Super Resolution (VSR) Öka upplösningen för videor Video superupplösning via AI APIs (Copilot+ datorer)

Använda andra modeller med Windows ML

Du kan använda en mängd olika modeller från Hugging Face eller andra källor, eller till och med träna dina egna modeller, och köra dem lokalt på Windows 10 och senare datorer med Windows ML.

Mer information finns i hitta eller träna modeller för användning med Windows ML .

Vilket alternativ du ska börja med

Följ det här beslutsträdet för att välja den bästa metoden för ditt program och scenario:

  1. Kontrollera om det inbyggda Windows AI APIs passar ditt scenario och du siktar på Copilot+-datorer. Detta är den snabbaste vägen till marknaden med minimal utvecklingsinsats.

  2. Om Windows AI APIs inte har det du behöver, eller om du behöver stöd för Windows 10 och senare, kan du överväga Foundry Local för LLM- eller röst-till-text-scenarier.

  3. Om du behöver anpassade modeller, vill utnyttja befintliga modeller från Hugging Face eller andra källor, eller har specifika modellkrav som inte omfattas av ovanstående alternativ, Windows ML ger dig flexibiliteten att hitta eller träna dina egna modeller (och stöder Windows 10 och senare).

Din app kan också använda en kombination av alla tre av dessa tekniker.

Tekniker som är tillgängliga för lokal AI

Följande tekniker är tillgängliga i Microsoft Foundry on Windows:

  Windows AI APIs Foundry Local Windows ML
Vad är det Färdiga AI-modeller och API:er för en mängd olika uppgiftstyper, optimerade för Copilot+-datorer Färdiga att använda LLM:er och röst-till-text-modeller ONNX Runtime ramverk för att köra modeller som du hittar eller tränar
Enheter som stöds Copilot+-datorer Windows 10 och senare datorer och plattformöverskridande

(Prestanda varierar beroende på tillgänglig maskinvara, inte alla tillgängliga modeller)
Windows 10 och senare versioner av PC, och plattformsoberoende stöd via öppen källkod ONNX Runtime

(Prestanda varierar beroende på tillgänglig maskinvara)
Modelltyper och API:er tillgängliga LLM
Bildbeskrivning
Avbildningsförgrundsextraktor
Bildgenerering
Radera bildobjekt
Extraktor för bildobjekt
Superupplösning för bild
Semantisk sökning
Textigenkänning (OCR)
Video superupplösning
LLM:er (flera)
röst till text

Bläddra bland över 20 tillgängliga modeller
Hitta eller träna dina egna modeller
Modelldistribution Tillhandahålls av Microsoft, hämtas under körning och delas mellan appar Tillhandahålls av Microsoft, hämtas under körning och delas mellan appar Distribution som hanteras av din app (appbibliotek kan dela modeller mellan appar)
Läs mer AI APIs Läs dokumenten Foundry Local Läs dokumenten Windows ML Läs dokumenten

Microsoft Foundry on Windows innehåller även utvecklarverktyg som AI Toolkit för Visual Studio Code och AI Dev Gallery som hjälper dig att skapa AI-funktioner.

AI Toolkit för Visual Studio Code är ett VS Code-tillägg som gör att du kan ladda ned och köra AI-modeller lokalt, inklusive åtkomst till maskinvaruacceleration för bättre prestanda och skalning via DirectML. AI Toolkit Kan också hjälpa dig med:

  • Testa modeller på en intuitiv lekplats eller i ditt program med ett REST-API.
  • Finjustera DIN AI-modell, både lokalt eller i molnet (på en virtuell dator) för att skapa nya färdigheter, förbättra svarstillförlitligheten, ange tonen och formatet för svaret.
  • Finjustera populära småspråksmodeller som Phi-3 och Mistral.
  • Distribuera din AI-funktion antingen till molnet eller med ett program som körs på en enhet.
  • Utnyttja maskinvaruacceleration för bättre prestanda med AI-funktioner med DirectML. DirectML är ett lågnivå-API som gör det möjligt för din Windows-enhetsmaskinvara att påskynda prestandan för ML-modeller med hjälp av enhetens GPU eller NPU. Att para ihop DirectML med ONNX Runtime är vanligtvis det enklaste sättet för utvecklare att få maskinvaruaccelererad AI till sina användare i stor skala. Läs mer: Översikt över DirectML.
  • Kvantifiera och validera en modell för användning på NPU med hjälp av modellkonverteringsfunktionerna

Idéer för att utnyttja lokal AI

Några sätt som Windows-appar kan använda lokal AI för att förbättra deras funktioner och användarupplevelse är:

  • Appar kan använda Generative AI LLM-modeller för att förstå komplexa ämnen för att sammanfatta, skriva om, rapportera om eller expandera.
  • Appar kan använda LLM-modeller för att omvandla innehåll i fritt format till ett strukturerat format som din app kan förstå.
  • Appar kan använda semantiska sökmodeller som gör det möjligt för användare att söka efter innehåll med mening och snabbt hitta relaterat innehåll.
  • Appar kan använda bearbetningsmodeller för naturligt språk för att resonera över komplexa krav på naturligt språk och planera och köra åtgärder för att utföra användarens fråga.
  • Appar kan använda modeller för bildmanipulering för att på ett intelligent sätt ändra bilder, radera eller lägga till ämnen, skala upp eller generera nytt innehåll.
  • Appar kan använda förutsägelsediagnostikmodeller för att identifiera och förutsäga problem och hjälpa till att vägleda användaren eller göra det åt dem.

Använda AI-modeller i molnet

Om det inte är rätt väg att använda lokala AI-funktioner kan det vara en lösning att använda AI-modeller och resurser i molnet .

Använda ansvarsfulla AI-metoder

När du använder AI-funktioner i din Windows-app rekommenderar vi starkt att du följer vägledningen Utveckla ansvarsfulla generativa AI-program och funktioner i Windows .