Vanliga frågor och svar om hur du använder AI i Windows appar

Välja rätt alternativ

Vilket Windows AI-alternativ ska jag använda?

Det beror på målmaskinvaran och användningsfallet. Windows AI-API:er är den enklaste sökvägen för Copilot+ PCs – enkla API-anrop för OCR, bildbeskrivning, textsammanfattning och Phi Silica-chatt, utan att modellhantering krävs. Foundry Local är rätt val när du behöver en bredare modellkatalog, icke-Copilot+ PC maskinvarusupport eller OpenAI-kompatibel API-åtkomst. Windows ML ger dig mest kontroll – använd valfri ONNX-modell och hantera exekveringsproviders direkt. Se Välj din Windows AI-lösning för en jämförelse sida vid sida.

Behöver jag en Copilot+ PC eller NPU för att använda Windows AI-funktioner?

Det beror på vilken funktion du använder. Windows AI-API:er kräver en Copilot+ PC med en NPU. Foundry Local körs på alla Windows enheter med en DirectX 12-kompatibel GPU – inklusive enheter utan NPU. Windows ML stöder ett brett utbud av processorer, GPU:er och NPU:er. Mer information finns i maskinvarulistan som stöds .

Kan jag använda Foundry Local med min befintliga OpenAI SDK-kod?

Ja. Foundry Local exponerar ett OpenAI-kompatibelt REST API. Starta den lokala tjänsten med foundry service startoch peka sedan OpenAI-klienten på den lokala slutpunkten – modellnamnet, meddelandena och strömningsanropen fungerar utan ändringar. Se Kom igång med Foundry Local för slutpunktsformatet.

Är Foundry Local lämpligt för produktionsappar, eller är det fortfarande experimentellt?

De interna SDK:erna (C#, Python, JavaScript, Rust) är för närvarande i alfa/förhandsversion. Den underliggande infrastrukturen för ONNX Runtime och modellservering är produktionsredo. När du distribuerar appar i dag, behandla SDK:ets API-yta som något som kan ändras och lås paketversionerna. Se Vad är Foundry Local för den senaste stabilitetsstatusen.

Fungerar Foundry Local offline?

Ja, när en modell har laddats ned och cachelagrats på enheten utför Foundry Local slutsatsdragning helt på enheten utan molnberoende. Den inledande modellnedladdningen kräver internetåtkomst. Vid start kan Foundry Local försöka uppdatera modellkatalogen, men detta krävs inte – om enheten är offline återgår den till den cachelagrade katalogen och slutsatsdragningen fortsätter normalt. Med SDK:s (C#) / IsCachedAsync -metod (Python) kan du kontrollera modellens is_cached tillgänglighet innan du försöker dra slutsatser så att du kan hantera offlinefallet korrekt.

Hur hanterar Foundry Local maskinvaruskillnader mellan enheter?

Foundry Local identifierar tillgänglig maskinvara vid start och väljer den bästa körningsprovidern – Qualcomm NPU (QNN), en DirectX 12-kompatibel GPU via WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), NVIDIA GPU via CUDA eller CPU-reserv. Du begär en modell efter alias (till exempel phi-3.5-mini) och Foundry Local hanterar automatiskt den maskinvaruoptimerade varianten för enheten. Din appkod är densamma i alla maskinvarukonfigurationer.

Datasekretess och säkerhet

Skickar Foundry Local användardata till molnet?

No. Foundry Local körs helt på enheten. In- och utdata för slutsatsdragning lämnar aldrig datorn. Den enda nätverkstrafiken är den inledande modellnedladdningen och valfria uppdateringar av katalogmetadata. Vid start kan Foundry Local försöka uppdatera modellkatalogen, men detta krävs inte – om enheten är offline återgår den till den cachelagrade katalogen och slutsatsdragningen fortsätter normalt.

Hur ska jag hantera datasekretess när jag använder Windows AI-API:er?

Windows AI-API:er bearbetar data lokalt på enheten med hjälp av NPU:n. Indata skickas inte till Microsoft servrar. Vägledning om ansvarsfulla AI-metoder, medgivande och transparens finns i Utveckla ansvarsfulla generativa AI-program och -funktioner på Windows.

Plattform och körtid

Vad är Windows ML?

Windows ML gör det möjligt för din app att använda en delad systemomfattande ONNX Runtime och dynamiskt ladda ned leverantörsspecifika körningsproviders (EPs) så att modellinferens optimeras för enhetens CPU, GPU eller NPU – utan att din app har stora runtime- eller EP-binärfiler. Använd den när du behöver ta med din egen ONNX-modell eller vill ha fullständig kontroll över EP-valet. Se Windows ML-översikt.

Vad är DirectML?

DirectML är ett GPU-accelerations-API på låg nivå för maskininlärning som bygger på Direct3D 12. Den stöder alla DirectX 12-kompatibla GPU:er från AMD, Intel, NVIDIA och Qualcomm. ONNX Runtime använder DirectML som körningsprovider på Windows när CUDA inte är tillgängligt.

Vad är skillnaden mellan foundry-local-sdk och foundry-local-sdk-winml på PyPI?

foundry-local-sdk-winmlär det Windows specifika paketet – det innehåller maskinvaruacceleration via Windows ML och rekommenderas på Windows. foundry-local-sdkär plattformsoberoende paketet för macOS, Linux eller Windows utan maskinvaruacceleration. Installera bara ett: de två paketen fäster olika versioner av onnxruntime-core och kommer att vara i konflikt om båda är installerade. Observera att foundry-local på PyPI (utan -sdk) är ett orelaterat tredjepartspaket – installera foundry-local-sdk eller foundry-local-sdk-winml.

Hur kan jag kontrollera vad GPU eller NPU min enhet har?

Öppna Aktivitetshanteraren (Ctrl+Shift+Esc), välj fliken Prestanda och leta efter GPU- och NPU-poster i den vänstra panelen. Du kan också köra foundry model list från kommandoraden – Foundry Local visar vilka körningsproviders som är aktiva för maskinvaran när tjänsten startas.

Det beror på målmaskinvaran och användningsfallet. Windows AI-API:er är den enklaste sökvägen för Copilot+ PCs – enkla API-anrop för OCR, bildbeskrivning, textsammanfattning och Phi Silica-chatt, utan att modellhantering krävs. Foundry Local är rätt val när du behöver en bredare modellkatalog, icke-Copilot+ PC maskinvarusupport eller OpenAI-kompatibel API-åtkomst. Windows ML ger dig mest kontroll – använd valfri ONNX-modell och hantera exekveringsproviders direkt. Se Välj din Windows AI-lösning för en jämförelse sida vid sida.

Det beror på vilken funktion du använder. Windows AI-API:er kräver en Copilot+ PC med en NPU. Foundry Local körs på alla Windows enheter med en DirectX 12-kompatibel GPU – inklusive enheter utan NPU. Windows ML stöder ett brett utbud av processorer, GPU:er och NPU:er. Mer information finns i maskinvarulistan som stöds .

Ja. Foundry Local exponerar ett OpenAI-kompatibelt REST API. Starta den lokala tjänsten med foundry service startoch peka sedan OpenAI-klienten på den lokala slutpunkten – modellnamnet, meddelandena och strömningsanropen fungerar utan ändringar. Se Kom igång med Foundry Local för slutpunktsformatet.

De interna SDK:erna (C#, Python, JavaScript, Rust) är för närvarande i alfa/förhandsversion. Den underliggande infrastrukturen för ONNX Runtime och modellservering är produktionsredo. När du distribuerar appar i dag, behandla SDK:ets API-yta som något som kan ändras och lås paketversionerna. Se Vad är Foundry Local för den senaste stabilitetsstatusen.

Ja, när en modell har laddats ned och cachelagrats på enheten utför Foundry Local slutsatsdragning helt på enheten utan molnberoende. Den inledande modellnedladdningen kräver internetåtkomst. Vid start kan Foundry Local försöka uppdatera modellkatalogen, men detta krävs inte – om enheten är offline återgår den till den cachelagrade katalogen och slutsatsdragningen fortsätter normalt. Med SDK:s (C#) / IsCachedAsync -metod (Python) kan du kontrollera modellens is_cached tillgänglighet innan du försöker dra slutsatser så att du kan hantera offlinefallet korrekt.

Foundry Local identifierar tillgänglig maskinvara vid start och väljer den bästa körningsprovidern – Qualcomm NPU (QNN), en DirectX 12-kompatibel GPU via WinML/DirectML (AMD, Intel, NVIDIA, Qualcomm), NVIDIA GPU via CUDA eller CPU-reserv. Du begär en modell efter alias (till exempel phi-3.5-mini) och Foundry Local hanterar automatiskt den maskinvaruoptimerade varianten för enheten. Din appkod är densamma i alla maskinvarukonfigurationer.

No. Foundry Local körs helt på enheten. In- och utdata för slutsatsdragning lämnar aldrig datorn. Den enda nätverkstrafiken är den inledande modellnedladdningen och valfria uppdateringar av katalogmetadata. Vid start kan Foundry Local försöka uppdatera modellkatalogen, men detta krävs inte – om enheten är offline återgår den till den cachelagrade katalogen och slutsatsdragningen fortsätter normalt.

Windows AI-API:er bearbetar data lokalt på enheten med hjälp av NPU:n. Indata skickas inte till Microsoft servrar. Vägledning om ansvarsfulla AI-metoder, medgivande och transparens finns i Utveckla ansvarsfulla generativa AI-program och -funktioner på Windows.

Windows ML gör det möjligt för din app att använda en delad systemomfattande ONNX Runtime och dynamiskt ladda ned leverantörsspecifika körningsproviders (EPs) så att modellinferens optimeras för enhetens CPU, GPU eller NPU – utan att din app har stora runtime- eller EP-binärfiler. Använd den när du behöver ta med din egen ONNX-modell eller vill ha fullständig kontroll över EP-valet. Se Windows ML-översikt.

DirectML är ett GPU-accelerations-API på låg nivå för maskininlärning som bygger på Direct3D 12. Den stöder alla DirectX 12-kompatibla GPU:er från AMD, Intel, NVIDIA och Qualcomm. ONNX Runtime använder DirectML som körningsprovider på Windows när CUDA inte är tillgängligt.

foundry-local-sdk-winmlär det Windows specifika paketet – det innehåller maskinvaruacceleration via Windows ML och rekommenderas på Windows. foundry-local-sdkär plattformsoberoende paketet för macOS, Linux eller Windows utan maskinvaruacceleration. Installera bara ett: de två paketen fäster olika versioner av onnxruntime-core och kommer att vara i konflikt om båda är installerade. Observera att foundry-local på PyPI (utan -sdk) är ett orelaterat tredjepartspaket – installera foundry-local-sdk eller foundry-local-sdk-winml.

Öppna Aktivitetshanteraren (Ctrl+Shift+Esc), välj fliken Prestanda och leta efter GPU- och NPU-poster i den vänstra panelen. Du kan också köra foundry model list från kommandoraden – Foundry Local visar vilka körningsproviders som är aktiva för maskinvaran när tjänsten startas.