Wat is Windows AI Foundry?

De mogelijkheid om intelligente AI-ervaringen op en met Windows te ontwikkelen, groeit snel. Windows AI Foundry biedt AI-ondersteunde functies en APIs op Windows 11-computers. Deze functies bevinden zich in actieve ontwikkeling en worden altijd lokaal op de achtergrond uitgevoerd.

Windows AI Foundry bevat verschillende onderdelen die unieke AI-ervaringen kunnen inschakelen:

1. Windows AI APIs: u kunt ingebouwde Windows AI APIs gebruiken om AI-services te integreren voor gebruikers op Copilot+ pc's. Enkele van deze kant-en-klare AI-functies die u vanuit uw Windows-app kunt gebruiken, zijn onder andere:

   • Phi Silicium: een lokaal, kant-en-klaar taalmodel (tekstgeneratie)
   • AI Imaging: gebruik AI om een afbeelding te schalen en te verscherpen (Afbeelding superresolutie), tekst te genereren die een afbeelding beschrijft (Afbeeldingsbeschrijving), objecten binnen een afbeelding te identificeren (Afbeeldingssegmentatie) en objecten te verwijderen uit een afbeelding (Object wissen).
   • Text Recognition: AI gebruiken om tekst in afbeeldingen te detecteren en te extraheren en te converteren naar machineleesbare tekenstromen

2. Foundry Local: populaire OSS-modellen die u kunt gebruiken en in uw app kunt ophalen

3. Windows ML: maakt AI-deductie mogelijk met uw eigen ONNX-model

4. Ontwikkelhulpprogramma's: hulpprogramma's zoals Visual Studio AI Toolkit en AI Dev Gallery waarmee u ai-mogelijkheden kunt bouwen

Hoe kunt u AI gebruiken in uw Windows-app?

Een aantal manieren waarop Windows-apps machine learning-modellen (ML) kunnen gebruiken om hun functionaliteit en gebruikerservaring met AI te verbeteren, zijn onder andere:

• Apps kunnen Generatieve AI-modellen gebruiken om complexe onderwerpen te begrijpen die u kunt samenvatten, herschrijven, rapporteren of uitbreiden.
• Apps kunnen modellen gebruiken die vrije-vorminhoud transformeren in een gestructureerde indeling die uw app kan begrijpen.
• Apps kunnen Semantic Search-modellen gebruiken waarmee gebruikers inhoud kunnen zoeken op betekenis en snel gerelateerde inhoud kunnen vinden.
• Apps kunnen modellen voor natuurlijke taalverwerking gebruiken om redeneren boven complexe vereisten voor natuurlijke taal en acties plannen en uitvoeren om de vraag van de gebruiker te bereiken.
• Apps kunnen modellen voor het bewerken van afbeeldingen gebruiken om afbeeldingen intelligent te wijzigen, onderwerpen te wissen of toe te voegen, op te schalen of nieuwe inhoud te genereren.
• Apps kunnen voorspellende diagnostische modellen gebruiken om problemen te identificeren en te voorspellen en om de gebruiker te helpen of het voor hen te doen.

Windows AI APIs gebruiken versus uw eigen modellen gebruiken

Windows AI gebruiken APIs

Wanneer een lokaal AI-model de juiste oplossing is, kunt u Windows AI APIs gebruiken om AI-services te integreren voor gebruikers op Copilot+ pc's. Deze APIs zijn ingebouwd op uw pc en maken unieke AI-functies mogelijk met relatief weinig overhead.

Uw eigen model trainen

Als u uw eigen model kunt trainen met uw eigen persoonlijke gegevens met platforms zoals TensorFlow of PyTorch-. U kunt dat aangepaste model integreren in uw Windows-toepassing door het lokaal uit te voeren op de apparaathardware met behulp van ONNX Runtime en AI Toolkit voor Visual Studio Code.

AI Toolkit voor Visual Studio Code is een VS Code-extensie waarmee u AI-modellen lokaal kunt downloaden en uitvoeren, waaronder toegang tot hardwareversnelling voor betere prestaties en schaal via DirectML-. De AI Tookit kan u ook helpen met:

• Test modellen in een intuïtieve speeltuin of in uw toepassing met een REST API.
• Verfijn uw AI-model, zowel lokaal als in de cloud (op een virtuele machine) om nieuwe vaardigheden te creëren, de betrouwbaarheid van reacties te verbeteren, de toon en indeling van het antwoord in te stellen.
• Het fijn afstemmen van populaire kleine taalmodellen (SLM's), zoals Phi-3 en Mistral.
• Implementeer uw AI-functie in de cloud of met een toepassing die op een apparaat wordt uitgevoerd.
• Gebruik hardwareversnelling voor betere prestaties met AI-functies met DirectML. DirectML is een API op laag niveau waarmee uw Windows-apparaathardware de prestaties van ML-modellen kan versnellen met behulp van de GPU of NPU van het apparaat. DirectML koppelen met de ONNX Runtime is doorgaans de eenvoudigste manier voor ontwikkelaars om hardwareversnelde AI op schaal aan hun gebruikers te brengen. Meer informatie: DirectML-overzicht.
• Een model kwantiseren en valideren voor gebruik op NPU met behulp van de mogelijkheden voor modelconversie

Mogelijk wilt u ook kijken naar deze concepten voor het verfijnen van modellen om een vooraf getraind model aan te passen aan uw gegevens.

Cloud AI-modellen gebruiken

Als het gebruik van lokale AI-functies niet het juiste pad voor u is, kan het gebruik van Cloud AI-modellen en -resources een oplossing zijn.

Andere AI-functies

1. App-acties in Windows: acties maken voor uw app voor het inschakelen van nieuwe en unieke AI-mogelijkheden voor consumenten

2. Recall maakt gebruik van AI om alles te vinden wat u op uw pc hebt gezien. Click to Do is een door AI ondersteunde functie waarmee acties worden verbonden met de inhoud (tekst of afbeeldingen) die is gevonden door Recall.

3. Ramen Studio Effects maakt gebruik van AI om speciale effecten toe te passen op de camera van het apparaat

Verantwoorde AI-procedures gebruiken

Wanneer u AI-functies in uw Windows-app opgeeft, we u ten zeerste het volgen van de Het ontwikkelen van verantwoorde AI-toepassingen en -functies in Windows richtlijnen.