Delen via

Aan de slag met AI in Windows

  • Artikel

De mogelijkheid om intelligente AI-ervaringen op en met Windows te ontwikkelen, groeit snel. Windows Copilot Runtime biedt door AI ondersteunde functies en APIs op Copilot+ pc's. Deze functies bevinden zich in actieve ontwikkeling en worden altijd lokaal op de achtergrond uitgevoerd. Meer informatie over Windows Copilot Runtime.

Naast Windows Copilot Runtimebiedt Microsoft verschillende AI-services, ondersteuning en richtlijnen. Als u aan de slag wilt gaan en wilt leren hoe u AI veilig integreert voor uw bedrijfsbehoeften, bekijkt u de richtlijnen in onze Windows AI-documentatie, waaronder:

Hoe kunt u AI gebruiken in uw Windows-app?

Een aantal manieren waarop Windows-apps machine learning-modellen (ML) kunnen gebruiken om hun functionaliteit en gebruikerservaring met AI te verbeteren, zijn onder andere:

  • Apps kunnen Generatieve AI-modellen gebruiken om complexe onderwerpen te begrijpen die u kunt samenvatten, herschrijven, rapporteren of uitbreiden.
  • Apps kunnen modellen gebruiken die vrije-vorminhoud transformeren in een gestructureerde indeling die uw app kan begrijpen.
  • Apps kunnen Semantic Search-modellen gebruiken waarmee gebruikers inhoud kunnen zoeken op betekenis en snel gerelateerde inhoud kunnen vinden.
  • Apps kunnen modellen voor natuurlijke taalverwerking gebruiken om redeneren boven complexe vereisten voor natuurlijke taal en acties plannen en uitvoeren om de vraag van de gebruiker te bereiken.
  • Apps kunnen modellen voor het bewerken van afbeeldingen gebruiken om afbeeldingen intelligent te wijzigen, onderwerpen te wissen of toe te voegen, op te schalen of nieuwe inhoud te genereren.
  • Apps kunnen voorspellende diagnostische modellen gebruiken om problemen te identificeren en te voorspellen en om de gebruiker te helpen of het voor hen te doen.

Kiezen tussen cloudgebaseerde en lokale AI-services

De integratie van AI in uw Windows-toepassing kan worden bereikt via twee primaire methoden: een lokaal model of een cloudmodel. Er zijn verschillende aspecten die u moet overwegen bij het bepalen van de juiste optie voor uw behoeften.

  • Beschikbaarheid van middelen

    • lokaal apparaat: Het uitvoeren van een model is afhankelijk van de resources die beschikbaar zijn op het apparaat dat wordt gebruikt, waaronder de CPU, GPU, NPU, geheugen en opslagcapaciteit. Dit kan worden beperkt als het apparaat geen hoge rekenkracht of voldoende opslagruimte heeft. Small Language Models (SLM's), zoals Phi, zijn ideaal voor lokaal gebruik op een apparaat. Copilot+ pc's ingebouwde modellen bieden die worden uitgevoerd door Windows Copilot Runtime met kant-en-klare AI-functies.
    • Cloud: Cloud-platformen, zoals Azure AI Services, bieden schaalbare resources. U kunt zoveel rekenkracht of opslag gebruiken als u nodig hebt en betaalt alleen voor wat u gebruikt. Grote taalmodellen (LLM's), zoals de OpenAI-taalmodellen, vereisen meer resources, maar zijn ook krachtiger.

  • gegevensprivacy en -beveiliging

    • Lokaal apparaat: Omdat gegevens op het apparaat blijven staan, kan het lokaal uitvoeren van een model voordelen bieden met betrekking tot beveiliging en privacy, met de verantwoordelijkheid van gegevensbeveiliging die op de gebruiker rust.
    • Cloud: Cloudproviders bieden robuuste beveiligingsmaatregelen, maar gegevens moeten in sommige gevallen worden overgedragen naar de cloud, wat in sommige gevallen zorgen kan veroorzaken over de privacy van gegevens voor het bedrijf of app-service-onderhoud.

  • Toegankelijkheid en samenwerking

    • Lokaal apparaat: Het model en de gegevens zijn alleen toegankelijk op het apparaat, tenzij ze handmatig worden gedeeld. Dit biedt de mogelijkheid om samenwerking op modelgegevens moeilijker te maken.
    • Cloud: Het model en de gegevens zijn toegankelijk vanaf elke locatie met internetverbinding. Dit kan beter zijn voor samenwerkingsscenario's.

  • Kosten

    • Lokaal apparaat: Er zijn geen extra kosten meer dan de initiële investering in de hardware van het apparaat.
    • Cloud: Terwijl cloudplatforms werken op basis van een model voor betalen per gebruik, kunnen de kosten worden verzameld op basis van de gebruikte resources en de duur van het gebruik.

  • onderhoud en updates

    • Lokaal apparaat: De gebruiker is verantwoordelijk voor het onderhouden van het systeem en het installeren van updates.
    • Cloud: Onderhoud, systeemupdates en nieuwe functie-updates worden verwerkt door de cloudserviceprovider, waardoor de overhead voor onderhoud voor de gebruiker wordt verminderd.

Gebruik Windows Copilot Runtime

Wanneer een lokaal AI-model de juiste oplossing is, kunt u Windows Copilot Runtime functies gebruiken om AI-services te integreren voor gebruikers op Copilot+ pc's. Enkele van deze kant-en-klare AI-functies die u vanuit uw Windows-app kunt gebruiken, zijn onder andere:

  • Phi Silicium: een lokaal, kant-en-klaar taalmodel.
  • Recall: een UserActivity-API die gebruikmaakt van AI om u te helpen bij het doorzoeken van uw eerdere activiteit, ondersteund door Click to Do, een functie die Phi Silica gebruikt om acties te verbinden met de inhoud (tekst of afbeeldingen) die zijn gevonden door Recall.
  • AI Imaging-: afbeeldingen schalen en verscherpen met behulp van AI (Afbeelding superresolutie), en objecten in een afbeelding identificeren (Afbeeldingssegmentatie).
  • Windows Studio Effects: om AI-effecten toe te passen op de camera van het apparaat of de ingebouwde microfoon.

Meer informatie over de functies die beschikbaar zijn in de Windows Copilot Runtime Oveview.

Cloudgebaseerde APIs gebruiken

Als een cloudoplossing beter werkt voor uw Windows-app-scenario, bent u mogelijk geïnteresseerd in enkele van de onderstaande zelfstudies.

Veel APIs zijn beschikbaar voor toegang tot cloudmodellen om AI-functies in uw Windows-app te gebruiken, ongeacht of deze modellen zijn aangepast of kant-en-klaar zijn. Door een cloudmodel te gebruiken, kan uw app gestroomlijnd blijven door resource-intensieve taken naar de cloud te delegeren. Enkele bronnen om u te helpen bij het toevoegen van ai-ondersteuning in de cloud APIs die door Microsoft of OpenAI worden aangeboden, zijn onder andere:

  • OpenAI-chatvoltooiingen toevoegen aan uw WinUI 3-/Windows App SDK-bureaublad-app: een handleiding over het integreren van de cloudgebaseerde OpenAI ChatGPT-voltooiingsmogelijkheden in een WinUI 3-/Windows App SDK-bureaublad-app.

  • DALL-E toevoegen aan uw WinUI 3-/Windows App SDK-bureaublad-app: een zelfstudie over het integreren van de cloudgebaseerde OpenAI DALL-E mogelijkheden voor het genereren van afbeeldingen in een WinUI 3-/Windows App SDK-bureaublad-app.

  • Een aanbevelings-app maken met .NET MAUI en ChatGPT: een zelfstudie over het maken van een voorbeeldapp voor aanbevelingen die de cloudgebaseerde OpenAI ChatGPT-voltooiingsmogelijkheden integreert in een .NET MAUI-app.

  • Voeg DALL-E toe aan uw .NET MAUI Windows-desktop-app: een zelfstudie over het integreren van de cloudgebaseerde OpenAI DALL-E mogelijkheden voor het genereren van afbeeldingen in een .NET MAUI-app.

  • Azure OpenAI Service: als u wilt dat uw Windows-app toegang heeft tot OpenAI-modellen, zoals GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 of de reeks Embeddings-modellen, met de extra beveiliging en bedrijfsmogelijkheden van Azure, vindt u richtlijnen in deze Azure OpenAI-documentatie.

  • Azure AI Services: Azure biedt een volledige suite AI-services die beschikbaar zijn via REST APIs en clientbibliotheek-SDK's in populaire ontwikkeltalen. Zie de documentatie van elke service voor meer informatie. Deze cloudservices helpen ontwikkelaars en organisaties snel intelligente, geavanceerde, marktklare en verantwoordelijke toepassingen te maken met kant-en-klare en vooraf gebouwde en aanpasbare APIs en modellen. Voorbeelden van toepassingen zijn verwerking van natuurlijke taal voor gesprekken, zoeken, bewaken, vertalen, spraak, visie en besluitvorming.

Een aangepast model gebruiken op uw lokale computer

Als u uw eigen model kunt trainen met uw eigen persoonlijke gegevens met platforms zoals TensorFlow of PyTorch-. U kunt dat aangepaste model integreren in uw Windows-toepassing door het lokaal uit te voeren op de apparaathardware met behulp van ONNX Runtime en AI Toolkit voor Visual Studio Code.

AI Toolkit voor Visual Studio Code is een VS Code-extensie waarmee u AI-modellen lokaal kunt downloaden en uitvoeren, waaronder toegang tot hardwareversnelling voor betere prestaties en schaal via DirectML-. De AI Tookit kan u ook helpen met:

  • Test modellen in een intuïtieve speeltuin of in uw toepassing met een REST API.
  • Verfijn uw AI-model, zowel lokaal als in de cloud (op een virtuele machine) om nieuwe vaardigheden te creëren, de betrouwbaarheid van reacties te verbeteren, de toon en indeling van het antwoord in te stellen.
  • Het fijn afstemmen van populaire kleine taalmodellen (SLM's), zoals Phi-3 en Mistral.
  • Implementeer uw AI-functie in de cloud of met een toepassing die op een apparaat wordt uitgevoerd.
  • Gebruik hardwareversnelling voor betere prestaties met AI-functies met DirectML. DirectML is een API op laag niveau waarmee uw Windows-apparaathardware de prestaties van ML-modellen kan versnellen met behulp van de GPU of NPU van het apparaat. DirectML koppelen met de ONNX Runtime is doorgaans de eenvoudigste manier voor ontwikkelaars om hardwareversnelde AI op schaal aan hun gebruikers te brengen. Meer informatie: DirectML-overzicht.

Mogelijk wilt u ook kijken naar deze concepten voor het verfijnen van modellen om een vooraf getraind model aan te passen aan uw gegevens.

Opensource-modellen zoeken

U vindt opensource ML-modellen op internet, een aantal van de populairste voorbeelden:

  • Hugging Face: een hub van meer dan 10.000 vooraf getrainde ML-modellen voor natuurlijke taalverwerking, mogelijk gemaakt door de transformersbibliotheek. U kunt modellen vinden voor tekstclassificatie, vragen beantwoorden, samenvatten, vertalen, genereren en meer.
  • ONNX Model Zoo: een verzameling vooraf getrainde ML-modellen in ONNX-indeling die betrekking hebben op een breed scala aan domeinen en taken, zoals computer vision, verwerking van natuurlijke taal, spraak en meer.
  • Qualcomm AI Hub: een platform dat toegang biedt tot een verscheidenheid aan ML-modellen en -hulpprogramma's die zijn geoptimaliseerd voor Qualcomm Snapdragon-apparaten. U vindt modellen voor beeld-, video-, audio- en sensorverwerking, evenals frameworks, bibliotheken en SDK's voor het bouwen en implementeren van ML-toepassingen op mobiele apparaten. De Qualcomm AI Hub biedt ook zelfstudies, gidsen en community-ondersteuning voor ontwikkelaars en onderzoekers.
  • Pytorch Hub: een vooraf getrainde modelopslagplaats die is ontworpen om de reproduceerbaarheid van onderzoek te vergemakkelijken en nieuw onderzoek mogelijk te maken. Het is een eenvoudige API en werkstroom die de basisbouwstenen biedt voor het verbeteren van de reproduceerbaarheid van machine learning-onderzoek. PyTorch Hub bestaat uit een vooraf getrainde modelopslagplaats die speciaal is ontworpen om de reproduceerbaarheid van onderzoek te vergemakkelijken.
  • TensorFlow Hub: een opslagplaats met vooraf getrainde ML-modellen en herbruikbare onderdelen voor TensorFlow, een populair framework voor het bouwen en trainen van ML-modellen. U kunt modellen vinden voor afbeeldingen, tekst, video en audioverwerking, evenals het overbrengen van leren en afstemmen.
  • Model Zoo: een platform dat de beste opensource ML-modellen cureert en rangschikt voor verschillende frameworks en taken. U kunt door modellen bladeren op categorie, framework, licentie en classificatie en demo's, code en documenten voor elk model bekijken.

Sommige modelbibliotheken zijn niet bedoeld om te worden aangepast en gedistribueerd via een app, maar zijn handige hulpprogramma's voor praktische verkenning en detectie als onderdeel van de ontwikkelingslevenscyclus, zoals:

  • Ollama: Ollama is een marketplace van kant-en-klare ML-modellen voor verschillende taken, zoals gezichtsdetectie, sentimentanalyse of spraakherkenning. U kunt met een paar klikken door de modellen bladeren, testen en integreren in uw app.
  • LM Studio: Lmstudio is een hulpprogramma waarmee u aangepaste ML-modellen kunt maken op basis van uw eigen gegevens, met behulp van een interface voor slepen en neerzetten. U kunt kiezen uit verschillende ML-algoritmen, uw gegevens vooraf verwerken en visualiseren, en uw modellen trainen en evalueren.

Verantwoorde AI-procedures gebruiken

Wanneer u AI-functies in uw Windows-app opgeeft, we u ten zeerste het volgen van de Het ontwikkelen van verantwoorde AI-toepassingen en -functies in Windows richtlijnen.

Deze richtlijnen helpen u inzicht te krijgen in governancebeleid, procedures en processen, risico's te identificeren, testmethoden aan te bevelen, veiligheidsmaatregelen zoals moderators en filters te gebruiken en specifieke overwegingen aan te roepen bij het selecteren van een model dat veilig en verantwoordelijk is om mee te werken.

Windows Copilot Runtime Generatieve AI-modellen op het apparaat kunnen u helpen bij het toepassen van veiligheidsfuncties voor lokale inhoud, zoals classificatie-engines op het apparaat voor schadelijke inhoud en een standaardblokkadelijst. Microsoft geeft prioriteit aan ondersteunende ontwikkelaars voor het bouwen van veilige, betrouwbare AI-ervaringen met lokale modellen in Windows.

Aanvullende informatiebronnen