Galerie d’échantillons d’IA sur Windows
Une collection d’exemples qui démontrent une variété de façons d’améliorer vos applications Windows en utilisant des API locales et des modèles Machine Learning (ML), l’accélération matérielle locale à l’aide de DirectML, et l’utilisation d’API basées sur le cloud.
Améliorer vos applications Windows avec l’IA en utilisant des API locales et des modèles ML
Ces exemples vous aideront à améliorer vos applications Windows avec l’IA en utilisant des API locales et des modèles Machine Learning.
Éditeur audio basé sur l’intelligence artificielle
Dépôt GitHub : échantillon d’éditeur d’audio IA
Description : l’éditeur audio basé sur l’intelligence artificielle illustre la création d’une application d’édition audio WinUI 3 qui utilise l’IA pour faire correspondre les captures de l’audio à une requête pertinente. Par exemple, nous pourrions prendre le cas d’utilisation d’un créateur de podcasts qui souhaite réaliser de courts clips audio de son contenu pour le promouvoir sur les réseaux sociaux. L’échantillon utilise l’inférence de modèle ML local pour gérer la transcription et la recherche sémantique.
Fonctionnalités : inférence de modèle local avec le runtime ONNX, le modèle Whisper, le modèle Embeddings
Type d’application : C#, WinUI 3
Application Notes basée sur l’intelligence artificielle
Dépôt GitHub : échantillon d’application de notes basée sur l’IA
Description : cette application de prise de notes basée sur l’IA illustre l’utilisation d’API, notamment la reconnaissance de texte OCR, la transcription audio par le biais du modèle ML local, la recherche sémantique par le biais d’un modèle d’incorporation local, l’utilisation du modèle de langage local avec Phi3 pour résumé, la saisie semi-automatique et le raisonnement du texte, et la génération augmentée de récupération (RAG) pour fonder des modèles de langage sur des données réelles.
Fonctionnalités : recherche sémantique avec modèle local, transcription audio avec modèle local, génération augmentée de récupération (RAG) avec Phi3, synthèse de texte local et raisonnement avec Phi3, extraction de texte à partir d’images avec l’API OCR
Type d’application : C#, WinUI 3
Génération augmentée de récupération (RAG) avec des fichiers PDF et Phi3
Dépôt GitHub : échantillon d’application WPF de l’analyseur PDF RAG
Description : cet échantillon d’application WPF montre comment créer une expérience avec un modèle de langage local (tel que Phi3) pour répondre à des questions sur le contenu d’un document PDF. L’échantillon trouve des réponses en référençant une base de connaissances en dehors des propres données d’apprentissage du modèle avant de générer une réponse. Ce modèle, appelé de génération augmentée de récupération (RAG), est un exemple de la façon de baser un modèle de langage sur des données faisant autorité dans la réalité.
Fonctionnalités : génération augmentée de récupération (RAG), IA générative ONNX Runtime, DirectML
Discussion avec l’IA générative de Phi3
Dépôt GitHub : échantillon WinUI 3 de conversation Phi3
Description : cet échantillon d’application WinUI 3 montre comment utiliser la bibliothèque d’IA générative du runtime ONNX pour créer une expérience de conversation avec un modèle de langage local, en particulier le petit modèle de langage (SLM) Phi3.
Fonctionnalités : Phi3, IA générative ONNX Runtime, DirectML
Type d’application : C#, WinUI 3
Échantillon d’effets Windows Studio
Dépôt GitHub : échantillon d’application effets Windows Studio
Description : découvrez comment contrôler les effets Caméra Studio à partir de votre application Windows dans cet exemple de code. Vérifiez si une caméra prise en charge est disponible sur le système (nécessite un appareil doté d’un NPU et d’une caméra intégrée), puis obtenez et définissez des contrôles de caméra étendus associés à Windows Studio Effects, tels que le flou d’arrière-plan, la correction du regard et le cadrage automatique.
Fonctionnalités : Windows Studio Effects
Accélération matérielle locale via DirectML
Diffusion stable accélérée matériellement sur le web
Dépôt GitHub : WebNN Stable Diffusion Turbo
Description : cet échantillon montre comment utiliser WebNN avec ONNX Runtime web pour exécuter une diffusion stable localement sur le GPU avec DirectML. SD-Turbo est un modèle de texte à image de génération rapide qui peut synthétiser des images photoréalistes à partir d’une invite de texte dans une seule évaluation réseau. Dans la démonstration, vous pouvez générer une image en 2s sur des appareils PC IA en tirant profit de l’API WebNN, une API de bas niveau dédiée pour l’accélération matérielle d’inférence de réseau neuronal.
Fonctionnalités : génération d’images locales, WebNN, DirectML
Type d’application : JavaScript, applications web
Segment Anything accéléré matériellement sur le web
Dépôt GitHub : WebNN Segment Anything
Description : cet échantillon montre comment utiliser WebNN avec ONNX Runtime web pour exécuter Segment Anything localement sur le GPU avec DirectML. Segment Anything est un nouveau modèle IA de Meta AI qui peut « découper » n’importe quel objet. Dans la démonstration, vous pouvez segmenter n’importe quel objet à partir de vos images chargées.
Fonctionnalités : segmentation d’images locales, WebNN, DirectML
Type d’application : JavaScript, applications web
Whisper accéléré matériellement sur le web
Dépôt GitHub : WebNN Whisper Base
Description : cet échantillon montre comment utiliser WebNN avec ONNX Runtime web pour exécuter les fonctionnalités de reconnaissance vocale du modèle Whisper localement sur le GPU ou le NPU avec DirectML. Whisper Base est un modèle préentraîné pour la reconnaissance vocale automatique (ASR) et la traduction vocale. Dans la démonstration, vous pouvez découvrir la fonctionnalité de reconnaissance vocale à l’aide de l’inférence sur appareil alimentée par l’API WebNN et DirectML, en particulier l’accélération du NPU.
Fonctionnalités : reconnaissance vocale locale, WebNN, DirectML
Type d’application : JavaScript, applications web
Accélération matérielle et pré-optimisation des modèles de langage ONNX Runtime (Phi3, Llama3, etc) avec DirectML
Référentiel GitHub : Exemples de DirectML dans le référentiel Olive
Description : cet exemple illustre comment exécuter un modèle de langage ONNX Runtime (ORT) pré-optimisé localement sur le GPU avec DirectML. L’exemple comprend des instructions sur la façon de configurer votre environnement, de télécharger les derniers modèles de langage pré-entraînés en utilisant l’API ORT Generate et d’entraîner le modèle dans une application Gradio.
Caractéristiques : accélération matérielle, GenAI, ONNX, ONNX Runtime, DirectML
Type d’application : Python, Gradio
Modèles PyTorch accélérés matériellement (Phi3, Llama3, etc) avec DirectML
Référentiel GitHub : Exemples de DirectML pour PyTorch
Description : cet échantillon montre comment exécuter un modèle de langage PyTorch localement sur le GPU avec DirectML. L’exemple comprend des instructions sur la façon de configurer votre environnement, de télécharger les derniers modèles de langage pré-entraînés et d’entraîner le modèle dans une application Gradio. Cet exemple prend en charge divers modèles de langage open source tels que les modèles Llama, Phi3-mini, Phi2 et Mistral-7B.
Caractéristiques : accélération matérielle, PyTorch, DirectML
Type d’application : Python, Gradio
Améliorer vos applications Windows avec l’IA à l’aide d’API cloud
Vous trouverez d’autres échantillons d’API cloud dans la documentation des services Azure AI.
Ajouter des achèvements de conversation OpenAI à votre application WinUI 3 / SDK d’application Windows
Tutoriel : Ajouter des saisies de conversation OpenAI à votre application WinUI 3 / SDK d’application Windows
Description : intégrez les fonctionnalités de saisie de conversation OpenAI dans une application bureautique WinUI 3/SDK d’application Windows.
Fonctionnalités : saisie de conversation OpenAI
Type d’application : C#, WinUI 3
Ajoutez DALL-E à votre application bureautique WinUI 3 / Windows App SDK
Tutoriel : Ajouter DALL-E à votre application bureautique WinUI 3 / SDK d’application Windows
Description : intégrez les fonctionnalités de génération d’images OpenAI DALL-E à une application bureautique WinUI 3 / SDK d’application Windows.
Fonctionnalités : génération d’images
Type d’application : C#, WinUI 3
Créer une application de recommandation avec .NET MAUI et ChatGPT
Tutoriel : Créer une application de recommandations avec .NET MAUI et ChatGPT
Description : intégrez les fonctionnalités de saisie de conversation OpenAI dans une application bureautique .NET MAUI.
Fonctionnalités : génération d’images
Type d’application : C#, .NET MAUI
Ajouter DALL-E à votre application bureautique .NET MAUI sur Windows
Tutoriel : Ajouter DALL-E à votre application bureautique .NET MAUI sur Windows
Description : intégrez les fonctionnalités de génération d’images OpenAI DALL-E à une application bureautique .NET MAUI.
Fonctionnalités : génération d’images
Type d’application : C#, .NET MAUI
Échantillons WinML hérités
Dépôt GitHub : échantillons WinML sur GitHub
Description : WinML continue d’être pris en charge, mais ces échantillons n’ont pas été mis à jour pour refléter l’utilisation moderne de l’IA.
Commentaires
Bientôt disponible : Tout au long de 2024, nous allons supprimer progressivement GitHub Issues comme mécanisme de commentaires pour le contenu et le remplacer par un nouveau système de commentaires. Pour plus d’informations, consultez https://aka.ms/ContentUserFeedback.
Envoyer et afficher des commentaires pour