Freigeben über

Erste Schritte mit KI mit Windows

  • Artikel

Die Fähigkeit, intelligente KI-Erfahrungen auf und mit Windows aufzubauen, entwickelt sich schnell. Windows Copilot Runtime bietet KI-unterstützte Funktionen und APIs auf Copilot+ PCs. Diese Features befinden sich in der aktiven Entwicklung und werden jederzeit lokal im Hintergrund ausgeführt. Erfahren Sie mehr über Windows Copilot Runtime.

Über Windows Copilot Runtimehinaus bietet Microsoft eine Vielzahl von KI-Diensten, -Support und -Anleitungen an. Um zu beginnen und zu erfahren, wie Sie KI für Ihre Geschäftlichen Anforderungen sicher integrieren können, lesen Sie die Anleitungen in unserer Windows AI-Dokumentation, einschließlich:

Wie können Sie KI in Ihrer Windows-App verwenden?

Einige Möglichkeiten, wie Windows-Apps Machine Learning (ML)-Modelle nutzen können, um ihre Funktionalität und Benutzererfahrung mit KI zu verbessern, umfassen:

  • Apps können generative KI-Modelle verwenden, um komplexe Themen zu verstehen, um komplexe Themen zusammenzufassen, neu zu schreiben, zu berichten oder zu erweitern.
  • Apps können Modelle verwenden, die Freiforminhalte in ein strukturiertes Format umwandeln, das Ihre App verstehen kann.
  • Apps können semantische Suchmodelle verwenden, die es Benutzern ermöglichen, Inhalte anhand ihrer Bedeutung zu durchsuchen und schnell verwandte Inhalte zu finden.
  • Apps können Modelle zur Verarbeitung natürlicher Sprache verwenden, um über komplexe Anforderungen in natürlicher Sprache nachzudenken und Handlungen zu planen und auszuführen, um die Wünsche des Benutzers zu erfüllen.
  • Apps können Bildbearbeitungsmodelle verwenden, um Bilder intelligent zu ändern, Bilder zu löschen oder Themen hinzuzufügen, hochskalieren oder neue Inhalte zu generieren.
  • Apps können vorausschauende Diagnostikmodelle verwenden, um Probleme zu identifizieren und vorherzusagen und den Benutzer zu leiten oder die Aufgabe für ihn zu übernehmen.

Wählen Zwischen cloudbasierten und lokalen KI-Diensten

Die Integration von KI in Ihre Windows-Anwendung kann über zwei primäre Methoden erreicht werden: ein lokales Modell oder ein cloudbasiertes Modell. Es gibt mehrere Aspekte, die Sie bei der Bestimmung der richtigen Option für Ihre Anforderungen berücksichtigen müssen.

  • Ressourcenverfügbarkeit

    • lokales Gerät: Ausführen eines Modells hängt von den Ressourcen ab, die auf dem verwendeten Gerät verfügbar sind, einschließlich CPU, GPU, NPU, Arbeitsspeicher und Speicherkapazität. Dies kann begrenzt werden, wenn das Gerät keine hohe Rechenleistung oder ausreichendEn Speicher hat. Kleine Sprachmodelle (SLMs), wie Phi, eignen sich besser für die lokale Verwendung auf einem Gerät. Copilot+ PCs bieten integrierte Modelle, die von Windows Copilot Runtime mit einsatzbereiten AI-Features ausgeführt werden.
    • Cloud: Cloudplattformen wie Azure AI Servicesbieten skalierbare Ressourcen. Sie können beliebig viel Rechenleistung oder Speicher verwenden und nur für ihre Nutzung bezahlen. Große Sprachmodelle (LLMs), wie die OpenAI-Sprachmodelle, erfordern mehr Ressourcen, sind aber auch leistungsstärker.

  • Datenschutz und Sicherheit

    • lokales Gerät: Da Daten auf dem Gerät verbleiben, kann das lokale Ausführen eines Modells Vorteile in Bezug auf Sicherheit und Datenschutz bieten, wobei die Verantwortung für die Datensicherheit auf dem Benutzer liegt.
    • Cloud: Cloudanbieter bieten robuste Sicherheitsmaßnahmen, aber Daten müssen in die Cloud übertragen werden, was in einigen Fällen Datenschutzbedenken für den Unternehmens- oder App-Dienstbetreuer auslösen kann.

  • Barrierefreiheit und Zusammenarbeit

    • Lokales Gerät: Auf das Modell und die Daten kann nur auf dem Gerät zugegriffen werden, es sei denn, sie werden manuell freigegeben. Dies hat das Potenzial, die Zusammenarbeit an Modelldaten schwieriger zu machen.
    • Cloud: Auf das Modell und die Daten kann von überall aus mit Internetverbindung zugegriffen werden. Dies kann für Szenarien für die Zusammenarbeit besser sein.

  • Kosten

    • lokales Gerät: Es gibt keine zusätzlichen Kosten, die über die anfängliche Investition in die Gerätehardware hinausgehen.
    • Cloud: Während Cloudplattformen auf einem pay-as-you-go-Modell arbeiten, können sich Die Kosten basierend auf den verwendeten Ressourcen und der Nutzungsdauer ansammeln.

  • Wartung und Updates

    • lokales Gerät: Der Benutzer ist dafür verantwortlich, das System zu verwalten und Updates zu installieren.
    • Cloud: Wartung, Systemupdates und neue Featureupdates werden vom Clouddienstanbieter behandelt, wodurch der Wartungsaufwand für den Benutzer reduziert wird.

Verwenden Sie Windows Copilot Runtime

Wenn ein lokales KI-Modell die richtige Lösung ist, können Sie Windows Copilot Runtime Features verwenden, um KI-Dienste für Benutzer auf Copilot+ PCs zu integrieren. Einige dieser einsatzbereiten KI-Features, die Sie aus Ihrer Windows-App nutzen können, umfassen:

  • Phi Silica: ein lokales, einsatzbereites Sprachmodell.
  • Recall: eine UserActivity-API, die KI verwendet, um Ihre vergangene Aktivität zu durchsuchen, unterstützt von Click to Do, ein Feature, das Phi Silica verwendet, um Aktionen mit dem Inhalt (Text oder Bilder) zu verbinden, der von Recallgefunden wurde.
  • AI Imaging: zum Skalieren und Schärfen von Bildern mit KI (Bild-Superauflösung) sowie identifizieren Objekte innerhalb eines Bilds (Bildsegmentierung).
  • Windows Studio Effects: Um KI-Effekte auf die Gerätekamera oder das integrierte Mikrofon anzuwenden.

Erfahren Sie mehr über die features, die im Windows Copilot Runtime Oveviewverfügbar sind.

Verwenden cloudbasierter APIs

Wenn eine cloudbasierte Lösung für Ihr Windows-App-Szenario besser funktioniert, sind Sie möglicherweise an einigen der folgenden Lernprogramme interessiert.

Viele APIs stehen für den Zugriff auf cloudbasierte Modelle zur Verfügung, um KI-Features in Ihrer Windows-App zu nutzen, unabhängig davon, ob diese Modelle angepasst oder einsatzbereit sind. Durch die Verwendung eines cloudbasierten Modells kann Ihre App optimiert bleiben, indem ressourcenintensive Aufgaben an die Cloud delegiert werden. Einige Ressourcen zum Hinzufügen cloudbasierter, KI-gestützter, von Microsoft oder OpenAI bereitgestellter APIs:

  • Hinzufügen von OpenAI-Chatabschlussen zu Ihrer WinUI 3 / Windows App SDK-Desktop-App: Ein Lernprogramm zum Integrieren der cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.

  • Fügen Sie DALL-E zu Ihrer WinUI 3/Windows App SDK-Desktop-Apphinzu: Eine Anleitung zur Integration der cloudbasierten OpenAI-DALL-E Bildgenerierungsfunktionen in eine WinUI 3/Windows App SDK-Desktop-App.

  • Erstellen einer Empfehlungs-App mit .NET MAUI und ChatGPT: Ein Lernprogramm zum Erstellen einer Beispielempfehlungs-App, die die cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine .NET MAUI-App integriert.

  • Fügen Sie DALL-E Ihrer .NET MAUI Windows-Desktop-Apphinzu: Eine Anleitung zum Integrieren der cloudbasierten OpenAI-Bildgenerierungsfunktionen DALL-E in eine .NET MAUI-App.

  • Azure OpenAI Service: Wenn Ihre Windows-App auf OpenAI-Modelle zugreifen soll, z. B. GPT-4, GPT-4 Turbo mit Vision, GPT-3.5-Turbo, DALLE-3 oder die Embeddings-Modellreihe, mit den zusätzlichen Sicherheits- und Unternehmensfunktionen von Azure, finden Sie Anleitungen in dieser Azure OpenAI-Dokumentation.

  • Azure AI Services: Azure bietet eine ganze Suite von KI-Diensten, die über REST-APIs- und Clientbibliotheks-SDKs in beliebten Entwicklungssprachen verfügbar sind. Weitere Informationen finden Sie in der Dokumentation zu den einzelnen Diensten. Diese cloudbasierten Dienste helfen Entwicklern und Organisationen, schnell intelligente, modernste, marktfähige und verantwortungsvolle Anwendungen mit sofort einsatzbereiten und vorgefertigten und anpassbaren APIs und Modellen zu erstellen. Beispielanwendungen sind die Verarbeitung natürlicher Sprache für Unterhaltungen, Suche, Überwachung, Übersetzung, Sprache, Visions- und Entscheidungsfindung.

Verwenden eines benutzerdefinierten Modells auf Ihrem lokalen Computer

Wenn Sie die Möglichkeit haben, Ihr eigenes Modell mithilfe Ihrer eigenen privaten Daten mit Plattformen wie TensorFlow oder PyTorchzu trainieren. Sie können dieses benutzerdefinierte Modell in Ihre Windows-Anwendung integrieren, indem Sie es lokal auf der Gerätehardware mit ONNX Runtime und AI Toolkit für Visual Studio Code ausführen.

AI Toolkit für Visual Studio Code ist eine VS-Codeerweiterung, mit der Sie KI-Modelle lokal herunterladen und ausführen können, einschließlich des Zugriffs auf die Hardwarebeschleunigung für eine bessere Leistung und Skalierung über DirectML-. Das AI-Toolkit kann Ihnen auch bei Folgendem helfen:

  • Testen von Modellen in einem intuitiven Playground oder in Ihrer Anwendung mit einer REST-API.
  • Optimieren Sie Ihr KI-Modell sowohl lokal als auch in der Cloud (auf einem virtuellen Computer), um neue Fähigkeiten zu erstellen, die Zuverlässigkeit der Antworten zu verbessern, den Ton und das Format der Antwort festzulegen.
  • Feinabstimmung beliebter kleinsprachiger Modelle (SLMs), wie Phi-3 und Mistral.
  • Stellen Sie Ihr KI-Feature entweder in der Cloud oder mit einer Anwendung bereit, die auf einem Gerät ausgeführt wird.
  • Nutzen Sie Hardwarebeschleunigung, um die Leistung von KI-Funktionen mit DirectML zu verbessern. DirectML ist eine API auf niedriger Ebene, mit der Ihre Windows-Gerätehardware die Leistung von ML-Modellen mithilfe der Geräte-GPU oder NPU beschleunigen kann. Das Koppeln von DirectML mit dem ONNX Runtime ist normalerweise die einfachste Vorgehensweise für Entwickler, hardwarebeschleunigte KI ihren Benutzern im großen Maßstab zur Verfügung zu stellen. Weitere Informationen: DirectML Overview.

Sie können sich auch mit diesen Modellfeinabstimmungskonzepten beschäftigen, um ein vortrainiertes Modell besser an Ihre Daten anzupassen.

Suchen von Open Source-Modellen

Sie finden Open Source ML-Modelle im Web, einige der beliebtesten sind:

  • Hugging Face: Ein Hub von über 10.000 vortrainierten ML-Modellen für die Verarbeitung natürlicher Sprachen, unterstützt von der Transformers-Bibliothek. Sie finden Modelle für die Textklassifizierung, Die Fragebeantwortung, Zusammenfassung, Übersetzung, Generation und vieles mehr.
  • ONNX Model Zoo: Eine Sammlung vordefinierter ML-Modelle im ONNX-Format, die eine vielzahl von Domänen und Aufgaben abdecken, z. B. Computervision, Natürliche Sprachverarbeitung, Sprachverarbeitung, Spracherkennung und vieles mehr.
  • Qualcomm AI Hub: Eine Plattform, die Zugriff auf eine Vielzahl von ML-Modellen und -Tools bietet, die für Qualcomm Snapdragon-Geräte optimiert sind. Sie finden Modelle für die Bild-, Video-, Audio- und Sensorverarbeitung sowie Frameworks, Bibliotheken und SDKs zum Erstellen und Bereitstellen von ML-Anwendungen auf mobilen Geräten. Qualcomm AI Hub bietet außerdem Lernprogramme, Leitfäden und Community-Unterstützung für Entwickler und Forscher an.
  • Pytorch Hub: Ein vortrainiertes Modellrepository, das die Reproduzierbarkeit der Forschung erleichtern und neue Forschungen ermöglichen soll. Es handelt sich um eine einfache API und einen Workflow, der die grundlegenden Bausteine zur Verbesserung der Reproduzierbarkeit der maschinellen Lernforschung bereitstellt. PyTorch Hub besteht aus einem vorgefertigten Modellrepository, das speziell zur Sicherstellung der Reproduzierbarkeit von Forschung entwickelt wurde.
  • TensorFlow Hub: Ein Repository von vordefinierten ML-Modellen und wiederverwendbaren Komponenten für TensorFlow, das ein beliebtes Framework zum Erstellen und Trainieren von ML-Modellen ist. Sie können Modelle für Bild-, Text-, Video- und Audioverarbeitung sowie Transfer-Lernen und Feinabstimmung finden.
  • Model Zoo: Eine Plattform, die die besten Open Source ML-Modelle für verschiedene Frameworks und Aufgaben kuratiert und bewertet. Sie können Modelle nach Kategorie, Framework, Lizenz und Bewertung durchsuchen und Demos, Code und Papiere für jedes Modell einsehen.

Einige Modellbibliotheken sind nicht dafür vorgesehen, angepasst und über eine App verteilt zu werden, sind aber hilfreiche Tools für praktische Erkundungen und Ermittlungen als Teil des Entwicklungslebenszyklus, z. B.:

  • Ollama: Ollama ist ein Marktplatz von einsatzbereiten ML-Modellen für verschiedene Aufgaben wie Gesichtserkennung, Stimmungsanalyse oder Spracherkennung. Sie können die Modelle mit wenigen Klicks durchsuchen, testen und in Ihre App integrieren.
  • LM Studio: Lmstudio ist ein Tool, mit dem Sie benutzerdefinierte ML-Modelle aus Ihren eigenen Daten mithilfe einer Drag-and-Drop-Schnittstelle erstellen können. Sie können aus verschiedenen ML-Algorithmen wählen, Ihre Daten vorverarbeiten und visualisieren sowie Ihre Modelle trainieren und auswerten.

Verwenden von verantwortungsvollen KI-Praktiken

Wenn Sie KI-Features in Ihre Windows-App integrieren, wird dringend empfohlen, den Leitfaden Entwickeln verantwortungsvoller generativer KI-Anwendungen und -Features unter Windows zu befolgen.

Dieser Leitfaden hilft Ihnen dabei, Governancerichtlinien, Praktiken und Prozesse zu verstehen, Risiken zu identifizieren, Testmethoden zu empfehlen, Sicherheitsmaßnahmen wie Moderatoren und Filter zu nutzen und bei der Auswahl eines Modells, das sicher und verantwortlich für die Arbeit mit einem Modell ist, spezifische Überlegungen herauszurufen.

Windows Copilot Runtime Geräteeigene generative KI-Modelle können Ihnen helfen, lokale Inhaltssicherheitsfeatures wie Klassifizierungs-Engines für schädliche Inhalte und eine Standard-Blockliste sicherzustellen. Microsoft priorisiert Entwickler dabei, sichere, vertrauenswürdige KI-Erfahrungen mit lokalen Modellen unter Windows zu erstellen.

Zusätzliche Ressourcen