Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Was ist eine Transparenznotiz?
Ein KI-System umfasst nicht nur die Technologie, sondern auch die Personen, die es nutzen, die Menschen, die davon betroffen sind, und die Umgebung, in der sie bereitgestellt wird. Die Schaffung eines Systems, das für seinen vorgesehenen Zweck geeignet ist, erfordert ein Verständnis dafür, wie die Technologie funktioniert, was ihre Möglichkeiten und Einschränkungen sind und wie die beste Leistung erreicht wird. Microsoft-Transparenzhinweise helfen Ihnen zu verstehen, wie unsere KI-Technologie funktioniert, welche Entscheidungen Systembesitzer treffen können, die die Systemleistung und das Verhalten beeinflussen, und wie wichtig es ist, über das gesamte System, einschließlich der Technologie, der Menschen und des Umfelds, nachzudenken. Verwenden Sie Transparenzhinweise, wenn Sie Ihr eigenes System entwickeln oder bereitstellen, oder teilen Sie sie mit den Personen, die ihr System verwenden oder davon betroffen sind.
Microsoft-Transparenzhinweise sind Teil eines umfassenderen Aufwands bei Microsoft, unsere KI-Prinzipien in die Praxis umzusetzen. Weitere Informationen finden Sie in den Microsoft AI-Prinzipien.
Die Grundlagen des Echtzeit-Intelligence-Betriebsagenten
Einleitung
Der Real-Time Intelligence Operations Agent ist eine Plattform zum Erstellen von Agents, die Datenströme überwachen, Anomalien oder Bedingungen erkennen und Aktionen basierend auf realen Ereignissen empfehlen. Diese Agents automatisieren Aufgaben, liefern Einblicke und unterstützen zeitnahe Entscheidungsfindung. Durch die Konfiguration von Geschäftszielen, Wissensquellen, Aktionen und Anweisungen erstellt der Agent einen Plan zum Nachverfolgen von Zielen, Überwachen von Daten und Anwenden von Regeln zum Erkennen von Bedingungen. Der Agent benachrichtigt Benutzer mit empfohlenen Aktionen, wenn geeignete Bedingungen auftreten.
Schlüsselbegriffe
Wissensquelle: Eine Datenbankverbindung, die der Agent zum Suchen und Überwachen von Daten verwenden kann.
Tool: Eine integrierte Funktionalität, die es dem Agent ermöglicht, Aufgaben auszuführen, z. B. strukturierte Abfragen aus natürlicher Sprache zu generieren, Anomalieerkennung durchzuführen und Microsoft Teams oder E-Mail-Nachrichten zu senden.
Thread: Eine Unterhaltungssitzung zwischen einem Agent und einem Benutzer. Threads speichern Nachrichten und übernehmen automatisch das Abkürzen von Nachrichten, um den Inhalt in den Kontext eines Modells einzupassen.
Playbook: Die interne Darstellung der Entitäten, Daten, Regeln und möglichen Aktionen, die das Betriebshandbuch bilden.
Entität: Ein Objekt in Ihrem Unternehmen, das der Agent überwacht. In einem Fahrradverleihgeschäft könnten beispielsweise Fahrräder und Dockingstationen relevante Entitäten sein. Im Flughafenmanagement sind Check-In-Linien, Sicherheitsprüfpunkte und Passagiere relevante Entitäten.
Instanzen: Bestimmte Vorkommen einer Entität, z. B.
Bike 0451oderFlight MS1234.Regeln: Bedingungen oder Muster in Daten, auf die der Agent überwacht, bevor Empfehlungen vorgenommen werden.
Autonome Regeln: Regeln mit Aktionen, die dem Agenten zugeordnet sind, dürfen ohne eine menschliche Bestätigung zuerst ausgeführt werden.
Fähigkeiten
Systemverhalten
Wenn Sie einen Operations-Agent erstellen, konfigurieren Sie die folgenden Einstellungen: Geschäftsziele, Wissensquellen, mögliche Aktionen und Anweisungen. Mit diesen Eingaben verwendet der Agent große Sprachmodelle (LLMs), um ein Playbook mit Entitäten, zugeordneten Daten und Regeln zu erstellen, die überwacht werden sollen. Sie können das Modell verfeinern, indem Sie Ziele und Anweisungen anpassen. Wenn Sie den Agent aktivieren, überwacht der Agent Daten im Hintergrund. Wenn Bedingungen den Regeln entsprechen, analysiert sie die Daten, identifiziert die Ursache und empfiehlt Maßnahmen, um Geschäftsziele zu erreichen.
Der Agent benachrichtigt Sie über Teams mit Benachrichtigungen in natürlicher Sprache und hält Sie über erste Empfehlungen auf dem Laufenden. Sie können die Regel autonom genehmigen, ablehnen oder festlegen, sodass der Agent ohne weitere Bestätigung handeln kann.
Da der Agent LLMs verwendet, um das Playbook des Agents zu erstellen und Aktionen zu empfehlen, sollten Sie:
Überprüfen Sie das Verhaltensmodell sorgfältig, bevor Sie den Agent starten.
Überwachen Sie die Empfehlungen des Agenten genau und bestätigen Sie die Begründung, die er verwendet, um Empfehlungen zu geben, bevor Sie handeln.
Überprüfen Sie sorgfältig alle autonomen Regeln, die Sie mit dem Agent erstellen. Diese Regeln steuern automatisch die Aktion.
Anwendungsfälle
Beabsichtigte Verwendungen
Sie können Operations-Agents in verschiedenen Szenarien verwenden. Zu den vorgesehenen Verwendungsmöglichkeiten des Systems gehören:
Bike Rental Management: Sie können den Betriebsagenten so konfigurieren, dass die Verfügbarkeit von Fahrrädern an verschiedenen Stationen kontinuierlich überwacht wird, indem Sie Echtzeitdaten verwenden. Legen Sie ein Ziel fest, um die Verfügbarkeit von Fahrrädern sicherzustellen, sodass sie die richtigen Abfragen findet, um diesen Wert für jede Dockingstation nachzuverfolgen.
Optimierung der Windturbine: Der Agent überwacht Daten aus Windparks und verfolgt dabei Metriken wie die Leistungsabgabe sowie die Richtung und den Winkel der Rotorblätter. Es sucht nach Anomalien oder Dips in der Leistungsausgabe und empfiehlt Anpassungen an die Betriebsparameter.
Lagerbestandsausgleich: Der Agent überwacht Lagerbestände über mehrere Lager in Echtzeit. Legen Sie ein Ziel fest, eine optimale Bestandsverteilung aufrechtzuerhalten und Lagerbestände oder Überlagerungen zu vermeiden.
Spesenüberwachung: Gewähren Sie dem Agenten Zugriff auf Daten zu Spesenanfragen und -berichten. Bitten Sie sie, Ausgaben zu kennzeichnen, die nicht den allgemeinen Regeln entsprechen, und Anomalien in langfristigen Mustern für jeden Mitarbeiter oder Kostencenter zu erkennen.
Automatisierung der Reaktion auf Vorfälle: Der Agent überwacht IT-Infrastrukturprotokolle und Telemetrie auf Anzeichen von Dienstbeeinträchtigungen oder Sicherheitsanomalien. Ziel ist es, die mittlere Zeit zur Erkennung (MTTD) und die mittlere Zeit zur Auflösung (MTTR) zu reduzieren.
Überlegungen bei der Auswahl anderer Anwendungsfälle
Wir empfehlen Ihnen, Operations Agents in Ihren innovativen Lösungen oder Anwendungen anzuwenden. Berücksichtigen Sie jedoch die folgenden Faktoren, um sicherzustellen, dass der Agent für Ihren spezifischen Anwendungsfall geeignet ist:
Vermeiden Sie Szenarien, in denen die Verwendung oder der Missbrauch des Systems zu erheblichen körperlichen oder psychischen Verletzungen eines Einzelnen führen kann. Szenarien, die Patienten diagnostizieren oder Medikamente verschreiben, können beispielsweise erhebliche Schäden verursachen.
Vermeiden Sie Szenarien, in denen sich die Nutzung oder der Missbrauch des Systems auf die Lebensmöglichkeiten oder den rechtlichen Status auswirken könnte. Beispiele sind Szenarien, in denen sich das KI-System oder der Agent auf den rechtlichen Status, die gesetzlichen Rechte oder den Zugang zu Krediten, Bildung, Beschäftigung, Gesundheitswesen, Wohnung, Versicherung, Sozialleistungen, Dienstleistungen, Chancen oder die Bedingungen auswirken könnte, in denen sie bereitgestellt werden.
Vermeiden Sie Szenarien mit hohem Einsatz, die zu Schaden führen könnten. Das modell, das in einem Agent verwendet wird, kann bestimmte gesellschaftliche Ansichten, Verzerrungen und andere unerwünschte Inhalte widerspiegeln, die in den Schulungsdaten oder den in der Aufforderung bereitgestellten Beispielen vorhanden sind. Daher warnen wir vor der Verwendung von Agenten in Szenarien mit hohem Einsatz, in denen unfaires, unzuverlässiges oder anstößiges Verhalten kostspielig oder zu Schaden führen könnte.
Berücksichtigen Sie sorgfältig Anwendungsfälle in einem Bereich oder einer Branche mit hohen Einsätzen, in denen die Handlungen von Agenten unumkehrbar oder von großer Tragweite sind. Solche Branchen umfassen, sind jedoch nicht auf Gesundheits-, Medizin-, Finanz- oder Rechtsdomänen beschränkt.
Rechtliche und regulatorische Überlegungen. Organisationen müssen potenzielle spezifische rechtliche und regulatorische Verpflichtungen bewerten, wenn sie KI-Dienste und -Lösungen verwenden, die möglicherweise nicht für jede Branche oder jedes Szenario geeignet sind. Einschränkungen können je nach regionalen oder lokalen behördlichen Anforderungen variieren. Darüber hinaus sind KI-Dienste oder -Lösungen nicht für sie ausgelegt und werden möglicherweise nicht auf eine Weise verwendet, die in anwendbaren Nutzungsbedingungen und relevanten Verhaltensregeln verboten ist.
Einschränkungen
Technische Einschränkungen, Betriebsfaktoren und Bereiche
Trotz intensiver Schulungen von OpenAI und der Implementierung verantwortungsvoller KI-Kontrollen durch Microsoft sind KI-Dienste fallible und probabilistisch. Diese Einschränkung macht es schwierig, alle unangemessenen Inhalte umfassend zu blockieren, was zu potenziellen Voreingenommenheiten, Stereotypen oder Unermesslichkeiten in KI-generierten Inhalten führt. Weitere Informationen zu den bekannten Einschränkungen von KI-generierten Inhalten finden Sie in der Transparenzhinweis für Azure OpenAI, das Verweise auf die LLMs hinter Operations Agents enthält.
Sie können Betriebsmitarbeitern eine breite Palette von Anweisungen und Zielen geben. Die wahrscheinliche Natur der LLM-Verhaltensmodelle bedeutet, dass Sie möglicherweise nicht in der Lage sind, die Agenten an Ihre Anforderungen anzupassen. Die Beschreibung des Verhaltensmodells des Agenten wird auch mithilfe von KI generiert, sodass es möglicherweise nicht vollständig korrekt ist.
Um Operations Agents effektiv zu nutzen, benötigen Sie Schulungen, um effektiv mit dem Dienst zu interagieren und zu profitieren.
Erweiterte KI-Modelle erfordern erhebliche Rechenressourcen, die sich auf die Leistung auswirken können, insbesondere in ressourcengeschränkten Umgebungen. Möglicherweise treten Latenz- oder Leistungsprobleme während spitzen Nutzungszeiten auf.
Da Agents LLMs mit externen Systemen kombinieren, ist es möglicherweise schwierig zu verstehen, warum sie bestimmte Tools oder Kombinationen von Tools zur Beantwortung einer Abfrage ausgewählt hat. Diese Herausforderung erschwert das Vertrauen und die Überprüfung der Ausgaben oder Aktionen des Agents.
Organisationen müssen bei der Verwendung von Betriebsmitarbeitern, insbesondere in regulierten Branchen, ihre besonderen rechtlichen und Complianceverpflichtungen berücksichtigen. Microsoft prüft die gesetzlichen Anforderungen, die für Microsoft als Anbieter der Technologie gelten, und erfüllt diese innerhalb des Produkts durch einen Prozess der kontinuierlichen Verbesserung.
Über die Benutzeroberfläche des Agents können Sie jederzeit schnell den Agent unterbrechen oder herunterfahren. Diese Aktion stoppt die Überwachung neuer Daten und aller neuen Aktionen, die der Agent möglicherweise empfehlen oder ausführen kann. Aktionen, die der Agent in anderen Systemen aufgerufen hat (z. B. starten eines Power Automate-Workflows), werden möglicherweise nicht sofort beendet. Der Agent startet diese Aktionen als unabhängige Prozesse, die Sie in diesen anderen Produkterfahrungen verwalten müssen.
Nachrichten zwischen Agent und Benutzer werden über Teams übermittelt. Wenn Sie Nachrichten an den Agent senden, verarbeitet Azure Bot Service die Nachrichten. Die Verwendung von Azure KI-Bot Service weist eine technische Einschränkung auf, dass jeder Bot nur über einen einzelnen globalen Endpunkt verfügen kann. Für Teams-Erstanbieter-Bots werden Anforderungen an den globalen Endpunkt gesendet und dann an einen regionalen Endpunkt in der Nähe des Benutzers umgeleitet. Operations Agents verwenden einen Endpunkt in der EU, was bedeutet, dass Ihre Benutzerdaten zur Verarbeitung außerhalb Ihrer geografischen Region verschoben werden können.
Systemleistung
In KI-Systemen ist die Leistung häufig mit der Genauigkeit verknüpft (wie oft das System korrekte Ausgaben bereitstellt). Für Operations-Agents ist die Leistung flexibler, da Benutzer Ausgaben möglicherweise anders interpretieren. Fehler treten in der Regel auf, wenn der Agent Ziele, Daten oder wichtige Entitäten im Geschäftsprozess falsch versteht. Wenn der Agent Empfehlungen vorlegt, sollten Die Benutzer den bereitgestellten Kontext sorgfältig überprüfen, bevor Sie Aktionen genehmigen.
Bewährte Methoden zur Verbesserung der Systemleistung
Um die besten Ergebnisse mit Operations-Agents zu erzielen, konzentrieren Sie sich auf die Erstellung detaillierter, gut strukturierter Eingabeaufforderungen. Die Ziele und Anweisungen, die Sie bereitstellen, helfen dem Agenten, die richtigen Datenpunkte und Regeln für die Überwachung von Änderungen im Laufe der Zeit zu identifizieren. Verbessern Sie die Genauigkeit, indem Sie die Datenwerte und Bedingungen explizit definieren, die der Agent überwachen soll. Stellen Sie klar fest, wie Aktionen Ergebnisse beeinflussen und wie überwachte Werte sich ändern sollen.
Qualitativ hochwertige Daten sind ebenso wichtig. Stellen Sie sicher, dass Datenstrukturen gut organisiert sind, und zwar mit aussagekräftigen Spaltennamen anstelle codierter Werte. Vereinfachen Sie geschachtelte Ereignisdaten, sofern möglich. Diese Struktur erleichtert es dem Agenten, die relevanten Informationen effektiv zu finden und zu überwachen.
Auswertung von Betriebsmitarbeitern
Auswertungsmethoden
Die Operations Agent-Plattform verwendet einen strengen, mehrstufigen Prozess, um Genauigkeit, Sicherheit und kontinuierliche Verbesserung zu bewerten. Im Kern handelt es sich um einen dreistufigen Zyklus: verfolgen>wiederholen>auswerten. Dieser Zyklus beginnt mit der Implementierung von Telemetrie, um die Entscheidungsprozesse des Agenten zu überwachen, einschließlich Planung, Ontologiebildung, Datengrundung, Regelgenerierung und Ausführung. Auswertungsdatensätze stammen aus realen Anwendungsfällen und synthetischen Daten, die Streuungen einführen. Sie messen Metriken wie Genauigkeit, Konvergenz, Fehlerraten und Sicherheit während des gesamten Lebenszyklus des Agents, von der Entwicklung bis zur Produktion.
Die Auswertungsumgebung spiegelt Produktionsbedingungen und betont die Trennung zwischen Entwicklungs- und Auswertungspipelinen, um Verzerrungen zu vermeiden. Sie erstellen anfängliche Datasets manuell und definieren im Voraus erwartete Ontologien und Ausgaben. Später skalieren Sie diese Datasets mithilfe der synthetischen Generation. Die Datasets konzentrieren sich auf operative Ziele, die für die Unternehmensüberwachung und Entscheidungsfindung relevant sind. Obwohl sie reale Szenarien darstellen, umfassen sie noch keine breiteren Benutzerpopulationen oder dynamische Zielkonfigurationen. Dieser Ansatz hält Bewertungen fokussiert, reproduzierbar und auf verantwortungsvolle KI-Prinzipien abgestimmt.
Auswertungsergebnisse
Unsere Auswertungsprozesse verwenden eine strukturierte Methode zur Ablaufverfolgung, Iteration und Auswertung. Wir betten Auswertungen in jeder Phase der Entscheidungsfindungsschleifen des Agenten ein. Diese Auswertungen bestätigten, dass der Agent konsequent genaue Ontologien erzeugt, gültige und relevante Abfragen generiert und geeignete Aktionen auswählt, die an den Benutzerzielen ausgerichtet sind. Diese Ergebnisse unterstützen die Ausrichtung des Systems mit rechenschaftspflichtigen Zielen, insbesondere bei der Sicherstellung, dass es in realen betrieblichen Kontexten erwartungsgemäß funktioniert.
Die in der Auswertung verwendeten Schulungs- und Testdatensätze wurden sorgfältig zusammengestellt, um ein breites Spektrum an betriebstechnischen Szenarien widerzuspiegeln. Sie haben erste Datasets aus realen Anwendungsfällen manuell erstellt, mit klar definierten erwarteten Ausgaben, einschließlich Ontologien und Abfrageergebnissen. Später haben Sie diese Datasets mithilfe der synthetischen Generation erweitert, um Die Variabilität und Abdeckung zu erhöhen. Sie haben die Datasets so entworfen, dass sie die Arten von Zielen und Datenumgebungen darstellen, die der Agent erwartet, einschließlich Variationen der Schemakomplexität, Datenverfügbarkeit und Benutzerabsicht. Durch diesen Ansatz wurde sichergestellt, dass die Bewertung ein repräsentatives Spektrum von Betrieblichen Faktoren und Einstellungen erfasst hat und die verantwortungsvolle Systementwicklung und -bereitstellung unterstützt.
Die Auswertungsergebnisse beeinflussten mehrere wichtige Entwurfseinschränkungen im System. Wir haben beispielsweise Grenzwerte für maximale Abfragegröße und minimale Ontologiekomplexität eingeführt, um eine konsistente Leistung sicherzustellen und Fehlerraten zu reduzieren. Die Ergebnisse gelten zwar allgemein für viele Szenarien zur betrieblichen Überwachung und Entscheidungsunterstützung, aber die anfängliche Auswertung umfasste nicht einige Bereiche, z. B. dynamische Zielkonfigurierung und Multi-Agent-Zusammenarbeit. Diese Bereiche stellen Chancen für zukünftige Tests und Entwicklung dar.
Auswerten und Integrieren von Operationsagenten für Ihren Einsatz
Das Verhalten eines Agenten wird durch die Anweisungen, Ziele, Daten und Aktionen bestimmt, die Sie bereitstellen. Präzise Eingabeaufforderungen und übersichtliche, gut organisierte Daten mit intuitiven Spaltennamen verbessern die Genauigkeit und reduzieren Fehler.
Überprüfen Sie nach der Konfiguration des Agents die Verhaltensmodelle und -regeln des Agents, indem Sie KQL-Abfragen überprüfen, um die Ausrichtung mit Geschäftsprozessen sicherzustellen. Während regelbasierte Bedingungen den Agenten auslösen, können die vom LLM generierten Empfehlungen Ungenauigkeiten enthalten. Überprüfen Sie daher die Ergebnisse immer, bevor Sie handeln.
Hochgradig reaktionsfähige Agents können zu übermäßigen Benachrichtigungen oder zu übermäßiger Verwendung automatisierter Aktionen führen, was möglicherweise zu Systeminstabilität führt. Um Risiken zu mindern, die Regeln anzupassen, regelmäßige Prüfungen durchführen, Randfälle zu simulieren und Schnittstellen zu entwerfen, die Transparenz fördern. Zeigen Sie beispielsweise Konfidenzbewertungen und klare Erklärungen für Empfehlungen an.