Testen, Bereitstellen und Integrieren von Agenten
Das Testen, Bereitstellen und Integrieren von Agenten sind entscheidende Schritte beim Übergang von der Entwicklung zur Produktion. Microsoft Foundry bietet umfassende Funktionen für die Überprüfung des Agentverhaltens, die Bereitstellung in Produktionsumgebungen und das Verbinden von Agents mit Ihren Anwendungen. Mit diesen letzten Schritten werden Prototypen in eine zuverlässige Automatisierung umgewandelt, die einen geschäftlichen Wert bietet.
Testen von Strategien für Agenten
Durch gründliche Tests wird sichergestellt, dass sich Ihre Agents zuverlässig in verschiedenen Szenarien verhalten, bevor Sie Benutzer erreichen. Tests sollten erwartete Interaktionen, Randfälle und Fehlerzustände abdecken.
Testen mit integrierten Spielplätzen
Sowohl das Foundry-Portal als auch Visual Studio Code Erweiterung bieten Spielplätze für interaktive Tests. Diese Umgebungen simulieren echte Benutzerinteraktionen und bieten gleichzeitig Einblicke in die Entscheidungsfindung des Agenten.
Effektive Nutzung des Spielplatzes:
Beginnen Sie mit happy path testing – Überprüfen Sie, ob der Agent allgemeine, erwartete Anforderungen richtig verarbeitet. Testen Sie typische Benutzerfragen und Workflows, um zu bestätigen, dass die grundlegenden Funktionen wie beabsichtigt funktionieren.
Wechseln zu Randfalltests – Testen Sie mehrdeutige Eingaben, unvollständige Daten und ungewöhnliche Anforderungen. Edgefälle zeigen, wie Agents Unsicherheiten und unerwartete Situationen behandeln.
Führen Sie Grenztests durch – Testen Sie die Grenzwerte dessen, was Ihr Agent tun sollte und nicht tun sollte. Vergewissern Sie sich, dass der Agent grenzen beachtet, die in seinen Anweisungen definiert sind.
Durchführen von Tests für mehrteilige Unterhaltungen: Überprüfen Sie, ob der Agent den Kontext über mehrere Austauschvorgänge hinweg aufrechterhält. Testen Sie, ob der Agent frühere Informationen merkt und entsprechend auf vorherigen Antworten aufbaut.
Ausführen von Toolaufruftests – Wenn Agents Tools verwenden, überprüfen Sie, ob sie die richtigen Tools zu den richtigen Zeiten aufrufen und Die Ergebnisse korrekt integrieren.
Testen von Zu überprüfenden Szenarien
Testen Sie für einen Kundendienstmitarbeiter die folgenden Szenarien:
Erwartete Anforderungen:
- "Ich muss einen Termin planen"
- Wie sind Ihre Öffnungszeiten?
- "Kann ich meinen Termin neu planen?"
Anfragen außerhalb des Gültigkeitsbereichs:
- "Welches Medikament soll ich einnehmen?" (sollte ablehnen und einen Anbieter beraten)
- "Können Sie auf meine Krankenakte zugreifen?" (sollte Datenschutzgrenzen erläutern)
Mehrdeutige Eingaben:
- "Ich benötige Hilfe" (sollte Klarstellungsfragen stellen)
- „Termin“ (sollte mehr Kontext sammeln)
Fehlerbedingungen:
- Toolfehler oder Timeouts
- Anforderungen, die nicht verfügbare Informationen erfordern
- Systemfehler während der Verarbeitung
Durch das Aufzeichnen von Testergebnissen können Sie Verbesserungen im Laufe der Zeit nachverfolgen und sicherstellen, dass Regressionen alte Probleme nicht wiedereinführen.
Mit Gesprächen arbeiten
Wenn Sie wissen, wie die Antwort-API Unterhaltungen verwaltet, können Sie bessere Agent-Erfahrungen entwerfen und Probleme effektiv beheben.
Konversationslebenszyklus
Unterhaltungserstellung: Eine neue Unterhaltung beginnt, wenn ein Benutzer mit Ihrem Agent interagiert. Jede Unterhaltung verwaltet ihren eigenen Nachrichtenverlauf, getrennt von den Interaktionen anderer Benutzer.
Nachrichtenaustausch – Während Benutzer Nachrichten senden, verarbeitet die Antwort-API sie mit der Konfiguration Ihres Agents und generiert Antworten basierend auf dem Unterhaltungskontext.
Erhaltung des Kontexts – Unterhaltungen behalten den vollständigen Nachrichtenverlauf bei, sodass Agents auf frühere Austauschstellen verweisen und Kontinuität beibehalten können.
Abschluss der Unterhaltung: Unterhaltungen können explizit beendet oder basierend auf Inaktivität automatisch ablaufen. Abgeschlossene Unterhaltungen behalten ihren Verlauf zur Überprüfung bei.
Verwalten von Unterhaltungen in der Produktion
Berücksichtigen Sie bei der Bereitstellung von Agenten Strategien zur Gesprächsführung:
Sitzungsgrenzen – Entscheiden Sie, wann neue Unterhaltungen gestartet werden sollen. Kundendienstmitarbeiter erstellen möglicherweise neue Unterhaltungen für jeden Supportfall, während Produktivitätsassistenten längere Unterhaltungen führen können.
Kontextbeschränkungen – Unterhaltungen können über erweiterte Interaktionen groß werden. Überwachen Sie die Länge der Unterhaltung, und implementieren Sie Strategien zum Zusammenfassen oder Archivieren alter Kontexte bei Bedarf.
Datenschutz und Aufbewahrung – Definieren von Aufbewahrungsrichtlinien für Unterhaltungsdaten. Bestimmen Sie, wie lange Nachrichtenhistorien beibehalten werden sollen und wann sie gelöscht werden sollen.
Sie können Unterhaltungen über das Foundry-Portal oder programmgesteuert über die Antwort-API anzeigen und verwalten, um einblicke zu können, wie Benutzer mit Ihren bereitgestellten Agents interagieren.
Bereitstellungsansätze
Microsoft Foundry unterstützt mehrere Bereitstellungsansätze, um unterschiedlichen betrieblichen Anforderungen und Teamworkflows zu entsprechen.
Bereitstellen über das Gießereiportal
Die Portalbereitstellung bietet eine visuelle, geführte Erfahrung:
- Navigieren Sie im Findry-Portal zu Ihrem Agenten.
- Überprüfen, ob Konfiguration und Testergebnisse zufriedenstellend sind
- Wählen Sie auf der Seite des Agent Bereitstellen aus.
- Bestätigen der Bereitstellungseinstellungen
- Warten, bis die Bereitstellung abgeschlossen ist
Bereitgestellte Agents werden in der Ressourcenliste Ihres Projekts mit aktiven Statusindikatoren angezeigt.
Bereitstellung aus Visual Studio Code
VS Code-Bereitstellung ist in Ihren Entwicklungs-Workflow integriert.
- Öffnen Sie Ihren Agent im Agent-Designer
- Wählen Sie "Update für Microsoft Foundry " aus, um Ihre Konfigurationsänderungen zu übertragen.
- Verwenden Sie für gehostete Agents die Option "Gehostete Agents bereitstellen " im Abschnitt "Tools"
- Auf Bestätigung der Bereitstellung warten
- Aktualisieren der Ressourcenansicht, um den aktualisierten Agent anzuzeigen
Dieser optimierte Prozess hält Sie in Ihrer Entwicklungsumgebung, wodurch Kontextwechsel während der Bereitstellung eliminiert werden.
Bereitstellungsüberlegungen
Berücksichtigen Sie bei der Bereitstellung von Agents Folgendes:
Modellverfügbarkeit – Stellen Sie sicher, dass die ausgewählte Modellbereitstellung über ausreichende Kapazität für die erwartete Auslastung verfügt. Überwachen Sie die Nutzung und Skalierung nach Bedarf.
Toolabhängigkeiten – Überprüfen Sie, ob alle tools, die Ihr Agent verwendet, ordnungsgemäß konfiguriert sind. Für die Dateisuche sind Vektorspeicher mit hochgeladenen Dokumenten erforderlich, API-Tools benötigen gültige Anmeldeinformationen.
Klarheit der Anweisungen – Überprüfen Sie die Anweisungen vor der Bereitstellung. Änderungen nach der Bereitstellung erfordern eine erneute Bereitstellung und können sich auf die Benutzererfahrung auswirken.
Prüfung – Überprüfen Sie, ob umfassende Tests abgeschlossen sind. Die Bereitstellung nicht getesteter Änderungen birgt Produktionsprobleme.
Generieren von Integrationscode
Nach der Bereitstellung müssen Agents eine Verbindung mit Ihren Anwendungen herstellen. Die Microsoft Foundry-Erweiterung generiert Beispielintegrationscode, der diesen Prozess beschleunigt.
Codegenerierungsprozess
So generieren Sie Integrationscode:
- Wählen Sie Ihren bereitgestellten Agent in der Ansicht Azure Ressourcen (VS-Code) aus.
- Wählen Sie " Codedatei öffnen" aus den verfügbaren Aktionen aus.
- Die Erweiterung bietet strukturierte Optionen:
- Wählen Sie Ihr bevorzugtes SDK aus – Wählen Sie das SDK-Framework für Ihre Integration aus.
- Wählen Sie Ihre Sprache – Wählen Sie Ihre Programmiersprache aus (Python, JavaScript, C#usw.)
- Wählen Sie Ihre Authentifizierungsmethode aus – Wählen Sie aus, wie Ihre Anwendung authentifiziert wird (verwaltete Identität, Dienstprinzipal, interaktiv usw.)
- Die Erweiterung generiert Beispielcode, der zeigt, wie:
- Authentifizieren mit Microsoft Foundry
- Herstellen einer Verbindung mit Ihrem bestimmten Agent
- Senden von Nachrichten mithilfe der Antwort-API
- Prozess-Agent-Antworten
Produktionsintegrationsmuster
Für unterschiedliche Anwendungen sind unterschiedliche Integrationsansätze erforderlich. Zu den gängigen Mustern gehören:
Webanwendungsintegration
Integrieren Sie Agents in Webanwendungen, um KI-gestützte Features bereitzustellen:
- Starten von Unterhaltungen, wenn Benutzer mit Ihrem Agent interagieren
- Senden von Benutzernachrichten an den Agent über die Antwort-API
- Anzeigen von Agentantworten in der Benutzeroberfläche
- Verwalten des Unterhaltungskontexts über Benutzersitzungen hinweg
API-gesteuerte Workflows
Verwenden Sie Agents in Back-End-Workflows, die durch Ereignisse oder Zeitpläne ausgelöst werden:
- Senden von strukturierten Daten als Nachrichten mithilfe der Antwort-API
- Programmgesteuerte Prozess-Agent-Antworten
- Verwenden Sie Agentenausgaben, um die nächsten Schritte in Workflows voranzutreiben.
Chatbot-Implementierungen
Erstellen Sie Unterhaltungsschnittstellen, die von Agents unterstützt werden:
- Benutzersitzungen Agentengesprächen zuordnen
- Echtzeitnachrichtenaustausch über die „Responses API“ verarbeiten.
- Indikatoren für die Texteingabe implementieren, während Agenten Anfragen bearbeiten
- Unterstützung von Rich Media in Antworten
Hintergrundautomatisierung
Stellen Sie Agents für automatisierte Aufgaben bereit, die ohne Benutzerinteraktion ausgeführt werden:
- Planen von Agent-Ausführungen für normale Aufgaben
- Daten aus Systemen mithilfe der Responses-API in Agenten einspeisen
- Verarbeiten von Agent-Ausgaben zum Aktualisieren von Geschäftssystemen
- Agentenleistungen und -ergebnisse überwachen
Produktionsüberlegungen
Eine erfolgreiche Ausführung von Agents in der Produktion erfordert die Berücksichtigung betrieblicher Aspekte:
Überwachung und Beobachtbarkeit
Nachverfolgen wichtiger Metriken:
- Reaktionszeiten und Latenz
- Erfolgsraten für Toolaufrufe
- Fehlerraten und Fehlermuster
- Anzahl der Gespräche und Nachrichten
- Modelltokennutzung
Diese Metriken helfen Ihnen, Leistungsprobleme zu identifizieren und das Verhalten des Agents zu optimieren.
Sicherheit und Konformität
Implementieren sie bewährte Methoden für die Sicherheit:
- Verwenden verwalteter Identitäten oder Dienstprinzipale für die Authentifizierung
- Anwenden von Zugriffssteuerungen mit geringsten Rechten
- Verschlüsseln Sie sensible Daten sowohl während der Übertragung als auch in Ruhe.
- Prüfen von Agentenaktionen und -gesprächen
- Implementieren von Datenaufbewahrungsrichtlinien, die den Vorschriften entsprechen
Kostenverwaltung
Überwachen und Optimieren von Kosten:
- Nachverfolgen der Tokennutzung über Agenten und Gespräche hinweg
- Festlegen von Grenzwerten für die Antwortlänge zur Kontrolle der Kosten
- Wählen Sie geeignete Modelle für den Ausgleich von Funktionen und Kosten aus.
- Implementieren von Ratenbeschränkungen, um unerwartete Verwendungsspitzen zu verhindern
- Verwalten der Aufbewahrung des Unterhaltungsverlaufs zum Reduzieren der Speicherkosten
Leistungsoptimierung
Optimieren der Agentleistung:
- Häufig angeforderte Informationen zwischenspeichern
- Optimieren von Anweisungen für Klarheit und Prägnanz
- Entfernen sie unnötige Tools, die Latenz hinzufügen
- Überwachen der Modellauswahl, da einige Modelle schneller sind als andere
- Timeout-Behandlung für lange laufende Vorgänge implementieren
Fehlerbehandlung und Resilienz
Robuste Agentimplementierungen behandeln Fehler ordnungsgemäß:
Netzwerkfehler – Implementieren Sie Wiederholungslogik mit exponentiellem Backoff, wenn API-Aufrufe aufgrund vorübergehender Netzwerkprobleme fehlschlagen.
Toolfehler: Wenn bei Tools ein Timeout oder Fehler auftreten, stellen Sie sicher, dass Agents hilfreiche Fallbackantworten bereitstellen, anstatt unbemerkt fehlzuschlagen.
Ratenbegrenzung: Verarbeiten Sie Ratenbegrenzungsantworten von Azure, indem Sie Backoffstrategien und Warteschlangenmechanismen implementieren.
Ungültige Eingaben – Überprüfen sie Benutzereingaben vor dem Senden an Agents, Filtern bösartiger Inhalte oder Formatierungsprobleme.
Aktualisieren von Produktionsmitarbeitern
Da sich die Anforderungen weiterentwickeln, müssen Sie bereitgestellte Agents aktualisieren:
- Vornehmen von Änderungen in Ihrer Entwicklungsumgebung
- Testen Sie sorgfältig vor der Bereitstellung von Updates
- Bereitstellen von Updates in Zeiten mit geringem Datenverkehr nach Möglichkeit
- Überwachen auf Probleme nach der Bereitstellung
- Rollbackpläne haben, wenn Updates Probleme verursachen
Die Agent-ID bleibt über Updates hinweg konstant, sodass vorhandene Integrationen weiterhin mit dem aktualisierten Verhalten arbeiten.
Tests, Bereitstellung und Integration von Agents wandeln Entwicklungsbemühungen in Produktionswert um. Indem Sie systematische Testansätze befolgen, integrierte Bereitstellungstools nutzen und robuste Integrationsmuster implementieren, können Sie KI-Agents sicher bereitstellen, die Ihre Anwendungen verbessern und Workflows automatisieren und gleichzeitig die Zuverlässigkeit und Sicherheit auf Unternehmensniveau beibehalten.