Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Dieses Feature befindet sich in der Betaversion. Um es zu nutzen, muss ein Workspace-Administrator Genie ZeroOps auf der Seite Previews aktivieren. Siehe Manage Azure Databricks Previews.
Genie ZeroOps ist ein Hintergrundagent, der Ihre Jobs, Pipelines und Tabellen überwacht, Fehler und Datenqualitätsprobleme erkennt, die Ursache identifiziert und eine Lösung vorschlägt. Es ist Teil der Genie-Familie der KI-Erfahrungen in Azure Databricks. Im Gegensatz zu Genie Code, das auf Ihren Prompt reagiert, läuft Genie ZeroOps kontinuierlich ohne Prompt und zeigt Ihnen Probleme an, auf die Sie reagieren können.
Um Genie ZeroOps einzurichten und mit den daraus generierten Erkenntnissen zu arbeiten, lesen Sie Erste Schritte mit Genie ZeroOps.
Was Genie ZeroOps macht
Datenteams investieren viel Zeit in die Suche nach der Ursache eines Fehlers oder eines Datenqualitätsproblems. Ein Job schlägt fehl, eine Tabelle ist veraltet oder eine Schemaänderung im Upstream führt zu einem fehlerhaften Zustand in einer Downstream-Tabelle – ein Entwickler verfolgt das Problem über Lineage, Pipeline-Graphs und Ausführungsprotokolle hinweg, um zu verstehen, was geschehen ist.
Genie ZeroOps übernimmt diese Arbeit für dich. Es läuft im Hintergrund über die Assets, für die du verantwortlich bist, und folgt drei Schritten, die dir helfen, Probleme zu finden und zu beheben:
- Erkennung: Findet fehlerhafte Jobs und Pipelines, Jobs, die erfolgreich sind, aber veraltete oder unvollständige Tabellen erzeugen, sowie Tabellen, die veraltet oder fehlende Daten sind.
- Ursachenanalyse: Für jedes Problem wird die zugrunde liegende Ursache identifiziert, wie zum Beispiel eine Codeänderung, eine Schemaänderung oder ein Upstream-Ausfall.
- Auflösung: Schlägt eine Lösung vor und verknüpft dich mit der Quelle, wie zum Beispiel dem Notizbuch, in dem du die Änderung vornimmst. Für einen Job, der Code aus einem Git-Repository ausführt, kann Genie ZeroOps den Fix auch in einen neuen Branch pushen, wenn du danach fragst, sodass du eine Pull Request öffnen kannst.
Wie Genie ZeroOps Vermögenswerte überwacht und Erkenntnisse meldet
Sie konfigurieren Genie ZeroOps in einem Arbeitsbereich und wählen aus, was überwacht werden soll, wie z. B. die Jobs oder Schemata, für die Sie verantwortlich sind. Es kann die Jobs, Pipelines und Tabellen überwachen, für die du die Berechtigung OWNER, CAN MANAGE oder CAN VIEW hast. Sie können diesen Bereich jederzeit ändern.
Genie ZeroOps zeigt Befunde als Insights an. Insights erscheinen in einem Posteingang, wo Sie sie überprüfen, der vorgeschlagenen Lösung folgen und Insights als gelöst markieren. Sie können auch Benachrichtigungen für neue Insights einrichten.
Jede Erkenntnis enthält:
- Eine Beschreibung dessen, was entdeckt wurde.
- Die Grundursache des Problems.
- Ein vorgeschlagener Fix und ein Link zur Quelle, an der du die Änderung vornimmst.
Benachrichtigungen
Genie ZeroOps kann Sie benachrichtigen, wenn ein Insight erstmals in Ihrem Posteingang erscheint. Es unterstützt mehrere Zieltypen wie Slack und PagerDuty. Siehe Benachrichtigungen konfigurieren.
Note
Benachrichtigungen senden Informationen an Systeme außerhalb von Azure Databricks und enthalten KI-generierten Text mit den Insights-Details. Kopien, die in externen Systemen gespeichert werden, liegen außerhalb der Aufbewahrungs- und Löschkontrolle von Azure Databricks.
Git-Integration
Ein Auftrag kann Code aus einem Git-Repository über eine Git-Quelle oder ein aus Git bereitgestelltes Bundle ausführen. Wenn ein solcher Job fehlschlägt, liest Genie ZeroOps das Repository, um die Ursache zu finden. Wenn die Korrektur eine Codeänderung ist, bereitet Genie ZeroOps die Änderung vor. Wenn Sie darum bitten, wird die Änderung per Push an einen neuen Branch übertragen, damit Sie einen Pull Request öffnen können. Siehe Erstellen eines Pull Requests aus einer Korrektur.
Genie ZeroOps liest das Repository mit deinen Git-Zugangsdaten. Um Git-Anmeldeinformationen hinzuzufügen, lesen Sie Hinzufügen von Git-Anmeldeinformationen.
Datenverarbeitung
Wenn Sie die Assets auswählen, die Genie ZeroOps überwachen soll, entscheiden Sie sich dafür, dass Databricks diese mithilfe eines großen Sprachmodells kontinuierlich und autonom verarbeitet, bis Sie Genie ZeroOps deaktivieren. Für einen Auftrag, der Code aus einem Git-Repository ausführt, enthalten die von Genie ZeroOps verarbeiteten Daten den Inhalt des Repositorys. Während der Untersuchungen kann Genie ZeroOps auch Tabellen abfragen, auf die Sie Zugriff haben.
Genie ZeroOps wird von Anthropic- und OpenAI-Modellen auf Azure Databricks betrieben und nutzt Endpunkte, die von Databricks innerhalb des Databricks-Sicherheitsperimeters gehostet werden.
Bevor eine Benachrichtigung den Titel oder die Zusammenfassung einer Erkenntnis enthält, überprüft Genie ZeroOps diesen Text auf sensible Informationen wie Namen und E-Mail-Adressen und maskiert, was es findet. Diese Prüfung folgt der Cross-Geo-Verarbeitungseinstellung des Arbeitsbereichs. Wenn ein Workspace-Administrator Enforce Data Processing within Workspace Geography for Designated Services deaktiviert, könnte die Überprüfung in USA ausgeführt werden.
Berechtigungen und Sichtbarkeit
Genie ZeroOps erzeugt Insights nur für Assets, auf die der konfigurierende Benutzer Zugriff hat. Standardmäßig sind diese Erkenntnisse nur für den Nutzer sichtbar, der Genie ZeroOps konfiguriert.
Sie können Ihre Genie ZeroOps-Konfiguration mit anderen Nutzern in Ihrem Arbeitsbereich teilen, damit sie an deren Insights arbeiten können. Nutzer, mit denen du teilst, sehen die Codeauszüge, vorgeschlagene Korrekturen und Beispieldatenzeilen in diesen Insights, selbst wenn sie keinen Zugriff auf die zugrundeliegenden Assets haben. Siehe Ihre Genie ZeroOps-Konfiguration teilen.
Leitplanken
Genie ZeroOps ändert Produktionsdaten oder Code nicht ohne menschliche Überprüfung. Es schlägt Korrekturen vor und verweist Sie auf die Quelle; Sie können die Korrektur dann selbst vornehmen, Genie Code auffordern oder – bei Aufträgen, bei denen Code aus einem Git-Repository ausgeführt wird – Genie ZeroOps bitten, die Änderung per Push zu übertragen.
Für einen Job, der Code aus einem Git-Repository ausführt, schreibt Genie ZeroOps nicht im Hintergrund in dein Repository. Eine Korrektur wird erst übertragen, nachdem Sie ausdrücklich darum gebeten und den Push bestätigt haben. Genie ZeroOps committet daraufhin den Fix und schiebt ihn auf einen neuen Branch. Es gibt dir einen Link, um einen Pull Request bei deinem Git-Anbieter zu öffnen, und die Änderung läuft durch deinen regulären Prüfprozess.
Einschränkungen
- Wenn du Genie ZeroOps einrichtest, gehört die resultierende Konfiguration deinem Konto. Sie können es mit bis zu 25 einzelnen Workspace-Nutzern teilen, damit sie an den Insights arbeiten können. Du kannst es nicht mit Gruppen oder Service-Principals teilen. Siehe Ihre Genie ZeroOps-Konfiguration teilen.
- Genie ZeroOps überwacht Jobs, Pipelines und Tabellen. Es überwacht keine anderen Asset-Typen, wie Modelle oder Apps.
- Genie ZeroOps erkennt Job- und Pipeline-Fehler sowie Datenqualitätsprobleme. Es erkennt keine Leistungs- oder Kostenregressionen.
- Genie ZeroOps arbeitet auf Arbeitsbereichsebene, nicht auf Kontoebene.
- Genie ZeroOps ist nicht HIPAA-konform.
- Das Erkennen von Qualitätsproblemen in Ihren Tabellen erfordert eine separat berechnete Überwachung der Datenqualität.