Grundlegendes zu Teams und Funktionen für Analysen auf Cloudebene in Azure

Für Analysen auf Cloudebene wird empfohlen, horizontal isoliert arbeitende Teams wie die Teams für Erfassung, Verarbeitung, Analyse, Verbrauch und Visualisierung in agile vertikale, domänenübergreifende Teams auf jeder Ebene zu ändern. Die Plattformteams wie die Datenplattformvorgänge und Plattformvorgänge werden in einer gemeinsamen Plattformgruppe gruppiert.

Plattformgruppe

Die Plattformgruppe besteht aus zwei Teams:

• Plattform-Ops: Plattform-Ops sind ein Teil der Plattformgruppe. Sie betreibt und besitzt die Cloudplattform. Dieses Team ist für die Instanziierung der Datenverwaltungszielzone und des Datenzielzonengerüsts verantwortlich, z. B. für die Vernetzung, das Peering, den Kerndienst und die Überwachung innerhalb der Analysen auf Cloudebene.

In der Regel unterstützen sie Datenplattform-Ops bei der Entwicklung von IT-Service-Management-Schnittstellen für Personas in der Datenzielzone zu Beginn der Einführung der Analysen auf Cloudebene. Bei diesen Schnittstellen handelt es sich in der Regel um REST-API-Aufrufe an einen Dienst, um Datenprodukte zu integrieren, die Sicherheit zu erhöhen und Dienste zu den Datenzielzonen hinzuzufügen.

• Datenplattform-Ops: Die Ops-Gruppe der Datenplattform befindet sich innerhalb der Plattformgruppe. Die Datenplattform-Ops bieten Dienste wie zentrale Überwachung, Katalogisierung und wiederverwendbare Richtlinien für die Datenzielzonen und -produkte. Die Datenplattform-Ops besitzt die Zielzone für die Datenverwaltung, und die anderen Aufgaben des Teams sind:

Entwickeln der Infrastruktur

• Entwickeln von Infrastructure-as-Code-Vorlagen für Datenzielzonen; die Vorlagen müssen im Laufe der Zeit aktualisiert und verwaltet werden und sie können mehrere Szenarien abdecken.
• Priorisieren von Vorlagen und Hinzufügen neuer Funktionen basierend auf einem Feedbackzyklus anderer Teams.
• Arbeiten in einem agilen Framework mit dem gemeinsamen Ziel, Standardinfrastrukturvorlagen zu erstellen.

Reagieren auf neue Anforderungen an den Datenzielzonen

Das Ops-Team für die Datenplattform muss die Tools und Dienste bereitstellen, um die von Ihnen erstellten Vorlagen zu unterstützen. IT-Service-Management Tools wie ServiceNow können die Ticketanforderungen verarbeiten, die vom Datenplattform-Ops-Team für die Erstellung neuer Datenzielzonen genehmigt wurden. Nach der Genehmigung würde eine neue Zielzone aus der Basisvorlage verzweigen, um ein neues DevOps-Projekt zu erstellen und Pipelines würden die Vorlagen in einer neuen Umgebung bereitstellen.

Die Feedback- und Verbesserungsschleife der Datenplattform-Ops

Es stehen zwei Optionen zur Verfügung, um die Vorlagen zu verbessern:

• Die Teams, die für Infrastrukturvorlageninstanzen zuständig sind, würden ihre DevOps und Bereitstellungen verbessern. Wenn Teams Probleme in den Vorlagen feststellen, können Datenplattform-Ops die Teams unterstützen und Änderungen aus ihrer Verzweigung in der Vorlage zusammenführen.

• Andere Teams für die Datenzielzonen sollten in der Lage sein, Verbesserungs- und Backlogtickets zu erstellen, die Vorlagen basierend auf der Priorisierung der Tickets verbessern würden.

Azure-Richtlinien für Analysen auf Cloudebene

Prinzipien für Analysen auf Cloudebene legt den Wert auf Self-Service-Agilität und Schutzmaßnahmen von Daten, Kosten und Mustern. Die Datenplattform-Ops arbeiten mit Plattform-Ops zusammen, um die Qualität zu definieren. Diese Teams arbeiten zusammen, um bestimmte Datenrichtlinien zu implementieren. Die Datenplattform-Ops sollten einem Überprüfungsprozess folgen, um neue Funktionen zu aktualisieren und zu verwalten, die den Produkten hinzugefügt werden.

Das Bereitstellen und Betreiben von Datenverwaltungszielzonen

Datenplattform-Ops und Plattform-Ops arbeiten zusammen, um Zielzonen für die Datenverwaltung bereitzustellen und zu betreiben. Eine Datenverwaltungszielzone bietet freigegebene Dienste für Datenzielzonen und ist damit ein zentraler Teil der Analysen auf Cloudebene.

Datenzielzone für Ops

Datenzielzonen-Ops betreiben und verwalten ihre Datenlandezoneninstanz und reagieren gleichzeitig auf Anforderungen der Datenanwendungsteams. Sie bieten viele der gleichen Dienste wie Datenplattform-Ops, sind aber auf ihre Datenziezone beschränkt.

Sie funktionieren aus dem verzweigten Repository heraus, das erstellt wird, wenn eine Datenzielzone erstellt wird. Für die Anforderung von Richtlinienänderungen müssen Sie Tickets für die Datenplattform-Ops auslösen, um diese Ausnahmen zu ermöglichen.

Unterstützen der Datenanwendungsteams beim Anpassen von Datenprodukten

Das Team für die Datenzielzonen-Ops unterstützt das Datenanwendungsteam, indem es Pull-Anforderungen verwendet, um neue Produktvorlagen an die jeweiligen Datenprodukt-Repositorys zu übermitteln.

Als Besitzer der Zielzone routet Azure DevOps die Genehmigung für Änderungen an die Datenzielzonen-Vorgänge:

• Nachdem die Vorlagenänderungen genehmigt sind, werden sie in den Hauptzweig verschoben und über Continuous Integration/Continuous Development für die Produktion bereitgestellt, sodass die Datenproduktplattform/-infrastruktur aktualisiert wird.

• Wenn sie abgelehnt wird, arbeiten die Datenzielzonen-Ops mit dem Datenanwendungsteam zusammen, um die Änderungen zu korrigieren.

Reagieren auf neue Datenproduktanforderungen

Datenzielzonen-Ops unterstützen Datenanwendungsteams beim Erstellen neuer Datenprodukte. Wenn ein Datenanwendungsteam Unterstützung anfordert, orchestriert eine IT-Service-Managementlösung, z. B. eine Automatisierungslogik-App, die Genehmigung oder Bereitstellung eines neuen Datenanwendungsrepositorys. Die Datenzielzonen-Ops werden über neue Anforderungen benachrichtigt und lehnen dann die Bereitstellungen ab oder genehmigen sie. Nach der Genehmigung wird ein neues DevOps erstellt, die Hauptvorlage und Artefakte werden verzweigt und es wird eine neue Datenanwendung bereitgestellt.

Richten Sie sich nach Microsoft Azure Well-Architected Framework

Die Datenzielzonen-Ops ist für die Datenzielzone verantwortlich. Es wird empfohlen, dass das Team, das Anleitungen zur Kostenoptimierung, Zuverlässigkeit und Sicherheit bietet, mit dem Azure Well-Architected Framework vertraut ist.

„Business as usual“

Das Datenzielzonen-Ops ist für Geschäftsaufgaben verantwortlich, die das Sammeln von Feedbacks und Erweiterungsanforderungen umfassen. Diese Anforderungen werden in regelmäßigen Abständen priorisiert und für Datenplattform-Ops freigegeben. Das Team überwacht die Datenzielzone auf Vorfälle und Integritätsereignisse. Sie binden andere Ops-Teams bei schwerwiegenden Vorfällen ein, um diese zu minimieren, Sicherungen wiederherzustellen, Failover durchzuführen und Dienste zu skalieren.

Datenanwendungsteam

Das Datenanwendungsteam liefert neue Datenprodukte an das Unternehmen. Diese Produkte stammen aus den Lesedatenspeichern von den Datenintegrationen und transformieren sie in Geschäftslösungen. Alles, was Daten für die Verwendung transformiert, wird als Datenprodukt klassifiziert. Dieses Team besteht häufig aus einer Mischung aus technischen Spezialisten und fachlichen Ansprechpartnern, die dem Unternehmen helfen können, schnell einen Mehrwert zu erzielen. Datenprodukte können von einfachen Berichten und neuen Datenprodukten bis zu benutzerdefinierten Einrichtungen mit datengesteuerten Kubernetes-Web-Apps reichen.

Neue Datenprodukte

Produktbesitzer und Unternehmensvertreter erstellen bei Bedarf Anforderungen für ein neues Datenprodukt. Das Data Office bewertet die Anforderungen und stellt ein neues Datenanwendungsteam mit einer Reihe von Fachkenntnissen zusammen. Das Team identifiziert die Datenprodukte, die für das Datenprodukt erforderlich sind, und fordert die Berechtigung für die Datenressourcen an. Wenn ein neues Datenprodukt benötigt wird, erhält das Datenanwendungsteam ein Ticket zur Erfassung. Das Team identifiziert die Dienste, die für das neue Datenprodukt erforderlich sind, und fordert über den Datenanwendungsbereitstellungsprozess ein neues Datenprodukt an. Das Datenanwendungsteam erhält ein verzweigtes Repository aus der Vorlage für Masterdatenanwendungen, um die Datenanwendung bereitzustellen.

Zertifizieren von Datenprodukten

Auf einer Self-Service-Plattform kann jeder Benutzer Berichte erstellen, Datenprodukte in einem Azure Data Lake-Entwicklerspeicherkonto zusammenstellen und Datenprodukte für die Unternehmensverwendung veröffentlichen. Anforderungen zur Produktüberprüfung für Daten treten auf, wenn:

• Geschäftskunden Tickets zum Zertifizieren von Datenprodukten protokollieren.
• Datenplattform-Ops Datenprodukte basierend auf der Beliebtheit vorschlagen.

Ein Datenanwendungsteam kann einen Zertifizierungsprozess steuern, um Datenplattform-Ops und digitale Sicherheit zu definieren. Dies kann Folgendes umfassen:

• Tests, die entwickelt wurden, um Datentransformationen und Geschäftslogik zu überprüfen
• Bewertungen für: Auswirkungen auf die Sicherheit, Compliance oder Leistung

Nach der Zertifizierung werden Artefakte sortiert und in ein Datenproduktrepository hochgeladen, die Dokumentation wird veröffentlicht und das Datenanwendungsteam wird benachrichtigt.

Produktsupport

Die Benutzer können ein Feedback mit einer IT-Service-Managementlösung oder direkt innerhalb des Produkts übermitteln, da ein Ticket an den Besitzer des Datenprodukts weitergeleitet wird. Diese Einzelperson selektiert die Anforderung und bestimmt, ob sie an das Datenanwendungsteam eskaliert werden soll, um ein Feedback zu einem Produktrückstand zu korrigieren oder einzuholen und während der Produktplanungszyklen zu überprüfen.

Data Science-Anwendungsteam

Während das Data Science-Produktteam Datenprodukte erstellt, ist dies eindeutig, da ihre Funktionen zu Datenprodukten führen. Dies führt dazu, dass veröffentlichte Modelle zu Datenprodukten werden, die von anderen verwendet werden können. Dieses Muster folgt einem Machine Learning Ops-Modell, das der Datenzielzone zugeordnet ist.

Das Data Science-Produktteam beginnt damit, relevante Datenprodukte für den jeweiligen Anwendungsfall zu suchen und zu finden. Die Datengovernance-Lösungen können weitere Details wie die Datenqualität, Herkunft oder ein ähnliches Dataset oder das Profil anzeigen. Die Lösungen recherchieren, ob ein Beispiel-Dataset verfügbar ist und ob die Daten für das Projekt relevant sind. Nachdem der Datenzugriff über einen Datenkatalog oder ein Microsoft Entra-Zugriffspaket gewährt wurde, verwendet das Team die Dienste in der Datenzielzone, um die Daten zu untersuchen und zu analysieren.

Vor der Verarbeitung aller Daten verwendet das Team lokale und Remote-Computeleistungen, um Beispiel-Datenprodukte zu verarbeiten und zu analysieren. Sie können Remote-Computeziele mit größeren Datenprodukten optimieren, um Machine Learning-Modelle mit Durchläufen, Ausgaben und Modellen zu trainieren und zu entwickeln, die innerhalb des Azure Machine Learning verfolgt werden.

Wenn das Team Machine Learning-Modelle entwickelt hat, beginnt es mit der Operationalisierung. Zu diesem Zweck wird das Team um DataOps- und Machine Learning-Techniker erweitert, die beim Verschieben der Modelle in ein neues Datenprodukt helfen können, wie in einer Rolle des Datenanwendungsteams beschrieben.

Das Data Science-Team arbeitet weiterhin mit den zugehörigen Datenproduktbesitzern zusammen, um Feedbacks zu erfassen, Support zu bieten und Modelle in der Produktion mithilfe einer Machine Learning-Ops-Methodik zu aktualisieren.

Analytiker

Die Analysten stellen eine große Gruppe dar, die Business Analysts, Power Users und im Allgemeinen alle Personen in der Organisation umfasst, die an der Optimierung von Daten interessiert sind, um neue geschäftliche Erkenntnisse zu gewinnen. Self-Service-Aktivierung ist ein wichtiges Prinzip, das den Analysten beim Zugriff auf Analysen und Daten unterstützt, ohne das formale IT-Budget und die Ressourcen sichern zu müssen.

Tipp

Unternehmen sollten Erkenntnisse, die von den Analysten erstellt wurden, als nächste Gruppe potenzieller Datenprodukte betrachten, die für die Verwendung innerhalb des Unternehmens durch andere zertifiziert werden sollen.

Suchen und Anfordern von Daten

Analysten wenden sich an Daten-Marketplaces/-Kataloge, um relevante Datenprodukte zu entdecken.

• Wenn die Datenressource nicht gefunden werden kann oder nicht vorhanden ist, öffnen die Analysten ein Supportticket für das Datenanwendungsteam. Das Datenanwendungsteam unterstützt beim Suchen des Datasets oder beim Hinzufügen der Anforderung zum ihrem Backlog, um es in einem anderen Entwicklungszyklus zu bewerten.

• Wenn das Dataset vorhanden ist, kann die Analyse Microsoft Entra-Gruppenmitgliedschaft die im Katalog aufgeführte Ressourcen identifizieren und das Azure-Zugriffspaketportal verwenden, um Zugriff auf die Microsoft Entra-Gruppe anzufordern.

Erstellen neuer Berichte

Analysten können Tools wie Microsoft Power BI verwenden, um Datenprodukte in Berichte zu integrieren. Diese Berichte können für ihre individuelle Verwendung oder die Veröffentlichung eines zertifizierten Datenprodukts verwendet werden. Vor der Veröffentlichung des Berichts in der gesamten Organisation muss er mit einem Datenproduktzertifizierungsprozess für Sicherheit, Compliance und Leistung zertifiziert werden.

Ausführen von Abfragen nach Bedarf

Analysen auf Cloudebene verfügen über freigegebene Arbeitsbereiche, in denen Analysten Daten nach Berechtigungen abfragen können. Es ist üblich, dass Datenprodukte dedizierte Computeleistungen bereitstellen, um Abfragen nach Bedarf ausführen zu können. In beiden Fällen kann der Analyst Abfragen für Datenprodukte in den Datenzielzonen ausführen. Sie unterliegt auch Berechtigungen. Die Ergebnisse der Abfragen können zur erneuten Verwendung in Azure Data Lake-Arbeitsbereichen gespeichert werden.

Benutzerfeedback

Da Analysten als ungenutzte Quellinformationen und Verbesserungen dienen können, wird Unternehmen dringend empfohlen, Benutzerfeedbackgruppen für jede Datenzielzone zu erstellen.

Zusätzlich zur Teilnahme an diesen Benutzergruppen sollten Analysten die Feedbacks zu den Datenressourcen an das Datenanwendungsteam senden. Die Feedbacks zu den Datenkatalogproblemen sollten Sie innerhalb des Datenkatalogs oder an die IT-Service-Managementlösung übermitteln. Sie können Datenverarbeitungsprobleme an das Datenanwendungsteam oder innerhalb einer IT-Service-Managementlösung übermitteln.

Hinweis

Ein IT-Service-Management sollte als zentraler Ort für die Übermittlung von Feedback und das Eskalieren von Problemen dienen. Das Übermitteln von direktem Feedback an einzelne Teams scheint eine schnellere Lösung zu sein, aber dieser Ansatz bietet dem Unternehmen keinen Einblick in die Herausforderungen der Plattform. Eine IT-Service-Managementlösung mit dem richtigen Routing zu den Datenanwendungsteams können dem Unternehmen eine Ansicht über das gesamte Unternehmen geben.

Eine Matrix der Verantwortungszuweisung

• Zuständig: Wer führt die Aufgabe durch?
• Verantwortlich: Wer trifft die Entscheidungen und ergreift die für die Aufgabe erforderlichen Maßnahmen?
• Konsultiert: Wer erhält Benachrichtigungen über die Entscheidungen und die Aufgabe?
• Informiert: Wer wird während des Projekts über die Entscheidungen und Maßnahmen informiert?

Role	Cloudumgebung	Zielzone für die Datenverwaltung	Zielzone für Daten	Datenintegration	Datenprodukte
Diensteigentümer	Informiert	Verantwortlich	Konsultiert und informiert	Konsultiert und informiert	Konsultiert und informiert
Besitzer des Datenzielzonendiensts	Informiert	Konsultiert und informiert	Verantwortlich	Verantwortlich	Verantwortlich
Cloudplattform-Ops	Zuständig	Zu Rate gezogen	Zu Rate gezogen	Zu Rate gezogen	Zu Rate gezogen
Datenplattform-Ops	Zu Rate gezogen	Zuständig	Zuständig	Zu Rate gezogen	Zu Rate gezogen
Datenzielzone für Ops	Informiert	Zuständig	Zuständig	Zuständig	Zuständig
Datenanwendungsteam		Informiert	Informiert	Informiert	Zuständig

Nächste Schritte

Das Azure Well-Architected Framework für Datenworkloads