Datenimport

In der Welt der Nachhaltigkeitsbilanzierung und -berichterstattung spielen die Datentransformation und der Datenimport eine entscheidende Rolle, wenn es darum geht, genaue, zuverlässige und umfassende Einblicke in die Nachhaltigkeit zu erhalten. Unternehmen stehen jedoch oft vor technischen und geschäftlichen Herausforderungen, wenn es darum geht, Nachhaltigkeitsdaten effektiv zu verwalten und für die Berichterstattung nutzbar zu machen.

Einige der wichtigsten Herausforderungen sind:

• Datengranularität und Komplexität: Die Verwaltung unterschiedlicher Nachhaltigkeitsdaten aus verschiedenen Quellen und Kategorien ist unerlässlich, um ein umfassendes und detailliertes Bild der Fortschritte bei der Umwelteffizienz zu erstellen, das CO2-, Wasser- und Abfalleffizienz umfasst.

• Datenqualität und -konsistenz: Genaue, zuverlässige und konsistente Daten während des gesamten Verlaufs der Nachhaltigkeit einer Organisation sind wichtig für eine genaue Berichterstattung und die Einhaltung von Vorschriften.

• Skalierbarkeit und Leistung: Die effiziente Verarbeitung großer Datasets unter Beibehaltung einer optimalen Leistung ist für Unternehmen kurz- und langfristig entscheidend.

• Datenverfügbarkeit: Die Daten können in verschiedenen Formaten vorliegen oder müssen manuell erfasst werden.

Darüber hinaus stehen Unternehmen unter dem zunehmenden Druck von Interessengruppen, Investoren, Kunden und Aufsichtsbehörden, umfassende Nachhaltigkeitsinformationen offenzulegen. Um diese Erwartungen zu erfüllen, sind effiziente Datenumwandlungs- und Datenerfassungsprozesse erforderlich.

Dieser Abschnitt konzentriert sich auf die neuesten Erweiterungen und Funktionalitäten des Ingestion-Prozesses, der auf den bestehenden Funktionalitäten von Microsoft Sustainability Manager aufbaut. Die neuen Funktionalitäten bieten eine optimierte und fortschrittliche Plattform für die Verwaltung der Datenumwandlung und Erfassung. Es bietet eine vereinfachte Benutzeroberfläche, mehrere Methoden zur Datenerfassung, Vorlagen und Funktionalitäten für die Zuordnung.

Benutzererfahrung beim Datenimport

Eine vereinfachte und geführte Benutzeroberfläche ist eine dringend benötigte Funktionalität für Organisationen, um die Datenumwandlung und das Einbinden ihrer Umweltdaten erfolgreich durchzuführen.

Bei der Datenerfassung durch den Sustainability Manager steht das Datenmodell im Vordergrund, um Benutzerfehler zu begrenzen. Benutzer können die Vorteile der Flexibilität und der verschiedenen Einbindungsmethoden nutzen, je nach ihren Anforderungen und Designüberlegungen. Darüber hinaus können Daten über mehrere Entitäten und Kategorien durch einen einmaligen Import unter Verwendung desselben Ingests eingebunden werden. Diese Einbindungsmechanismen sind für CO2, Wasser und Abfall standardisiert.

Ein wichtiger Aspekt bei der Datenerfassung ist die Entkopplung von Datentransformation, Datenzuordnung und Datenimport. Diese Entkopplung trägt auch dazu bei, das Risiko menschlicher Fehler bei der Extraktion, Umwandlung und Ladung der Daten zu beheben.

Während des Prozesses der Datenverbindung können die Benutzer der Organisation die Tools zur Datenumwandlung in der Seitenleiste nutzen:

• Konfigurieren Sie die zu importierenden Datasets.

• Verwenden Sie Checklisten, um Datasets zu validieren. Checklisten sorgen für einen erfolgreichen Datenimport und behandeln Probleme im Zusammenhang mit obligatorischen Datenspalten, nicht übereinstimmenden Datentypen, dem Auffüllen von Optionssatzwerten und der Suche nach Referenzdaten.

Integrierte Einbindungsmethoden und Designüberlegungen

Der Sustainability Manager bietet vier Methoden zum Einbinden von Daten, abhängig von:

• Datentyp
• Quelle
• Anforderungen an die Datentransformation
• Niveau der Benutzererfahrung
• Häufigkeit des Imports

Sie können diese verschiedenen Methoden unter Berücksichtigung der folgenden Überlegungen verwenden.

Methode und Beschreibung	Überlegungen zum Design	Verwenden wenn
Excel-Vorlagen sind in Microsoft Sustainability Manager integriert und die Benutzer können ihre Daten herunterladen, vorbereiten und in bestimmte Entitäten importieren.	Excel-Vorlagen werden in regelmäßigen Abständen erneuert. Wir empfehlen, dass Sie bei jedem Import die neuesten Excel-Vorlagen herunterladen. Da die Excel-Vorlagen der Namenskonvention des Datenmodells folgen, ist keine Datenzuordnung zum Modell erforderlich. Excel-Vorlagen stellen die einfachste Form des Datenimports dar. Sie eignen sich für kleinere Datensätze, die eine Excel-Datei unterstützen kann, und für die anfängliche Systemvorbereitung. Excel-Vorlagen enthalten vordefinierte Entitäten, um den Datenimport zu ermöglichen.	Excel-Vorlagen werden am besten verwendet, wenn die Datenvorbereitung/-transformation außerhalb des Sustainability Manager erfolgt und die Daten für einen direkten Import bereit sind. Beispiel: Contoso Coffee, ein Kaffeehersteller, kann die Excel-Vorlagen verwenden, um seine Einrichtungen mit Hilfe der Vorlage für Verweisdaten einzurichten. Anschließend können Sie mit den Vorlagen für Aktivitäten und Emissionen die Daten zu den CO2-Aktivitäten und vorberechneten Emissionen einrichten. Dann können sie mit einem einzigen Einbinden einen Import aller drei Typen von Daten durchführen.
Power Query geführte Erfahrung ist eine auf die Zuordnung von Daten ausgerichtete Erfahrung, die den Benutzer mit einem Einkaufswagen anleitet, um Fehler bei der Einbindung zu minimieren.	Power Query bietet einen umfassenden Ansatz für die Datenumwandlung und -erfassung, sodass es effizient mit verschiedenen Datenquellen umgehen kann. Power Query ist vorteilhaft für Datenquellen, die über integrierte Konnektoren verfügen, die in Microsoft Sustainability Manager verfügbar sind und den Datenimportprozess vereinfachen. Die Power Query Anleitung bietet Flexibilität und detaillierte Anleitungen während des gesamten Einbindungsprozesses und lässt Benutzer zu, Entitäten nach Bedarf hinzuzufügen oder zu entfernen.	Verwenden Sie Power Query, wenn Sie: – Daten für mehrere Entitäten aus verschiedenen Quellen importieren müssen. – hat integrierte Power Query Konnektoren, die in Microsoft Sustainability Manager verfügbar sind. – benötigt häufige Datenimporte und Aktualisierungen. – benötigen eine Datenumwandlung während der Datenerfassung. – bevorzugt eine Anleitung mit Flexibilität für die Manipulation von Entitäten und die Zuordnung von Daten. – verschiedene Typen von Quellen müssen vor der Zuordnung zum Datenmodell mit einer Datentransformation behandelt werden. Beispiel: Contoso Coffee, ein Kaffeehersteller, möchte die Emissionsdaten aus dem ERP seiner Vorräte und die von den Lieferanten bereitgestellten Daten in Azure Synapse importieren. Contoso kann die geführte Power Query Erfahrung zum Transformieren, Zuordnen unter Verwendung der detaillierten Anleitung im Editor verwenden.
Partner Konnektoren – sind ein Katalog von Konnektoren zum Importieren von Daten aus Partnerlösungen.	Der Sustainability Manager enthält Konnektoren für den Import von Daten aus Partnerlösungen. Die Plattform bietet einen Katalog vordefinierter und angepasster Konnektoren von Anbietern von Betriebsdaten. Ein wichtiger Aspekt des Datenimports über die Partnerkonnektoren ist, dass die Datenzuordnung und -umwandlung im Konnektor gekapselt ist. Sie müssen nicht während des Importprozesses durchgeführt werden.	Verwenden Sie diese Funktion, wenn Sie Daten aus einer Partnerlösung importieren müssen und der entsprechende Konnektor im Katalog vorhanden ist. Beispiel: Contoso Coffee nutzt die Utility Cloud-Lösung von Arcadia, um die Daten zu gekauftem Strom und Erdgas für seine Einrichtungen zu erfassen. Sie verwenden den Arcadia Konnektor, um Daten über gekauften Strom in den Sustainability Manager zu importieren. Dieser Konnektor lässt die Berechnung der Scope 2-Emissionen für alle globalen Einrichtungen des Unternehmens zu.
Manueller Import von Daten in den Sustainability Manager	Microsoft Sustainability Manager bietet zwei Methoden zum manuellen Importieren von Daten. Die erste Methode lässt die Eingabe einzelner Datensätze zu, was für den Import von Konfigurationsdaten wie Verweisdaten nützlich ist. Die zweite Methode lässt den Massenimport von Aktivitäts- und Verweisdatensätzen zu. Für Scope 3, Kategorie 8 und Kategorie 13 müssen Sie die Datenunterkategorie auswählen, um Zugriff auf die Bulk-Upload-Optionen zu erhalten. Wenn Sie Datensätze zu Aktivitäten aktualisieren, müssen Sie zuvor importierte Daten löschen und alle Daten erneut importieren.	Ziehen Sie die manuellen Datenimportoptionen im Sustainability Manager in Betracht, wenn Sie einzelne Datensätze von Aktivitäts-, Wasser- oder Abfalldaten importieren müssen. Nutzen Sie diese Optionen außerdem, wenn Sie Referenzdaten importieren möchten oder wenn Sie eine große Menge an Aktivitätsdaten in Massen importieren müssen. Wenn Sie bestimmte Datenformate für den Massenimport haben, wie z.B. Excel, CSV oder XML, ist die manuelle Massenupload-Option die ideale Wahl. Ein Nachhaltigkeitsspezialist, der Organisationsdaten einrichtet, geht zum Beispiel zu Einstellungen > Firmenprofil > Allgemein, um die Attribute der Organisation manuell zu definieren.

Die folgende Tabelle gibt einen Überblick über die Überlegungen, die Unternehmen bei der Gestaltung ihres Datenimportprozesses anstellen sollten. Wir empfehlen Ihnen, die Vor- und Nachteile der einzelnen Einbindungsmethoden sorgfältig abzuwägen.

Einbindungsmethode	Excel-Vorlagen	Power Query angeleitete Erfahrung	Partner Konnektoren	Manuelle Eingabe
Typische Benutzer-Personas	Business-Personas	Business/Technische Personas	Technische Personen	Business-Personas
Kann geplant werden?	✗	✓	✓	✗
Datenmengenvolumen	Bulk	Bulk	Bulk	Einzeln, massenhaft
Erlaubt die Datenumwandlung?	✗	✓	✗	✗
Bietet inkrementelle Aktualisierung?	✗	✓	✓	✗
Datenüberschreibungen während des Imports?	✗	✓	✗	✗
Kann mehrere Entitäten importieren?	✓	✓	✗*	✗
Bietet Behandlung von Einbindungsfehlern?	✓	✓	✓	NV

Anmerkung

Der Import mehrerer Entitäten über die Konnektoren der Partner in einem einzigen Einbinden ist in der Produkt-Roadmap vorgesehen.

Um mehr zu erfahren, gehen Sie zu Übersicht über den Datenimport in Microsoft Sustainability Manager.

Zusammenfassend sind die folgenden Überlegungen beim Importieren von Daten in Microsoft Sustainability Manager wichtig:

• Beginnen Sie mit der einfacheren Excel-Vorlagenmethode, um Erfahrungen mit dem Einbinden zu sammeln. Entwickeln Sie auf der Grundlage der Datenkomplexität und des Verständnisses des Datenmodells kontinuierliche Datenimporte unter Verwendung der Power Query Anleitung zu erstellen.

• Beachten Sie bei der Power Query Anleitung zum Einbinden von Daten die folgenden Tipps:

  • Verwenden Sie die Funktionalitäten von Power Query, um die Datentransformationen durchzuführen.
  • Verwenden Sie die Tools zur Datentransformation und die Checkliste, um die Datentabellen und ihre jeweiligen Typen zu überprüfen.
  • Verwenden Sie bei der Zuordnung der Quelldaten die Automap Funktion.

• Planen Sie die Zuteilung von Zeitfenstern und Regeln, um den kontinuierlichen Import der benötigten Daten zu ermöglichen, sobald eine Verbindung erstellt und validiert ist.

Vollständige und inkrementelle Datenaktualisierung

Der periodische Import von Daten aus Datenquellen ist für Organisationen eine Notwendigkeit, um ihre neuesten Nachhaltigkeitsdaten für die Berichterstattung zu berechnen. Unternehmen können Daten auf zwei Arten aus ihren Quellsystemen abrufen.

Vollständige Datenaktualisierung: Importieren Sie eine vollständige Kopie der Quellsystemdaten in die Anwendung Microsoft Sustainability Manager.

Inkrementelle Datenaktualisierung: Holen und importieren Sie nur die aktualisierten oder neu erstellten Datensätze aus den Quellsystemen seit der letzten Aktualisierung.

Die inkrementelle Datenaktualisierung lässt es zu, dass Unternehmen bei jeder Datenaktualisierung neue Daten einbeziehen, wenn diese verfügbar sind. Organisationen können sich auch für die vollständige Aktualisierung entscheiden, wenn die Daten bei jeder Abfrage vollständig aktualisiert werden müssen. Diese Funktionalität ist nur für den Power Query-basierten Import verfügbar.

Um die Vorteile dieser integrierten Funktionalitäten zu nutzen, erstellen Sie die Verbindung für Datenquellen Richtlinien zur Aktualisierung. Microsoft Sustainability Manager bietet diese Funktionalitäten für die Power Query basierte Importmethode. Während des Erstellens einer Verbindung können Benutzer den Zeitplan und die Häufigkeit festlegen, mit der die Aufträge für den Datenimport ausgeführt werden sollen, und die Option wählen, zuvor importierte Daten bei Bedarf zu entfernen. Diese Aktion bietet die Möglichkeit, eine inkrementelle Aktualisierung zu planen.

Die vollständige Datenaktualisierung wird für die folgenden Situationen empfohlen:

• Wenn das Datenmodell des Quellsystems Änderungen erfährt und diese Änderungen in der Anwendung für Datentransformationen oder Zuordnungen berücksichtigt werden müssen.

• Wenn sich die Quelldaten erheblich geändert haben und die inkrementelle Aktualisierung nicht ausreicht, um die Änderungen zu erfassen.

• Wenn die Geschäftslogik des Quellsystems geändert wurde und die vorhandenen Daten neu berechnet werden müssen.

• Wenn die Datenqualität oder die Datenintegrität aufgrund von Fehlern, Korruption oder bösartigen Angriffen beeinträchtigt wurde.

Eine inkrementelle Datenaktualisierung wird für die folgenden Situationen empfohlen:

• Wenn Unternehmen einen Massenimport von Daten aus mehreren Datenquellen benötigen

• Wenn Unternehmen eine zeitnahe Aktualisierung von Daten nach bestimmten Zeitvorgaben benötigen

• Wenn die Quellsysteme historische, kumulative Daten liefern und Unternehmen nach der ersten Ladung neu verfügbare Daten importieren müssen (Insert oder Upsert)

Wenn der Sustainability Manager beispielsweise Daten aus Excel-Dateien in einer SharePoint-Dokumentenbibliothek einbindet, die von den Lieferanten aktualisiert werden, ist eine Richtlinie zur Aktualisierung erforderlich, damit regelmäßig die neuesten Daten übernommen werden.

Die Zeitplanung auf der Ebene der Datenverbindung bietet Ihnen die Möglichkeit, einen Zeitplan für den Datenimport zu erstellen. Sie löst nicht das Problem, nur die Deltadaten aus verschiedenen Quellsystemen abzurufen. Mit dem inkrementellen Aktualisierungsprozess können Datenadministratoren granulare Regeln konfigurieren, um nur die inkrementellen Daten abzurufen. Dieser Prozess stellt zusätzliche Filter, Regeln und Zeitstempel auf jeder Abfrageebene in einer Datenverbindung bereit.

Um mehr über die inkrementelle Aktualisierung zu erfahren, gehen Sie zu Inkrementelle Datenaktualisierung in Microsoft Sustainability Manager

Netzwerkverbindung zu Datenquellen

Bei der Entwicklung von Datenimportstrategien stehen Unternehmen oft vor der Herausforderung, eine sichere und effiziente Verbindung zu entfernten Datenquellen herzustellen. Diese entfernten Datenquellen können sich in der Cloud oder vor Ort befinden. Unterschiedliche Sicherheitsstandards und Kennzahlen, die Unternehmen zum Schutz ihrer Assets verwenden, machen diese Herausforderung noch größer. Die Netzwerkkomponenten erfordern also eine sorgfältige Abwägung verschiedener Optionen, um Datensicherheit und Zuverlässigkeit zu gewährleisten.

In diesem Abschnitt werden zwei Methoden zur Verbindung mit entfernten Datenquellen behandelt. Diese Datenquellen können sich in der Azure Cloud innerhalb eines virtuellen Netzwerks befinden, oder sie können sich an einem lokalen Standort befinden. Um eine Verbindung vom Sustainability Manager zu Azure Data Services innerhalb eines virtuellen Netzwerks herzustellen, können Unternehmen das virtuelle Netzwerk-Daten-Gateway verwenden. Für die Verbindung zu lokalen Datenquellen können Sie das lokale Daten-Gateway verwenden.

Die folgende Tabelle enthält einige wichtige Netzwerkthemen und Designüberlegungen beim Importieren von Daten aus einer entfernten Quelle, die sich in einer lokalen Infrastruktur befindet:

Thema	Überlegungen zum Design
Virtuelles Netzwerkdatengateway	Verwenden Sie ein virtuelles Netzwerk-Daten-Gateway, um eine Verbindung zu Datenquellen herzustellen, die sich in Azure befinden und durch ein virtuelles Netzwerk gesichert sind. Dieser Ansatz kann nützlich sein, wenn die Datenquelle nicht öffentlich zugänglich ist. Wie Sie das virtuelle Gateway für Netzwerkdaten konfigurieren können, erfahren Sie unter Virtuelles Gateway für Netzwerkdaten und Datenquellen verwenden
Lokales Datengateway	Verwenden Sie lokale Gateways als sichere Brücke zwischen den lokalen Nachhaltigkeits-Datenquellen und dem Sustainability Manager. Sie müssen das lokale Data Gateway herunterladen, installieren und konfigurieren. Weitere Informationen finden Sie unter Was ist ein lokales Data Gateway?
Authentifizierung der Datenquelle	Bevorzugen Sie starke Authentifizierungsmechanismen für den Zugriff auf Nachhaltigkeitsdaten. Vermeiden Sie die Verwendung schwacher Anmeldeinformationen und erwägen Sie die Verwendung einer Windows- oder OAuth-basierten Authentifizierung für mehr Sicherheit.
Hinzufügen von IPs zur Zulässigkeitsliste aus einer ausgehenden lokalen Datenquelle	Stellen Sie sicher, dass die Liste der zulässigen IP-Adressen die ausgehende Kommunikation zwischen den lokalen Ressourcen und dem Sustainability Manager ermöglicht. Um die IP-Adressbereiche zu überprüfen, die in der Liste zugelassen werden sollen, gehen Sie zu Verwaltete Konnektoren, ausgehende IP-Adressen
Leistung	Optimieren Sie Abfragen, um die über das Netzwerk übertragenen Daten zu minimieren. Optimierte Abfragen verringern die Latenzzeit, erhöhen die Leistung und schonen die Netzwerkressourcen.
Überwachung und Auditing	Verhindern Sie Sicherheitsverstöße, indem Sie die Überwachung und Protokollierung von Gateways implementieren und periodische Überprüfungen mit den Sicherheitsverantwortlichen des Unternehmens durchführen. Um mehr über das Sammeln von Protokollen des Daten-Gateways zu erfahren, gehen Sie zu Problembehandlung des Lokalen Daten-Gateways

Zusammenfassend lässt sich sagen, dass die Wahl eines sicheren und zuverlässigen Netzwerkdesigns entscheidend ist, um einen robusten Importmechanismus für entfernte Datenquellen zu gewährleisten. Dazu gehört die Durchführung der notwendigen Schritte, um:

1. Installieren Sie Gateways für entfernte lokale Datenquellen und über ein virtuelles Netzwerk gesicherte, in Azure gehostete Datenquellen.
2. Verwendung starker Authentifizierungsmechanismen.
3. Nehmen Sie die ausgehenden IP-Adressen in die Liste der zulässigen Adressen auf, um die Kommunikation von lokalen Datenstandorten zu ermöglichen.
4. Minimieren Sie die über das Netzwerk übertragenen Daten.
5. Regelmäßige Sicherheitsprüfungen durchführen.

Fehlerbehandlung

Die Fehlerbehandlung während des Datenimports spielt eine wichtige Rolle, um sicherzustellen, dass Ihre Daten ordnungsgemäß importiert werden und Dashboards die neuesten Informationen für Nachhaltigkeitsberichte und -analysen anzeigen. Mit dem Sustainability Manager können Benutzer Fehler in den Datenimporten überprüfen und beheben. Diese Fehlerberichte sind jetzt für alle drei Importtypen, Vorlagen, den angeleiteten Flow Power Query und die Partnererfahrung verfügbar.

Weitere Informationen finden Sie unter Fehlerbehandlung beim Datenimport in Microsoft Sustainability Manager

Nächste Schritte,

• Datenexport für Microsoft Sustainability Manager