Import af data
I en verden med bæredygtighedsregnskab og rapportering er transformation og import af data vigtige roller, når det gælder om at sikre nøjagtige, pålidelige og omfattende bæredygtighedsindsigter. Organisationer står dog ofte over for tekniske og forretningsmæssige udfordringer med hensyn til effektiv administration og udnyttelse af bæredygtighedsdata med henblik på rapportering.
Her er nogle af de vigtigste udfordringer:
Data granularitet og kompleksitet: Det er vigtigt at administrere diverse data fra flere kilder og kategorier, hvis du vil oprette et omfattende og detaljeret billede af status for miljøeffektivitet, der omfatter ressourceeffektivitet, vand og spildeffektivitet.
Datakvalitet og ensartethed: Nøjagtige, pålidelige og ensartede data i hele organisationen er vigtige for at opnå nøjagtig rapportering og overholdelse af bæredygtighedsstandarder.
Skalerbarhed og ydeevne: Effektiv håndtering og behandling af store datasæt, samtidig med at optimal ydeevne bevares, er vigtig for organisationer på kort og lang tid.
Datatilgængelighed: Data kan anvendes i andre formater eller kræves, at de hentes manuelt.
Derudover bliver virksomheder udsat for et stigende pres fra interessenter, virksomheder, kunder og offentlige virksomheder, som skal videregive omfattende oplysninger. Disse forventninger kræver effektiv datatransformation og indtagelsesprocesser.
I dette afsnit fokuseres der på den nyeste forbedring og de nyeste funktioner i indtagelsesprocessen, der bygger på de eksisterende funktioner i Microsoft Sustainability Manager. De nye funktioner giver en strømlinet og avanceret platform til administration af datatransformation og dataindtagelsesproces. Det giver en forenklet brugergrænseflade, flere metoder til datatilknytning, skabeloner og tilknytningsfunktioner.
Brugeroplevelse ved dataimport
En forenklet og styret brugergrænseflade er en meget nødvendig funktion for organisationer, der kan udføre datatransformation og forbedre miljødataene.
Sustainability Manager-dataindtagelsesoplevelsen holder datamodellen i forgrunden under indtagelsesoplevelsen for at begrænse brugerfejl. Brugerne kan drage nytte af fleksibiliteten og de mange forskellige metoder, afhængigt af deres krav og designovervejelser. Derudover kan data oprettes på tværs af flere objekter og kategorier via en engangsimport ved hjælp af samme indtagelse. Disse mekanismer er standardiseret på tværs af CO2, vand og affald.
Et vigtigt element i dataindtagelsesprocessen er dekryptering af datatransformeringen, datatilknytningen og dataimporten. Denne afvænning hjælper også med at afhjælpe risikoen for fejl hos mennesker i forbindelse med udpakning, transformering og indlæsning af data.
Under dataforbindelsesprocessen kan brugere af organisationer bruge sidepanelet til datatransformeringsværktøjerne til at:
Konfigurer datasæt, der skal importeres.
Brug kontrollister til at validere datasæt. Kontrollister sikrer, at dataimporten lykkes, og at der gøres noget ved problemer i forbindelse med obligatoriske datakolonner, uoverensstemmelser i datatyper, udfyldelse af grupperede indstillingsværdier og søgning efter referencedata.
Indbyggede overvejelser om metoder og design ved indtagelse
Sustainability Manager kan anvendes på fire måder til indtagelse, afhængigt af følgende:
- Datatype
- Kilde
- Datatransformation skal bruge
- Brugeroplevelsesniveau
- Importhyppighed
Disse forskellige metoder kan bruges sammen med følgende overvejelser.
| Metode og beskrivelse | Designovervejelser | Bruges når |
|---|---|---|
| Excel-skabeloner er indbygget i Microsoft Sustainability Manager, og brugerne kan hente, forberede deres data og importere til bestemte objekter. | Excel-skabeloner opdateres jævnligt. Det anbefales, at du henter de nyeste Excel-skabeloner under hver import. Når Excel-skabelonerne følger navngivningskonventionen for datamodeller, kræver de ikke datatilknytning til modellen. Excel-skabeloner repræsenterer den nemmeste form for dataimport. De er velegnede til mindre datasæt, som en Excel-fil kan understøtte, og til den første systemforberedelse. Excel-skabeloner indeholder foruddefinerede sæt objekter til aktivering af dataimport. | Excel-skabeloner bruges bedst, når dataforberedelsen/transformeringen foretages uden for Sustainability Manager, og dataene er klar til direkte import. Eksempel: Contoso coffee, en kaffeproducent kan bruge Excel-skabelonerne til at konfigurere faciliteterne ved hjælp af referencedataskabelonen, derefter fortsætte med at konfigurere deres kulstofaktivitet og forudberegnede udledningsdata ved hjælp af dataskabelonerne Aktivitet og Udledning. Derefter kan de udføre en import af alle tre typer data med et enkelt element. |
| Power Query styret oplevelse er en datatilknytningsfokuseret oplevelse, der vejleder slutbrugerne med en oplevelse af overensstemmelse for at minimere risikoen for fejl i indtagelse. | Power Query indeholder en omfattende tilgang til datatransformering og indtagelse, så den er effektiv til håndtering af forskellige datakilder. Power Query er nyttigt for datakilder, der har indbyggede connectors i Microsoft Sustainability Manager, hvilket gør dataimportprocessen mere strømlinet. Den Power Query styrede oplevelse giver fleksibilitet og detaljeret vejledning i hele processen, så brugerne kan tilføje og fjerne objekter efter behov. | Brug Power Query, når du har brug for følgende: - import af data til flere objekter fra forskellige kilder. - har indbyggede Power Query connectors i Microsoft Sustainability Manager. - kræver hyppig dataimport og -opdatering - skal transformeres i løbet af indtagelsesprocessen. - foretrækker en styret oplevelse med fleksibilitet i forbindelse med objektmanipulation og datatilknytning. - forskellige kildetyper skal håndteres med datatransformering, før de kan knyttes til datamodellen. Eksempel: Contoso Coffee, som er en kaffeproducent, vil importere udledningsdataene fra deres leveringskæde ERP og leverandørleverede data i Azure Synapse. Contoso kan bruge den Power Query-styrede oplevelse til at transformere og tilknytte ved hjælp af den detaljerede vejledning i editoren. |
| Partner-connectors – er et katalog over connectorer, der bruges til at importere data fra partnerløsninger. | Sustainability Manager inkluderer connectors til import af data fra partnerløsninger. Platformen tilbyder et katalog med forudbyggede og brugerdefinerede connectors fra udbydere af driftsdata. Et vigtigt element ved import af data ved hjælp af partner-connectors er, at datatilknytning og transformering er indkapslet i forbindelsen. De behøver ikke at blive udført under importen. | Brug denne løsning, når du skal importere data fra en partnerløsning, og den tilknyttede connector findes i kataloget. Eksempel: Contoso Coffee bruger Arcadia's cloud-løsning til at hente indkøbt elektricitet og naturgasdata til faciliteterne. De bruger Arcadia-connector til at importere indkøbte elektricitetsdata til Sustainability Manager. Denne connector giver dem mulighed for at beregne omfang 2 for alle deres globale faciliteter. |
| Manuel import af data til Sustainability Manager | Microsoft Sustainability Manager indeholder to metoder til manuel import af data. Den første metode tillader angivelse af individuelle poster, hvilket er praktisk i forbindelse med import af konfigurationsdata, f.eks. referencedata. Den anden metode tillader masseimport af aktivitetsposter og referencedataposter. I forbindelse med område 3, kategori 8 og kategori 13 skal du vælge dataunderkategorien for at få adgang til indstillingerne for masseoverførsel. Hvis du vil opdatere aktivitetsdataposter, skal du slette de data, du tidligere har importeret, og importere alle dataene igen. | Overvej at bruge de manuelle indstillinger for import af data i Sustainability Manager, når du skal importere individuelle poster med aktivitets-, vand- eller affaldsdata.Derudover skal du bruge disse indstillinger, når du vil importere referencedata, eller når du har en stor mængde aktivitetsdata, der skal importeres flere gange. Hvis du har bestemte dataformater for masseimport, f.eks. Excel, CSV eller XML, er indstillingen for manuel masseoverførsel det ideelle valg. En specialist, der konfigurerer organisationsdata, går f.eks. til Indstillinger > Firmaprofil > Generelt for at definere attributterne for organisationen manuelt. |
I følgende tabel beskrives designovervejelserne for organisationer, mens de designer dataimportprocessen. Vi anbefaler, at du nøje overvejer fordele og ulemper ved hver metode og deres designafvejning.
| Indtagelsesmetode | Excel-skabeloner | Styret oplevelse på Power Query | Partner-connectorer | Manuel indtastning |
|---|---|---|---|---|
| Typiske brugerpersoner | Forretningspersoner | Forretningsmæssige/tekniske personer | Tekniske personer | Forretningspersoner |
| Kan planlægges? | ✗ | ✓ | ✓ | ✗ |
| Indlæs store mængder data | Masse | Masse | Masse | Enkelt, masse |
| Tillader datatransformation? | ✗ | ✓ | ✗ | ✗ |
| Leverer trinvis opdatering? | ✗ | ✓ | ✓ | ✗ |
| Data tilsidesættes under import? | ✗ | ✓ | ✗ | ✗ |
| Kan der importeres flere objekter? | ✓ | ✓ | ✗* | ✗ |
| Angiver fejlhåndtering af indtagelse? | ✓ | ✓ | ✓ | I/T |
Bemærk
Import af flere objekter ved hjælp af partner-connectors i en enkelt vejledning findes i produktoversigten.
Du kan få mere at vide ved at gennemse Oversigt over dataimport i Microsoft Sustainability Manager.
Kort sagt er følgende overvejelser vigtige, når du importerer data til Microsoft Sustainability Manager:
Begynd med den mere simple excelskabelonmetode til at få en indtagelsesoplevelse. Ud fra udviklingen af data kompleksiteten og forståelsen af datamodellen, skal der løbende oprettes dataimporter ved hjælp af den styrede Power Query oplevelse.
I løbet af den styrede Power Query-indtagelse skal du huske på følgende tip:
- Brug funktionerne i Power Query til at udføre datatransformationerne.
- Brug værktøjerne til datatransformering og kontrollisten til at gennemse datatabellerne og deres respektive datatyper.
- Når du tilknytter kildedataene, skal du bruge funktionen til automatisk tilknytning.
Planlæg tidsrubrikker for opdatering og regler for at aktivere en løbende import af nødvendige data, når en forbindelse er oprettet og valideret.
Fuld og trinvis opdatering af data
Den periodiske import af data fra datakilder gør det muligt for organisationer at beregne deres nyeste bæredygtighedsdata med henblik på rapportering. Organisationer kan hente data fra deres kildesystemer i to tilstande.
Fuld dataopdatering: Importér en komplet kopi af kildesystemdata til Microsoft Sustainability Manager-programmet.
Trinvis opdatering af data: Hent, og importér kun de opdaterede eller nyoprettede poster fra kildesystemerne siden den seneste opdatering.
Trinvis opdatering af data gør det muligt for organisationer at hente nye data ind, når de er tilgængelige for hver dataopdatering. Organisationer kan også vælge at opdatere hele forespørgslen, hvis dataene skal opdateres fuldt ud i løbet af de enkelte forespørgsler. Denne funktion er kun tilgængelig for Power Query baseret import.
Hvis du vil kunne bruge denne indbyggede funktion, skal du oprette en opdateringspolitik, mens du opretter forbindelse til datakilder. Microsoft Sustainability Manager indeholder denne funktion til Power Query-baseret importmetode. Under oprettelsesprocessen for en forbindelse kan brugere definere tidsplan og hyppighed for kørsel af dataimportjobbene og vælge indstillingen til fjernelse af tidligere importerede data, hvis det er nødvendigt. Du kan bruge denne handling til at planlægge en trinvis opdatering.
Fuld opdatering af data anbefales til følgende situationer:
Når kildesystemdatamodellen ændres, skal ændringerne afspejles i programmet til datatransformationen eller tilknytningen.
Når kildedataene er ændret væsentligt, og den trinvise opdatering ikke er tilstrækkelig til at registrere ændringerne.
Når kildesystemets forretningslogik er ændret, og de eksisterende data skal genberegnes.
Når datakvaliteten eller dataintegriteten er blevet kompromitteret på grund af fejl, korruption eller ondsindede angreb.
Trinvis opdatering af data anbefales til følgende situationer:
Når organisationer kræver masseimport af data fra flere datakilder
Når organisationer kræver, at data opdateres i tidsplanen på baggrund af bestemte tidslinjer
Når kildesystemerne indeholder historiske, kumulative data, og organisationer skal importere data, der netop er tilgængelige (indsætte eller opsætte) efter den første databelastning
Hvis Sustainability Manager f.eks. indtager data fra Excel-filer i et SharePoint-dokumentbibliotek, der opdateres af leverandørerne, kræver det en opdateringspolitik, at de nyeste data jævnligt forbruges.
Mens planlægningen på dataforbindelsesniveau gør det muligt at designe tidsplan for dataimport. Det løser ikke problemet med kun at hente data fra forskellige kildesystemer. Med den trinvise opdateringsproces kan dataadministratorer konfigurere granulerede regler for kun at hente de trinvise data. Kan levere ekstra filtre, regler og tidsstempler på hvert forespørgselsniveau i en dataforbindelse.
Hvis du vil vide mere om trinvis opdatering, skal du gå til Trinvis dataopdatering i Microsoft Sustainability Manager
Netværksforbindelse til datakilder
Under design af strategier for import af data står organisationer ofte over for den udfordring med at oprette sikker og effektiv forbindelse til fjerndatakilder. Disse eksterne datakilder kan være i skyen eller det lokale miljø. Denne forbindelse udfordres yderligere af forskellige sikkerhedsstandarder og foranstaltninger, som organisationer bruger til at beskytte deres dataaktiver. Derfor sikrer netværkskomponenterne omhyggelige overvejelser om forskellige muligheder for at sikre datasikkerhed og pålidelighed.
Dette afsnit omhandler to metoder til oprettelse af forbindelse til fjerndatakilder. Disse datakilder kan findes i Azure Cloud på et virtuelt netværk, eller de kan være til stede i det lokale miljø. Hvis der skal oprettes forbindelse fra Sustainability Manager til Azure Data Services i et virtuelt netværk, kan organisationer bruge virtuel netværksdata-gateway. Skal du oprette forbindelse til lokale datakilder, kan du bruge Lokal data-gateway.
Følgende tabel indeholder nogle af de vigtige netværksemner og designovervejelser, når du importerer data fra en fjernkilde, der findes i en det lokale miljø infrastruktur:
| Emne | Designovervejelser |
|---|---|
| Virtuel netværksdatagateway | Brug en virtuel netværksdata-gateway til at oprette forbindelse til datakilder, der findes i Azure, og som er beskyttet af et virtuelt netværk. Denne fremgangsmåde kan være nyttig, når datakilden ikke er offentligt tilgængelig. Du kan få mere at vide om, hvordan du konfigurerer den virtuelle netværksdata gateway, ved at gå til Brug af virtuelle netværksdata-gateway og datakilder |
| Datagateway i det lokale miljø | Brug on-pPremises-gateways som en sikker afvejning mellem det lokale miljøs bæredygtige datakilder og Sustainability Manager. Du skal downloade, installere og konfigurere lokal data-gateway. Flere oplysninger Hvad er en datagateway i det lokale miljø? |
| Godkendelse af datakilder | Prioriter en stærk godkendelsesmekanisme for adgang til bæredygtige data. Undgå at bruge legitimationsoplysninger, og overvej at bruge Windows- eller OAuth-baseret godkendelse for at øge sikkerheden. |
| Tilføj IP-adresser for at tillade liste fra udgående det lokale miljø datakilde | Sørg for, at der er en liste over IP-adresser, der muliggør udgående kommunikation det lokale miljø ressourcer og Sustainability Manager. Hvis du vil gennemse IP-adresseintervaller til liste over tilladte adresser, skal du gå til Administrerede connectors til udgående IP-adresser |
| Ydeevnen | Optimer forespørgsler for at minimere data, der overføres via netværket. Optimerede forespørgsler reducerer ventetiden, øger ydeevnen og bevarer netværkets ressourcer. |
| Overvågning og indgriben | Undgå sikkerhedsmæssige problemer ved at implementere overvågning og logføring for gateways og foretage periodiske gennemgange med organisationens sikkerhedsparter. Hvis du vil vide mere om indsamling af logfiler fra data-gateway, skal du gå til Fejlfinding af det lokale miljøs data-gateway |
Kort sagt er det vigtigt at træffe beslutninger om et sikkert og pålideligt netværksdesign for at sikre en robust importmekanisme til fjerndatakilder. Disse omfatter udførelse af de nødvendige trin for at:
- Installer gateways for eksterne det lokale miljø og virtuelle netværk sikrede Azure-værtsbaserede datakilder.
- Brug af stærke godkendelsesmekanismer.
- Føj de udgående IP-adresser til listen over tilladte adresser til aktivering af kommunikation fra det lokale miljø-dataplaceringer.
- Minimer data, der overføres via netværket.
- Udfør jævnlige sikkerhedsrevisioner.
Fejlhåndtering
Fejlhåndtering under dataimporter sikrer, at dataene er korrekt importeret, og at dashboards viser de nyeste oplysninger til bæredygtighedsrapporter og -analyser. Med Sustainability Manager kan brugere få vist og løse fejl i dataimport. Disse fejlrapporter er nu tilgængelige for alle tre importtyper, skabeloner, Power Query-styret flow og partneroplevelse.
Du kan finde flere oplysninger om fejlhåndtering ved at gå til Fejlhåndtering til dataimport i Microsoft Sustainability Manager