Uvoz podataka

U svetu računovodstva i izveštavanja o održivosti, transformacija podataka i uvoz igraju ključne uloge u obezbeđivanju tačnih, pouzdanih i sveobuhvatnih uvida u održivost. Međutim, organizacije se često suočavaju sa tehničkim i poslovnim izazovima u efikasnom upravljanju i iskorišćavanju podataka o održivosti u svrhe izveštavanja.

Neki od ključnih izazova uključuju:

• Granuličnost i složenost podataka: Upravljanje raznovrsnim podacima o održivosti iz više izvora i kategorija od suštinskog je značaja za stvaranje sveobuhvatne i granulirane slike o napretku ekološke efikasnosti, obuhvatajući ugljenik, vodu i efikasnost otpada.

• Kvalitet i doslednost podataka: tačni, pouzdani i dosledni podaci tokom celog putovanja održivosti organizacije važni su za precizno izveštavanje i usaglašenost.

• Skalabilnost i performanse: Efikasno rukovanje i obrada velikih skupova podataka uz održavanje optimalnih performansi je ključno za organizacije u bliskom i dugoročnom periodu.

• raspoloživost podataka: Podaci mogu da dođu u različitim formatima ili da zahtevaju ručno zarobevanje.

Pored toga, preduzeća se suočavaju sa sve većim pritiskom zainteresovanih strana, investitora, klijenata i regulatornih tela da otkriju sveobuhvatne informacije o održivosti. Ispunjavanje ovih očekivanja zahteva efikasnu transformaciju podataka i procese unošenja.

Ovaj odeljak se fokusira na najnovija poboljšanja i mogućnosti procesa ingescije koji se nadograđuje na postojeće mogućnosti Microsoft Sustainability Manager. Nove mogućnosti obezbeđuju modernizovanu i naprednu platformu za upravljanje procesom transformacije podataka i ingestiona. On obezbeđuje pojednostavljeni korisnički interfejs, više metoda unošenja podataka, predloške i mapiranje mogućnosti.

Korisničko iskustvo uvoza podataka

Pojednostavljeni i vođeni korisnički interfejs je preko potrebna mogućnost organizacijama da uspešno izvrše transformaciju podataka i unošenje svojih podataka o životnoj sredini.

Iskustvo unošenja podataka menadžera održivosti drži model podataka u prvom planu tokom iskustva unošenja da bi se ograničile greške korisnika. Korisnici mogu da iskoriste fleksibilnost i više metoda konzumiranja na osnovu svojih zahteva i razmatranja dizajna. Pored toga, podaci se mogu unositi u više entiteta i kategorija putem jednog uvoza pomoću istog unošenja. Ovi mehanizmi za konzumiranje su standardizovani preko ugljenika, vode i otpada.

Važan aspekt procesa unošenja podataka je dekodiranje transformacije podataka, podataka mapiranje i uvoza podataka. Ovo razdvajanje takođe pomaže u ublažavanju rizika od ljudskih grešaka u izdvajanju, transformaciji i učitavanju podataka.

Tokom procesa povezivanja sa podacima, korisnici organizacije mogu da koriste bočnu traku alatki za transformaciju podataka u:

• Konfigurišite grupe podataka za uvoz.

• Koristite liste za proveru valjanosti skupova podataka. Kontrolne liste obezbeđuju uspešne probleme sa uvozom podataka i rešavanjem problema vezanih za obavezne kolone podataka, nepodudaranja tipa podataka, popunjavanje skup opcija vrednosti i traženje referentnih podataka.

Ugrađene metode unošenja i razmatranja dizajna

Menadžer održivosti obezbeđuje četiri metoda za unošenje, u zavisnosti od:

• Tip podataka
• Izvor
• Potrebe za transformacijom podataka
• Nivo korisničkog iskustva
• Učestalost uvoza

Ove različite metode možete da koristite sa sledećim razmatranjima.

Metod i opis	Razmatranja dizajna	Koristi kada
Excel predlošci su ugrađeni u i Microsoft Sustainability Manager korisnici mogu da preuzimaju, pripremaju podatke i uvoze u određene entitete.	Excel predlošci se osvežavaju periodično. Preporučujemo da preuzmete najnovije Excel predloške tokom svakog uvoza. Dok Excel predlošci prate konvenciju o imenovanju modela podataka, oni ne zahtevaju mapiranje do modela. Excel predlošci predstavljaju najjednostavniji oblik uvoza podataka. Pogodni su za manji skup podataka koje Excel datoteka može da podrži i za početnu pripremu sistema. Excel predlošci sadrže unapred definisan skup entiteta da bi se omogućio uvoz podataka.	Excel predlošci se najbolje koriste kada se priprema/transformacija podataka obavlja izvan Menadžera održivosti i podaci su spremni za direktan uvoz. Primer: Contoso kafa, proizvođač kafe može da koristi Excel predloške za podešavanje svojih objekata pomoću referentnog predloška podataka, a zatim da nastavi sa podešavanjem njihove aktivnosti ugljenika i unapred obračunatim podacima o emisijama pomoću predložaka podataka o aktivnostima i emisijama. Zatim mogu da urade uvoz sve tri vrste podataka sa jednom stavkom.
Power Query vođeno iskustvo je centrično iskustvo mapiranja podataka, usmeravajući krajnje korisnike sa iskustvom u kupovini kolica kako bi se greške u konzumiranju svele na najmanju moguću moguću moguću sumu.	Power Query pruža sveobuhvatan pristup transformaciji i unošenju podataka, čineći ga efikasnim za rukovanje različitim izvorima podataka. Power Query je koristan za izvore podataka u kojima su dostupne ugrađene linije spajanja Microsoft Sustainability Manager, što pojednostavuje proces uvoza podataka. Vođeno Power Query iskustvo pruža fleksibilnost i detaljno vođenje tokom celog procesa unošenja, omogućavajući korisnicima da po potrebi dodaju i uklanjaju entitete.	Koristite Power Query kada je potrebno da: - uvezete podatke za više entiteta iz različitih izvora. - imaju ugrađene konektore Power Query na raspolaganju Microsoft Sustainability Manager. - zahtevaju čest uvoz i osvežavanje podataka- potrebna je transformacija podataka tokom procesa unošenja. - preferira vođeno iskustvo sa fleksibilnošću za manipulaciju entitetom i mapiranje. - potrebno je da se postupa sa različitim tipovima izvora sa transformacijom podataka pre mapiranje pristupi modelu podataka. Primer: Contoso Coffee, proizvođač kafe, želi da uveze podatke o emisijama iz svojih lanac snabdevanja ERP-a i dobavljača koji su obezbedili podatke Azure Synapse. Contoso može da koristi vođeno Power Query iskustvo za transformaciju i mapiranje pomoću detaljnih smernica navedenih u uređivaču.
Partnerske linije spajanja – su katalog konektora za uvoz podataka iz partnerskih rešenja.	Menadžer održivosti uključuje konektore za uvoz podataka iz partnerskih rešenja. Platforma nudi katalog unapred izgrađenih i prilagođenih konektora od operativnih dobavljača podataka. Važan aspekt uvoza podataka pomoću partnerskih linija spajanja je da su podaci mapiranje i transformacija obloženi unutar linije spajanja. Ne moraju da se izvode tokom procesa uvoza.	Koristite kada je potrebno da uvezete podatke iz partnersko rešenje, a odgovarajuća linija spajanja je prisutna u katalogu. Primer: Contoso Coffee koristi Arkadia's utility cloud rešenje za hvatanje kupljenih podataka o električnoj energiji i prirodnom gasu za svoje objekte. Oni koriste Arcadia konektor za uvoz kupljenih podataka o električnoj energiji u Menadžer održivosti. Ovaj konektor im omogućava da izračunaju emisiju opsega 2 za sve njihove globalne objekte.
Ručni uvoz podataka u Menadžer održivosti	Microsoft Sustainability Manager obezbeđuje dva metoda za ručni uvoz podataka. Prvi metod omogućava unos pojedinačnih zapisa, korisnih za uvoz podataka o konfiguraciji kao što su referentni podaci. Drugi metod omogućava masovni uvoz zapisa aktivnosti i referentnih zapisa podataka. Za opseg 3, kategoriju 8 i kategoriju 13, potrebno je da izaberete potkategoriju podataka da biste pristupili opcijama masovnog otpremanja. Prilikom ažuriranja zapisa podataka o aktivnostima, morate izbrisati prethodno uvezene podatke i ponovo uneti sve podatke.	Razmislite o korišćenju ručnih opcija uvoza podataka u menadžeru održivosti kada je potrebno da uvezete pojedinačne zapise o aktivnostima, vodi ili podacima o otpadu. Pored toga, koristite ove opcije kada želite da uvezete referentne podatke ili kada imate veliki broj podataka o aktivnostima za uvoz na veliko. Ako imate određene formate podataka za masovni uvoz, kao što su Excel, CSV ili XML, opcija ručnog masovnog otpremanja je idealan izbor. Na primer, specijalista za održivost koji podešava podatke organizacije odlazi na profil > kompanije Settings > General da bi ručno definisao atribute organizacije.

Sledeća tabela rezimira razmatranja dizajna za organizacije prilikom dizajniranja procesa uvoza podataka. Preporučujemo da pažljivo razmotrite prednosti i mane svakog metoda ingescije i njihovog dizajnerskog prometa.

Način konzumiranja	Excel predlošci	Power Query vođeno iskustvo	Partnerske linije spajanja	Ručna stavka
Tipične korisničke persone	Poslovne persone	Poslovno/tehnička lica	Tehničke persone	Poslovne persone
Može da se zakaže?	✗	✓	✓	✗
Volumen učitavanja podataka	Masovnog	Masovnog	Masovnog	Jednostruka, masovna
Dozvoljava transformaciju podataka?	✗	✓	✗	✗
Obezbeđuje postepeno osvežavanje?	✗	✓	✓	✗
Podaci se nadjaиaju tokom uvoza?	✗	✓	✗	✗
Može da uveze više entiteta?	✓	✓	✗*	✗
Obezbeđuje rukovanje greškama u konzumiranju?	✓	✓	✓	NA

Belešku

Uvoz više entiteta pomoću partnerskih linija spajanja u jednom unošenju nalazi se u mapi puta proizvoda.

Da biste saznali više, pregledajte pregled uvoza podataka Microsoft Sustainability Manager.

Ukratko, sledeća razmatranja su važna prilikom uvoza podataka u Microsoft Sustainability Manager:

• Počnite jednostavnijim Metodom Excel predloška za iskustvo unošenja. Na osnovu složenosti podataka i razumevanja modela podataka, evoluirajte da biste kreirali kontinuirani uvoz podataka koristeći vođeno Power Query iskustvo.

• Tokom Power Query vođenog iskustva sa konzumiranjem, imajte na umu sledeće savete:

  • Koristite Power Query mogućnosti za izvršavanje transformacija podataka.
  • Koristite alatke za transformaciju podataka i kontrolnu listu da biste pregledali tabele podataka i odgovarajuće tipove podataka.
  • Dok mapiranje izvorne podatke, koristite funkciju automatskog mapiranja.

• Planirajte vremenske konektore i pravila za osvežavanje da biste omogućili kontinuirani uvoz potrebnih podataka kada se veza kreira i proveri valjanost.

Potpuno i postepeno osvežavanje podataka

Periodični uvoz podataka iz izvora podataka je neophodno da organizacije izračunaju svoje najnovije podatke o održivosti u svrhe izveštavanja. Organizacije mogu da dobiju podatke iz svojih izvornih sistema u dva režima.

Osvežavanje kompletnih podataka: Uvezite punu kopiju podataka izvornog sistema u aplikaciju Microsoft menadžer održivosti.

Postepeno osvežavanje podataka: Prenošenje i uvoz samo ažuriranih ili novokreiranih zapisa iz izvornih sistema od poslednjeg osvežavanja.

Postepeno osvežavanje podataka omogućava organizacijama da donesu nove podatke kada su dostupni za svako osvežavanje podataka. Organizacije takođe mogu da se odluče za potpuno osvežavanje ako je potrebno da se podaci u potpunosti osveže tokom svakog upita. Ova mogućnost je dostupna samo za zasnovan Power Query uvoz.

Da biste iskoristili ovu ugrađenu mogućnost, kreirajte smernice za osvežavanje prilikom kreiranja veze za izvore podataka. Microsoft Sustainability Manager obezbeđuje ovu mogućnost za zasnovani Power Query način uvoza. Tokom procesa kreiranja veze, korisnici mogu da definišu raspored i učestalost za pokretanje zadataka uvoza podataka i da izaberu opciju za uklanjanje prethodno uvezenih podataka ako je to potrebno. Ova radnja daje mogućnost zakazivanja postepenog osvežavanja.

Za sledeće situacije preporučuje se potpuno osvežavanje podataka:

• Kada model podataka izvornih sistema prolazi kroz bilo kakve promene, promene moraju da se odraze u aplikaciji za transformacije podataka ili mapiranje.

• Kada se izvorni podaci značajno promene, a postepeno osvežavanje nije dovoljno za hvatanje promena.

• Kada je poslovna logika izvornog sistema izmenjena i postojeći podaci moraju da se ponovo izračunaju.

• Kada je kvalitet podataka ili integritet podataka ugrožen zbog grešaka, oštećenja ili zlonamernih napada.

Postepeno osvežavanje podataka preporučuje se za sledeće situacije:

• Kada organizacije zahtevaju masovni uvoz podataka iz više izvora podataka

• Kada organizacije zahtevaju blagovremeno osvežavanje podataka na osnovu određenih vremenskih osa

• Kada izvorni sistemi obezbede istorijske, kumulativne podatke i organizacije treba da uvezu novododetivne podatke (umetanje ili upsert) nakon početnog učitavanja podataka

Na primer, ako menadžer održivosti unosi podatke iz Excel datoteka u biblioteci dokumenata, koje SharePoint ažuriraju dobavljači, potrebno je da smernice za osvežavanje periodično troše najnovije podatke.

Dok planiranje na nivou podataka za povezivanje obezbeđuje način dizajniranja rasporeda uvoza podataka. To ne rešava problem prenošenja samo delta podataka iz različitih izvornih sistema. Pomoću procesa postepenog osvežavanja, administratori podataka mogu da konfigurišu granulaciona pravila samo za prenos postepenih podataka. Proces može da obezbedi dodatne filtere, pravila i vremenske oznake na svakom nivou upita u podacima za povezivanje.

Da biste saznali više o postepenom osvežavanju, idite na osvežavanje postepenih podataka u Microsoft Sustainability Manager

Mrežna veza sa izvorima podataka

Tokom osmišljavanja strategija uvoza podataka, organizacije se često suočavaju sa izazovom bezbednog i efikasnog povezivanja sa udaljenim izvorima podataka. Ovi udaljeni izvori podataka mogu biti u oblaku ili lokalni. Različiti bezbednosni standardi i mere koje organizacije koriste za zaštitu svojih sredstava podataka dodatno pogoršavaju ovaj izazov. Zbog toga komponente umrežavanja moraju pažljivo da razmatraju različite opcije kako bi se osigurala bezbednost i pouzdanost podataka.

Ovaj odeljak se odnosi na dva metoda povezivanja sa udaljenim izvorima podataka. Ovi izvori podataka mogu postojati u Azure Cloud-u unutar virtuelne mreže ili mogu postojati na lokalni lokaciji. Da bi se povezale iz upravljača održivosti sa Azure uslugama podataka unutar virtuelne mreže, organizacije mogu da koriste mrežni prolaz podataka virtuelne mreže. Da biste se lokalni sa izvorima podataka, možete da koristite mrežni lokalni podataka.

Sledeća tabela konstruiše neke od važnih tema umrežavanja i razmatranja dizajna prilikom uvoza podataka iz udaljenog izvora koji se nalaze u lokalni infrastrukture:

Tema	Razmatranje dizajna
Mrežni prolaz za podatke virtuelne mreže	Koristite mrežni prolaz virtuelne mreže za povezivanje sa izvorima podataka koji se nalaze u Azure i obezbeđuju ih virtuelna mreža. Ovakav pristup može biti koristan izvor podataka nije javno dostupan. Da biste saznali kako da konfigurišete mrežni prolaz podataka virtuelne mreže, idite na korišćenje mrežnog prolaza podataka virtuelne mreže i izvora podataka
Lokalni mrežni prolaz za podatke	Koristite on-pPremises mrežne prolazi kao bezbedan most između lokalni podataka održivosti i Menadžera održivosti. Potrebno je da preuzmete, instalirate i konfigurišete lokalni podataka. Da biste saznali više, idite na "Šta je lokalni podataka"?
Izvor podataka potvrda identiteta	Odredite prioritete snažnog mehanizma potvrde identiteta za pristup podacima o održivosti. Izbegavajte korišćenje slabih akreditiva i razmislite o korišćenju Windows ili potvrde identiteta zasnovane na OAuthu radi poboljšane bezbednosti.
Dodavanje IP-a listi dozvoljenih iz izlaznih lokalni izvor podataka	Uverite se da je lista dozvoljenih IP adresa omogućila izlaznu komunikaciju između lokalni resursa i Menadžera održivosti. Da biste pregledali opsege IP adresa na listu dozvoljenih adresa, idite na izlazne IP adrese upravljanih linija spajanja
Performanse	Optimizujte upite da biste umanjili prenos podataka preko mreže. Optimizovani upiti smanjuju kašnjenje, povećavaju performanse i štede mrežne resurse.
Praćenje i revizija	Sprečavanje bezbednosnih propusta primenom praćenja i evidentiranja mrežnih prolaza i sprovođenjem periodičnih pregleda sa bezbednosnim akterima organizacije. Da biste saznali više o prikupljanju evidencija sa mrežnog prolaza podataka, idite na članak Rešavanje problema lokalni podataka

Ukratko, pravljenje bezbednih i pouzdanih izbora dizajna umrežavanja je od kritičnog značaja za obezbeđivanje snažnog mehanizma uvoza za udaljene izvore podataka. Među njima su izvršavanje neophodnih koraka za:

1. Instalirajte mrežne mrežne lokalni za udaljene izvore podataka i virtuelnu mrežu obezbedili su Azure hostovane izvore podataka.
2. Korišćenje jakih mehanizama potvrde identiteta.
3. Dodajte listi dozvoljenih izlaznih IP adresa za omogućavanje komunikacije sa lokalni podataka.
4. Umanjite podatke prenete preko mreže.
5. Izvršite redovne bezbednosne kontrole.

Rukovanje greškama

Rukovanje greškama tokom uvoza podataka igra vitalnu ulogu da biste se uverili da su podaci pravilno uvezeni, a kontrolne table prikazuju najnovije informacije za Izveštaje o održivosti & analitiku. Menadžer održivosti omogućava korisnicima da pregledaju i otklone greške u uvozu podataka. Ovi izveštaji o greškama su sada dostupni za sva tri tipa uvoza, predloške, vođeni Power Query tok i partnerski doživljaj.

Za više informacija posetite opciju "Rukovanje greškama " za uvoz podataka u Microsoft Sustainability Manager

Sledeći koraci

• izvoz podataka za Microsoft Sustainability Manager