Χρήση επαυξητικής ανανέωσης με ροές δεδομένων

Με τις ροές δεδομένων, μπορείτε να μεταφέρετε μεγάλους όγκους δεδομένων στο Power BI ή στον παρεχόμενο χώρο αποθήκευσης του οργανισμού σας. Σε ορισμένες περιπτώσεις, ωστόσο, δεν είναι πρακτικό να ενημερώσετε ένα πλήρες αντίγραφο των δεδομένων προέλευσης σε κάθε ανανέωση. Μια καλή εναλλακτική λύση είναι η επαυξητική ανανέωση, η οποία παρέχει τα ακόλουθα πλεονεκτήματα για τις ροές δεδομένων:

• Η ανανέωση πραγματοποιείται πιο γρήγορα: Μόνο τα δεδομένα που έχουν αλλάξει πρέπει να ανανεωθούν. Για παράδειγμα, ανανεώστε μόνο τις τελευταίες πέντε ημέρες μιας ροής δεδομένων 10 ετών.
• Η ανανέωση είναι πιο αξιόπιστη: Για παράδειγμα, δεν είναι απαραίτητο να διατηρείτε συνδέσεις μεγάλης διάρκειας σε ασταθή συστήματα προέλευσης.
• Η κατανάλωση πόρων μειώνεται: Λιγότερα δεδομένα για ανανέωση μειώνουν τη συνολική κατανάλωση μνήμης και άλλων πόρων.

Η επαυξητική ανανέωση είναι διαθέσιμη σε ροές δεδομένων που δημιουργούνται στο Power BI και ροές δεδομένων που δημιουργούνται στο Power Apps. Αυτό το άρθρο εμφανίζει οθόνες από το Power BI, αλλά αυτές οι οδηγίες ισχύουν για ροές δεδομένων που έχουν δημιουργηθεί στο Power BI ή στο Power Apps.

Σημείωμα

Όταν αλλάζει το σχήμα για έναν πίνακα σε μια αναλυτική ροή δεδομένων, πραγματοποιείται πλήρης ανανέωση για να διασφαλιστεί ότι όλα τα δεδομένα που προκύπτουν συμφωνούν με το νέο σχήμα. Ως αποτέλεσμα, τα δεδομένα που αποθηκεύονται σταδιακά ανανεώνονται και σε ορισμένες περιπτώσεις, εάν το σύστημα προέλευσης δεν διατηρεί δεδομένα ιστορικού, χάνονται.

Η χρήση επαυξητικής ανανέωσης σε ροές δεδομένων που δημιουργούνται στο Power BI απαιτεί η ροή δεδομένων να βρίσκεται σε έναν χώρο εργασίας σε Premium εκχωρημένους πόρους. Η επαυξητική ανανέωση στο Power Apps απαιτεί προγράμματα Power Apps ανά εφαρμογή ή ανά χρήστη και είναι διαθέσιμη μόνο για ροές δεδομένων με προορισμό το Azure Data Lake Storage.

Είτε στο Power BI είτε στο Power Apps, η χρήση επαυξητικής ανανέωσης απαιτεί τα δεδομένα προέλευσης που προσλαμβάνονται στη ροή δεδομένων να έχουν ένα πεδίο ημερομηνίας/ώρας στο οποίο μπορεί να φιλτράρει η επαυξητική ανανέωση.

Ρύθμιση παραμέτρων επαυξητικής ανανέωσης για ροές δεδομένων

Μια ροή δεδομένων μπορεί να περιέχει πολλούς πίνακες. Η επαυξητική ανανέωση ρυθμίζεται σε επίπεδο πίνακα, επιτρέποντας σε μία ροή δεδομένων να διατηρεί τόσο πίνακες που έχουν ανανεωθεί πλήρως όσο και πίνακες με επαυξητική ανανέωση.

Για να ρυθμίσετε έναν πίνακα με επαυξητική ανανέωση, ξεκινήστε ρυθμίζοντας τις παραμέτρους του πίνακά σας όπως θα κάνατε με οποιονδήποτε άλλο πίνακα.

Μετά τη δημιουργία και την αποθήκευση της ροής δεδομένων, επιλέξτε Επαυξητική ανανέωση στην προβολή πίνακα, όπως φαίνεται στην παρακάτω εικόνα.

Όταν επιλέγετε το εικονίδιο, εμφανίζεται το παράθυρο Ρυθμίσεις επαυξητικής ανανέωσης . Ενεργοποιήστε την επαυξητική ανανέωση.

Η παρακάτω λίστα εξηγεί τις ρυθμίσεις στο παράθυρο Ρυθμίσεις επαυξητικής ανανέωσης .

• Εναλλαγή/απενεργοποίηση επαυξητικής ανανέωσης: Ενεργοποιεί ή απενεργοποιεί την πολιτική επαυξητικής ανανέωσης για τον πίνακα.

• Αναπτυσσόμενο πεδίο φίλτρου: Επιλέγει το πεδίο ερωτήματος στο οποίο θα πρέπει να φιλτραριστεί ο πίνακας για προσαυξήσεις. Αυτό το πεδίο περιέχει μόνο πεδία ημερομηνίας/ώρας. Δεν μπορείτε να χρησιμοποιήσετε επαυξητική ανανέωση εάν ο πίνακάς σας δεν περιέχει ένα πεδίο ημερομηνίας/ώρας.

  Σημαντικό

  Επιλέξτε ένα αμετάβλητο πεδίο ημερομηνίας για το φίλτρο επαυξητικής ανανέωσης. Εάν η τιμή του πεδίου αλλάξει (για παράδειγμα, με ένα πεδίο ημερομηνίας τροποποίησης ), αυτή η αλλαγή μπορεί να οδηγήσει σε αποτυχίες ανανέωσης λόγω διπλότυπων τιμών στα δεδομένα.

• Αποθήκευση/ανανέωση σειρών από το παρελθόν: Το παράδειγμα στην προηγούμενη εικόνα απεικονίζει αυτές τις επόμενες ρυθμίσεις.

  Σε αυτό το παράδειγμα, ορίζουμε μια πολιτική ανανέωσης για την αποθήκευση δεδομένων πέντε ετών συνολικά και την επαυξητική ανανέωση δεδομένων 10 ημερών. Υποθέτοντας ότι ο πίνακας ανανεώνεται καθημερινά, εκτελούνται οι ακόλουθες ενέργειες για κάθε λειτουργία ανανέωσης:

  • Προσθέστε μια νέα ημέρα δεδομένων.

  • Ανανέωση 10 ημερών, μέχρι την τρέχουσα ημερομηνία.

  • Καταργήστε τα ημερολογιακά έτη που είναι παλαιότερα από πέντε χρόνια πριν από την τρέχουσα ημερομηνία. Για παράδειγμα, εάν η τρέχουσα ημερομηνία είναι η 1η Ιανουαρίου 2019, το έτος 2013 καταργείται.

  Η πρώτη ανανέωση ροής δεδομένων μπορεί να χρειαστεί λίγο χρόνο για την εισαγωγή και των πέντε ετών, αλλά οι επόμενες ανανεώσεις είναι πιθανό να ολοκληρωθούν πολύ πιο γρήγορα.

• Εντοπισμός αλλαγών δεδομένων: Μια επαυξητική ανανέωση 10 ημερών είναι πολύ πιο αποτελεσματική από μια πλήρη ανανέωση πέντε ετών, αλλά ίσως μπορείτε να τα πάτε ακόμα καλύτερα. Όταν επιλέγετε το πλαίσιο ελέγχου Εντοπισμός αλλαγών δεδομένων , μπορείτε να επιλέξετε μια στήλη ημερομηνίας/ώρας για να προσδιορίσετε και να ανανεώσετε μόνο τις ημέρες κατά τις οποίες άλλαξαν τα δεδομένα. Αυτό προϋποθέτει ότι μια τέτοια στήλη υπάρχει στο σύστημα προέλευσης, το οποίο είναι συνήθως για σκοπούς ελέγχου. Η μέγιστη τιμή αυτής της στήλης αξιολογείται για κάθε μία από τις περιόδους στην περιοχή επαύξησης. Εάν αυτά τα δεδομένα δεν έχουν αλλάξει από την τελευταία ανανέωση, δεν χρειάζεται να ανανεώσετε την περίοδο. Στο παράδειγμα, αυτό μπορεί να μειώσει περαιτέρω τις ημέρες που ανανεώνονται σταδιακά από 10 σε ίσως 2.

  Φιλοδώρημα

  Η τρέχουσα σχεδίαση απαιτεί η στήλη που χρησιμοποιείται για τον εντοπισμό αλλαγών δεδομένων να διατηρείται και να αποθηκεύεται προσωρινά στη μνήμη. Ίσως θελήσετε να εξετάσετε μία από τις ακόλουθες τεχνικές για να μειώσετε την πληθικότητα και την κατανάλωση μνήμης:

  • Διατηρήστε μόνο τη μέγιστη τιμή αυτής της στήλης κατά τη στιγμή της ανανέωσης, ίσως χρησιμοποιώντας μια συνάρτηση Power Query.
  • Μειώστε την ακρίβεια σε ένα επίπεδο που είναι αποδεκτό δεδομένων των απαιτήσεων συχνότητας ανανέωσης.

• Ανανέωση μόνο πλήρων περιόδων: Φανταστείτε ότι η ανανέωσή σας έχει προγραμματιστεί να εκτελείται στις 4:00 π.μ. κάθε μέρα. Εάν τα δεδομένα εμφανίζονται στο σύστημα προέλευσης κατά τη διάρκεια αυτών των πρώτων τεσσάρων ωρών εκείνης της ημέρας, ίσως να μην θέλετε να τα λάβετε υπόψη. Ορισμένες επιχειρηματικές μετρήσεις, όπως τα βαρέλια ανά ημέρα στη βιομηχανία πετρελαίου και φυσικού αερίου, δεν είναι πρακτικές ή λογικές για να ληφθούν υπόψη με βάση μερικές ημέρες.

  Ένα άλλο παράδειγμα όπου ενδείκνυται μόνο η ανανέωση πλήρων περιόδων είναι η ανανέωση δεδομένων από ένα χρηματοπιστωτικό σύστημα. Φανταστείτε ένα χρηματοπιστωτικό σύστημα όπου τα δεδομένα για τον προηγούμενο μήνα εγκρίνονται τη 12η ημερολογιακή ημέρα του μήνα. Μπορείτε να ορίσετε το εύρος επαύξησης σε ένα μήνα και να προγραμματίσετε την εκτέλεση της ανανέωσης τη 12η ημέρα του μήνα. Με ενεργοποιημένη αυτήν την επιλογή, το σύστημα θα ανανεώσει τα δεδομένα Ιανουαρίου (την πιο πρόσφατη πλήρη μηνιαία περίοδο) στις 12 Φεβρουαρίου.

Σημείωμα

Η επαυξητική ανανέωση ροής δεδομένων καθορίζει ημερομηνίες σύμφωνα με την ακόλουθη λογική: Εάν έχει προγραμματιστεί μια ανανέωση, η επαυξητική ανανέωση για ροές δεδομένων χρησιμοποιεί τη ζώνη ώρας που ορίζεται στην πολιτική ανανέωσης. Εάν δεν υπάρχει χρονοδιάγραμμα για ανανέωση, η επαυξητική ανανέωση χρησιμοποιεί το χρόνο από τον υπολογιστή που εκτελεί την ανανέωση.

Μετά τη ρύθμιση παραμέτρων της επαυξητικής ανανέωσης, η ροή δεδομένων τροποποιεί αυτόματα το ερώτημά σας ώστε να περιλαμβάνει φιλτράρισμα κατά ημερομηνία. Εάν η ροή δεδομένων δημιουργήθηκε στο Power BI, μπορείτε επίσης να επεξεργαστείτε το ερώτημα που δημιουργείται αυτόματα χρησιμοποιώντας το προηγμένο πρόγραμμα επεξεργασίας στο Power Query για να ρυθμίσετε με ακρίβεια ή να προσαρμόσετε την ανανέωσή σας. Διαβάστε περισσότερα σχετικά με την επαυξητική ανανέωση και τον τρόπο λειτουργίας της στις ακόλουθες ενότητες.

Σημείωμα

Όταν επεξεργάζεστε τη ροή δεδομένων, το πρόγραμμα επεξεργασίας Power Query συνδέεται απευθείας στην προέλευση δεδομένων και δεν εμφανίζει τα δεδομένα στο cache ή τα φιλτραρισμένα στη ροή δεδομένων μετά την επεξεργασία τους από την πολιτική επαυξητικής ανανέωσης. Για να ελέγξετε τα δεδομένα που αποθηκεύονται στο cache μέσα στη ροή δεδομένων, συνδεθείτε από το Power BI Desktop στη ροή δεδομένων μετά τη ρύθμιση παραμέτρων της πολιτικής επαυξητικής ανανέωσης και την ανανέωση της ροής δεδομένων.

Επαυξητική ανανέωση και συνδεδεμένοι πίνακες έναντι υπολογιζόμενων πινάκων

Για συνδεδεμένους πίνακες, η επαυξητική ανανέωση ενημερώνει τον πίνακα προέλευσης. Επειδή οι συνδεδεμένοι πίνακες είναι απλώς ένας δείκτης στον αρχικό πίνακα, η επαυξητική ανανέωση δεν έχει καμία επίδραση στον συνδεδεμένο πίνακα. Όταν ο πίνακας προέλευσης ανανεώνεται σύμφωνα με την καθορισμένη πολιτική ανανέωσης, οποιοσδήποτε συνδεδεμένος πίνακας θα πρέπει να υποθέτει ότι τα δεδομένα στην προέλευση ανανεώνονται.

Οι υπολογιζόμενοι πίνακες βασίζονται σε ερωτήματα που εκτελούνται σε έναν χώρο αποθήκευσης δεδομένων, ο οποίος μπορεί να είναι μια άλλη ροή δεδομένων. Ως εκ τούτου, οι υπολογισμένοι πίνακες συμπεριφέρονται με τον ίδιο τρόπο όπως οι συνδεδεμένοι πίνακες.

Επειδή οι υπολογισμένοι πίνακες και οι συνδεδεμένοι πίνακες συμπεριφέρονται παρόμοια, οι απαιτήσεις και τα βήματα ρύθμισης παραμέτρων είναι τα ίδια και για τα δύο. Μια διαφορά είναι ότι για τους υπολογιζόμενους πίνακες, σε ορισμένες ρυθμίσεις παραμέτρων, η επαυξητική ανανέωση δεν μπορεί να εκτελεστεί με βελτιστοποιημένο τρόπο λόγω του τρόπου με τον οποίο δημιουργούνται τα διαμερίσματα.

Εναλλαγή μεταξύ επαυξητικής και πλήρους ανανέωσης

Οι ροές δεδομένων υποστηρίζουν την αλλαγή της πολιτικής ανανέωσης μεταξύ επαυξητικής και πλήρους ανανέωσης. Όταν πραγματοποιείται μια αλλαγή προς οποιαδήποτε κατεύθυνση (πλήρης σε επαυξητική ή τμηματική σε πλήρης), η αλλαγή επηρεάζει τη ροή δεδομένων μετά την επόμενη ανανέωση.

Όταν μετακινείτε μια ροή δεδομένων από πλήρη ανανέωση σε επαυξητική, η νέα λογική ανανέωσης ενημερώνει τη ροή δεδομένων τηρώντας το παράθυρο ανανέωσης και την αύξηση όπως ορίζεται στις ρυθμίσεις επαυξητικής ανανέωσης.

Όταν μετακινείτε μια ροή δεδομένων από επαυξητική σε πλήρη ανανέωση, όλα τα δεδομένα που συγκεντρώνονται στην επαυξητική ανανέωση αντικαθιστούν την πολιτική που ορίζεται στην πλήρη ανανέωση. Πρέπει να εγκρίνετε αυτήν την ενέργεια.

Υποστήριξη ζώνης ώρας σε επαυξητική ανανέωση

Η επαυξητική ανανέωση ροής δεδομένων εξαρτάται από τον χρόνο εκτέλεσής της. Το φιλτράρισμα του ερωτήματος εξαρτάται από την ημέρα εκτέλεσής του.

Για την προσαρμογή αυτών των εξαρτήσεων και τη διασφάλιση της συνέπειας των δεδομένων, η επαυξητική ανανέωση για ροές δεδομένων υλοποιεί τα ακόλουθα σενάρια ευρετικής μεθόδου για ανανέωση τώρα :

• Στην περίπτωση που ορίζεται μια προγραμματισμένη ανανέωση στο σύστημα, η επαυξητική ανανέωση χρησιμοποιεί τις ρυθμίσεις ζώνης ώρας από την ενότητα προγραμματισμένης ανανέωσης. Αυτή η διαδικασία διασφαλίζει ότι σε όποια ζώνη ώρας βρίσκεται το άτομο που ανανεώνει τη ροή δεδομένων, είναι πάντα συνεπής με τον ορισμό του συστήματος.

• Εάν δεν έχει οριστεί προγραμματισμένη ανανέωση, οι ροές δεδομένων χρησιμοποιούν τη ζώνη ώρας από τον υπολογιστή του χρήστη που εκτελεί την ανανέωση.

Η επαυξητική ανανέωση μπορεί επίσης να κληθεί χρησιμοποιώντας API. Σε αυτήν την περίπτωση, η κλήση API μπορεί να περιέχει μια ρύθμιση ζώνης ώρας που χρησιμοποιείται στην ανανέωση. Η χρήση API μπορεί να είναι χρήσιμη για σκοπούς δοκιμής και επικύρωσης.

Λεπτομέρειες υλοποίησης επαυξητικής ανανέωσης

Οι ροές δεδομένων χρησιμοποιούν διαμερισμό για επαυξητική ανανέωση. Η επαυξητική ανανέωση σε ροές δεδομένων διατηρεί τον ελάχιστο αριθμό διαμερισμάτων για την κάλυψη των απαιτήσεων πολιτικής ανανέωσης. Τα παλιά χωρίσματα που βγαίνουν εκτός εμβέλειας πέφτουν, γεγονός που διατηρεί ένα κυλιόμενο παράθυρο. Οι κατατμήσεις συγχωνεύονται ευκαιριακά, μειώνοντας τον συνολικό αριθμό των απαιτούμενων κατατμήσεων. Αυτός ο ελάχιστος αριθμός κατατμήσεων βελτιώνει τη συμπίεση και, σε ορισμένες περιπτώσεις, μπορεί να βελτιώσει την απόδοση του ερωτήματος.

Τα παραδείγματα σε αυτήν την ενότητα μοιράζονται την ακόλουθη πολιτική ανανέωσης:

• Αποθήκευση σειρών στο τελευταίο 1 τρίμηνο
• Ανανέωση σειρών τις τελευταίες 10 ημέρες
• Εντοπισμός αλλαγών δεδομένων = False
• Ανανέωση μόνο πλήρων ημερών = True

Συγχώνευση κατατμήσεων

Σε αυτό το παράδειγμα, τα διαμερίσματα ημέρας συγχωνεύονται αυτόματα στο επίπεδο μήνα αφού βγουν εκτός της περιοχής επαύξησης. Τα διαμερίσματα στο επαυξητικό εύρος πρέπει να διατηρούνται σε ημερήσια υποδιαίρεση για να επιτρέπεται η ανανέωση μόνο αυτών των ημερών. Η λειτουργία ανανέωσης με ημερομηνία εκτέλεσης 12/11/2016 συγχωνεύει τις ημέρες του Νοεμβρίου, επειδή βρίσκονται εκτός του εύρους επαύξησης.

Απόρριψη παλαιών κατατμήσεων

Τα παλιά διαμερίσματα που βρίσκονται εκτός του συνολικού εύρους αφαιρούνται. Η λειτουργία ανανέωσης με ημερομηνία εκτέλεσης 1/2/2017 ρίχνει το διαμέρισμα για το 3ο τρίμηνο του 2016 επειδή βρίσκεται εκτός του συνολικού εύρους.

Ανάρρωση από παρατεταμένη αποτυχία

Αυτό το παράδειγμα προσομοιώνει τον τρόπο με τον οποίο το σύστημα ανακάμπτει ομαλά από παρατεταμένη αποτυχία. Ας υποθέσουμε ότι η ανανέωση δεν εκτελείται με επιτυχία επειδή τα διαπιστευτήρια προέλευσης δεδομένων έληξαν και το πρόβλημα διαρκεί 13 ημέρες για να επιλυθεί. Το αυξητικό εύρος είναι μόνο 10 ημέρες.

Η επόμενη επιτυχημένη λειτουργία ανανέωσης, με ημερομηνία εκτέλεσης 15/1/2017, πρέπει να συμπληρώσει τις 13 ημέρες που λείπουν και να τις ανανεώσει. Πρέπει επίσης να ανανεωθούν τις προηγούμενες εννέα ημέρες επειδή δεν ανανεώθηκαν στο κανονικό πρόγραμμα. Με άλλα λόγια, το αυξητικό εύρος αυξάνεται από 10 σε 22 ημέρες.

Η επόμενη λειτουργία ανανέωσης, με ημερομηνία εκτέλεσης 1/16/2017, εκμεταλλεύεται την ευκαιρία για τη συγχώνευση των ημερών του Δεκεμβρίου και των μηνών του 4ου τριμήνου του 2016.

Επαυξητική ανανέωση ροής δεδομένων και σύνολα δεδομένων

Η επαυξητική ανανέωση ροής δεδομένων και η επαυξητική ανανέωση συνόλου δεδομένων έχουν σχεδιαστεί για να λειτουργούν παράλληλα. Είναι αποδεκτό και υποστηρίζεται να έχετε έναν πίνακα επαυξητικής ανανέωσης σε μια ροή δεδομένων, πλήρως φορτωμένο σε ένα σύνολο δεδομένων ή έναν πλήρως φορτωμένο πίνακα σε μια ροή δεδομένων που φορτώνεται σταδιακά σε ένα σύνολο δεδομένων.

Και οι δύο προσεγγίσεις λειτουργούν σύμφωνα με τους καθορισμένους ορισμούς σας στις ρυθμίσεις ανανέωσης. Περισσότερες πληροφορίες: Επαυξητική ανανέωση στο Power BI Premium

Σχετικό περιεχόμενο

Αυτό το άρθρο περιγράφει την επαυξητική ανανέωση για ροές δεδομένων. Ακολουθούν μερικά ακόμη άρθρα που μπορεί να είναι χρήσιμα:

• Προετοιμασία δεδομένων από τον χρήστη στο Power BI
• Δημιουργία υπολογισμένων πινάκων σε ροές δεδομένων
• Σύνδεση σε προελεύσεις δεδομένων για ροές δεδομένων
• Σύνδεση πινάκων μεταξύ ροών δεδομένων
• Δημιουργία και χρήση ροών δεδομένων στο Power BI
• Χρήση ροών δεδομένων με προελεύσεις δεδομένων εσωτερικής εγκατάστασης
• Πόροι προγραμματιστή για ροές δεδομένων Power BI

Για περισσότερες πληροφορίες σχετικά με το Power Query και την προγραμματισμένη ανανέωση, μπορείτε να διαβάσετε αυτά τα άρθρα:

• Επισκόπηση ερωτημάτων στο Power BI Desktop
• Ρύθμιση παραμέτρων προγραμματισμένης ανανέωσης

Για περισσότερες πληροφορίες σχετικά με το Common Data Model, μπορείτε να διαβάσετε το άρθρο επισκόπησης:

• Common Data Model - επισκόπηση