Χρήση επαυξητικής ανανέωσης με ροές δεδομένων

  • Άρθρο

Με τις ροές δεδομένων, μπορείτε να φέρετε μεγάλες ποσότητες δεδομένων στο Power BI ή στον παρεχόμενο χώρο αποθήκευσης του οργανισμού σας. Σε ορισμένες περιπτώσεις, ωστόσο, δεν είναι πρακτικό να ενημερώσετε ένα πλήρες αντίγραφο των δεδομένων προέλευσης σε κάθε ανανέωση. Μια καλή εναλλακτική είναι η επαυξητική ανανέωση, η οποία παρέχει τα ακόλουθα πλεονεκτήματα για τις ροές δεδομένων:

  • Η ανανέωση πραγματοποιείται ταχύτερα: Μόνο τα δεδομένα που έχουν αλλάξει χρειάζεται να ανανεωθούν. Για παράδειγμα, ανανεώστε μόνο τις τελευταίες πέντε ημέρες μιας ροής δεδομένων 10 ετών.
  • Η ανανέωση είναι πιο αξιόπιστη: Για παράδειγμα, δεν είναι απαραίτητο να διατηρείτε μακροχρόνιες συνδέσεις σε συστήματα προσωρινής προέλευσης.
  • Η κατανάλωση πόρων μειώνεται: Λιγότερα δεδομένα για ανανέωση μειώνει τη συνολική κατανάλωση μνήμης και άλλων πόρων.

Η επαυξητική ανανέωση είναι διαθέσιμη σε ροές δεδομένων που έχουν δημιουργηθεί στο Power BI και ροές δεδομένων που έχουν δημιουργηθεί στο Power Apps. Αυτό το άρθρο εμφανίζει οθόνες από το Power BI, αλλά αυτές οι οδηγίες ισχύουν για ροές δεδομένων που έχουν δημιουργηθεί στο Power BI ή στο Power Apps.

Σημείωμα

Όταν αλλάζει το σχήμα ενός πίνακα σε μια αναλυτική ροή δεδομένων, πραγματοποιείται μια πλήρης ανανέωση για να διασφαλιστεί ότι όλα τα δεδομένα που προκύπτουν συμφωνούν με το νέο σχήμα. Κατά συνέπεια, τα δεδομένα που αποθηκεύονται σταδιακά ανανεώνονται και σε ορισμένες περιπτώσεις, εάν το σύστημα προέλευσης δεν διατηρεί τα δεδομένα ιστορικού, χάνεται.

Επαυξητική ανανέωση για ροές δεδομένων.

Η χρήση επαυξητικής ανανέωσης σε ροές δεδομένων που δημιουργήθηκαν στο Power BI απαιτεί η ροή δεδομένων να βρίσκεται σε έναν χώρο εργασίας σε Premium εκχωρημένους πόρους. Η επαυξητική ανανέωση στο Power Apps απαιτεί προγράμματα Power Apps ανά εφαρμογή ή ανά χρήστη και είναι διαθέσιμη μόνο για ροές δεδομένων με το Azure Data Lake Υπηρεσία αποθήκευσης ως προορισμό.

Είτε στο Power BI είτε στο Power Apps, η χρήση επαυξητικής ανανέωσης απαιτεί τα δεδομένα προέλευσης που προσλήφθηκαν στη ροή δεδομένων να έχουν ένα πεδίο ημερομηνίας/ώρας στο οποίο η επαυξητική ανανέωση μπορεί να φιλτράρει.

Ρύθμιση παραμέτρων επαυξητικής ανανέωσης για ροές δεδομένων

Μια ροή δεδομένων μπορεί να περιέχει πολλούς πίνακες. Η επαυξητική ανανέωση ρυθμίζεται σε επίπεδο πίνακα, επιτρέποντας μία ροή δεδομένων να περιέχει τόσο πλήρως ανανεωμένους πίνακες όσο και πίνακες επαυξητικής ανανέωσης.

Για να ρυθμίσετε έναν πίνακα επαυξητικής ανανέωσης, ξεκινήστε ρυθμίζοντας τις παραμέτρους του πίνακά σας όπως θα κάνατε με οποιονδήποτε άλλο πίνακα.

Μετά τη δημιουργία και την αποθήκευση της ροής δεδομένων, επιλέξτε Επαυξητική ανανέωσηΕπαυξητική ανανέωση. στην προβολή πίνακα, όπως φαίνεται στην παρακάτω εικόνα.

Εικονίδιο επαυξητικής ανανέωσης για ροές δεδομένων.

Όταν επιλέγετε το εικονίδιο, εμφανίζεται το παράθυρο Ρυθμίσεις επαυξητικής ανανέωσης . Ενεργοποιήστε την επαυξητική ανανέωση.

Επαυξητική ανανέωση για ροές δεδομένων.

Η παρακάτω λίστα εξηγεί τις ρυθμίσεις στο παράθυρο Ρυθμίσεις επαυξητικής ανανέωσης .

  • Ενεργοποίηση/απενεργοποίηση επαυξητικής ανανέωσης: Ενεργοποιεί ή απενεργοποιεί την πολιτική επαυξητικής ανανέωσης για τον πίνακα.

  • Αναπτυσσόμενο πεδίο φίλτρου: Επιλέγει το πεδίο ερωτήματος στο οποίο ο πίνακας θα πρέπει να φιλτραριστεί για προσαυξήσεις. Αυτό το πεδίο περιέχει μόνο πεδία ημερομηνίας/ώρας. Δεν μπορείτε να χρησιμοποιήσετε την επαυξητική ανανέωση εάν ο πίνακάς σας δεν περιέχει ένα πεδίο ημερομηνίας/ώρας.

    Σημαντικό

    Επιλέξτε ένα πεδίο ημερομηνίας χωρίς αλλαγή για το φίλτρο επαυξητικής ανανέωσης. Εάν η τιμή πεδίου αλλάξει (για παράδειγμα, με ένα πεδίο ημερομηνίας τροποποίησης), αυτό μπορεί να οδηγήσει σε αποτυχίες ανανέωσης λόγω διπλότυπων τιμών στα δεδομένα.

  • Αποθήκευση/ανανέωση γραμμών από το παρελθόν: Το παράδειγμα στην προηγούμενη εικόνα απεικονίζει αυτές τις επόμενες ρυθμίσεις.

    Σε αυτό το παράδειγμα, ορίζουμε μια πολιτική ανανέωσης για την αποθήκευση συνολικά δεδομένων πέντε ετών και την επαυξητική ανανέωση δεδομένων 10 ημερών. Υποθέτοντας ότι ο πίνακας ανανεώνεται καθημερινά, εκτελούνται οι ακόλουθες ενέργειες για κάθε λειτουργία ανανέωσης:

    • Προσθέστε μια νέα ημέρα δεδομένων.

    • Ανανέωση 10 ημερών, έως την τρέχουσα ημερομηνία.

    • Κατάργηση ημερολογιακών ετών που είναι παλαιότερα των πέντε ετών πριν από την τρέχουσα ημερομηνία. Για παράδειγμα, εάν η τρέχουσα ημερομηνία είναι η 1η Ιανουαρίου 2019, το έτος 2013 καταργείται.

    Η πρώτη ανανέωση ροής δεδομένων μπορεί να χρειαστεί λίγο χρόνο για την εισαγωγή και των πέντε ετών, αλλά οι επόμενες ανανεώσεις είναι πιθανό να ολοκληρωθούν πολύ πιο γρήγορα.

  • Εντοπισμός αλλαγών δεδομένων: Μια επαυξητική ανανέωση 10 ημερών είναι πολύ πιο αποδοτική από μια πλήρη ανανέωση πέντε ετών, αλλά μπορεί να μπορείτε να κάνετε ακόμα καλύτερα. Όταν επιλέξετε το πλαίσιο ελέγχου Εντοπισμός αλλαγών δεδομένων, μπορείτε να επιλέξετε μια στήλη ημερομηνίας/ώρας για τον εντοπισμό και την ανανέωση μόνο των ημερών στις οποίες έχουν αλλάξει τα δεδομένα. Αυτό προϋποθέτει ότι μια τέτοια στήλη υπάρχει στο σύστημα προέλευσης, η οποία προορίζεται συνήθως για σκοπούς ελέγχου. Η μέγιστη τιμή αυτής της στήλης αξιολογείται για κάθε μία από τις περιόδους στην περιοχή επαύξησης. Εάν αυτά τα δεδομένα δεν έχουν αλλάξει από την τελευταία ανανέωση, δεν χρειάζεται να ανανεώσετε την περίοδο. Στο παράδειγμα, αυτό μπορεί να μειώσει περαιτέρω τις ημέρες της επαυξητικής ανανέωσης από 10 έως και σε 2 ημέρες ενδεχομένως.

    Φιλοδώρημα

    Η τρέχουσα σχεδίαση απαιτεί τη διατήρηση της στήλης που χρησιμοποιείται για τον εντοπισμό αλλαγών δεδομένων και την αποθήκευή της στη μνήμη cache. Μπορεί να θέλετε να λάβετε υπόψη σας μία από τις ακόλουθες τεχνικές για να μειώσετε την πληθικότητα και την κατανάλωση μνήμης:

    • Διατηρήστε μόνο τη μέγιστη τιμή αυτής της στήλης κατά τη στιγμή της ανανέωσης, ίσως χρησιμοποιώντας μια συνάρτηση Power Query.
    • Μειώστε την ακρίβεια σε ένα επίπεδο που είναι αποδεκτό δεδομένων των απαιτήσεων συχνότητας ανανέωσης.

  • Ανανέωση μόνο ολοκληρωμένων περιόδων: Φανταστείτε ότι η ανανέωσή σας έχει προγραμματιστεί για εκτέλεση στις 4:00 π.μ. κάθε ημέρα. Εάν τα δεδομένα εμφανίζονται στο σύστημα προέλευσης κατά τη διάρκεια των πρώτων τεσσάρων ωρών της ημέρας, μπορεί να μην θέλετε να ληφθούν υπόψη. Ορισμένα επιχειρηματικά μετρικά στοιχεία, όπως βαρέλια ανά ημέρα στη βιομηχανία πετρελαίου και φυσικού αερίου, δεν είναι πρακτικά ή λογικό να ληφθούν υπόψη βάσει μερικών ημερών.

    Ένα άλλο παράδειγμα όπου μόνο η ανανέωση πλήρων περιόδων είναι κατάλληλη, είναι η ανανέωση δεδομένων από ένα σύστημα οικονομικών στοιχείων. Φανταστείτε ένα σύστημα οικονομικών στοιχείων όπου τα δεδομένα για τον προηγούμενο μήνα εγκρίνονται την 12η ημερολογιακή ημέρα του μήνα. Μπορείτε να ορίσετε την περιοχή επαύξησης σε έναν μήνα και να προγραμματίσετε την εκτέλεση της ανανέωσης τη 12η ημέρα του μήνα. Με ενεργοποιημένη αυτήν την επιλογή, το σύστημα θα ανανεώσει τα δεδομένα Ιανουαρίου (η πιο πρόσφατη ολοκληρωμένη μηνιαία περίοδος) στις 12 Φεβρουαρίου.

Σημείωμα

Η επαυξητική ανανέωση ροής δεδομένων καθορίζει τις ημερομηνίες σύμφωνα με την παρακάτω λογική: εάν έχει προγραμματιστεί ανανέωση, η επαυξητική ανανέωση για ροές δεδομένων χρησιμοποιεί τη ζώνη ώρας που ορίζεται στην πολιτική ανανέωσης. Εάν δεν υπάρχει χρονοδιάγραμμα ανανέωσης, η επαυξητική ανανέωση χρησιμοποιεί την ώρα από τον υπολογιστή που εκτελεί την ανανέωση.

Αφού ρυθμιστεί η επαυξητική ανανέωση, η ροή δεδομένων αλλάζει αυτόματα το ερώτημά σας για να συμπεριλάβει φιλτράρισμα κατά ημερομηνία. Εάν η ροή δεδομένων δημιουργήθηκε στο Power BI, μπορείτε επίσης να επεξεργαστείτε το ερώτημα που δημιουργείται αυτόματα, χρησιμοποιώντας το προηγμένο πρόγραμμα επεξεργασίας στο Power Query για να βελτιστοποιήσετε ή να προσαρμόσετε την ανανέωσή σας. Διαβάστε περισσότερα σχετικά με την επαυξητική ανανέωση και τον τρόπο λειτουργίας της στις παρακάτω ενότητες.

Σημείωμα

Όταν επεξεργάζεστε τη ροή δεδομένων, το πρόγραμμα επεξεργασίας Power Query συνδέεται απευθείας με την προέλευση δεδομένων και δεν εμφανίζει τα δεδομένα που είναι αποθηκευμένα/φιλτραρισμένα στη ροή δεδομένων μετά την επεξεργασία τους από την πολιτική επαυξητικής ανανέωσης. Για να ελέγξετε τα δεδομένα που είναι αποθηκευμένα στο cache μέσα στη ροή δεδομένων, συνδεθείτε από το Power BI Desktop στη ροή δεδομένων μετά τη ρύθμιση της πολιτικής επαυξητικής ανανέωσης και την ανανέωση της ροής δεδομένων.

Επαυξητική ανανέωση και συνδεδεμένοι πίνακες σε σύγκριση με υπολογισμένους πίνακες

Για συνδεδεμένους πίνακες, η επαυξητική ανανέωση ενημερώνει τον πίνακα προέλευσης. Επειδή οι συνδεδεμένοι πίνακες είναι απλώς ένας δείκτης για τον αρχικό πίνακα, η επαυξητική ανανέωση δεν έχει καμία επίδραση στον συνδεδεμένο πίνακα. Όταν ο πίνακας προέλευσης ανανεώνεται σύμφωνα με την καθορισμένη πολιτική ανανέωσης, οποιοσδήποτε συνδεδεμένος πίνακας θα υποθέτει ότι τα δεδομένα στην προέλευση ανανεώνονται.

Οι υπολογιζόμενοι πίνακες βασίζονται σε ερωτήματα που εκτελούνται σε έναν χώρο αποθήκευσης δεδομένων, ο οποίος μπορεί να είναι μια άλλη ροή δεδομένων. Ως εκ τούτου, οι υπολογισμένοι πίνακες συμπεριφέρονται με τον ίδιο τρόπο όπως οι συνδεδεμένοι πίνακες.

Επειδή οι υπολογιζόμενοι πίνακες και οι συνδεδεμένοι πίνακες συμπεριφέρονται παρόμοια, οι απαιτήσεις και τα βήματα ρύθμισης παραμέτρων είναι ίδια και για τους δύο. Μία διαφορά είναι ότι για τους υπολογισμένους πίνακες, σε ορισμένες ρυθμίσεις παραμέτρων, η επαυξητική ανανέωση δεν μπορεί να εκτελεστεί βελτιστοποιημένη, λόγω του τρόπου δημιουργίας των διαμερισμάτων.

Αλλαγή μεταξύ επαυξητικής και πλήρους ανανέωσης

Οι ροές δεδομένων υποστηρίζουν αλλαγή της πολιτικής ανανέωσης μεταξύ επαυξητικής και πλήρους ανανέωσης. Όταν πραγματοποιείται μια αλλαγή σε οποιαδήποτε κατεύθυνση (πλήρης σε επαυξητική ή επαυξητική σε πλήρη), η αλλαγή επηρεάζει τη ροή δεδομένων μετά την επόμενη ανανέωση.

Όταν μετακινείτε μια ροή δεδομένων από πλήρη ανανέωση σε επαυξητική, η νέα λογική ανανέωσης ενημερώνει τη ροή δεδομένων, τηρώντας το παράθυρο ανανέωσης και την αύξηση, όπως ορίζεται στις ρυθμίσεις επαυξητικής ανανέωσης.

Όταν μετακινείτε μια ροή δεδομένων από επαυξητική σε πλήρη ανανέωση, όλα τα δεδομένα που συγκεντρώνονται στην επαυξητική ανανέωση αντικαθίστανται από την πολιτική που ορίζεται στην πλήρη ανανέωση. Πρέπει να εγκρίνετε αυτήν την ενέργεια.

Υποστήριξη ζώνης ώρας σε επαυξητική ανανέωση

Η επαυξητική ανανέωση ροής δεδομένων εξαρτάται της ώρας εκτέλεσης. Το φιλτράρισμα του ερωτήματος εξαρτάται της ημέρας εκτέλεσης.

Για την εξυπηρέτηση αυτών των εξαρτήσεων και για να εξασφαλιστεί η συνέπεια των δεδομένων, η επαυξητική ανανέωση για ροές δεδομένων εφαρμόζει τα παρακάτω ευρετικά για σενάρια άμεσης ανανέωσης :

  • Στην περίπτωση όπου ορίζεται στο σύστημα μια προγραμματισμένη ανανέωση, η επαυξητική ανανέωση χρησιμοποιεί τις ρυθμίσεις ζώνης ώρας από την ενότητα προγραμματισμένης ανανέωσης. Αυτό εξασφαλίζει ότι σε οποιαδήποτε ζώνη ώρας και αν βρίσκεται το άτομο που ανανεώνει τη ροή δεδομένων, θα είναι πάντα συνεπής με τον ορισμό του συστήματος.

  • Εάν δεν έχει οριστεί προγραμματισμένη ανανέωση, οι ροές δεδομένων χρησιμοποιούν τη ζώνη ώρας από τον υπολογιστή του χρήστη που εκτελεί την ανανέωση.

Η επαυξητική ανανέωση μπορεί επίσης να κληθεί χρησιμοποιώντας API. Σε αυτή την περίπτωση, η κλήση API μπορεί να περιέχει μια ρύθμιση ζώνης ώρας που χρησιμοποιείται στην ανανέωση. Η χρήση API μπορεί να είναι χρήσιμη για σκοπούς δοκιμής και επικύρωσης.

Λεπτομέρειες υλοποίησης επαυξητικής ανανέωσης

Οι ροές δεδομένων χρησιμοποιούν διαμερισμό για επαυξητική ανανέωση. Η επαυξητική ανανέωση στις ροές δεδομένων διατηρεί τον ελάχιστο αριθμό διαμερισμάτων ώστε να ικανοποιεί τις απαιτήσεις πολιτικής ανανέωσης. Τα παλιά διαμερίσματα που τίθενται εκτός περιοχής απορρίπτονται, το οποίο διατηρεί ένα κυλιόμενο παράθυρο. Τα διαμερίσματα συγχωνεύονται ανά διαστήματα, μειώνοντας τον συνολικό αριθμό απαιτούμενων διαμερισμάτων. Αυτό βελτιώνει τη συμπίεση και, σε ορισμένες περιπτώσεις, μπορεί να βελτιώσει την απόδοση των ερωτημάτων.

Τα παραδείγματα σε αυτήν την ενότητα μοιράζονται την ακόλουθη πολιτική ανανέωσης:

  • Αποθήκευση γραμμών στο τελευταίο 1 τρίμηνο
  • Ανανέωση γραμμών τις τελευταίες 10 ημέρες
  • Εντοπισμός αλλαγών δεδομένων = False
  • Ανανέωση μόνο των ολοκληρωμένων ημερών = True

Συγχώνευση διαμερισμάτων

Σε αυτό το παράδειγμα, τα ημερήσια διαμερίσματα συγχωνεύονται αυτόματα στο επίπεδο μήνα αφού μεταβούν εκτός της περιοχής επαύξησης. Τα διαμερίσματα στην περιοχή επαύξησης πρέπει να διατηρούνται σε ημερήσια βάση, ώστε να επιτρέπεται η ανανέωση μόνο εκείνων των ημερών. Η λειτουργία ανανέωσης με Ημερομηνία εκτέλεσης 11/12/2016 συγχωνεύει τις ημέρες του Νοεμβρίου, καθώς βρίσκονται εκτός της περιοχής επαύξησης.

Συγχωνεύστε διαμερίσματα σε ροές δεδομένων.

Κατάργηση παλαιών διαμερισμάτων

Τα παλιά διαμερίσματα που βρίσκονται εκτός της συνολικής περιοχής καταργούνται. Η λειτουργία ανανέωσης με Ημερομηνία εκτέλεσης 2/1/2017 απορρίπτει το διαμέρισμα για το Τ3 του 2016, επειδή βρίσκεται εκτός της συνολικής περιοχής.

Κατάργηση παλαιών διαμερισμάτων σε ροές δεδομένων.

Ανάκτηση από μακροχρόνια αποτυχία

Αυτό το παράδειγμα προσομοιώνει τον τρόπο με τον οποίο το σύστημα ανακτάται διακριτικά από μακροχρόνια αποτυχία. Ας υποθέσουμε ότι η ανανέωση δεν εκτελείται με επιτυχία επειδή έχουν λήξει τα διαπιστευτήρια της προέλευσης δεδομένων και ότι το πρόβλημα απαιτεί 13 ημέρες για να επιλυθεί. Η περιοχή επαύξησης είναι μόνο 10 ημέρες.

Η επόμενη επιτυχημένη λειτουργία ανανέωσης, με Ημερομηνία εκτέλεσης 15/1/2017, χρειάζεται να αναπλήρωση των 13 ημερών που λείπουν και να τις ανανεώσει. Χρειάζεται επίσης να ανανεώσει τις προηγούμενες εννέα ημέρες, επειδή δεν ανανεώθηκε σύμφωνα με το κανονικό χρονοδιάγραμμα. Με άλλα λόγια, η περιοχή επαύξησης αυξάνεται από 10 σε 22 ημέρες.

Η επόμενη λειτουργία ανανέωσης, με Ημερομηνία εκτέλεσης 16/1/2017, λαμβάνει την ευκαιρία να συγχωνεύσει τις ημέρες τον Δεκέμβριο και τους μήνες στο Τ4 του 2016.

Ανάκτηση από μακροχρόνια αποτυχία στις ροές δεδομένων.

Επαυξητική ανανέωση ροής δεδομένων και σύνολα δεδομένων

Η επαυξητική ανανέωση ροής δεδομένων και η επαυξητική ανανέωση συνόλου δεδομένων έχουν σχεδιαστεί για λειτουργία σε σειρά. Είναι αποδεκτό και υποστηρίζεται η παρουσία ενός πίνακα επαυξητικής ανανέωσης σε μια ροή δεδομένων, πλήρως φορτωμένο σε ένα σύνολο δεδομένων ή έναν πλήρως φορτωμένο πίνακα σε μια ροή δεδομένων επαυξητικής φόρτωσης σε ένα σύνολο δεδομένων.

Και οι δύο προσεγγίσεις λειτουργούν σύμφωνα με τους καθορισμένους ορισμούς σας στις ρυθμίσεις ανανέωσης. Περισσότερες πληροφορίες: Επαυξητική ανανέωση στο Power BI Premium

Δείτε επίσης

Αυτό το άρθρο περιέγραψε την επαυξητική ανανέωση για ροές δεδομένων. Δείτε ορισμένα ακόμα άρθρα που μπορεί να σας φανούν χρήσιμα:

Για περισσότερες πληροφορίες σχετικά με το Power Query και την προγραμματισμένη ανανέωση, μπορείτε να διαβάσετε αυτά τα άρθρα:

Για περισσότερες πληροφορίες σχετικά με το Common Data Model, μπορείτε να διαβάσετε το άρθρο επισκόπησης: