Ζητήματα πύλης δεδομένων εσωτερικής εγκατάστασης για προορισμούς δεδομένων στο Dataflow Gen2
Αυτό το άρθρο προσπαθεί να παρατίθενται οι περιορισμοί και τα ζητήματα κατά τη χρήση της πύλης δεδομένων με σενάρια προορισμού δεδομένων στο Dataflow Gen2.
Λήξεις χρονικού ωρών αξιολόγησης
Οι ροές δεδομένων που χρησιμοποιούν μια πύλη και τη δυνατότητα προορισμού δεδομένων περιορίζονται σε χρόνο αξιολόγησης ή ανανέωσης μίας ώρας.
Μάθετε περισσότερα σχετικά με αυτόν τον περιορισμό από το άρθρο στο άρθρο Αντιμετώπιση προβλημάτων της πύλης δεδομένων εσωτερικής εγκατάστασης.
Προβλήματα δικτύου με τη θύρα 1433
Όταν χρησιμοποιείτε το Microsoft Fabric Dataflow Gen2 με μια πύλη δεδομένων εσωτερικής εγκατάστασης, ενδέχεται να αντιμετωπίσετε προβλήματα με τη διαδικασία ανανέωσης ροής δεδομένων. Το υποκείμενο πρόβλημα παρουσιάζεται όταν η πύλη δεν είναι δυνατό να συνδεθεί στο Lakehouse προεργασίας ροής δεδομένων προκειμένου να διαβάσει τα δεδομένα πριν από την αντιγραφή στον επιθυμητό προορισμό δεδομένων. Αυτό το πρόβλημα μπορεί να προκύψει ανεξάρτητα από τον τύπο προορισμού δεδομένων που χρησιμοποιείται.
Κατά τη διάρκεια της συνολικής ανανέωσης ροής δεδομένων, η ανανέωση των πινάκων μπορεί να εμφανίζεται ως "Ολοκληρώθηκε με επιτυχία", αλλά η ενότητα δραστηριοτήτων εμφανίζεται ως "Αποτυχία". Οι λεπτομέρειες σφάλματος για τη δραστηριότητα WriteToDatabaseTableFrom_... υποδεικνύουν το ακόλουθο σφάλμα:
Mashup Exception Error: Couldn't refresh the entity because of an issue with the mashup document MashupException.Error: Microsoft SQL: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.) Details: DataSourceKind = Lakehouse;DataSourcePath = Lakehouse;Message = A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server was not found or was not accessible. Verify that the instance name is correct and that SQL Server is configured to allow remote connections. (provider: TCP Provider, error: 0 - An attempt was made to access a socket in a way forbidden by its access permissions.);ErrorCode = -2146232060;Number = 10013
Σημείωμα
Από αρχιτεκτονικής, ο μηχανισμός ροής δεδομένων χρησιμοποιεί ένα εξερχόμενο τελικό σημείο HTTPS (θύρα 443) για την εγγραφή δεδομένων σε ένα Lakehouse. Ωστόσο, η ανάγνωση δεδομένων από το Lakehouse απαιτεί τη χρήση του πρωτοκόλλου TDS (TCP πάνω από τη θύρα 1433). Αυτό το πρωτόκολλο χρησιμοποιείται για την αντιγραφή των δεδομένων από τη λίμνη προεργασίας στον προορισμό δεδομένων. Αυτό εξηγεί γιατί το βήμα Φόρτωση πινάκων είναι επιτυχές ενώ αποτυγχάνει η δραστηριότητα προορισμού δεδομένων, ακόμα και όταν αμφότερες οι λίμνες βρίσκονται στην ίδια παρουσία OneLake.
Αντιμετώπιση προβλημάτων
Για να αντιμετωπίσετε το πρόβλημα, ακολουθήστε τα εξής βήματα:
Επιβεβαιώστε ότι η ροή δεδομένων έχει ρυθμιστεί με έναν προορισμό δεδομένων.
Επαληθεύστε ότι η ανανέωση ροής δεδομένων αποτυγχάνει, με την ανανέωση πινάκων να εμφανίζεται ως "Ολοκληρώθηκε με επιτυχία" και τις δραστηριότητες να εμφανίζονται ως "Αποτυχία".
Εξετάστε τις λεπτομέρειες σφάλματος για τη Δραστηριότητα
WriteToDatabaseTableFrom_..., η οποία παρέχει πληροφορίες σχετικά με το σφάλμα που παρουσιάστηκε.
Λύση: Ορισμός νέων κανόνων τείχους προστασίας για την εκτέλεση της πύλης από τον διακομιστή
Οι κανόνες τείχους προστασίας στον διακομιστή πύλης ή/και στους διακομιστές μεσολάβησης του πελάτη πρέπει να ενημερωθούν ώστε να επιτρέπουν την εξερχόμενη κυκλοφορία από τον διακομιστή πύλης στα παρακάτω τελικά σημεία. Εάν το τείχος προστασίας σας δεν υποστηρίζει χαρακτήρες μπαλαντέρ, χρησιμοποιήστε τότε τις διευθύνσεις IP από περιοχές διευθύνσεων IP του Azure και ετικέτες υπηρεσίας. Σημειώστε ότι θα πρέπει να διατηρούνται συγχρονισμένα κάθε μήνα.
- Πρωτόκολλο: TCP
- Τελικά σημεία: *.datawarehouse.pbidedicated.windows.net, *.datawarehouse.fabric.microsoft.com, *.dfs.fabric.microsoft.com
- Θύρα: 1433
Σημείωμα
Σε ορισμένα σενάρια, ιδιαίτερα όταν οι εκχωρημένοι πόροι βρίσκονται σε μια περιοχή που δεν είναι η πλησιέστερη στην πύλη, μπορεί να χρειαστεί να ρυθμίσετε τις παραμέτρους του τείχους προστασίας για να επιτρέψετε την πρόσβαση σε πολλά τελικά σημεία(*cloudapp.azure.com). Αυτή η προσαρμογή απαιτείται για την εξυπηρέτηση ανακατευθύνσεων που μπορεί να προκύψουν υπό αυτές τις συνθήκες. Εάν η κυκλοφορία που ορίζεται σε *.cloudapp.azure.com δεν αναχαιτιστεί από τον κανόνα, μπορείτε εναλλακτικά να επιτρέψετε τις διευθύνσεις IP για την περιοχή δεδομένων σας στο τείχος προστασίας σας.
Εάν θέλετε να περιορίσετε την εμβέλεια του τελικού σημείου στην πραγματική παρουσία OneLake σε έναν χώρο εργασίας (αντί για τον χαρακτήρα μπαλαντέρ *.datawarehouse.pbidedicated.windows.net), αυτή η διεύθυνση URL μπορεί να βρεθεί μεταβαίνοντας στον χώρο εργασίας Fabric, εντοπίζοντας DataflowsStagingLakehouseκαι επιλέγοντας Προβολή λεπτομερειών. Στη συνέχεια, αντιγράψτε και επικολλήστε τη συμβολοσειρά σύνδεσης SQL.
Ολόκληρο το όνομα τελικού σημείου μοιάζει με το ακόλουθο παράδειγμα:
x6eps4xrq2xudenlfv6naeo3i4-l27nd6wdk4oephe4gz4j7mdzka.datawarehouse.pbidedicated.windows.net
Λύση: Διαίρεση ροής δεδομένων σε ξεχωριστή πρόσληψη και φόρτωση ροής δεδομένων
Εάν δεν μπορείτε να ενημερώσετε τους κανόνες τείχους προστασίας, μπορείτε να διαιρέσετε τη ροή δεδομένων σε δύο ξεχωριστές ροές δεδομένων. Η πρώτη ροή δεδομένων είναι υπεύθυνη για την πρόσληψη των δεδομένων στο lakehouse προεργασίας. Η δεύτερη ροή δεδομένων είναι υπεύθυνη για τη φόρτωση των δεδομένων από τη λίμνη προεργασίας στον προορισμό δεδομένων. Αυτή η λύση δεν είναι ιδανική, καθώς απαιτεί τη χρήση δύο ξεχωριστών ροών δεδομένων, ωστόσο μπορεί να χρησιμοποιηθεί ως προσωρινή λύση μέχρι να ενημερωθούν οι κανόνες τείχους προστασίας.
Για να υλοποιήσετε αυτήν τη λύση, ακολουθήστε τα εξής βήματα:
Καταργήστε τον προορισμό δεδομένων από την τρέχουσα ροή δεδομένων που καταναλώνει δεδομένα μέσω της πύλης σας.
Δημιουργήστε μια νέα ροή δεδομένων που χρησιμοποιεί τη σύνδεση ροής δεδομένων για να συνδεθείτε στη ροή δεδομένων πρόσληψης. Αυτή η ροή δεδομένων είναι υπεύθυνη για την πρόσληψη δεδομένων από την προεργασία στον προορισμό δεδομένων.
Ορίστε τον προορισμό δεδομένων ως τον προορισμό δεδομένων της επιλογής σας για αυτήν τη νέα ροή δεδομένων.
Προαιρετικά, μπορείτε να απενεργοποιήσετε τη προεργασία για αυτήν τη νέα ροή δεδομένων. Αυτή η αλλαγή αποτρέπει την εκ νέου αντιγραφή των δεδομένων στη λίμνη προεργασίας και αντί για αυτό αντιγράφει τα δεδομένα απευθείας από τη ροή δεδομένων πρόσληψης στον προορισμό δεδομένων.
