Υποβολή ερωτημάτων σε δεδομένα με χρήση της εξερεύνησης ερωτημάτων lakehouse

Η εξερεύνηση ερωτημάτων lakehouse είναι ένα ενσωματωμένο πρόγραμμα επεξεργασίας ερωτημάτων που είναι ενσωματωμένο απευθείας στην εξερεύνηση Lakehouse. Μπορείτε να γράψετε και να εκτελέσετε ερωτήματα Spark SQL σε σχέση με τα δεδομένα του lakehouse σας χωρίς να φύγετε από τον εξερευνητή. Δεν χρειάζεται να μεταβείτε στο τελικό σημείο ανάλυσης SQL ή να δημιουργήσετε ένα σημειωματάριο για γρήγορη εξερεύνηση δεδομένων.

Ο εξερευνητής ερωτημάτων χρησιμοποιεί το Apache Spark ως μηχανή εκτέλεσης αξιοποιώντας το τελικό σημείο Livy lakehouse. Έχετε την ίδια διάλεκτο SQL με τα σημειωματάρια Spark, υποστήριξη για λειτουργίες ανάγνωσης και εγγραφής και τη δυνατότητα αποτελεσματικής υποβολής ερωτημάτων σε μεγάλα σύνολα δεδομένων.

Άνοιγμα της εξερεύνησης ερωτημάτων

Μπορείτε να ανοίξετε την εξερεύνηση ερωτημάτων από την εξερεύνηση Lakehouse με τους ακόλουθους τρόπους:

• Επάνω μενού πλοήγησης — Επιλέξτε Νέο ερώτημα SparkSQL από το επάνω μενού πλοήγησης. Μια κενή καρτέλα ερωτήματος ανοίγει ενσωματωμένη στον εξερευνητή Lakehouse.
• Αριστερό μενού πλοήγησης — Κάντε δεξί κλικ σε οποιονδήποτε πίνακα, προβολή ή συντόμευση στο δέντρο του εξερευνητή και επιλέξτε Νέο ερώτημα SparkSQL. Ανοίγει μια καρτέλα ερωτήματος με μια προσυμπληρωμένη SELECT * FROM <table> LIMIT 100 πρόταση.

Το δέντρο του εξερευνητή παραμένει ορατό στα αριστερά όταν ο εξερευνητής ερωτημάτων είναι ανοιχτός, ώστε να μπορείτε να αναφέρετε σχήματα και πίνακες κατά τη σύνταξη ερωτημάτων.

Δυνατότητες του προγράμματος επεξεργασίας ερωτημάτων

Το πρόγραμμα επεξεργασίας ερωτημάτων παρέχει μια παραγωγική εμπειρία σύνταξης για το Spark SQL:

• IntelliSense — Αυτόματη συμπλήρωση για ονόματα πινάκων, ονόματα στηλών, σχήματα και συναρτήσεις SQL. Μετά την πληκτρολόγηση FROM, το IntelliSense προτείνει διαθέσιμα lakehouses, σχήματα και πίνακες. Οι προτάσεις στηλών εμφανίζονται όταν γίνεται αναφορά σε έναν πίνακα στο ερώτημα. Τοποθετήστε τον δείκτη του ποντικιού πάνω από το όνομα ενός πίνακα για να δείτε τις στήλες του σε ένα αναδυόμενο παράθυρο.
• Επισήμανση σύνταξης — Λέξεις-κλειδιά, αναγνωριστικά και κυριολεκτικές λέξεις SQL με χρωματική κωδικοποίηση.
• Μορφή — Επιλέξτε Μορφοποίηση στη γραμμή εργαλείων για αυτόματη εσοχή και δομή της SQL.
• Εκτέλεση και ακύρωση — Επιλέξτε Εκτέλεση για να εκτελέσετε το ερώτημα ή Άκυρο για να διακόψετε την εκτέλεση ενός ερωτήματος.
• Αριθμοί γραμμών και αναδίπλωση κώδικα — Συμπτύξτε μεγάλες ενότητες ερωτημάτων για ευκολότερη πλοήγηση.

Δυναμικές καρτέλες

Μπορείτε να ανοίξετε πολλές καρτέλες ερωτημάτων ταυτόχρονα και να κάνετε εναλλαγή μεταξύ τους αμέσως. Κάθε καρτέλα διατηρεί το δικό της κείμενο ερωτήματος, την κατάσταση εκτέλεσης και τα αποτελέσματα ανεξάρτητα.

Για να ανοίξετε μια νέα καρτέλα, επιλέξτε Νέο ερώτημα SparkSQL από την κορδέλα ή το μενού περιβάλλοντος. Για να κλείσετε μια καρτέλα, επιλέξτε το X στην καρτέλα. Το κλείσιμο μιας καρτέλας δεν επηρεάζει τις άλλες.

Οι δυναμικές καρτέλες είναι χρήσιμες όταν χρειάζεται να εξερευνήσετε διαφορετικές πτυχές των δεδομένων σας ταυτόχρονα. Για παράδειγμα, μία καρτέλα για παραγγελίες, μία για πελάτες και μία για τοπικές αναλύσεις.

Σημείωση

Οι καρτέλες δεν είναι μόνιμες σε όλες τις περιόδους σύνδεσης. Εάν κλείσετε ή απομακρυνθείτε από το lakehouse, χάνετε όλες τις ανοιχτές καρτέλες και το περιεχόμενο του ερωτήματός τους.

Εκτέλεση ερωτημάτων

Όταν επιλέγετε Εκτέλεση από τη γραμμή εργαλείων του παραθύρου ερωτήματος, η εξερεύνηση ερωτημάτων συνδέεται σε μια ελαφριά περίοδο λειτουργίας Spark που χρησιμοποιεί το τελικό σημείο lakehouse Livy και είναι βελτιστοποιημένη για γρήγορη εκκίνηση.

Η γραμμή κατάστασης στο κάτω μέρος της εξερεύνησης ερωτημάτων εμφανίζει την τρέχουσα κατάσταση περιόδου λειτουργίας:

Κατάσταση	Έννοια
Μη συνδεδεμένο	Δεν υπάρχει ενεργή περίοδος λειτουργίας Spark.
Εναρκτήρια συνεδρία	Μια νέα περίοδος λειτουργίας Spark προετοιμάζεται (μόνο ψυχρή εκκίνηση).
Εκτέλεση ερωτήματος	Το ερώτημά σας εκτελείται.
Έτοιμη συνεδρία	Η συνεδρία είναι ενεργή και έτοιμη για το επόμενο ερώτημα.

Σε επόμενα ερωτήματα (θερμή εκκίνηση), η εκτέλεση ξεκινά αμέσως χωρίς το βήμα "Έναρξη συνεδρίας".

Υποστηριζόμενες προτάσεις SQL

Η εξερεύνηση ερωτημάτων υποστηρίζει όλες τις προτάσεις Spark SQL, συμπεριλαμβανομένων των εξής:

• SELECT — Υποβολή ερωτημάτων και εξερεύνηση δεδομένων σε σχήματα και λίμνες.
• DML — ΕΙΣΑΓΩΓΗ, ΕΝΗΜΕΡΩΣΗ, ΔΙΑΓΡΑΦΗ και ΣΥΓΧΩΝΕΥΣΗ για τροποποιήσεις δεδομένων.
• DDL — ΔΗΜΙΟΥΡΓΙΑ ΠΡΟΒΟΛΗΣ, ΔΗΜΙΟΥΡΓΙΑ ΠΙΝΑΚΑ, ΑΛΛΑΓΗ και DROP για διαχείριση σχήματος.
• Προτάσεις βοηθητικού προγράμματος — ΠΕΡΙΓΡΑΦΗ, ΕΜΦΑΝΙΣΗ ΠΙΝΑΚΩΝ, ΕΜΦΑΝΙΣΗ ΣΧΗΜΑΤΩΝ και άλλα ερωτήματα μεταδεδομένων.

Σημείωση

Η εξερεύνηση ερωτημάτων δεν υποστηρίζει τη δημιουργία υλοποιημένων προβολών. Εάν η εξερεύνηση ερωτημάτων εντοπίσει σύνταξη υλοποιημένης προβολής, ένα παράθυρο διαλόγου σάς ζητά να χρησιμοποιήσετε ένα σημειωματάριο.

Ερωτήματα μεταξύ σχημάτων και cross-lakehouse

Μπορείτε να υποβάλετε ερωτήματα σε πίνακες σε διαφορετικά σχήματα στην ίδια λίμνη, σε πολλές λίμνες στον ίδιο χώρο εργασίας, ακόμη και σε λίμνες σε διαφορετικούς χώρους εργασίας - όλα από μία καρτέλα ερωτήματος.

• Cross-schema — Πίνακες αναφοράς με χρήση schema_name.table_name σύνταξης (για παράδειγμα, SELECT * FROM sales.orders JOIN marketing.campaigns ON ...).
• Cross-lakehouse — Χρησιμοποιήστε την πλήρως προσδιορισμένη διαδρομή workspace_name.lakehouse_name.schema_name.table_name για να υποβάλετε ερωτήματα σε πίνακες σε άλλα lakehouses.

Συμβουλή

Προσθέστε το αναφερόμενο lakehouse στο παράθυρο εξερεύνησης (χρησιμοποιώντας το Add lakehouse) για να ενεργοποιήσετε τις προτάσεις IntelliSense για ερωτήματα μεταξύ λιμνών. Τα ερωτήματα εκτελούνται με επιτυχία ακόμη και χωρίς την προσθήκη της αναφοράς, αλλά δεν λαμβάνετε υποστήριξη αυτόματης συμπλήρωσης.

Αποτελέσματα

Τα αποτελέσματα του ερωτήματος εμφανίζονται σε ένα πλέγμα κάτω από το πρόγραμμα επεξεργασίας. Το πλέγμα αποτελεσμάτων παρέχει:

• Ταξινόμηση στηλών — Επιλέξτε μια κεφαλίδα στήλης για αύξουσα ή φθίνουσα ταξινόμηση.
• Αναζήτηση και φιλτράρισμα — Φιλτράρετε τα αποτελέσματα ενσωματωμένα για να βρείτε συγκεκριμένες τιμές.
• Ένδειξη πλήθους γραμμών — Εμφανίζει τον αριθμό των γραμμών που επιστράφηκαν. Τα αποτελέσματα περιορίζονται στις 1.000 σειρές από προεπιλογή. Εμφανίζεται μια σαφής ένδειξη όταν τα αποτελέσματα περικόπτονται.
• Αντιγραφή — Επιλέξτε κελιά και αντιγράψτε με Ctrl+C. Επικόλληση στο Excel ή σε άλλα εργαλεία.
• Εξαγωγή — Λήψη αποτελεσμάτων σε μορφή CSV, JSON ή XML.
• Ενσωματωμένα γραφήματα — Δημιουργήστε ράβδους, γραμμές, πίτα και άλλους τύπους γραφημάτων απευθείας από το σύνολο αποτελεσμάτων. Τα γραφήματα ενημερώνονται όταν αλλάζετε τον τύπο γραφήματος ή τα υποκείμενα δεδομένα. Δεν απαιτείται κώδικας οπτικοποίησης.

Δημιουργία προβολών

Μπορείτε να δημιουργήσετε προβολές απευθείας από την εξερεύνηση ερωτημάτων, για να διατηρήσετε χρήσιμα ερωτήματα ως επαναχρησιμοποιήσιμα στοιχεία. Οι προβολές εμφανίζονται αυτόματα στο δέντρο εξερεύνησης Lakehouse μαζί με πίνακες.

Υπάρχουν δύο τρόποι για να δημιουργήσετε μια προβολή:

• Πρόταση SQL — Γράψτε και εκτελέστε μια CREATE VIEW πρόταση στο πρόγραμμα επεξεργασίας. Για περισσότερες πληροφορίες σχετικά με τις προβολές Spark, ανατρέξτε στο θέμα Προβολές Spark στο lakehouse.

  CREATE VIEW my_view AS
  SELECT customer_id, SUM(amount) AS total
  FROM sales.orders
  GROUP BY customer_id
  

• Αποθήκευση ως προβολή — Μετά την εκτέλεση ενός ερωτήματος SELECT, επιλέξτε Αποθήκευση ως προβολής στη γραμμή εργαλείων. Δώστε ένα όνομα για την προβολή στο παράθυρο διαλόγου.

Σημείωση

Χρειάζεστε πρόσβαση εγγραφής στο lakehouse για να δημιουργήσετε προβολές. Εάν δεν έχετε δικαιώματα εγγραφής, η δημιουργία προβολής επιστρέφει ένα σφάλμα δικαιωμάτων.

Περιορισμοί

• Μόνο Spark SQL — Η εξερεύνηση ερωτημάτων υποστηρίζει το Spark SQL. Τα PySpark, Scala και R δεν υποστηρίζονται. Για υποστήριξη πολλών γλωσσών, χρησιμοποιήστε ένα σημειωματάριο.
• Χωρίς αποθήκευση ερωτημάτων — Τα ερωτήματα δεν διατηρούνται σε όλες τις περιόδους λειτουργίας. Για να διατηρήσετε ένα χρήσιμο ερώτημα, αποθηκεύστε το ως προβολή.
• Χωρίς ιστορικό ερωτημάτων — Τα προηγούμενα ερωτήματα δεν αποθηκεύονται. Η αποθήκευση ερωτημάτων και το ιστορικό έχουν προγραμματιστεί για μελλοντική έκδοση.
• Χωρίς δημιουργία υλοποιημένης προβολής — Η δημιουργία υλοποιημένης προβολής (MLV) δεν υποστηρίζεται. Χρησιμοποιήστε ένα σημειωματάριο για να δημιουργήσετε υλοποιημένες προβολές.
• Χωρίς συνεργασία σε πραγματικό χρόνο — Η εξερεύνηση ερωτημάτων δεν υποστηρίζει τη ζωντανή σύνταξη από κοινού.
• Χωρίς προγραμματισμό ερωτημάτων — Για προγραμματισμένη εκτέλεση ερωτημάτων, χρησιμοποιήστε διοχετεύσεις ή σημειωματάρια.

Σχετικό περιεχόμενο

• Περιηγηθείτε στον εξερευνητή Lakehouse
• Τι είναι το lakehouse;
• Τελικό σημείο ανάλυσης SQL Lakehouse
• Εξερεύνηση δεδομένων με ένα σημειωματάριο lakehouse
• Θέα με σπινθήρα στο σπίτι της λίμνης