Παρακολούθηση εφαρμογών Apache Spark με την ανάλυση αρχείων καταγραφής Azure (προεπισκόπηση)

Η επέκταση διαγνωστικού πομπού Fabric Apache Spark είναι μια βιβλιοθήκη που επιτρέπει στις εφαρμογές Apache Spark να εκπέμπουν αρχεία καταγραφής, αρχεία καταγραφής συμβάντων και μετρικά σε πολλούς προορισμούς, όπως ανάλυση αρχείων καταγραφής Azure, χώρο αποθήκευσης Azure και κέντρα συμβάντων Azure.

Σε αυτή την εκμάθηση, θα μάθετε πώς μπορείτε να ρυθμίσετε και να εκπέμετε αρχεία καταγραφής και μετρικά Spark στο Log analytics στο Fabric. Αφού ρυθμιστούν οι παράμετροι, μπορείτε να συλλέξετε και να αναλύσετε μετρικά εφαρμογής Apache Spark και αρχεία καταγραφής στον χώρο εργασίας σας ανάλυσης αρχείων καταγραφής.

Ρύθμιση παραμέτρων πληροφοριών χώρου εργασίας

Ακολουθήστε αυτά τα βήματα για να ρυθμίσετε τις παραμέτρους των απαραίτητων πληροφοριών στο Fabric.

Βήμα 1: Δημιουργία χώρου εργασίας log Analytics

Συμβουλευτείτε έναν από τους παρακάτω πόρους για να δημιουργήσετε αυτόν τον χώρο εργασίας:

• Δημιουργήστε έναν χώρο εργασίας στην πύλη Azure.
• Δημιουργήστε έναν χώρο εργασίας με το Azure CLI.
• Δημιουργήστε και ρυθμίστε τις παραμέτρους ενός χώρου εργασίας στο Azure Monitor χρησιμοποιώντας το PowerShell.

Βήμα 2: Δημιουργία ενός τεχνουργήματος περιβάλλοντος Fabric με ρύθμιση παραμέτρων Apache Spark

Για να ρυθμίσετε τις παραμέτρους του Spark, δημιουργήστε ένα Αντικείμενο σχεδίασης περιβάλλοντος Fabric και κάντε μία από τις ακόλουθες επιλογές:

Επιλογή 1: Ρύθμιση παραμέτρων με το αναγνωριστικό και το κλειδί χώρου εργασίας του Log Analytics

1. Δημιουργία ενός αντικειμένου σχεδίασης περιβάλλοντος Fabric στο Fabric

2. Προσθέστε τις ακόλουθες ιδιότητες Spark με τις κατάλληλες τιμές στο αντικείμενο σχεδίασης περιβάλλοντος ή επιλέξτε Προσθήκη από .yml στην κορδέλα για να κάνετε λήψη του δείγματος αρχείου yaml, το οποίο περιέχει ήδη τις απαιτούμενες ιδιότητες.

   • <EMITTER_NAME>: Το όνομα για τον παραλήπτη.
   • <LOG_ANALYTICS_WORKSPACE_ID>: Αναγνωριστικό χώρου εργασίας του Log Analytics.
   • <LOG_ANALYTICS_WORKSPACE_KEY>: Κλειδί log Analytics. Για να το βρείτε αυτό, στην πύλη Azure, μεταβείτε εργασίας του Azure Log Analytics.

   spark.synapse.diagnostic.emitters: <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogAnalytics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "Log,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.workspaceId: <LOG_ANALYTICS_WORKSPACE_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret: <LOG_ANALYTICS_WORKSPACE_KEY>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Εναλλακτικά, για να εφαρμόσετε την ίδια ρύθμιση παραμέτρων με το Azure Synapse, χρησιμοποιήστε τις ακόλουθες ιδιότητες ή επιλέξτε Προσθήκη από .yml στην κορδέλα για να κάνετε λήψη του δείγματος αρχείου yaml.

   spark.synapse.logAnalytics.enabled: "true"
   spark.synapse.logAnalytics.workspaceId: <LOG_ANALYTICS_WORKSPACE_ID>
   spark.synapse.logAnalytics.secret: <LOG_ANALYTICS_WORKSPACE_KEY>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

3. Αποθηκεύστε και δημοσιεύστε τις αλλαγές.

Επιλογή 2: Ρύθμιση παραμέτρων με το Azure Key Vault

Σημείωση

Πρέπει να εκχωρήσετε δικαιώματα ανάγνωσης μυστικού κωδικού στους χρήστες που θα υποβάλουν εφαρμογές Apache Spark. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παροχή πρόσβασης σε κλειδιά Key Vault, πιστοποιητικά και μυστικούς κωδικούς με έναν έλεγχο πρόσβασης βάσει ρόλων Azure.

Για να ρυθμίσετε τις παραμέτρους του Azure Key Vault για να αποθηκεύσετε το κλειδί χώρου εργασίας, ακολουθήστε τα εξής βήματα:

1. Μεταβείτε στο Key Vault στην πύλη Azure.

2. Στη σελίδα ρυθμίσεων για τον θάλαμο κλειδιών, επιλέξτε Μυστικά και, στη συνέχεια , Δημιουργία/Εισαγωγή.

3. Στην οθόνη Δημιουργία μυστικού κωδικού, εισαγάγετε τις ακόλουθες τιμές:

   • Όνομα: Εισαγάγετε ένα όνομα για τον μυστικό κωδικό. Για την προεπιλογή, πληκτρολογήστε SparkLogAnalyticsSecret.
   • Τιμή: Εισαγάγετε το <LOG_ANALYTICS_WORKSPACE_KEY> για τον μυστικό κωδικό.
   • Αφήστε τις άλλες τιμές στις προεπιλογές τους. Μετά επιλέξτε Δημιουργία.

4. Δημιουργία ενός αντικειμένου σχεδίασης περιβάλλοντος Fabric στο Fabric

5. Προσθέστε τις ακόλουθες ιδιότητες Spark με τις αντίστοιχες τιμές στο αντικείμενο σχεδίασης περιβάλλοντος ή Επιλέξτε Προσθήκη από .yml στην κορδέλα στο αντικείμενο σχεδίασης περιβάλλοντος για να κάνετε λήψη του δείγματος αρχείου yaml που περιλαμβάνει τις ακόλουθες ιδιότητες Spark.

   • <EMITTER_NAME>: Το όνομα για τον παραλήπτη.
   • <LOG_ANALYTICS_WORKSPACE_ID>: Το αναγνωριστικό χώρου εργασίας του Log Analytics.
   • <AZURE_KEY_VAULT_URI>: Το uri key vault που ρυθμίσατε.
   • <AZURE_KEY_VAULT_SECRET_KEY_NAME> (προαιρετικό): Το όνομα του μυστικού κωδικού στον θάλαμο κλειδιών για το κλειδί του χώρου εργασίας. Η προεπιλογή είναι SparkLogAnalyticsSecret.

   // Spark properties for EMITTER_NAME
   spark.synapse.diagnostic.emitters <EMITTER_NAME>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.type: "AzureLogAnalytics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.categories: "Log,EventLog,Metrics"
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.workspaceId: <LOG_ANALYTICS_WORKSPACE_ID>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret.keyVault: <AZURE_KEY_VAULT_URI>
   spark.synapse.diagnostic.emitter.<EMITTER_NAME>.secret.keyVault.secretName: <AZURE_KEY_VAULT_SECRET_KEY_NAME>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Εναλλακτικά, για να εφαρμόσετε την ίδια ρύθμιση παραμέτρων με το Azure Synapse, χρησιμοποιήστε τις ακόλουθες ιδιότητες ή επιλέξτε Προσθήκη από .yml στην κορδέλα για να κάνετε λήψη του δείγματος αρχείου yaml.

   spark.synapse.logAnalytics.enabled: "true"
   spark.synapse.logAnalytics.workspaceId: <LOG_ANALYTICS_WORKSPACE_ID>
   spark.synapse.logAnalytics.keyVault.name: <AZURE_KEY_VAULT_URI>
   spark.synapse.logAnalytics.keyVault.key.secret: <AZURE_KEY_VAULT_SECRET_KEY_NAME>
   spark.fabric.pools.skipStarterPools: "true" //Add this Spark property when using the default pool.
   

   Σημείωση

   Μπορείτε επίσης να αποθηκεύσετε το αναγνωριστικό χώρου εργασίας στο Key Vault. Ορίστε το μυστικό όνομα σε SparkLogAnalyticsWorkspaceIdή χρησιμοποιήστε τη ρύθμιση παραμέτρων spark.synapse.logAnalytics.keyVault.key.workspaceId για να καθορίσετε το μυστικό όνομα του αναγνωριστικού χώρου εργασίας.

6. Αποθηκεύστε και δημοσιεύστε τις αλλαγές.

Βήμα 3: Επισυνάψτε το αντικείμενο σχεδίασης περιβάλλοντος σε σημειωματάρια ή ορισμούς εργασίας spark ή ορίστε το ως προεπιλεγμένο χώρο εργασίας

Σημείωση

Μόνο οι διαχειριστές χώρου εργασίας μπορούν να ορίσουν ένα περιβάλλον ως προεπιλογή για έναν χώρο εργασίας.

Όταν οριστεί, γίνεται το προεπιλεγμένο περιβάλλον για όλα τα σημειωματάρια και τους ορισμούς εργασίας Spark εντός του χώρου εργασίας. Για περισσότερες λεπτομέρειες, ανατρέξτε στο θέμα Ρυθμίσεις χώρου εργασίας Fabric.

Για να επισυνάψετε το περιβάλλον σε σημειωματάρια ή ορισμούς εργασίας Spark:

1. Μεταβείτε στον ορισμό εργασίας σημειωματάριου ή Spark στο Fabric.
2. Επιλέξτε το μενού Περιβάλλον στην Αρχική καρτέλα και επιλέξτε το διαμορφωμένο περιβάλλον.
3. Η ρύθμιση παραμέτρων θα εφαρμοστεί μετά την έναρξη μιας περιόδου λειτουργίας Spark.

Για να ορίσετε το περιβάλλον ως προεπιλεγμένο χώρο εργασίας:

1. Μεταβείτε στην περιοχή Ρυθμίσεις χώρου εργασίας στο Fabric.
2. Εύρεση των ρυθμίσεων Spark στις ρυθμίσεις χώρου εργασίας σας (Ρύθμιση χώρου εργασίας -> Μηχανική δεδομένων/Επιστήμη -> Ρυθμίσεις Spark)
3. Επιλέξτε την καρτέλα Περιβάλλον και επιλέξτε το περιβάλλον με τις παραμέτρους των ιδιοτήτων spark διαγνωστικού ελέγχου και κάντε κλικ στο κουμπί Αποθήκευση.

Υποβάλετε μια εφαρμογή Apache Spark και προβάλετε τα αρχεία καταγραφής και τα μετρικά

Για να υποβάλετε μια εφαρμογή Apache Spark:

1. Υποβάλετε μια εφαρμογή Apache Spark, με το συσχετισμένο περιβάλλον, το οποίο έχει ρυθμιστεί στο προηγούμενο βήμα. Μπορείτε να χρησιμοποιήσετε οποιονδήποτε από τους παρακάτω τρόπους για να το κάνετε:

   • Εκτελέστε ένα σημειωματάριο στο Fabric.
   • Υποβάλετε μια μαζική εργασία Apache Spark μέσω ενός ορισμού εργασίας Apache Spark.
   • Εκτελέστε τις δραστηριότητές σας Spark στις Διοχετεύσεις σας.

2. Μεταβείτε στον καθορισμένο χώρο εργασίας Του Log Analytics και προβάλετε τα μετρικά και τα αρχεία καταγραφής της εφαρμογής όταν ξεκινήσει η εκτέλεση της εφαρμογής Apache Spark.

Εγγραφή αρχείων καταγραφής προσαρμοσμένων εφαρμογών

Μπορείτε να χρησιμοποιήσετε τη βιβλιοθήκη Apache Log4j για να συντάξετε προσαρμοσμένα αρχεία καταγραφής. Ακολουθούν παραδείγματα για τη Scala και το PySpark:

Παράδειγμα Scala:

%%spark
val logger = org.apache.log4j.LogManager.getLogger("com.contoso.LoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
//log exception
try {
      1/0
 } catch {
      case e:Exception =>logger.warn("Exception", e)
}
// run job for task level metrics
val data = sc.parallelize(Seq(1,2,3,4)).toDF().count()

Παράδειγμα PySpark:

%%pyspark
logger = sc._jvm.org.apache.log4j.LogManager.getLogger("com.contoso.PythonLoggerExample")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Υποβολή ερωτημάτων για δεδομένα με το Kusto

Για να υποβάλετε ερωτήματα σε συμβάντα Apache Spark:

SparkListenerEvent_CL
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| order by TimeGenerated desc
| limit 100 

Για να υποβάλετε ερωτήματα για το πρόγραμμα οδήγησης εφαρμογής Spark και τα αρχεία καταγραφής εκτελέσεων:

SparkLoggingEvent_CL
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| order by TimeGenerated desc
| limit 100 

Για να υποβάλετε ερωτήματα για μετρικά Apache Spark:

SparkMetrics_CL
| where fabricWorkspaceId_g == "{FabricWorkspaceId}" and artifactId_g == "{ArtifactId}" and fabricLivyId_g == "{LivyId}"
| where name_s endswith "jvm.total.used"
| summarize max(value_d) by bin(TimeGenerated, 30s), executorId_s
| order by TimeGenerated asc

Δημιουργία και διαχείριση ειδοποιήσεων

Οι χρήστες μπορούν να υποβάλλουν ερώτημα για να αξιολογήσουν τα μετρικά και τα αρχεία καταγραφής σε μια καθορισμένη συχνότητα και να ενεργοποιήσουν μια ειδοποίηση με βάση τα αποτελέσματα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Δημιουργία, προβολή και διαχείριση ειδοποιήσεων αρχείου καταγραφής με χρήση του Azure Monitor.

Χώροι εργασίας Fabric με διαχειριζόμενο εικονικό δίκτυο

Το Azure Log Analytics δεν μπορεί προς το παρόν να επιλεγεί ως προορισμός για αρχεία καταγραφής Spark και εκπομπές μετρικών σε ένα διαχειριζόμενο εικονικό δίκτυο, επειδή το διαχειριζόμενο ιδιωτικό τελικό σημείο δεν υποστηρίζει το Log Analytics ως προέλευση δεδομένων.

Διαθέσιμες ρυθμίσεις παραμέτρων Apache Spark

Χρησιμοποιώντας spark.synaspe.diagnostic.emitter.* πρόθημα για να ρυθμίσετε τις παραμέτρους των πληροφοριών του Log Analytics.

Ρύθμιση παραμέτρων	Περιγραφή
spark.synapse.diagnostic.emitters	Υποχρεωτικό. Τα ονόματα προορισμού διαχωρισμένων με κόμματα των διαγνωστικών εκπομπών. Για παράδειγμα, MyDest1,MyDest2.
spark.synapse.diagnostic.emitter.<destination>.type	Υποχρεωτικό. Ενσωματωμένος τύπος προορισμού. Για να ενεργοποιήσετε τον προορισμό του Azure Log Analytics, η AzureLogAnalytics πρέπει να συμπεριληφθεί σε αυτό το πεδίο.
spark.synapse.diagnostic.emitter.<destination>.categories	Προαιρετικό. Τις κατηγορίες αρχείων καταγραφής διαχωρισμένων με κόμματα. Οι διαθέσιμες τιμές περιλαμβάνουν Log, EventLog, Metrics. Εάν δεν οριστεί, η προεπιλεγμένη τιμή είναι όλες οι κατηγορίες.
spark.synapse.diagnostic.emitter.<destination>.workspaceId	Υποχρεωτικό. Το αναγνωριστικό χώρου εργασίας του Log Analytics προορισμού.
spark.synapse.diagnostic.emitter.<destination>.secret	Προαιρετικό. Το μυστικό περιεχόμενο του χώρου εργασίας.
spark.synapse.diagnostic.emitter.<destination>.secret.keyVault	Απαιτείται εάν δεν έχει καθοριστεί .secret. Το Azure Key Vault URI όπου είναι αποθηκευμένος ο μυστικός κωδικός.
park.synapse.diagnostic.emitter.<destination>.secret.keyVault.secretName	Απαιτείται εάν .secret.keyVault έχει καθοριστεί το . Το όνομα του μυστικού θαλάμου κλειδιών Azure όπου είναι αποθηκευμένος ο μυστικός κωδικός του χώρου εργασίας LA.
spark.synapse.diagnostic.emitter.<destination>.filter.eventName.match	Προαιρετικό. Τα ονόματα των συμβάντων spark διαχωρισμένων με κόμματα, μπορείτε να καθορίσετε ποια συμβάντα θα συλλέγονται. Για παράδειγμα: SparkListenerApplicationStart,SparkListenerApplicationEnd.
spark.synapse.diagnostic.emitter.<destination>.filter.loggerName.match	Προαιρετικό. Τα ονόματα αρχείων καταγραφής log4j διαχωρισμένων με κόμματα, μπορείτε να καθορίσετε ποια αρχεία καταγραφής θα συλλέγετε. Για παράδειγμα: org.apache.spark.SparkContext,org.example.Logger.
spark.synapse.diagnostic.emitter.<destination>.filter.metricName.match	Προαιρετικό. Τα επιθήματα ονόματος μετρικού διαχωρισμένων με κόμματα, μπορείτε να καθορίσετε ποια μετρικά θα συλλέγονται. Για παράδειγμα: jvm.heap.used.
spark.fabric.pools.skipStarterPools	Υποχρεωτικό. Αυτή η ιδιότητα Spark χρησιμοποιείται για την επιβολή μιας περιόδου λειτουργίας Spark κατ' απαίτηση. Θα πρέπει να ορίσετε την τιμή σε true όταν χρησιμοποιείτε τον προεπιλεγμένο χώρο συγκέντρωσης, προκειμένου να ενεργοποιήσετε τις βιβλιοθήκες για την ενσωμάτωση αρχείων καταγραφής και μετρικών.

Χρησιμοποιώντας spark.synapse.logAnalytics.* πρόθημα για να ρυθμίσετε τις παραμέτρους των πληροφοριών του Log Analytics.

Όνομα ρύθμισης παραμέτρων	Default value	Περιγραφή
spark.synapse.logAnalytics.enabled	ψευδής	Για να ενεργοποιήσετε τη νιπτήρα του Log Analytics για τις εφαρμογές Spark, true. Διαφορετικά, false.
spark.synapse.logAnalytics.workspaceId	-	Το αναγνωριστικό χώρου εργασίας του Log Analytics προορισμού.
spark.synapse.logAnalytics.secret	-	Ο μυστικός κωδικός χώρου εργασίας του Log Analytics προορισμού.
spark.synapse.logAnalytics.keyVault.name	-	Το URI Key Vault για το αναγνωριστικό και το κλειδί του Log Analytics.
spark.synapse.logAnalytics.keyVault.key.workspaceId	SparkLogAnalyticsWorkspaceId	Το όνομα του μυστικού κωδικού Key Vault για το αναγνωριστικό χώρου εργασίας του Log Analytics.
spark.synapse.logAnalytics.keyVault.key.secret	SparkLogAnalyticsSecret	Το όνομα του μυστικού κωδικού Key Vault για τον χώρο εργασίας Log Analytics.
spark.synapse.logAnalytics.uriSuffix	ods.opinsights.azure.com	Ο χώρος εργασίας του Log Analytics προορισμού επίθημα URI. Εάν ο χώρος εργασίας σας δεν βρίσκεται στο καθολικό Azure, πρέπει να ενημερώσετε το επίθημα URI σύμφωνα με το αντίστοιχο cloud.
spark.synapse.logAnalytics.filter.eventName.match	-	Προαιρετικό. Τα ονόματα των συμβάντων spark διαχωρισμένων με κόμματα, μπορείτε να καθορίσετε ποια συμβάντα θα συλλέγονται. Για παράδειγμα: SparkListenerJobStart,SparkListenerJobEnd.
spark.synapse.logAnalytics.filter.loggerName.match	-	Προαιρετικό. Τα ονόματα αρχείων καταγραφής log4j διαχωρισμένων με κόμματα, μπορείτε να καθορίσετε ποια αρχεία καταγραφής θα συλλέγετε. Για παράδειγμα: org.apache.spark.SparkContext,org.example.Logger.
spark.synapse.logAnalytics.filter.metricName.match	-	Προαιρετικό. Τα επιθήματα ονόματος μετρικού διαχωρισμένων με κόμματα, μπορείτε να καθορίσετε ποια μετρικά θα συλλέγονται. Για παράδειγμα: jvm.heap.used.
spark.fabric.pools.skipStarterPools	true	Υποχρεωτικό. Αυτή η ιδιότητα Spark χρησιμοποιείται για την επιβολή μιας περιόδου λειτουργίας Spark κατ' απαίτηση.

Σημείωση

• Για το Microsoft Azure που διαχειρίζεται η 21Vianet, η παράμετρος spark.synapse.logAnalytics.uriSuffix θα πρέπει να be ods.opinsights.azure.cn.
• Για το Azure για Δημόσιους οργανισμούς, η παράμετρος spark.synapse.logAnalytics.uriSuffix θα πρέπει να είναι ods.opinsights.azure.us.
• Για οποιοδήποτε cloud εκτός από το Azure, η παράμετρος spark.synapse.logAnalytics.keyVault.name πρέπει να είναι το πλήρως προσδιορισμένο όνομα τομέα (FQDN) του Key Vault. Για παράδειγμα, AZURE_KEY_VAULT_NAME.vault.usgovcloudapi.net για το AzureUSGovernment.

Συχνές ερωτήσεις

1. Γιατί το Log Analytics μου δεν λαμβάνει αρχεία καταγραφής ή δεν δημιουργεί τον πίνακα Customer;

   Εάν ο χώρος εργασίας σας στο Log Analytics δεν λαμβάνει αρχεία καταγραφής ή ο πίνακας Πελάτης δεν δημιουργείται, αντιμετωπίστε τα παρακάτω βήματα:

   1. Επαλήθευση ρύθμισης παραμέτρων του log Analytics: Βεβαιωθείτε ότι οι πληροφορίες χώρου εργασίας του Log Analytics έχουν ρυθμιστεί σωστά στην εφαρμογή Spark. Για να επαληθεύσετε τη ρύθμιση παραμέτρων, μεταβείτε στο περιβάλλον εργασίας χρήστη Spark ή στο Spark History Server, μεταβείτε στην καρτέλα "Περιβάλλον" και εξετάστε τις ρυθμίσεις στην περιοχή "Ιδιότητες Spark".

   2. έλεγχος δικαιωμάτων:

      • Επιβεβαιώστε ότι το Log Analytics έχει τα απαραίτητα δικαιώματα εγγραφής.
      • Εάν εμπλέκεται η KeyVault, βεβαιωθείτε ότι τα δικαιώματα ανάγνωσης KeyVault εκχωρούνται σωστά στην σχετική υπηρεσία ή χρήστη.

   3. Ελέγχει τα όρια δεδομένων: Το Fabric στέλνει δεδομένα αρχείου καταγραφής στο Azure Monitor χρησιμοποιώντας το API HTTP Data Collector. Τα δεδομένα που δημοσιεύονται στο API συλλογής δεδομένων της Παρακολούθησης Azure υπόκεινται σε ορισμένους περιορισμούς:

      • Έως 30 MB ανά δημοσίευση στο API Azure Monitor Data Collector. Αυτό είναι ένα όριο μεγέθους για μία μόνο δημοσίευση. Εάν τα δεδομένα από μία μεμονωμένη δημοσίευση υπερβαίνουν τα 30 MB, θα πρέπει να διαιρέσετε τα δεδομένα σε τμήματα μικρότερου μεγέθους και να τα στείλετε ταυτόχρονα.
      • Μέγιστο 32 KB για τιμές πεδίου. Εάν η τιμή του πεδίου είναι μεγαλύτερη από 32 KB, τα δεδομένα περικόπτονται.
      • Συνιστάται έως 50 πεδία για έναν δεδομένο τύπο. Αυτό είναι ένα πρακτικό όριο από την άποψη της χρηστικότητας και της εμπειρίας αναζήτησης.
      • Οι πίνακες στους χώρους εργασίας του Log Analytics υποστηρίζουν μόνο έως 500 στήλες.
      • Έως 45 χαρακτήρες για τα ονόματα στηλών.

2. Πώς μπορώ να επιβεβαιώσω ότι τα δικαιώματα του Log Analytics έχουν ρυθμιστεί σωστά;

   Για να εξασφαλίσετε ότι το Log Analytics μπορεί να λαμβάνει αρχεία καταγραφής, επαληθεύστε τα παρακάτω δικαιώματα:

   1. δικαιώματα εγγραφής του Log Analytics:

      • Συνδεθείτε στην πύλη Azure και μεταβείτε στον χώρο εργασίας log Analytics σας.
      • Στην ενότητα "Έλεγχος πρόσβασης (IAM)", επιβεβαιώστε ότι στον χρήστη, στην κύρια υπηρεσία ή στην εφαρμογή σας έχει εκχωρηθεί ο ρόλος "Συμβάλλων στο Log Analytics" ή "Συμβάλλων".

   2. δικαιώματα ανάγνωσης keyVault (εάν υπάρχουν):

      • Εάν τα αρχεία καταγραφής αφορούν το KeyVault, μεταβείτε στην ενότητα "Πολιτικές πρόσβασης" ή "Έλεγχος πρόσβασης (IAM)" του KeyVault.
      • Βεβαιωθείτε ότι ο σχετικός χρήστης ή κύρια υπηρεσία έχει δικαιώματα ανάγνωσης, όπως ο ρόλος "Key Vault Reader". Εάν τα δικαιώματα δεν έχουν ρυθμιστεί σωστά, επικοινωνήστε με τον διαχειριστή σας Azure για να προσαρμόσετε τις αναθέσεις ρόλων και να περιμένετε τα δικαιώματα συγχρονισμού (αυτό μπορεί να διαρκέσει μερικά λεπτά).

3. Γιατί η εκκίνηση μιας περιόδου λειτουργίας Spark γίνεται αργή μετά τη ρύθμιση παραμέτρων αυτών των ιδιοτήτων spark;

   Αυτό συμβαίνει επειδή έχετε ρυθμίσει το spark.fabric.pools.skipStarterPool: true, το οποίο παραλείπει την Ομάδα εκκίνησης (ένας τύπος Δυναμικής πισίνας) και αντί για αυτό χρησιμοποιεί μια ομάδα κατ' απαίτηση για να ξεκινήσει την περίοδο λειτουργίας Spark. Η έναρξη μιας περιόδου λειτουργίας spark στον χώρο συγκέντρωσης κατ' απαίτηση συνήθως απαιτεί περίπου 3 λεπτά για τη δημιουργία και την προετοιμασία.

   Ο λόγος είναι ότι η βιβλιοθήκη διαγνωστικών απαιτεί την εφαρμογή συγκεκριμένων ρυθμίσεων παραμέτρων κατά την εκκίνηση περιόδου λειτουργίας Spark, μια διαδικασία που υποστηρίζεται μόνο από χώρους συγκέντρωσης κατ' απαίτηση, καθώς δημιουργούνται δυναμικά κατά τη διάρκεια της εκκίνησης. Αντίθετα, οι περίοδοι λειτουργίας Live Pool έχουν προ-ξεκινήσει και δεν μπορούν να εφαρμόσουν αυτές τις ρυθμίσεις παραμέτρων κατά την προετοιμασία. Για περισσότερες λεπτομέρειες σχετικά με τον υπολογισμό fabric Spark, ανατρέξτε υπολογισμό apache Spark για τη μηχανική δεδομένων και την επιστήμη δεδομένων.

Επόμενα βήματα

• Ορισμός εργασίας Δημιουργία Apache Spark
• Δημιουργία, ρύθμιση παραμέτρων και χρήση περιβάλλοντος στο Microsoft Fabric
• Δημιουργία και χρήση διαχειριζόμενων ιδιωτικών τελικών σημείων στο Microsoft Fabric
• Ανάπτυξη, εκτέλεση και διαχείριση σημειωματάριων Microsoft Fabric
• Παρακολούθηση εφαρμογών Spark