Databricks Runtime 11.3 LTS
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.3 LTS avec Apache Spark 3.3.0. Databricks a publié ces images en octobre 2022.
Notes
LTS (Long Term Support) signifie que cette version bénéficie d’un support à long terme. Consultez Cycle de vie de la version de Databricks Runtime LTS.
Améliorations et nouvelles fonctionnalités
- Déclencheur de streaming structuré une fois déprécié
- Modifier le chemin d’accès source pour le chargeur automatique
- Le connecteur Databricks Kinesis prend désormais en charge la lecture à partir des flux de données Kinesis en mode EFO
- Nouvelles fonctions géospatiales H3 et ajout de la prise en charge de Photon pour toutes les fonctions H3
- Nouvelles fonctionnalités pour les E/S prédictives
- Augmentation des partitions initiales pour rechercher des requêtes sélectives
- Visualisation des nouvelles versions du plan AQE
- Nouveaux modes de suivi de la progression asynchrone et de purge des journaux
- Structured Streaming sur Unity Catalog prend désormais en charge
display() - Les événements de pipeline sont maintenant journalisés au format JSON
- Arbitrary Stateful Processing dans Structured Streaming avec Python
- Inférence de date dans les fichiers CSV
- Prise en charge des clones pour les tables Apache Parquet et Apache Iceberg (préversion publique)
- Utiliser SQL pour spécifier des emplacements de stockage au niveau du schéma et du catalogue pour les tables managées Unity Catalog
Déclencheur de streaming structuré une fois déprécié
Le paramètre Trigger.Once a été déprécié. Databricks recommande que vous utilisiez Trigger.AvailableNow. Consultez Configurer des intervalles de déclencheur Structured Streaming.
Modifier le chemin d’accès source pour le chargeur automatique
Vous pouvez désormais modifier le chemin d’entrée du répertoire pour Auto Loader, configuré avec le mode de liste de répertoires, sans avoir à choisir un nouveau répertoire du point de contrôle. Consultez Modifier le chemin d’accès source pour le chargeur automatique.
Le connecteur Databricks Kinesis prend désormais en charge la lecture à partir des flux de données Kinesis en mode EFO
Vous pouvez maintenant utiliser la source de streaming structurée Databricks Kinesis dans Databricks Runtime 11.3 LTS pour exécuter des requêtes qui lisent à partir de flux de données Kinesis en mode fan-out amélioré. Cela permet un débit dédié par partition, par consommateur et la remise d’enregistrements en mode Push.
Nouvelles fonctions géospatiales H3 et ajout de la prise en charge de Photon pour toutes les fonctions H3
Présentation de 4 nouvelles fonctions H3, h3_maxchild, h3_minchild, h3_pointash3et h3_pointash3string. Ces fonctions sont disponibles dans SQL, Scala et Python. Toutes les expressions H3 sont désormais prises en charge dans Photon. Consultez Fonctions géospatiales H3.
Nouvelles fonctionnalités pour les E/S prédictives
Photon prend en charge le mode de plage pour les images en cours d’exécution, à l’aide de RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon prend également en charge le mode plage pour les images croissantes, à l’aide de RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.
Augmentation des partitions initiales pour rechercher des requêtes sélectives
La valeur des partitions initiales à analyser a été augmentée à 10 pour une requête sélective avec take/tail/limit dans des clusters avec Photon et LIMIT dans Databricks SQL. Avec 10 partitions, vous pouvez éviter la surcharge liée au lancement de plusieurs petits travaux et à une montée en puissance lente. Vous pouvez aussi configurer ceci via spark.sql.limit.selectiveInitialNumPartitions.
Visualisation des nouvelles versions du plan AQE
Présentation des versions du plan AQE qui vous permet de visualiser les mises à jour de votre plan d’exécution à partir de l’exécution de requêtes adaptatives (AQE).
Nouveaux modes de suivi de la progression asynchrone et de purge des journaux
Présentation des modes Structured Streaming appelés suivi de progression asynchrone et purge de journal asynchrone. Le mode de purge de journal asynchrone réduit la latence des requêtes de streaming en supprimant les journaux utilisés pour le suivi de la progression en arrière-plan.
Structured Streaming sur Unity Catalog prend désormais en charge display()
Vous pouvez maintenant utiliser display() lorsque vous utilisez Structured Streaming pour travailler avec des tables inscrites dans Unity Catalog.
Les événements de pipeline sont maintenant journalisés au format JSON
Azure Databricks écrit désormais des événements de pipeline dans le journal du pilote au format JSON. Bien que chaque événement soit analysable au format JSON, les événements volumineux peuvent ne pas contenir tous les champs, ou les champs peuvent être tronqués. Chaque événement est enregistré dans une seule ligne avec le préfixe Event received: . Vous trouverez ci-dessous un exemple d’événement.
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
Arbitrary Stateful Processing dans Structured Streaming avec Python
Présentation de la fonction applyInPandasWithState qui peut être utilisée pour effectuer un traitement avec état arbitraire dans PySpark. Cela équivaut à la fonction flatMapGroupsWithState dans l’API Java.
Inférence de date dans les fichiers CSV
Présentation de l’inférence améliorée des colonnes de type date dans les fichiers CSV. Lorsque le format de date est cohérent entre les enregistrements d’une colonne, ces colonnes peuvent être déduites en tant que DateType. Vous pouvez également avoir une combinaison de formats de date entre différentes colonnes. Azure Databricks peut déduire automatiquement le format de date de chaque colonne. Les colonnes de date dans les fichiers CSV antérieurs à Databricks Runtime 11.3 LTS sont laissées comme StringType.
Prise en charge des clones pour les tables Apache Parquet et Apache Iceberg (préversion publique)
Le clone peut désormais être utilisé pour créer et mettre à jour de manière incrémentielle des tables Delta qui reflètent les tables Apache Parquet et Apache Iceberg. Vous pouvez mettre à jour votre table Parquet source et appliquer de façon incrémentielle les modifications à leur table Delta cloné avec la commande clone. Consultez cloner de manière incrémentielle les tableaux Parquet et Iceberg vers Delta Lake.
Utiliser SQL pour spécifier des emplacements de stockage au niveau du schéma et du catalogue pour les tables gérées Unity Catalog
Vous pouvez maintenant utiliser la commande SQL MANAGED LOCATION pour spécifier un emplacement de stockage cloud pour les tables managées au niveau du catalogue et du schéma. Consultez CREATE CATALOG et CREATE SCHEMA.
Changements de comportement
Databricks Connect 11.3.2
La mise à jour du client Databricks Connect 11.3.2 est désormais prise en charge. Référez-vous à la section Databricks Connect et les notes de publication de Databricks Connect.
Mise à jour du connecteur Azure Databricks Snowflake
Le connecteur Azure Databricks Snowflake a été mis à jour vers la dernière version du code à partir du dépôt open source, Snowflake Data Source pour Apache Spark. Il est désormais entièrement compatible avec Databricks Runtime 11.3 LTS, y compris le pushdown de prédicat et le pushdown de plan de requête interne tout en conservant toutes les fonctionnalités de la version open source.
Le cache Hadoop pour S3A est désormais désactivé
Le cache Hadoop (FileSystem API Apache Hadoop Main 3.3.4) pour S3A est désormais désactivé. Et ce, afin de s’aligner sur les autres connecteurs de stockage cloud. Pour les charges de travail qui s’appuient sur la mise en cache du système de fichiers, assurez-vous que les systèmes de fichiers nouvellement créés sont fournis avec les configurations Hadoop qui conviennent, y compris les fournisseurs d’informations d’identification.
Le schéma de collection de statistiques Delta Lake correspond désormais à l’ordre des colonnes dans la définition de schéma de table
Cette modification résout un bogue dans le protocole Delta Lake où les statistiques n’ont pas été collectées pour les colonnes en raison d’une incompatibilité dans le classement des colonnes DataFrame et table. Dans certains cas, vous pouvez rencontrer une détérioration des performances d’écriture en raison de la collecte de statistiques sur les champs précédemment non suivis. Consultez Saut de données pour Delta Lake.
applyInPandasWithState lève une erreur si la requête a un shuffle après l’opérateur
L’opérateur applyInPandasWithState lève une erreur si la requête a shuffle après l’opérateur. Cela se produit lorsque l’utilisateur ajoute shuffle une fois l’opération effectuée, ou que l’optimiseur ou le récepteur ajoute shuffle implicitement.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- distlib de la version 0.3.5 vers la version 0.3.6
- Bibliothèques R mises à niveau :
- broom de la version 1.0.0 vers la version 1.0.1
- callr de la version 3.7.1 vers la version 3.7.2
- dplyr de la version 1.0.9 vers la version 1.0.10
- dtplyr de la version 1.2.1 vers la version 1.2.2
- forcats de la version 0.5.1 vers la version 0.5.2
- future de la version 1.27.0 vers la version 1.28.0
- future.apply de la version 1.9.0 vers la version 1.9.1
- gert de la version 1.7.0 vers la version 1.8.0
- globals de la version 0.16.0 vers la version 0.16.1
- gtable de la version 0.3.0 vers la version 0.3.1
- haven de la version 2.5.0 vers la version 2.5.1
- hms de la version 1.1.1 vers la version 1.1.2
- httr de la version 1.4.3 vers la version 1.4.4
- knitr de la version 1.39 vers la version 1.40
- modelr de la version 0.1.8 vers la version 0.1.9
- pillar de la version 1.8.0 vers la version 1.8.1
- progressr de la version 0.10.1 vers la version 0.11.0
- readxl de la version 1.4.0 vers la version 1.4.1
- reprex de la version 2.0.1 vers la version 2.0.2
- rlang de la version 1.0.4 vers la version 1.0.5
- rmarkdown de la version 2.14 vers la version 2.16
- RSQLite de la version 2.2.15 vers la version 2.2.16
- rstudioapi de la version 0.13 vers la version 0.14
- rversions de la version 2.1.1 vers la version 2.1.2
- rvest de la version 1.0.2 vers la version 1.0.3
- scales de la version 1.2.0 vers la version 1.2.1
- sparklyr de la version 1.7.7 vers la version 1.7.8
- stringr de la version 1.4.0 vers la version 1.4.1
- survival de la version 3.2-13 vers la version 3.4-0
- tinytex de la version 0.40 vers la version 0.41
- viridisLite de la version 0.4.0 vers la version 0.4.1
- Bibliothèques Java mises à niveau :
- com.fasterxml.jackson.core.jackson-annotations de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.core.jackson-core de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.core.jackson-databind de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer de la version 2.13.3 vers la version 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 de la version 2.13.3 vers la version2.13.4
- org.apache.hadoop.hadoop-client-api de la version 3.3.2-databricks vers la version 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime de la version 3.3.2 vers la version 3.3.4
- org.apache.orc.orc-core de la version 1.7.5 vers la version 1.7.6
- org.apache.orc.orc-mapreduce de la version 1.7.5 vers la version 1.7.6
- org.apache.orc.orc-shims de la version 1.7.5 vers la version 1.7.6
- org.apache.parquet.parquet-column de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
- org.apache.parquet.parquet-common de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson de la version 1.12.0-databricks-0004 vers la version 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet de la version 2.34 vers la version 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core de la version 2.34 vers la version 2.36
- org.glassfish.jersey.core.jersey-client de la version 2.34 vers la version 2.36
- org.glassfish.jersey.core.jersey-common de la version 2.34 vers la version 2.36
- org.glassfish.jersey.core.jersey-server de la version 2.34 vers la version 2.36
- org.glassfish.jersey.inject.jersey-hk2 de la version 2.34 vers la version 2.36
Apache Spark
Databricks Runtime 11.3 LTS comprend Apache Spark 3.3.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 11.2 (non pris en charge), ainsi que les corrections de bugs supplémentaires suivantes et les améliorations apportées à Spark :
- [SPARK-39957] [WARMFIX][SC-111425][CORE] Retard onDisconnected pour activer Pilote reçoit ExecutorExitCode
- [SPARK-39955] [WARMFIX][SC-111424][CORE] Amélioration du processus LaunchTask pour éviter les échecs d’étape causés par les messages LaunchTask d’échec d’envoi de messages
- [SPARK-40474] [SC-106248][Cherry-Pick] Comportement d’inférence de schéma CSV correct pour les colonnes datetime et introduire la détection automatique pour les champs Date
- [SPARK-40535] [SC-111243][SQL] Correction du bogue de mémoire tampon d’AggregatingAccumulator non créée si les lignes d’entrée sont vides
- [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] Implémentation applyInPandasWithState dans PySpark
- [SPARK-40460] [SC-110832][SS] Correction des métriques de streaming lors de la sélection
_metadata - [SPARK-40324] [SC-109943][SQL] Fournir un contexte de requête de
ParseException - [SPARK-40466] [SC-110899][SS] Amélioration du message d’erreur lorsque DSv2 est désactivé alors que DSv1 n’est pas disponible
- [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext doit être bon marché pour appeler à plusieurs reprises
- [SPARK-40169] [SC-110772][SQL] Ne pas envoyer de filtre Parquet pushdown sans référence au schéma de données
- [SPARK-40467] [SC-110759][SS] Fractionner FlatMapGroupsWithState en plusieurs suites de tests
- [SPARK-40468] [SC-110813][SQL] Correction de la taille des colonnes au format CSV lorsque _corrupt_record est sélectionné
- [SPARK-40291] [SC-110085][SQL] Amélioration du message pour la colonne qui ne se trouve pas dans le groupe par erreur de clause
- [SPARK-40398] [SC-110762][CORE][SQL] Utilisation de la boucle au lieu de l’API Arrays.stream
- [SPARK-40433] [SC-110684][SS][PYTHON] Ajout toJVMRow in PythonSQLUtils pour convertir PySpark Row pickle en JVM Row
- [SPARK-40414] [SC-110568][SQL][PYTHON] Type générique sur PythonArrowInput et PythonArrowOutput
- [SPARK-40352] [SC-109945][SQL] Ajout des alias de fonction : len, datepart, dateadd, date_diff et curdate
- [SPARK-40470] [SC-110761][SQL] Gestion GetArrayStructFields et GetMapValue dans la fonction « arrays_zip »
- [SPARK-40387] [SC-110685][SQL] Améliorer l’implémentation de Spark Decimal
- [SPARK-40429] [SC-110675][SQL] Définir uniquement KeyGroupedPartitioning lorsque la colonne référencée se trouve dans la sortie
- [SPARK-40432] [SC-110716][SS][PYTHON] Introduire GroupStateImpl et GroupStateTimeout dans PySpark
- [SPARK-39915] [SC-110496][SQL] Vérifier que le partitionnement de sortie est spécifié par l’utilisateur dans AQE
- [SPARK-29260] [SQL] Prendre en charge
ALTER DATABASE SET LOCATIONsi HMS prend en charge - [SPARK-40185] [SC-110056][SQL] Supprimer la suggestion de colonne lorsque la liste candidate est vide
- [SPARK-40362] [SC-110401][SQL] Correction de la canonicalisation BinaryComparison
- [SPARK-40411] [SC-110381][SS] Refactoriser FlatMapGroupsWithStateExec pour avoir un trait parent
- [SPARK-40293] [SC-110084][SQL] Rendre le message d’erreur de table V2 plus significatif
- [SPARK-38734] [SC-110383][SQL] Supprimer la classe d’erreur
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][SQL] Corriger les noms de colonnes dans la fonction « arrays_zip » lorsque des tableaux sont référencés à partir de structs imbriqués
- [SPARK-40276] [SC-109674][CORE] Réduire la taille du résultat de RDD.takeOrdered
- [SPARK-40197] [SC-109176][SQL] Remplacer le plan de requête par le contexte de MULTI_VALUE_SUBQUERY_ERROR
- [SPARK-40300] [SC-109942][SQL] Migrer vers la classe d’erreur
DATATYPE_MISMATCH - [SPARK-40149] [SC-110055][SQL] Propager des colonnes de métadonnées via Project
- [SPARK-40280] [SC-110146][SQL] Ajouter la prise en charge de parquet push down pour int et long annotés
- [SPARK-40220] [SC-110143][SC-109175][SQL] Ne pas sortir la carte vide des paramètres de message d’erreur
- [SPARK-40295] [SC-110070][SQL] Autoriser les fonctions v2 avec args littéraux dans la distribution/l’ordre d’écriture
- [SPARK-40156] [SC-109264][SQL]
url_decode()doit retourner une classe d’erreur - [SPARK-39195] [SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
- [SPARK-40260] [SC-109424][SQL] Utiliser les classes d’erreur dans les erreurs de compilation de GROUP BY a position
- [SPARK-40205] [SC-110144][SC-109082][SQL] Fournir un contexte de requête de ELEMENT_AT_BY_INDEX_ZERO
- [SPARK-40112] [SC-109676][SQL] Amélioration de la fonction TO_BINARY()
- [SPARK-40209] [SC-109081][SQL] Ne pas modifier la valeur d’intervalle de décimal dans
changePrecision()sur les erreurs - [SPARK-40319] [SC-109873][SQL] Supprimer la méthode d’erreur d’exécution de requête en double pour PARSE_DATETIME_BY_NEW_PARSER
- [SPARK-40222] [SC-109209][SQL] try_add/try_divide/try_subtract/try_multiply numérique doit lever l’erreur de leurs enfants
- [SPARK-40183] [SC-108907][SQL] Utiliser la classe d’erreur NUMERIC_VALUE_OUT_OF_RANGE pour le dépassement dans la conversion décimale
- [SPARK-40180] [SC-109069][SQL] Mettre en forme les messages d’erreur par
spark-sql - [SPARK-40153] [SC-109165][SQL] Annuler les fonctions de résolution et les fonctions table
- [SPARK-40308] [SC-109880][SQL] Autoriser les arguments délimiteurs non pliables à la fonction
str_to_map - [SPARK-40219] [SC-110052][SC-109663][SQL] Le plan logique de vue résolu doit contenir le schéma pour éviter la recherche redondante
- [SPARK-40098] [SC-109939][SC-108693][SQL] Mettre en forme des messages d’erreur dans le serveur Thrift
- [SPARK-39917] [SC-109038][SQL] Utiliser différentes classes d’erreur pour le débordement arithmétique numérique/intervalle
- [SPARK-40033] [SC-109875][SQL] Prise en charge de la taille de schéma imbriquée via element_at
- [SPARK-40194] [SC-109660][SQL] La fonction SPLIT sur regex vide doit tronquer la chaîne vide.
- [SPARK-40228] [SC-109835][SQL] Absence de simplification de multiLike si l’enfant n’est pas une expression bon marché
- [SPARK-40039] [SC-109896][SC-109260][SS] Présentation d’un gestionnaire de fichiers de point de contrôle de streaming basé sur l’interface Abortable de Hadoop
- [SPARK-40285] [SC-109679][SQL] Simplification du
roundTo[Numeric]pourDecimalde Spark - [SPARK-39896] [SC-109658][SQL] UnwrapCastInBinaryComparison doit fonctionner lorsque le littéral d’In/InSet downcast a échoué
- [SPARK-40040] [SC-109662][SQL] Envoi de la limite locale vers les deux côtés si la condition de jointure est vide
- [SPARK-40055] [SC-109075][SQL] listCatalogs doit également retourner spark_catalog même quand l’implémentation de spark_catalog est defaultSessionCatalog
- [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N) ne peut pas créer de partitions N non-AQE
- [SPARK-40207] [SC-109401][SQL] Spécification du nom de colonne lorsque le type de données n’est pas pris en charge par la source de données
- [SPARK-40245] [SC-109295][SQL] Correction de la vérification de l’égalité FileScan lorsque les colonnes de partition ou de filtre de données ne sont pas lues
- [SPARK-40113] [SC-109405][SQL] Implémentations d’interface ParquetScanBuilder DataSourceV2 du réacteur
- [SPARK-40211] [SC-109226][CORE][SQL] Autorisation de la personnalisation du numéro de partitions initiales dans le comportement take()
- [SPARK-40252] [SC-109379][SQL] Remplacement de
Stream.collect(Collectors.joining)par l’APIStringJoiner - [SPARK-40247] [SC-109272][SQL] Correction de la vérification de l’égalité BitSet
- [SPARK-40067] [SQL] Utilisation de Table#name() au lieu de Scan#name() pour remplir le nom de table dans le nœud BatchScan dans SparkUI
- [SPARK-39966] [SQL] Utilisation d’un filtre V2 dans SupportsDelete
- [SPARK-39607] [SC-109268][SQL][DSV2] Distribution et commande prennent en charge la fonction V2 en écriture
- [SPARK-40224] [SC-109271][SQL] Faire en sorte que ObjectHashAggregateExec libère de la mémoire de manière pressante lors du recours au trie selon le type
- [SPARK-40013] [SQL] Les expressions DS V2 doivent avoir la valeur par défaut
toString - [SPARK-40214] [SC-109079][PYTHON][SQL] Ajouter « get » aux fonctions
- [SPARK-40192] [SC-109089][SQL][ML] Supprimer le groupby redondant
- [SPARK-40146] [SC-108694][SQL] Simplement le codegen de l’obtention de la valeur de la carte
- [SPARK-40109] [SQL] Nouvelle fonction SQL : get()
- [SPARK-39929] [SQL] DS V2 prend en charge les fonctions de chaîne pushdown (non ANSI)
- [SPARK-39819] [SQL] L’envoi d’agrégation DS V2 peut fonctionner avec Top N ou Paging (Trier avec des expressions)
- [SPARK-40213] [SC-109077][SQL] Prise en charge de la conversion de valeurs ASCII pour les caractères Latin-1
- [SPARK-39887] [SQL] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
- [SPARK-39764] [SQL] Rendre identiques PhysicalOperation et ScanOperation
- [SPARK-39964] [SQL] Le pushdown DS V2 doit unifier le chemin de traduction
- [SPARK-39528] [SQL] Utilisation du filtre V2 dans SupportsRuntimeFiltering
- [SPARK-40066] [SQL] Mode ANSI : retourne toujours null sur l’accès non valide à la colonne mappée
- [SPARK-39912] [SPARK-39828][SQL] Affiner CatalogImpl
- [SPARK-39833] [SC-108736][SQL] Désactiver l’index de colonne Parquet dans DSv1 pour résoudre un problème d’exactitude en cas de partition et de colonnes de données qui se chevauchent
- [SPARK-39880] [SQL] Commande V2 SHOW FUNCTIONS doit imprimer le nom de fonction qualifié comme v1
- [SPARK-39767] [SQL] Supprimer UnresolvedDBObjectName et ajouter UnresolvedIdentifier
- [SPARK-40163] [SC-108740][SQL] feat : SparkSession.config(Map)
- [SPARK-40136] [SQL] Corriger le fragment des contextes de requête SQL
- [SPARK-40107] [SC-108689][SQL] Extraction de la conversion empty2null de FileFormatWriter
- [SPARK-40121] [PYTHON][SQL] Initialisation de la projection utilisée pour l’UDF Python
- [SPARK-40128] [SQL] Faire en sorte que vectorizedColumnReader reconnaisse DELTA_LENGTH_BYTE_ARRAY en tant qu’encodage de colonne autonome
- [SPARK-40132] [ML] Restauration de rawPredictionCol sur MultilayerPerceptronClassifier.setParams
- [SPARK-40050] [SC-108696][SQL] Amélioration de
EliminateSortspour prendre en charge la suppression de tri viaLocalLimit - [SPARK-39629] [SQL] Prise en charge de SHOW FUNCTIONS v2
- [SPARK-39925] [SC-108734][SQL] Ajout de array_sort(colonne, comparateur) à des opérations DataFrame
- [SPARK-40117] [PYTHON][SQL] Conversion de la condition en Java dans DataFrameWriterV2.overwrite
- [SPARK-40105] [SQL] Amélioration de la répartition dans ReplaceCTERefWithRepartition
- [SPARK-39503] [SQL] Ajout du nom du catalogue de sessions pour la table et la fonction de base de données v1
- [SPARK-39889] [SQL] Utilisation de différentes classes d’erreur pour les valeurs numériques/intervalles divisées par 0
- [SPARK-39741] [SQL] Prise en charge de l’URL encode/décodage en tant que fonction intégrée et fonctions liées à l’URL de nettoyage
- [SPARK-40102] [SQL] Utilisation de SparkException au lieu d’IllegalStateException dans SparkPlan
- [SPARK-40014] [SQL] Prise en charge du cast des décimales en intervalles ANSI
- [SPARK-39776] [SQL][FOLLOW] Mise à jour l’UT de PlanStabilitySuite en mode ANSI
- [SPARK-39963] [SQL] Simplification
SimplifyCasts.isWiderCast
Mises à jour de maintenance
Consultez Mises à jour de maintenance de Databricks Runtime 11.3.
Environnement du système
- Système d’exploitation : Ubuntu 20.04.5 LTS
- Java : Zulu 8.56.0.21-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R : 4.1.3
- Delta Lake : 2.1.0
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | async-generator | 1,10 | attrs | 21.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | black | 22.3.0 |
| bleach | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | click | 8.0.3 | chiffrement | 3.4.8 |
| cycler | 0.10.0 | Cython | 0.29.24 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | decorator | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | entrypoints | 0.3 | facets-overview | 1.0.0 |
| filelock | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | jupyter-client | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | notebook | 6.4.5 | numpy | 1.20.3 |
| empaquetage | 21.0 | pandas | 1.3.4 | pandocfilters | 1.4.3 |
| parso | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | pycparser | 2.20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requêtes | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 08/09/2022.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | objet BLOB | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.1 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.2 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | jeux de données | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
| generics | 0.1.3 | gert | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4-1-4 |
| globals | 0.16.1 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| haven | 2.5.1 | highr | 0.9 | hms | 1.1.2 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | cycle de vie | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | Matrice | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.1 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progress | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| scales | 1.2.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | survival | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.41 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flux | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collecteur | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
| org.glassfish.jersey.core | jersey-client | 2,36 |
| org.glassfish.jersey.core | jersey-common | 2,36 |
| org.glassfish.jersey.core | jersey-server | 2,36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |