Databricks Runtime 11.2 (non pris en charge)
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.2 optimisé par Apache Spark 3.3.0. Databricks a publié ces images en septembre 2022.
Améliorations et nouvelles fonctionnalités
- Passer aux autorisations ALTER TABLE dans les contrôles d’accès aux tables (listes de contrôle d’accès de table)
- Nettoyage dynamique pour MERGE INTO
- Détection améliorée des conflits dans Delta avec le nettoyage de fichiers dynamique
- Nouvelle carte Intégrations open source dans les pages d’accueil DSE/SQL
- Améliorations apportées à la détection des partitions CONVERT TO DELTA
- Les schémas de table prennent désormais en charge les valeurs par défaut pour les colonnes
- Nouvelles fonctions géospatiales H3
- Nouvelle dépendance Databricks Runtime
- BYOK (Bring Your Own Key) : Chiffrement des informations d’identification Git
- SQL : Nouvelle fonction d’agrégation any_value
- Commandes de système de fichiers Databricks Utilities autorisées sur d’autres types de cluster
- Des privilèges CREATE peuvent désormais être accordés sur des metastores pour Unity Catalog
- Écritures optimisées pour des tables non partitionnées dans des clusters compatibles Photon
- Prise en charge de photon pour davantage de sources de données
- SQL : ALTER SHARE prend désormais en charge START VERSION
Passer aux autorisations ALTER TABLE dans les contrôles d’accès aux tables (listes de contrôle d’accès de table)
À présent, les utilisateurs ont uniquement besoin d’MODIFY autorisations pour modifier le schéma ou les propriétés d’une table avec ALTER TABLE. La propriété est toujours nécessaire pour accorder des autorisations sur une table, modifier son propriétaire et son emplacement ou le renommer. Cette modification rend le modèle d’autorisation pour les listes de contrôle d’accès de table cohérentes avec le catalogue Unity. Consultez ALTER TABLE.
Nettoyage dynamique pour MERGE INTO
Lors de l’utilisation du calcul avec Photon, MERGE INTO utilise désormais le nettoyage dynamique des fichiers et des partitions le cas échéant pour améliorer les performances, par exemple quand une petite table source est fusionnée dans une table cible plus grande.
Détection améliorée des conflits dans Delta avec le nettoyage de fichiers dynamique
Lors de la vérification des conflits potentiels pendant les validations, la détection des conflits prend désormais en compte les fichiers qui font l’objet d’un nettoyage dynamique, mais qui n’auraient pas été nettoyés par des filtres statiques. Cela se traduit par une diminution du nombre de transactions non réussies.
Nouvelle carte Intégrations open source dans les pages d’accueil DSE/SQL
Présentation de la nouvelle carte « Intégrations open source » dans les pages d’accueil DSE/SQL qui affichent les options d’intégration open source telles que Delta Live Tables et dbt core.
Améliorations apportées à la détection des partitions CONVERT TO DELTA
CONVERT TO DELTA déduit automatiquement le schéma de partition pour des tables Parquet inscrites dans le metastore Hive ou Unity Catalog, éliminant ainsi la nécessité de fournir la clause PARTITIONED BY.
CONVERT TO DELTA tire parti des informations de partition du metastore pour découvrir les fichiers d’une table Parquet au lieu d’afficher l’intégralité du chemin d’accès de base, garantissant ainsi que les partitions supprimées ne sont pas ajoutées à la table Delta.
Consultez Convertir en Delta Lake.
Les schémas de table prennent désormais en charge les valeurs par défaut des colonnes
Les schémas de table prennent désormais en charge la définition des valeurs par défaut des colonnes. Les commandes INSERT, UPDATE et DELETE de ces colonnes peuvent faire référence à ces valeurs avec le mot clé DEFAULT. Par exemple, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET suivie de INSERT INTO t VALUES (1, DEFAULT) ajoute la ligne (1, 42). Ce comportement est pris en charge pour les sources de données CSV, JSON, Orc et Parquet.
Nouvelles fonctions géospatiales H3
Vous pouvez maintenant utiliser 28 nouvelles expressions H3 intégrées à des fins de traitement géospatial dans les clusters Photon, disponibles dans SQL, Scala et Python. Consultez Fonctions géospatiales H3.
Nouvelle dépendance Databricks Runtime
Databricks Runtime dépend désormais de la bibliothèque Java H3 version 3.7.0.
BYOK (Bring Your Own Key) : Chiffrement des informations d’identification Git
Vous pouvez utiliser Azure Key Vault pour chiffrer un jeton d’accès personnel (PAT) Git ou d’autres informations d’identification Git.
Consultez Configurer les dossiers Git (Repos) Databricks.
SQL : Nouvelle fonction d’agrégation any_value
La nouvelle fonction d’agrégation any_value retourne toute valeur aléatoire expr pour un groupe de lignes. Consultez Fonction d’agrégation any_value.
Commandes de système de fichiers Databricks Utilities autorisées sur d’autres types de cluster
Les commandes dbutils.fs (à l’exception des commandes liées au montage) sont désormais autorisées sur les clusters d’isolation des utilisateurs avec Unity Catalog, ainsi que sur les clusters de liste de contrôle d’accès de table hérités lorsque l’utilisateur dispose d’autorisations ANY FILE.
Des privilèges CREATE peuvent désormais être accordés sur des metastores pour Unity Catalog
Les privilèges CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT et CREATE PROVIDER peuvent désormais être accordés sur des metastores Unity Catalog.
Écritures optimisées pour des tables non partitionnées dans des clusters compatibles Photon
Les tables managées Unity Catalog conservent désormais automatiquement des fichiers de taille bien ajustée de tables non partitionnées afin d’améliorer la vitesse de requête et d’optimiser les performances.
Prise en charge de photon pour d’avantage de sources de données
Photon prend désormais en charge davantage de sources de données, notamment CSV et Avro, et est également compatible avec les trames de données mises en cache. Auparavant, l’analyse de ces sources de données signifiait que la requête entière ne pouvait pas être photonisée, quels que soient les opérateurs ou expressions de la requête. À présent, les requêtes analysant ces sources de données peuvent être photonisées, déverrouillant des améliorations significatives de la latence et du coût de possession.
Cette fonctionnalité est activée par défaut par la configuration spark.databricks.photon.photonRowToColumnar.enabled.
Limites :
- Les schémas avec des types imbriqués ne sont pas pris en charge (c’est-à-dire des tableaux, des mappages et des structs) dans cette version.
- Les sources ORC, RDD, Kafka et EventHub ne sont pas prises en charge dans cette version.
SQL : ALTER SHARE prend désormais en charge START VERSION
La commande ALTER SHARE prend désormais en charge START VERSION, ce qui permet aux fournisseurs de partager des données à partir d’une version de table spécifique. Consultez ALTER SHARE.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- distlib de la version 0.3.4 vers la version 0.3.5
- filelock de la version 3.7.1 vers la version 3.8.0
- plotly de la version 5.8.2 vers la version 5.9.0
- protobuf de la version 4.21.2 vers la version 4.21.5
- Bibliothèques R mises à niveau :
- broom de la version 0.8.0 vers la version 1.0.0
- bslib de la version 0.3.1 vers la version 0.4.0
- callr de la version 3.7.0 vers la version 3.7.1
- caret de la version 6.0-92 vers la version 6.0-93
- dbplyr de la version 2.2.0 vers la version 2.2.1
- devtools de la version 2.4.3 vers la version 2.4.4
- evaluate de la version 0.15 vers la version 0.16
- farver de la version 2.1.0 vers la version 2.1.1
- fontawesome de la version 0.2.2 vers la version 0.3.0
- future de la version 1.26.1 vers la version 1.27.0
- generics de la version 0.1.2 vers la version 0.1.3
- gert de la version 1.6.0 vers la version 1.7.0
- globals de la version 0.15.1 vers la version 0.16.0
- googlesheets4 de la version 1.0.0 vers la version 1.0.1
- hardhat de la version 1.1.0 vers la version 1.2.0
- htmltools de la version 0.5.2 vers la version 0.5.3
- parrallelly de la version 1.32.0 vers la version 1.32.1
- pillar de la version 1.7.0 vers la version 1.8.0
- pkgload de la version 1.2.4 vers la version 1.3.0
- processx de la version 3.6.1 vers la version 3.7.0
- Rcpp de la version 1.0.8.3 vers la version 1.0.9
- recipes de la version 0.2.0 vers la version 1.0.1
- rlang de la version 1.0.2 vers la version 1.0.4
- roxygen2 de la version 7.2.0 vers la version 7.2.1
- RSQLite de la version 2.2.14 vers la version 2.2.15
- sass de la version 0.4.1 vers la version 0.4.2
- shiny de la version 1.7.1 vers la version 1.7.2
- stringi de la version 1.7.6 vers la version 1.7.8
- tibble de la version 3.1.7 vers la version 3.1.8
- tidyverse de la version 1.3.1 vers la version 1.3.2
- timeDate de la version 3043.102 vers la version 4021.104
- xfun de la version 0.31 vers la version 0.32
- Bibliothèques Java mises à niveau :
- org.apache.orc.orc-core de la version 1.7.4 vers la version 1.7.5
- org.apache.orc.orc-mapreduce de la version 1.7.4 vers la version 1.7.5
- org.apache.orc.orc-shims de la version 1.7.4 vers la version 1.7.5
Apache Spark
Databricks Runtime 11.2 comprend Apache Spark 3.3.0. Cette version inclut tous les correctifs et améliorations de Spark figurant dans Databricks Runtime 11.1 (non pris en charge) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :
- [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] Retour de types d’intervalles ANSI plus larges à partir des fonctions de centile
- [SPARK-40054] [SQL] Restaurer la syntaxe de gestion des erreurs de try_cast()
- [SPARK-39489] [CORE] Amélioration des performances jsonProtocol de journalisation des événements à l’aide de Jackson au lieu de Json4s
- [SPARK-39319] [CORE][SQL] Création de contextes de requête dans le cadre de
SparkThrowable - [SPARK-40085] [SQL] Utilisation de la classe d’erreur INTERNAL_ERROR au lieu d’IllegalStateException pour indiquer les bogues
- [SPARK-40001] [SQL] Effectuer des écritures NULL dans les colonnes JSON DEFAULT « Null » dans le stockage
- [SPARK-39635] [SQL] Prise en charge des métriques de pilote dans l’API de métrique personnalisée DS v2
- [SPARK-39184] [SQL] Gestion des tableaux de résultats sous-dimensionnés dans les séquences de date et d’horodatage
- [SPARK-40019] [SQL] Refactorisation du commentaire containsNull ArrayType et refactorisation des logiques d’incompréhension dans l’expression de collectionOperator concernant
containsNull - [SPARK-39989] [SQL] Prise en charge des statistiques de colonne d’estimation s’il s’agit d’une expression pliable
- [SPARK-39926] [SQL] Correction d’un bogue de prise en charge DEFAULT de colonne pour les analyses Parquet non vectorisées
- [SPARK-40052] [SQL] Gestion des tampons d’octets directs dans VectorizedDeltaBinaryPackedReader
- [SPARK-40044] [SQL] Correction du type d’intervalle cible dans les erreurs de dépassement de cast
- [SPARK-39835] [SQL] Correction du tri global EliminateSorts en dessous du tri local
- [SPARK-40002] [SQL] Ne pas pousser la limite jusqu’à la fenêtre à l’aide de ntile
- [SPARK-39976] [SQL] ArrayIntersect doit correctement gérer la valeur null dans l’expression gauche
- [SPARK-39985] [SQL] Activation des valeurs de colonne DEFAULT implicites dans les insertions à partir de DataFrames
- [SPARK-39776] [SQL] La chaîne détaillée JOIN doit ajouter un type de jointure
- [SPARK-38901] [SQL] DS V2 prend en charge les fonctions diverses de pushdown
- [SPARK-40028] [SQL][FollowUp] Amélioration des exemples de fonctions de chaîne
- [SPARK-39983] [CORE][SQL] Non mises en cache des relations de diffusion non sérialisées sur le pilote
- [SPARK-39812] [SQL] Simplification du code pour construire
AggregateExpressionavectoAggregateExpression - [SPARK-40028] [SQL] Ajout d’exemples binaires pour les expressions de chaîne
- [SPARK-39981] [SQL] Levée de l’exception QueryExecutionErrors.castCauseOverflowErrorInsert dans Cast
- [SPARK-40007] [PYTHON][SQL] Ajout d’un mode aux fonctions
- [SPARK-40008] [SQL] Prise en charge de la conversion d’intégrales en intervalles ANSI
- [SPARK-40003] [PYTHON][SQL] Ajout d’une médiane aux fonctions
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand doit recacher la relation de résultat
- [SPARK-39951] [SQL] Mise à jour de la vérification des colonnes Parquet V2 pour les champs imbriqués
- [SPARK-33236] [shuffle] Rétroportage vers DBR 11.x : activer le service de lecture aléatoire basé sur push pour stocker l’état dans la base de données de niveau NM pour le redémarrage de la conservation du travail
- [SPARK-39836] [SQL] Simplification de V2ExpressionBuilder par extraction de la méthode courante.
- [SPARK-39873] [SQL] Suppression de
OptimizeLimitZeroet fusion dansEliminateLimits - [SPARK-39961] [SQL] Cast de translation du pushdown DS V2 si le cast est sécurisé
- [SPARK-39872] [SQL] Utilisation de
BytePackerForLong#unpack8Valuesavec l’API d’entrée de tableau dansVectorizedDeltaBinaryPackedReader - [SPARK-39858] [SQL] Suppression inutile de
AliasHelperouPredicateHelperpour certaines règles - [SPARK-39900] [SQL] Adresse partielle ou condition exclue dans le pushdown de prédicat du format binaire
- [SPARK-39904] [SQL] Renommage de inferDate par prefersDate et clarification de la sémantique de l’option dans la source de données CSV
- [SPARK-39958] [SQL] Ajout d’un journal d’avertissement en cas d’impossibilité de charger un objet de métrique personnalisé
- [SPARK-39932] [SQL] WindowExec doit effacer la mémoire tampon de la partition finale
- [SPARK-37194] [SQL] Éviter le tri inutile en écriture v1 s’il ne s’agit pas d’une partition dynamique
- [SPARK-39902] [SQL] Ajout de détails d’analyse au nœud d’analyse de plan Spark dans SparkUI
- [SPARK-39865] [SQL] Affichage des messages d’erreur appropriés pour les erreurs de dépassement de capacité d’insertion de table
- [SPARK-39940] [SS] Actualisation de la table de catalogue sur la requête de streaming avec le récepteur DSv1
- [SPARK-39827] [SQL] Utilisation de la classe d’erreur
ARITHMETIC_OVERFLOWen cas de dépassement int dansadd_months() - [SPARK-39914] [SQL] Ajout d’un filtre DS V2 à la conversion de filtre V1
- [SPARK-39857] [SQL] Rétroportage DBR 11.x manuel ; V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In #43454
- [SPARK-39840] [SQL][PYTHON] Factorisation de PythonArrowInput comme symétrie de PythonArrowOutput
- [SPARK-39651] [SQL] Nettoyage du filtre de condition si la comparaison avec rand est déterministe
- [SPARK-39877] [PYTHON] Ajouter unpivot à l’API DataFrame PySpark
- [SPARK-39909] [SQL] Organisation de la vérification des informations push pour JDBCV2Suite
- [SPARK-39834] [SQL][SS] Inclusion des statistiques d’origine et des contraintes pour LogicalRDD s’il provient de DataFrame
- [SPARK-39849] [SQL] Dataset.as(StructType) remplit les nouvelles colonnes manquantes avec la valeur Null
- [SPARK-39860] [SQL] D’autres expressions doivent étendre Predicate
- [SPARK-39823] [SQL][PYTHON] Renommage de Dataset.as en Dataset.to et ajout de DataFrame.to dans PySpark
- [SPARK-39918] [SQL][MINOR] Remplacement du libellé « non comparable » par « incomparable » dans le message d’erreur
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In
- [SPARK-39862] [SQL] Rétroportage manuel pour PR 43654 ciblant DBR 11.x : mise à jour de SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS pour autoriser/refuser ALTER TABLE ... Commandes ADD COLUMN séparément.
- [SPARK-39844] [SQL] Rétroportage manuel pour PR 43652 ciblant DBR 11.x
- [SPARK-39899] [SQL] Correction du passage des paramètres de message à
InvalidUDFClassException - [SPARK-39890] [SQL] Faire en sorte que Make TakeOrderedAndProjectExec hérite de AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON] Prise en charge de CharType dans PySpark
- [SPARK-38864] [SQL] Ajout de unpivot / melt au jeu de données
- [SPARK-39864] [SQL] Inscription en différé de ExecutionListenerBus
- [SPARK-39808] [SQL] Prise en charge de la fonction d’agrégation MODE
- [SPARK-39875] [SQL] Modification de la méthode
protecteddans la classe finale parprivateoupackage-visible - [SPARK-39731] [SQL] Correction du problème dans les sources de données CSV et JSON lors de l’analyse des dates au format « aaaaMMjj » avec une stratégie d’analyseur de temps CORRIGÉE
- [SPARK-39805] [SS] Dépréciation de Trigger.Once et promotion de Trigger.AvailableNow
- [SPARK-39784] [SQL] Placer des valeurs littérales sur le côté droit du filtre de source de données après avoir traduit l’expression Catalyst en filtre de source de données
- [SPARK-39672] [SQL][3.1] Correction de la suppression de projet avant le filtre avec sous-requête corrélée
- [SPARK-39552] [SQL] Unify v1 et v2
DESCRIBE TABLE - [SPARK-39810] [SQL] Catalog.tableExists doit gérer l’espace de noms imbriqué
- [SPARK-37287] [SQL] Extraction de la partition dynamique et tri du compartiment à partir de FileFormatWriter
- [SPARK-39469] [SQL] Déduction du type de date pour l’inférence de schéma CSV
- [SPARK-39148] [SQL] Le pushdown d’agrégation DS V2 peut utiliser OFFSET ou LIMIT
- [SPARK-39818] [SQL] Correction d’un bogue dans les types ARRAY, STRUCT, MAP avec les valeurs DEFAULT avec champ(s) NULL
- [SPARK-39792] [SQL] Ajout de DecimalDivideWithOverflowCheck pour la moyenne décimale
- [SPARK-39798] [SQL] Remplacement de
toSeq.toArraypar.toArray[Any]dans le constructeur deGenericArrayData - [SPARK-39759] [SQL] Implémentation de listIndexes dans JDBC (dialecte H2)
- [SPARK-39385] [SQL] Prise en charge du pushdown
REGR_AVGXetREGR_AVGY - [SPARK-39787] [SQL] Utilisation de la classe d’erreur dans l’erreur d’analyse de la fonction to_timestamp
- [SPARK-39760] [PYTHON] Prise en charge de Varchar dans PySpark
- [SPARK-39557] [SQL] Rétroportage manuel vers DBR 11.x : prise en charge des types ARRAY, STRUCT, MAP en tant que valeurs DEFAULT
- [SPARK-39758] [SQL][3.3] Correction de NPE à partir de fonctions regexp sur les modèles non valides
- [SPARK-39749] [SQL] Mode SQL ANSI : utilisation d’une représentation sous forme de chaîne brute lors du cast de Decimal sur String
- [SPARK-39704] [SQL] Implémentation de createIndex, dropIndex et indexExists dans JDBC (dialecte H2)
- [SPARK-39803] [SQL] Utilisation de
LevenshteinDistanceà la place deStringUtils.getLevenshteinDistance - [SPARK-39339] [SQL] Prise en charge de type TimestampNTZ dans la source de données JDBC
- [SPARK-39781] [SS] Ajout d’une prise en charge de fourniture de max_open_files au fournisseur de magasin d’état rocksdb
- [SPARK-39719] [R] Implémentation de databaseExists/getDatabase dans la prise en charge SparkR de l’espace de noms 3L
- [SPARK-39751] [SQL] Renommage de la métrique des sondes de clé d’agrégation de hachage
- [SPARK-39772] [SQL] L’espace de noms doit être null lorsque la base de données est null dans les anciens constructeurs
- [SPARK-39625] [SPARK-38904][SQL] Ajout de Dataset.as(StructType)
- [SPARK-39384] [SQL] Compilation des fonctions d’agrégation de régression linéaire intégrées pour le dialecte JDBC
- [SPARK-39720] [R] Implémentation de tableExists/getTable dans SparkR pour l’espace de noms 3L
- [SPARK-39744] [SQL] Ajout de la fonction
REGEXP_INSTR - [SPARK-39716] [R] Créer currentDatabase/setCurrentDatabase/listCatalogs dans la prise en charge SparkR de l’espace de noms 3L
- [SPARK-39788] [SQL] Renommage de
catalogNamepardialectNamepourJdbcUtils - [SPARK-39647] [CORE] Inscrire l’exécuteur auprès d’ESS avant d’inscrire le BlockManager
- [SPARK-39754] [CORE][SQL] Suppression des éléments
importnon utilisés ou{}non nécessaires - [SPARK-39706] [SQL] Définition de la colonne manquante avec defaultValue comme constante dans
ParquetColumnVector - [SPARK-39699] [SQL] Rendre CollapseProject plus intelligent sur les expressions de création de collection
- [SPARK-39737] [SQL]
PERCENTILE_CONTetPERCENTILE_DISCdoivent prendre en charge le filtre d’agrégation - [SPARK-39579] [SQL][PYTHON][R] Rendre ListFunctions/getFunctions/functionExists compatible avec l’espace de noms de couche 3
- [SPARK-39627] [SQL] Le pushdown JDBC V2 doit unifier l’API de compilation
- [SPARK-39748] [SQL][SS] Inclusion du plan logique d’origine pour LogicalRDD s’il provient de DataFrame
- [SPARK-39385] [SQL] Translation des fonctions d’agrégation de régression linéaire pour pushdown
- [SPARK-39695] [SQL] Ajout de la fonction
REGEXP_SUBSTR - [SPARK-39667] [SQL] Ajout d’une autre solution de contournement lorsqu’il n’y a pas suffisamment de mémoire pour générer et diffuser la table
- [SPARK-39666] [ES-337834][SQL] Utiliser UnsafeProjection.create pour respecter
spark.sql.codegen.factoryModedans ExpressionEncoder - [SPARK-39643] [SQL] Interdire les expressions de sous-requête dans les valeurs DEFAULT
- [SPARK-38647] [SQL] Ajout de Add SupportsReportOrdering à l’interface pour l’analyse (DataSourceV2)
- [SPARK-39497] [SQL] Améliorer l’exception d’analyse de la colonne clé de carte manquante
- [SPARK-39661] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
- [SPARK-39713] [SQL] Mode ANSI : ajout d’une suggestion d’utilisation de try_element_at pour l’erreur INVALID_ARRAY_INDEX
- [SPARK-38899] [SQL] DS V2 prend en charge les fonctions DateHeure du pushdown
- [SPARK-39638] [SQL] Modification de l’utilisation de
ConstantColumnVectorpour stocker les colonnes de partition dansOrcColumnarBatchReader - [SPARK-39653] [SQL] Nettoyage de
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)à partir deColumnVectorUtils - [SPARK-39231] [SQL] Utilisation de
ConstantColumnVectorà la place deOn/OffHeapColumnVectorpour stocker les colonnes de partition dansVectorizedParquetRecordReader - [SPARK-39547] [SQL] V2SessionCatalog ne doit pas lever d’exception NoSuchDatabaseException dans loadNamspaceMetadata
- [SPARK-39447] [SQL] Éviter AssertionError dans AdaptiveSparkPlanExec.doExecuteBroadcast
- [SPARK-39492] [SQL] Retravail de MISSING_COLUMN
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec doit respecter l’ordre de sortie enfant
- [SPARK-39606] [SQL] Utilisation des statistiques enfants pour estimer l’opérateur order
- [SPARK-39611] [PYTHON][PS] Correction des alias incorrects dans array_ufunc
- [SPARK-39656] [SQL][3.3] Correction de l’espace de noms incorrect dans DescribeNamespaceExec
- [SPARK-39675] [SQL] Basculement de la configuration « spark.sql.codegen.factoryMode » d’un objectif de test à un objectif interne
- [SPARK-39139] [SQL] DS V2 prend en charge le pushdown DS V2 UDF
- [SPARK-39434] [SQL] Fournir le contexte de requête d’erreur du runtime lorsque l’index de tableau est hors limite
- [SPARK-39479] [SQL] DS V2 prend en charge les fonctions mathématiques de pushdown (non ANSI)
- [SPARK-39618] [SQL] Ajout de la fonction
REGEXP_COUNT - [SPARK-39553] [CORE] L’inscription à plusieurs threads ne doit pas générer de bogue NPE lors de l’utilisation de Scala 2.13
- [SPARK-38755] [PYTHON][3.3] Ajout d’un fichier pour résoudre les fonctions générales pandas manquantes
- [SPARK-39444] [SQL] Ajout de OptimizeSubqueries à la liste nonExcludableRules
- [SPARK-39316] [SQL] Fusion de PromotePrecision et CheckOverflow en arithmétique binaire décimale
- [SPARK-39505] [UI] Contenu du journal d’échappement affiché dans l’interface utilisateur
- [SPARK-39448] [SQL] Ajout de
ReplaceCTERefWithRepartitionà la listenonExcludableRules - [SPARK-37961] [SQL] Substitution de maxRows/maxRowsPerPartition pour certains opérateurs logiques
- [SPARK-35223] Rétablir l’ajout de IssueNavigationLink
- [SPARK-39633] [SQL] Prise en charge de l’horodatage en secondes pour TimeTravel à l’aide des options de DataFrame
- [SPARK-38796] [SQL] Mise à jour de la documentation pour les chaînes de format numérique avec les fonctions {try_}to_number
- [SPARK-39650] [SS] Correction d’un schéma de valeur incorrect dans la déduplication de streaming avec compatibilité descendante
- [SPARK-39636] [CORE][UI] Correction de plusieurs bogues dans JsonProtocol, impactant les tas StorageLevels et Task/Executor ResourceRequests
- [SPARK-39432] [SQL] Retour de ELEMENT_AT_BY_INDEX_ZERO à partir de element_at(*, 0)
- [SPARK-39349] Ajout d’une méthode CheckError centralisée pour l’AQ du chemin d’erreur
- [SPARK-39453] [SQL] DS V2 prend en charge les fonctions non agrégées diverses de pushdown (non ANSI)
- [SPARK-38978] [SQL] DS V2 prend en charge l’opérateur OFFSET de pushdown
- [SPARK-39567] [SQL] Prise en charge des intervalles ANSI dans les fonctions de centile
- [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ALTER COLUMNS dans les sources de données V2
- [SPARK-39396] [SQL] Correction de l’exception de connexion LDAP « Code d’erreur 49 - Informations d’identification non valides »
- [SPARK-39548] [SQL] La commande CreateView avec une requête de clause de fenêtre a rencontré un problème introuvable de définition de fenêtre incorrecte
- [SPARK-39575] [AVRO] ajouter ByteBuffer#rewind après ByteBuffer#get dans Avr…
- [SPARK-39543] L’option de DataFrameWriterV2 doit être transmise aux propriétés de stockage en cas de secours sur v1
- [SPARK-39564] [SS] Exposition des informations de la table de catalogue dans le plan logique de la requête de streaming
- [SPARK-39582] [SQL] Correction du marqueur « Depuis » pour
array_agg - [SPARK-39388] [SQL] Réutilisation de
orcSchemalors du pushdown de prédicats Orc - [SPARK-39511] [SQL] Amélioration de la limite locale 1 du pushdown pour le côté droit de la jointure semi/anti si la condition de jonction est vide
- [SPARK-38614] [SQL] Ne pas pousser la limite via une fenêtre utilisant percent_rank
- [SPARK-39551] [SQL] Ajout d’une vérification de plan non valide AQE
- [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ADD COLUMNS dans les sources de données V2
- [SPARK-39538] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
- [SPARK-39383] [SQL] Rétroportage manuel vers DBR 11.x : refactorisation de la prise de la colonne DEFAULT pour ignorer le contournement de l’analyseur principal
- [SPARK-39397] [SQL] Assouplissement de AliasAwareOutputExpression pour prendre en charge l’alias avec l’expression
- [SPARK-39496] [SQL] Gestion de structure Null dans
Inline.eval - [SPARK-39545] [SQL] Substitution de la méthode
concatpourExpressionSetdans Scala 2.13 afin d’améliorer les performances - [SPARK-39340] [SQL] Le pushdown d’agrégation DS v2 doit autoriser les points dans le nom des colonnes de niveau supérieur
- [SPARK-39488] [SQL] Simplification de la gestion de l’erreur TempResolvedColumn
- [SPARK-38846] [SQL] Ajout d’un mappage de données explicite entre le type numérique Teradata et le type décimal Spark
- [SPARK-39520] [SQL] Substitution de la méthode
--pourExpressionSetdans Scala 2.13 - [SPARK-39470] [SQL] Prise en charge du cast des intervalles ANSI en décimales
- [SPARK-39477] [SQL] Suppression de l’information « Nombre de requêtes » des fichiers d’or de SQLQueryTestSuite
- [SPARK-39419] [SQL] Correction de ArraySort pour lever une exception lorsque le comparateur retourne null
- [SPARK-39061] [SQL] Définition correcte de la propriété pouvant accepter la valeur Null pour les attributs de sortie
Inline - [SPARK-39320] [SQL] Prise en charge de la fonction d’agrégation
MEDIAN - [SPARK-39261] [CORE] Amélioration de la mise en forme de nouvelle ligne pour les messages d’erreur
- [SPARK-39355] [SQL] Une colonne unique utilise des guillemets pour construire UnresolvedAttribute
- [SPARK-39351] [SQL] SHOW CREATE TABLE doit éditer les propriétés
- [SPARK-37623] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_intercept
- [SPARK-39374] [SQL] Amélioration du message d’erreur pour la liste de colonnes spécifiée par l’utilisateur
- [SPARK-39255] [SQL][3.3] Amélioration des messages d’erreur
- [SPARK-39321] [SQL] Refactorisation de TryCast pour utiliser RuntimeReplaceable
- [SPARK-39406] [PYTHON] Acceptation du tableau NumPy dans createDataFrame
- [SPARK-39267] [SQL] Nettoyage du symbole dsl inutile
- [SPARK-39171] [SQL] Unification de l’expression Cast
- [SPARK-28330] [SQL] Prise en charge de la clause de décalage de résultat ANSI SQL dans l’expression de requête
- [SPARK-39203] [SQL] Réécriture de l’emplacement de la table en URI absolu basé sur l’URI de la base de données
- [SPARK-39313] [SQL]
toCatalystOrderingdoit échouer si la translation de V2Expression est impossible - [SPARK-39301] [SQL][PYTHON] Utilisation de LocalRelation et respect de la taille des lots de flèches dans createDataFrame avec optimisation des flèches
- [SPARK-39400] [SQL] spark-sql doit supprimer ce paramètre hive resource dir dans tous les cas
Mises à jour de maintenance
Consultez Mises à jour de maintenance de Databricks Runtime 11.2.
Environnement du système
- Système d’exploitation : Ubuntu 20.04.4 LTS
- Java : Zulu 8.56.0.21-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R : 4.1.3
- Delta Lake : 2.1.0
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1,10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| black | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
| chiffrement | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| notebook | 6.4.5 | numpy | 1.20.3 | empaquetage | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requêtes | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 15/08/2022.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | objet BLOB | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | jeux de données | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| generics | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4-1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | cycle de vie | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | Matrice | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progress | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0,13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0,40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flux | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collecteur | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
| org.glassfish.jersey.core | jersey-client | 2,34 |
| org.glassfish.jersey.core | jersey-common | 2,34 |
| org.glassfish.jersey.core | jersey-server | 2,34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |