Databricks Runtime 11.1 (non pris en charge)
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.1 optimisé par Apache Spark 3.3.0. Databricks a publié ces images en juillet 2022.
Améliorations et nouvelles fonctionnalités
- Photon est en disponibilité générale
- Photon : Types d’instances pris en charge
- Le flux des changements de données peut désormais gérer automatiquement les horodatages hors plage
- Les fonctions SQL de description et d’affichage affichent désormais les noms Unity Catalog dans leur sortie (préversion publique)
- Inférence et évolution du schéma pour les fichiers Parquet dans Auto Loader (préversion publique)
- Auto Loader prend désormais en charge l’évolution du schéma pour Avro (disponibilité générale)
- Prise en charge de Delta Lake pour les remplacements de partition dynamique
- Prise en charge du schéma d’informations pour les objets créés dans Unity Catalog
- Contraintes d’information sur les tables Delta Lake avec Unity Catalog (préversion publique)
- Unity Catalog est en disponibilité générale
- Delta Sharing est en disponibilité générale
Photon est en disponibilité générale
Photon est désormais en disponibilité générale, à compter de Databricks Runtime 11.1. Photon est le moteur de requête vectorisé natif sur Azure Databricks, écrit pour être compatible avec les API Apache Spark, de sorte qu’il fonctionne avec votre code existant. Photon est développé en C++ pour tirer parti du matériel moderne, et il utilise les dernières techniques du traitement des requêtes vectorisées pour tirer parti du parallélisme au niveau des données et des instructions dans les processeurs, améliorant ainsi les performances sur les données et les applications réelles, tout ceci en mode natif sur votre Data Lake.
Photon fait partie d’un runtime hautes performances qui exécute vos appels d’API SQL et tableau existants plus rapidement et réduit le coût total par charge de travail. Photon est utilisé par défaut dans les entrepôts Databricks SQL.
Voici les améliorations et nouvelles fonctionnalités :
- Nouvel opérateur de tri vectorisé
- Nouvelles fonctions de fenêtre vectorisées
- Nouveaux types et tailles d’instance dans tous les clouds
Limites :
- Les UDF Scala/Python ne sont pas pris en charge par Photon
- RDD n’est pas pris en charge par Photon
- Structured Streaming n’est pas pris en charge par Photon
Pour plus d’informations, consultez les annonces Photon suivantes.
Photon : Nouvel opérateur de tri vectorisé
Photon prend désormais en charge un tri vectorisé lorsqu’une requête contient SORT_BY, CLUSTER_BY ou une fonction de fenêtre avec un ORDER BY.
Limitations : Photon ne prend pas en charge une clause ORDER BY globale. Les tris pour l’évaluation des fenêtres se photonisent, mais le tri global continue à s’exécuter dans Spark.
Photon : Nouvelles fonctions de fenêtre vectorisées
Photon prend désormais en charge l’évaluation des fonctions de fenêtre vectorisées pour de nombreux types et fonctions de trames. Les nouvelles fonctions de fenêtre incluent row_number, rank, dense_rank, lag, lead, percent_rank, ntile et nth_value. Types de trames de fenêtre pris en charge : exécution (UNBOUNDED PRECEDING AND CURRENT ROW), sans limite (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), à croissance (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) et à réduction (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).
Limites :
- Photon prend uniquement en charge les versions
ROWSde tous les types de trames. - Photon ne prend pas encore en charge le type de trame glissant (
<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).
Photon : Types d’instances pris en charge
- dds_v5
- ds_v5
- eas_v4
- eds_v4
- eds_v5
- es_v5
- las_v3
- ls_v3
Le flux des changements de données peut désormais gérer automatiquement les horodatages hors plage
Le flux des changements de données dispose désormais d’un nouveau mode qui vous permet de fournir des horodatages ou des versions au-delà de la dernière version d’un commit sans lever d’erreurs. Ce mode est désactivé par défaut. Vous pouvez l’activer en définissant la configuration spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled sur true.
Les fonctions SQL de description et d’affichage affichent désormais les noms Unity Catalog dans leur sortie (préversion publique)
Les commandes DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN et SHOW CREATE TABLE affichent maintenant toujours le nom du catalogue dans leur sortie.
Inférence et évolution du schéma pour les fichiers Parquet dans Auto Loader (préversion publique)
Auto Loader prend désormais en charge l’inférence de schéma et l’évolution pour les fichiers Parquet. Tout comme les formats JSON, CSV et Avro, vous pouvez désormais utiliser la colonne de données sauvée pour sauver des données inattendues qui peuvent apparaître dans vos fichiers Parquet. Cela comprend les données qui ne peuvent pas être analysées dans le type de données attendu, les colonnes qui ont une casse différente les colonnes supplémentaires qui ne font pas partie du schéma attendu. Vous pouvez configurer Auto Loader de façon à faire évoluer automatiquement le schéma lors de l’ajout de nouvelles colonnes dans les données entrantes. Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.
Auto Loader prend désormais en charge l’évolution du schéma pour Avro (disponibilité générale)
Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.
Prise en charge de Delta Lake pour les remplacements de partition dynamique
Delta Lake active désormais le mode de remplacement de partition dynamique afin de remplacer toutes les données existantes dans chaque partition logique pour laquelle l’écriture validera de nouvelles données. Consultez Remplacer de manière sélective les données avec Delta Lake.
Prise en charge du schéma d’informations pour les objets créés dans Unity Catalog
Le schéma d’informations fournit une API autodescriptive basée sur SQL pour les métadonnées de différents objets de base de données, y compris les tables et les vues, les contraintes et les routines.
Dans le schéma d’informations se trouve un ensemble de vues décrivant les objets connus du catalogue du schéma pour lesquels vous disposez des privilèges d’affichage.
Le schéma d’informations du catalogue SYSTEM retourne des informations sur les objets dans tous les catalogues du metastore.
Consultez Schéma d’informations.
Contraintes d’information sur les tables Delta Lake avec Unity Catalog (préversion publique)
Vous pouvez maintenant définir des contraintes de clé primaire d’information et de clé étrangère sur les tables Delta Lake avec Unity Catalog. Les contraintes d’information ne sont pas imposées. Consultez Clause CONSTRAINT.
Unity Catalog est en GA
Unity Catalog est désormais en disponibilité générale, à compter de Databricks Runtime 11.1. Consultez Qu’est-ce que Unity Catalog ?.
Delta Sharing est en disponibilité générale
Delta Sharing est désormais en disponibilité générale, à compter de Databricks Runtime 11.1.
Databricks vers Databricks Delta Sharing est entièrement managé sans avoir besoin d’échanger des jetons. Vous pouvez créer et gérer des fournisseurs, des destinataires et des partages dans l’interface utilisateur ou avec des API SQL et REST.
Certaines fonctionnalités incluent la restriction de l’accès des destinataires, l’interrogation de données avec des listes d’accès IP et des restrictions de région, ainsi que la délégation de la gestion de Delta Sharing aux non-administrateurs. Vous pouvez également interroger les modifications apportées aux données ou partager des versions incrémentielles avec des flux de données modifiées. Consultez Partager des données et des ressources IA de façon sécurisée à l’aide du partage Delta.
Changements de comportement
Édition des propriétés sensibles pour DESCRIPTION TABLE et SHOW TABLE PROPERTIES
Les commandes DESCRIBE TABLE et SHOW TABLE PROPERTIES éditent désormais les propriétés sensibles.
Les clusters de travail sont par défaut en mode d’accès mono-utilisateur avec Databricks Runtime 11.1 et versions ultérieures
Pour être compatibles avec Unity Catalog, les clusters de travail utilisant Databricks Runtime 11.1 et versions ultérieures créés via l’interface utilisateur des travaux ou l’API de travaux sont par défaut en mode d’accès mono-utilisateur. Le mode d'accès utilisateur unique prend en charge la plupart des langages de programmation, des fonctionnalités de cluster et des fonctionnalités de gouvernance des données. Vous pouvez toujours configurer un mode d’accès partagé via l’interface utilisateur ou l’API, mais les langues ou les fonctionnalités peuvent être limitées.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- filelock de la version 3.6.0 vers la version 3.7.1
- plotly de la version 5.6.0 vers la version 5.8.2
- protobuf de la version 3.20.1 vers la version 4.21.2
- Bibliothèques R mises à niveau :
- chron de la version 2.3-56 vers la version 2.3-57
- DBI de la version 1.1.2 vers la version 1.1.3
- dbplyr de la version 2.1.1 vers la version 2.2.0
- e1071 de la version 1.7-9 vers la version 1.7-11
- future de la version 1.25.0 vers la version 1.26.1
- globals de la version 0.14.0 vers la version 0.15.1
- hardhat de la version 0.2.0 vers la version 1.1.0
- ipred de la version 0.9-12 vers la version 0.9-13
- OpenSSL de la version 2.0.0 vers la version 2.0.2
- parrallelly de la version 1.31.1 vers la version 1.32.0
- processx de la version 3.5.3 vers la version 3.6.1
- progressr de la version 0.10.0 vers la version 0.10.1
- proxy de la version 0.4-26 vers la version 0.4-27
- ps de la version 1.7.0 vers la version 1.7.1
- randomForest de la version 4.7-1 vers la version 4.7-1.1
- roxygen2 de la version 7.1.2 vers la version 7.2.0
- Rserve de la version 1.8-10 vers la version 1.8-11
- RSQLite de la version 2.2.13 vers la version 2.2.14
- sparklyr de la version 1.7.5 vers la version 1.7.7
- tinytex de la version 0.38 vers la version 0.40
- usethis de la version 2.1.5 vers la version 2.1.6
- xfun de la version 0.30 vers la version 0.31
- Bibliothèques Java mises à niveau :
- io.delta.delta-sharing-spark_2.12 de la version 0.4.0 vers la version 0.5.0
Apache Spark
Databricks Runtime 11.2 comprend Apache Spark 3.3.0. Cette version inclut tous les correctifs et améliorations de Spark figurant dans Databricks Runtime 11.1 (non pris en charge) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :
- [SPARK-40054] [SQL] Restaurer la syntaxe de gestion des erreurs de try_cast()
- [SPARK-39489] [CORE] Amélioration des performances jsonProtocol de journalisation des événements à l’aide de Jackson au lieu de Json4s
- [SPARK-39319] [CORE][SQL] Création de contextes de requête dans le cadre de
SparkThrowable - [SPARK-40085] [SQL] Utilisation de la classe d’erreur INTERNAL_ERROR au lieu d’IllegalStateException pour indiquer les bogues
- [SPARK-40001] [SQL] Effectuer des écritures NULL dans les colonnes JSON DEFAULT « Null » dans le stockage
- [SPARK-39635] [SQL] Prise en charge des métriques de pilote dans l’API de métrique personnalisée DS v2
- [SPARK-39184] [SQL] Gestion des tableaux de résultats sous-dimensionnés dans les séquences de date et d’horodatage
- [SPARK-40019] [SQL] Refactorisation du commentaire containsNull ArrayType et refactorisation des logiques d’incompréhension dans l’expression de collectionOperator concernant
containsNull - [SPARK-39989] [SQL] Prise en charge des statistiques de colonne d’estimation s’il s’agit d’une expression pliable
- [SPARK-39926] [SQL] Correction d’un bogue de prise en charge DEFAULT de colonne pour les analyses Parquet non vectorisées
- [SPARK-40052] [SQL] Gestion des tampons d’octets directs dans VectorizedDeltaBinaryPackedReader
- [SPARK-40044] [SQL] Correction du type d’intervalle cible dans les erreurs de dépassement de cast
- [SPARK-39835] [SQL] Correction du tri global EliminateSorts en dessous du tri local
- [SPARK-40002] [SQL] Ne pas pousser la limite jusqu’à la fenêtre à l’aide de ntile
- [SPARK-39976] [SQL] ArrayIntersect doit correctement gérer la valeur null dans l’expression gauche
- [SPARK-39985] [SQL] Activation des valeurs de colonne DEFAULT implicites dans les insertions à partir de DataFrames
- [SPARK-39776] [SQL] La chaîne détaillée JOIN doit ajouter un type de jointure
- [SPARK-38901] [SQL] DS V2 prend en charge les fonctions diverses de pushdown
- [SPARK-40028] [SQL][FollowUp] Amélioration des exemples de fonctions de chaîne
- [SPARK-39983] [CORE][SQL] Non mises en cache des relations de diffusion non sérialisées sur le pilote
- [SPARK-39812] [SQL] Simplification du code pour construire
AggregateExpressionavectoAggregateExpression - [SPARK-40028] [SQL] Ajout d’exemples binaires pour les expressions de chaîne
- [SPARK-39981] [SQL] Levée de l’exception QueryExecutionErrors.castCauseOverflowErrorInsert dans Cast
- [SPARK-40007] [PYTHON][SQL] Ajout d’un mode aux fonctions
- [SPARK-40008] [SQL] Prise en charge de la conversion d’intégrales en intervalles ANSI
- [SPARK-40003] [PYTHON][SQL] Ajout d’une médiane aux fonctions
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand doit recacher la relation de résultat
- [SPARK-39951] [SQL] Mise à jour de la vérification des colonnes Parquet V2 pour les champs imbriqués
- [SPARK-39775] [CORE][AVRO] Désactiver les valeurs par défaut lors de l’analyse des schémas Avro
- [SPARK-33236] [shuffle] Rétroportage vers DBR 11.x : activer le service de lecture aléatoire basé sur push pour stocker l’état dans la base de données de niveau NM pour le redémarrage de la conservation du travail
- [SPARK-39836] [SQL] Simplification de V2ExpressionBuilder par extraction de la méthode courante.
- [SPARK-39867] [SQL] La limite globale ne doit pas hériter de orderPreservingUnaryNode
- [SPARK-39873] [SQL] Suppression de
OptimizeLimitZeroet fusion dansEliminateLimits - [SPARK-39961] [SQL] Cast de translation du pushdown DS V2 si le cast est sécurisé
- [SPARK-39872] [SQL] Utilisation de
BytePackerForLong#unpack8Valuesavec l’API d’entrée de tableau dansVectorizedDeltaBinaryPackedReader - [SPARK-39858] [SQL] Suppression inutile de
AliasHelperouPredicateHelperpour certaines règles - [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Application de la projection lorsque les attributs de groupe sont vides
- [SPARK-39900] [SQL] Adresse partielle ou condition exclue dans le pushdown de prédicat du format binaire
- [SPARK-39904] [SQL] Renommage de inferDate par prefersDate et clarification de la sémantique de l’option dans la source de données CSV
- [SPARK-39958] [SQL] Ajout d’un journal d’avertissement en cas d’impossibilité de charger un objet de métrique personnalisé
- [SPARK-39936] [SQL] Stockage du schéma dans les propriétés pour les vues Spark
- [SPARK-39932] [SQL] WindowExec doit effacer la mémoire tampon de la partition finale
- [SPARK-37194] [SQL] Éviter le tri inutile en écriture v1 s’il ne s’agit pas d’une partition dynamique
- [SPARK-39902] [SQL] Ajout de détails d’analyse au nœud d’analyse de plan Spark dans SparkUI
- [SPARK-39865] [SQL] Affichage des messages d’erreur appropriés pour les erreurs de dépassement de capacité d’insertion de table
- [SPARK-39940] [SS] Actualisation de la table de catalogue sur la requête de streaming avec le récepteur DSv1
- [SPARK-39827] [SQL] Utilisation de la classe d’erreur
ARITHMETIC_OVERFLOWen cas de dépassement int dansadd_months() - [SPARK-39914] [SQL] Ajout d’un filtre DS V2 à la conversion de filtre V1
- [SPARK-39857] [SQL] Rétroportage DBR 11.x manuel ; V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In #43454
- [SPARK-39840] [SQL][PYTHON] Factorisation de PythonArrowInput comme symétrie de PythonArrowOutput
- [SPARK-39651] [SQL] Nettoyage du filtre de condition si la comparaison avec rand est déterministe
- [SPARK-39877] [PYTHON] Ajouter unpivot à l’API DataFrame PySpark
- [SPARK-39847] [WARMFIX][SS] Correction de la condition de concurrence dans RocksDBLoader.loadLibrary() si le thread de l’appelant est interrompu
- [SPARK-39909] [SQL] Organisation de la vérification des informations push pour JDBCV2Suite
- [SPARK-39834] [SQL][SS] Inclusion des statistiques d’origine et des contraintes pour LogicalRDD s’il provient de DataFrame
- [SPARK-39849] [SQL] Dataset.as(StructType) remplit les nouvelles colonnes manquantes avec la valeur Null
- [SPARK-39860] [SQL] D’autres expressions doivent étendre Predicate
- [SPARK-39823] [SQL][PYTHON] Renommage de Dataset.as en Dataset.to et ajout de DataFrame.to dans PySpark
- [SPARK-39918] [SQL][MINOR] Remplacement du libellé « non comparable » par « incomparable » dans le message d’erreur
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In
- [SPARK-39862] [SQL] Rétroportage manuel pour PR 43654 ciblant DBR 11.x : mise à jour de SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS pour autoriser/refuser ALTER TABLE ... Commandes ADD COLUMN séparément.
- [SPARK-39844] [SQL] Rétroportage manuel pour PR 43652 ciblant DBR 11.x
- [SPARK-39899] [SQL] Correction du passage des paramètres de message à
InvalidUDFClassException - [SPARK-39890] [SQL] Faire en sorte que Make TakeOrderedAndProjectExec hérite de AliasAwareOutputOrdering
- [SPARK-39809] [PYTHON] Prise en charge de CharType dans PySpark
- [SPARK-38864] [SQL] Ajout de unpivot / melt au jeu de données
- [SPARK-39864] [SQL] Inscription en différé de ExecutionListenerBus
- [SPARK-39808] [SQL] Prise en charge de la fonction d’agrégation MODE
- [SPARK-39839] [SQL] Gestion du cas spécial de la décimale de longueur de variable null avec offsetAndSize autre que zéro dans la vérification d’intégrité structurelle UnsafeRow
- [SPARK-39875] [SQL] Modification de la méthode
protecteddans la classe finale parprivateoupackage-visible - [SPARK-39731] [SQL] Correction du problème dans les sources de données CSV et JSON lors de l’analyse des dates au format « aaaaMMjj » avec une stratégie d’analyseur de temps CORRIGÉE
- [SPARK-39805] [SS] Dépréciation de Trigger.Once et promotion de Trigger.AvailableNow
- [SPARK-39784] [SQL] Placer des valeurs littérales sur le côté droit du filtre de source de données après avoir traduit l’expression Catalyst en filtre de source de données
- [SPARK-39672] [SQL][3.1] Correction de la suppression de projet avant le filtre avec sous-requête corrélée
- [SPARK-39552] [SQL] Unify v1 et v2
DESCRIBE TABLE - [SPARK-39806] [SQL] L’accès à
_metadatadans la table partitionnée peut bloquer une requête - [SPARK-39810] [SQL] Catalog.tableExists doit gérer l’espace de noms imbriqué
- [SPARK-37287] [SQL] Extraction de la partition dynamique et tri du compartiment à partir de FileFormatWriter
- [SPARK-39469] [SQL] Déduction du type de date pour l’inférence de schéma CSV
- [SPARK-39148] [SQL] Le pushdown d’agrégation DS V2 peut utiliser OFFSET ou LIMIT
- [SPARK-39818] [SQL] Correction d’un bogue dans les types ARRAY, STRUCT, MAP avec les valeurs DEFAULT avec champ(s) NULL
- [SPARK-39792] [SQL] Ajout de DecimalDivideWithOverflowCheck pour la moyenne décimale
- [SPARK-39798] [SQL] Remplacement de
toSeq.toArraypar.toArray[Any]dans le constructeur deGenericArrayData - [SPARK-39759] [SQL] Implémentation de listIndexes dans JDBC (dialecte H2)
- [SPARK-39385] [SQL] Prise en charge du pushdown
REGR_AVGXetREGR_AVGY - [SPARK-39787] [SQL] Utilisation de la classe d’erreur dans l’erreur d’analyse de la fonction to_timestamp
- [SPARK-39760] [PYTHON] Prise en charge de Varchar dans PySpark
- [SPARK-39557] [SQL] Rétroportage manuel vers DBR 11.x : prise en charge des types ARRAY, STRUCT, MAP en tant que valeurs DEFAULT
- [SPARK-39758] [SQL][3.3] Correction de NPE à partir de fonctions regexp sur les modèles non valides
- [SPARK-39749] [SQL] Mode SQL ANSI : utilisation d’une représentation sous forme de chaîne brute lors du cast de Decimal sur String
- [SPARK-39704] [SQL] Implémentation de createIndex, dropIndex et indexExists dans JDBC (dialecte H2)
- [SPARK-39803] [SQL] Utilisation de
LevenshteinDistanceà la place deStringUtils.getLevenshteinDistance - [SPARK-39339] [SQL] Prise en charge de type TimestampNTZ dans la source de données JDBC
- [SPARK-39781] [SS] Ajout d’une prise en charge de fourniture de max_open_files au fournisseur de magasin d’état rocksdb
- [SPARK-39719] [R] Implémentation de databaseExists/getDatabase dans la prise en charge SparkR de l’espace de noms 3L
- [SPARK-39751] [SQL] Renommage de la métrique des sondes de clé d’agrégation de hachage
- [SPARK-39772] [SQL] L’espace de noms doit être null lorsque la base de données est null dans les anciens constructeurs
- [SPARK-39625] [SPARK-38904][SQL] Ajout de Dataset.as(StructType)
- [SPARK-39384] [SQL] Compilation des fonctions d’agrégation de régression linéaire intégrées pour le dialecte JDBC
- [SPARK-39720] [R] Implémentation de tableExists/getTable dans SparkR pour l’espace de noms 3L
- [SPARK-39744] [SQL] Ajout de la fonction
REGEXP_INSTR - [SPARK-39716] [R] Créer currentDatabase/setCurrentDatabase/listCatalogs dans la prise en charge SparkR de l’espace de noms 3L
- [SPARK-39788] [SQL] Renommage de
catalogNamepardialectNamepourJdbcUtils - [SPARK-39647] [CORE] Inscrire l’exécuteur auprès d’ESS avant d’inscrire le BlockManager
- [SPARK-39754] [CORE][SQL] Suppression des éléments
importnon utilisés ou{}non nécessaires - [SPARK-39706] [SQL] Définition de la colonne manquante avec defaultValue comme constante dans
ParquetColumnVector - [SPARK-39699] [SQL] Rendre CollapseProject plus intelligent sur les expressions de création de collection
- [SPARK-39737] [SQL]
PERCENTILE_CONTetPERCENTILE_DISCdoivent prendre en charge le filtre d’agrégation - [SPARK-39579] [SQL][PYTHON][R] Rendre ListFunctions/getFunctions/functionExists compatible avec l’espace de noms de couche 3
- [SPARK-39627] [SQL] Le pushdown JDBC V2 doit unifier l’API de compilation
- [SPARK-39748] [SQL][SS] Inclusion du plan logique d’origine pour LogicalRDD s’il provient de DataFrame
- [SPARK-39385] [SQL] Translation des fonctions d’agrégation de régression linéaire pour pushdown
- [SPARK-39695] [SQL] Ajout de la fonction
REGEXP_SUBSTR - [SPARK-39667] [SQL] Ajout d’une autre solution de contournement lorsqu’il n’y a pas suffisamment de mémoire pour générer et diffuser la table
- [SPARK-39666] [ES-337834][SQL] Utiliser UnsafeProjection.create pour respecter
spark.sql.codegen.factoryModedans ExpressionEncoder - [SPARK-39643] [SQL] Interdire les expressions de sous-requête dans les valeurs DEFAULT
- [SPARK-38647] [SQL] Ajout de Add SupportsReportOrdering à l’interface pour l’analyse (DataSourceV2)
- [SPARK-39497] [SQL] Améliorer l’exception d’analyse de la colonne clé de carte manquante
- [SPARK-39661] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
- [SPARK-39713] [SQL] Mode ANSI : ajout d’une suggestion d’utilisation de try_element_at pour l’erreur INVALID_ARRAY_INDEX
- [SPARK-38899] [SQL] DS V2 prend en charge les fonctions DateHeure du pushdown
- [SPARK-39638] [SQL] Modification de l’utilisation de
ConstantColumnVectorpour stocker les colonnes de partition dansOrcColumnarBatchReader - [SPARK-39653] [SQL] Nettoyage de
ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)à partir deColumnVectorUtils - [SPARK-39231] [SQL] Utilisation de
ConstantColumnVectorà la place deOn/OffHeapColumnVectorpour stocker les colonnes de partition dansVectorizedParquetRecordReader - [SPARK-39547] [SQL] V2SessionCatalog ne doit pas lever d’exception NoSuchDatabaseException dans loadNamspaceMetadata
- [SPARK-39447] [SQL] Éviter AssertionError dans AdaptiveSparkPlanExec.doExecuteBroadcast
- [SPARK-39492] [SQL] Retravail de MISSING_COLUMN
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec doit respecter l’ordre de sortie enfant
- [SPARK-39606] [SQL] Utilisation des statistiques enfants pour estimer l’opérateur order
- [SPARK-39611] [PYTHON][PS] Correction des alias incorrects dans array_ufunc
- [SPARK-39656] [SQL][3.3] Correction de l’espace de noms incorrect dans DescribeNamespaceExec
- [SPARK-39675] [SQL] Basculement de la configuration « spark.sql.codegen.factoryMode » d’un objectif de test à un objectif interne
- [SPARK-39139] [SQL] DS V2 prend en charge le pushdown DS V2 UDF
- [SPARK-39434] [SQL] Fournir le contexte de requête d’erreur du runtime lorsque l’index de tableau est hors limite
- [SPARK-39479] [SQL] DS V2 prend en charge les fonctions mathématiques de pushdown (non ANSI)
- [SPARK-39618] [SQL] Ajout de la fonction
REGEXP_COUNT - [SPARK-39553] [CORE] L’inscription à plusieurs threads ne doit pas générer de bogue NPE lors de l’utilisation de Scala 2.13
- [SPARK-38755] [PYTHON][3.3] Ajout d’un fichier pour résoudre les fonctions générales pandas manquantes
- [SPARK-39444] [SQL] Ajout de OptimizeSubqueries à la liste nonExcludableRules
- [SPARK-39316] [SQL] Fusion de PromotePrecision et CheckOverflow en arithmétique binaire décimale
- [SPARK-39505] [UI] Contenu du journal d’échappement affiché dans l’interface utilisateur
- [SPARK-39448] [SQL] Ajout de
ReplaceCTERefWithRepartitionà la listenonExcludableRules - [SPARK-37961] [SQL] Substitution de maxRows/maxRowsPerPartition pour certains opérateurs logiques
- [SPARK-35223] Rétablir l’ajout de IssueNavigationLink
- [SPARK-39633] [SQL] Prise en charge de l’horodatage en secondes pour TimeTravel à l’aide des options de DataFrame
- [SPARK-38796] [SQL] Mise à jour de la documentation pour les chaînes de format numérique avec les fonctions {try_}to_number
- [SPARK-39650] [SS] Correction d’un schéma de valeur incorrect dans la déduplication de streaming avec compatibilité descendante
- [SPARK-39636] [CORE][UI] Correction de plusieurs bogues dans JsonProtocol, impactant les tas StorageLevels et Task/Executor ResourceRequests
- [SPARK-39432] [SQL] Retour de ELEMENT_AT_BY_INDEX_ZERO à partir de element_at(*, 0)
- [SPARK-39349] Ajout d’une méthode CheckError centralisée pour l’AQ du chemin d’erreur
- [SPARK-39453] [SQL] DS V2 prend en charge les fonctions non agrégées diverses de pushdown (non ANSI)
- [SPARK-38978] [SQL] DS V2 prend en charge l’opérateur OFFSET de pushdown
- [SPARK-39567] [SQL] Prise en charge des intervalles ANSI dans les fonctions de centile
- [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ALTER COLUMNS dans les sources de données V2
- [SPARK-39396] [SQL] Correction de l’exception de connexion LDAP « Code d’erreur 49 - Informations d’identification non valides »
- [SPARK-39548] [SQL] La commande CreateView avec une requête de clause de fenêtre a rencontré un problème introuvable de définition de fenêtre incorrecte
- [SPARK-39575] [AVRO] ajouter ByteBuffer#rewind après ByteBuffer#get dans Avr…
- [SPARK-39543] L’option de DataFrameWriterV2 doit être transmise aux propriétés de stockage en cas de secours sur v1
- [SPARK-39564] [SS] Exposition des informations de la table de catalogue dans le plan logique de la requête de streaming
- [SPARK-39582] [SQL] Correction du marqueur « Depuis » pour
array_agg - [SPARK-39388] [SQL] Réutilisation de
orcSchemalors du pushdown de prédicats Orc - [SPARK-39511] [SQL] Amélioration de la limite locale 1 du pushdown pour le côté droit de la jointure semi/anti si la condition de jonction est vide
- [SPARK-38614] [SQL] Ne pas pousser la limite via une fenêtre utilisant percent_rank
- [SPARK-39551] [SQL] Ajout d’une vérification de plan non valide AQE
- [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ADD COLUMNS dans les sources de données V2
- [SPARK-39538] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
- [SPARK-39383] [SQL] Rétroportage manuel vers DBR 11.x : refactorisation de la prise de la colonne DEFAULT pour ignorer le contournement de l’analyseur principal
- [SPARK-39397] [SQL] Assouplissement de AliasAwareOutputExpression pour prendre en charge l’alias avec l’expression
- [SPARK-39496] [SQL] Gestion de structure Null dans
Inline.eval - [SPARK-39545] [SQL] Substitution de la méthode
concatpourExpressionSetdans Scala 2.13 afin d’améliorer les performances - [SPARK-39340] [SQL] Le pushdown d’agrégation DS v2 doit autoriser les points dans le nom des colonnes de niveau supérieur
- [SPARK-39488] [SQL] Simplification de la gestion de l’erreur TempResolvedColumn
- [SPARK-38846] [SQL] Ajout d’un mappage de données explicite entre le type numérique Teradata et le type décimal Spark
- [SPARK-39520] [SQL] Substitution de la méthode
--pourExpressionSetdans Scala 2.13 - [SPARK-39470] [SQL] Prise en charge du cast des intervalles ANSI en décimales
- [SPARK-39477] [SQL] Suppression de l’information « Nombre de requêtes » des fichiers d’or de SQLQueryTestSuite
- [SPARK-39419] [SQL] Correction de ArraySort pour lever une exception lorsque le comparateur retourne null
- [SPARK-39061] [SQL] Définition correcte de la propriété pouvant accepter la valeur Null pour les attributs de sortie
Inline - [SPARK-39320] [SQL] Prise en charge de la fonction d’agrégation
MEDIAN - [SPARK-39261] [CORE] Amélioration de la mise en forme de nouvelle ligne pour les messages d’erreur
- [SPARK-39355] [SQL] Une colonne unique utilise des guillemets pour construire UnresolvedAttribute
- [SPARK-39351] [SQL] SHOW CREATE TABLE doit éditer les propriétés
- [SPARK-37623] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_intercept
- [SPARK-39374] [SQL] Amélioration du message d’erreur pour la liste de colonnes spécifiée par l’utilisateur
- [SPARK-39255] [SQL][3.3] Amélioration des messages d’erreur
- [SPARK-39321] [SQL] Refactorisation de TryCast pour utiliser RuntimeReplaceable
- [SPARK-39406] [PYTHON] Acceptation du tableau NumPy dans createDataFrame
- [SPARK-39267] [SQL] Nettoyage du symbole dsl inutile
- [SPARK-39171] [SQL] Unification de l’expression Cast
- [SPARK-28330] [SQL] Prise en charge de la clause de décalage de résultat ANSI SQL dans l’expression de requête
- [SPARK-39203] [SQL] Réécriture de l’emplacement de la table en URI absolu basé sur l’URI de la base de données
- [SPARK-39313] [SQL]
toCatalystOrderingdoit échouer si la translation de V2Expression est impossible - [SPARK-39301] [SQL][PYTHON] Utilisation de LocalRelation et respect de la taille des lots de flèches dans createDataFrame avec optimisation des flèches
- [SPARK-39400] [SQL] spark-sql doit supprimer ce paramètre hive resource dir dans tous les cas
Mises à jour de maintenance
Consultez Mises à jour de maintenance de Databricks Runtime 11.1.
Environnement du système
- Système d’exploitation : Ubuntu 20.04.4 LTS
- Java : Zulu 8.56.0.21-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R : 4.1.3
- Delta Lake : 1.2.1
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1,10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| black | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | click | 8.0.3 |
| chiffrement | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| notebook | 6.4.5 | numpy | 1.20.3 | empaquetage | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requêtes | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| six | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 15/08/2022.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | objet BLOB | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | jeux de données | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | ellipsis | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| generics | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4-1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | cycle de vie | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | Matrice | 1.4-1 |
| memoise | 2.0.1 | methods | 4.1.3 | mgcv | 1.8-40 |
| mime | 0,12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| progress | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | proxy | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0,13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| stats | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0,40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flux | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collecteur | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,34 |
| org.glassfish.jersey.core | jersey-client | 2,34 |
| org.glassfish.jersey.core | jersey-common | 2,34 |
| org.glassfish.jersey.core | jersey-server | 2,34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |