Databricks Runtime 9.0 (non pris en charge)

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 9.0 et Databricks Runtime 9.0 Photon, avec Apache Spark 3.1.2. Databricks a publié ces images en août 2021. Photon est en préversion publique.

Correction

Une version précédente de ces notes de mise à jour indiquait à tort que les dépendances d’Apache Parquet avaient été mises à niveau de la version 1.10 à la version 1.12. En fait, les dépendances de Parquet restent à la version 1.10. La note de publication incorrecte a été supprimée.

Améliorations et nouvelles fonctionnalités

Nouvelle API pour les statistiques récapitulatives des jeux de données (Préversion publique)

La nouvelle commande dbutils.data.summarize de Databricks Utilities vous permet de lancer une tâche Spark qui calcule automatiquement des statistiques de résumé sur les colonnes d’un DataFrame Spark, puis affiche les résultats de manière interactive. Cette fonction est disponible dans Scala et Python. Consultez Utilitaire de données (dbutils.data).

Configuration de source de données externe plus facile pour le connecteur Azure Synapse

La nouvelle option externalDataSource du connecteur Interroger des données dans Azure Synapse Analytics vous permet d’utiliser une source de données externe préconfigurée pour effectuer des lectures depuis une base de données Azure Synapse. L’option externalDataSource supprime la nécessité de l’autorisation CONTROL qui était requise précédemment.

Lorsque vous définissez externalDataSource, la source de données externe et l’option tempDir utilisées pour configurer le stockage temporaire doivent référencer le même conteneur dans le compte de stockage.

Limiter éventuellement la session à une durée spécifiée pour le connecteur Amazon Redshift

La nouvelle option fs.s3a.assumed.role.session.duration dans la Query Amazon Redshift à l’aide du connecteur Azure Databricks vous permet de paramétrer éventuellement une durée pour la session lorsque Redshift accède au compartiment S3 temporaire avec un rôle supposé.

Chargeur automatique

Liste des fichiers optimisés

Les optimisations d’Auto Loader permettent d’améliorer les performances et de réaliser des économies lors du référencement de répertoires imbriqués dans un stockage cloud, notamment AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) et Google Cloud Storage (GCS).

Par exemple, si vous avez des fichiers téléchargés en tant que /some/path/YYYY/MM/DD/HH/fileName, pour trouver tous les fichiers dans ces répertoires, Auto Loader avait l’habitude d’établir une liste parallèle de tous les sous-répertoires, causant 365 (par jour) * 24 (par heure) = 8 760 appels de répertoire API LIST au stockage sous-jacent pour chaque répertoire annuel. En recevant une réponse aplatie de ces systèmes de stockage, Auto Loader réduit le nombre d’appels API au nombre de fichiers dans le système de stockage divisé par le nombre de résultats renvoyés par chaque appel API (1 000 pour S3, 5 000 pour ADLS Gen2 et 1 024 pour GCS), ce qui réduit considérablement les coûts de votre cloud.

Stockage des données image optimisé

Le chargeur automatique peut désormais détecter automatiquement les données d’image qui sont ingérées et optimiser son stockage dans les tables Delta pour améliorer les performances de lecture et d’écriture. Consultez Ingérer des données image ou binaires dans Delta Lake pour ML.

Images miniatures pour les fichiers binaires (Préversion publique)

Les images au format binaryFile chargées ou enregistrées en tant que tables différentielles à l’aide d’Auto Loader sont associées à des annotations afin que les miniatures d’image s’affichent lorsque vous affichez la table dans un notebook Azure Databricks. Pour plus d’informations, consultez Images.

Les événements DirectoryRename activent le traitement atomique de plusieurs fichiers

Les flux Auto Loader créés dans Databricks Runtime 9.0 et versions ultérieures sur Azure Data Lake Storage Gen2 configurent les notifications d’événements de fichiers pour inclure les renommages de répertoires et écouter les événements RenameDirectory. Vous pouvez utiliser des renoms de répertoires en vue de l’affichage atomique de fichiers dans Auto Loader.

SQL

Exclure des colonnes dans SELECT * (préversion publique)

SELECT * prend désormais en charge un mot clé EXCEPT , qui vous permet d’exclure des colonnes de niveau supérieur spécifiées de l’expansion. Par exemple, à partir d’une table avec un schéma SELECT * EXCEPT (b) FROM tbl, (a, b, c) s’étend à (a, c).

Fonctions scalaires SQL (Préversion publique)

CREATE FUNCTION prend désormais en charge les fonctions scalaires SQL. Vous pouvez créer des fonctions scalaires qui acceptent un ensemble d’arguments et retournent une valeur de type scalaire unique. Le corps de la fonction SQL peut être n’importe quelle expression. Par exemple :

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Pour plus d’informations, consultez CRÉER UNE FONCTION (SQL et Python).

Référencer les alias et les colonnes précédents dans les sous-requêtes FROM (Préversion publique)

Les sous-requêtes dans la clause FROM d’une requête peuvent désormais être précédées du mot clé LATERAL, ce qui leur permet de référencer des alias et des colonnes dans les éléments FROM précédents. Par exemple :

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Le mot clé LATERAL prend en charge INNER, CROSS et LEFT (OUTER) JOIN.

Consultez Paramètres et Paramètres.

Support R

Bibliothèques R délimitées aux notebooks (Préversion publique)

Les bibliothèques Python délimitées au notebook vous permettent d’installer des bibliothèques Python et de créer un environnement délimité à une session de notebook. Ces bibliothèques n’affectent pas les autres notebooks s’exécutant sur le même cluster. Les bibliothèques sont disponibles sur le pilote et sur les nœuds Worker, ce qui vous permet de les référencer dans les fonctions définies par l’utilisateur. Voir Bibliothèques R délimitées aux notebooks

Messages d’avertissement dans les notebooks R

La valeur par défaut de l’option warn est désormais définie sur 1 dans les notebooks R. Par conséquent, tous les avertissements sont désormais exposés dans le cadre du résultat de la commande. Pour en savoir plus sur l’option warn, consultez Paramètres des options.

Éviter la phase de restauration par progression en spécifiant l’état initial pour le traitement avec état de streaming structuré

Vous pouvez maintenant indiquer un état initial défini par l’utilisateur pour le traitement avec état de la diffusion en continu structurée à l’aide de l’opérateur [flat]MapGroupsWithState.

Consultez l’article Définir un état initial pour mapGroupsWithState.

Une implémentation de faible lecture aléatoire de la commande MERGE INTO de Delta est désormais disponible (Préversion publique)

La commande Delta MERGE INTO dispose d’une nouvelle implémentation qui réduit la permutation des lignes non modifiées. Cela améliore les performances de la commande et permet de conserver le clustering existant sur la table, tel que l’ordre de plan. Pour activer la fusion faible aléatoire, affectez à spark.databricks.delta.merge.enableLowShuffle la valeur true. Consultez Fusion faible et aléatoire sur Azure Databricks.

Résolution des bogues

  • Vous ne pouvez plus remplacer un affichage en créant un affichage portant le même nom.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • certifi de 2021.5.30 à 2020.12.5
    • chardet de 3.0.4 à 4.0.0
    • Cython de 0.29.21 à 0.29.23
    • élément décoratif de 4.4.2 à 5.0.6
    • ipython de 7.19.0 à 7.22.0
    • joblib de 0.17.0 à 1.0.1
    • jupyter-client de 6.1.7 à 6.1.12
    • jupyter-core de 4.6.3 à 4.7.1
    • kiwisolver de 1.3.0 à 1.3.1
    • matplotlib de 3.2.2 à 3.4.2
    • pandas de 1.1.5 à 1.2.4
    • pip de 20.2.4 à 21.0.1
    • prompt-toolkit de 3.0.8 à 3.0.17
    • protobuf de 3.17.3 à 3.17.2
    • ptyprocess de 0.6.0 à 0.7.0
    • pyarrow de 1.0.1 à 4.0.0
    • Pygments de 2.7.2 à 2.8.1
    • pyzmq de 19.0.2 à 20.0.0
    • requêtes de 2.24.0 à 2.25.1
    • s3transfer de 0.3.6 à 0.3.7
    • scikit-learn de 0.23.2 à 0.24.1
    • scipy de 1.5.2 à 1.6.2
    • seaborn 0.10.0 à 0.11.1
    • setuptools de 50.3.1 à 52.0.0
    • statsmodels de 0.12.0 à 0.12.2
    • tornade de 6.0.4 à 6,1
    • virtualenv de 20.2.1 à 20.4.1
    • wheel de 0.35.1 à 0.36.2
  • Bibliothèques R mises à niveau :
    • Matrix de 1.3-3 à 1.3-4

Apache Spark

Databricks Runtime 9.0 comprend Apache Spark 3.1.2. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 8.4 (non pris en charge), ainsi que les corrections de bogues supplémentaires et les améliorations apportées à Spark qui suivent :

  • [SPARK-35886] [SQL][3.1] PromotePrecision ne doit pas remplacer genCodePromotePrecision ne doit pas remplacer genCode
  • [SPARK-35879] [CORE][SHUFFLE] Correction de la régression des performances provoquée par collectFetchRequests
  • [SPARK-35817] [SQL][3.1] Restaurer les performances des requêtes sur les tables Avro larges
  • [SPARK-35841] [SQL] La conversion d’une chaîne en type décimal ne fonctionne pas si...
  • [SPARK-35783] [SQL] Définir la liste des colonnes de lecture dans la configuration de la tâche afin de réduire la lecture des données ORC
  • [SPARK-35576] [SQL][3.1] Biffer les informations sensibles dans le résultat de la commande Set
  • [SPARK-35449] [SQL][3.1] Extraire uniquement les expressions communes à partir de valeurs CaseWhen si elseValue est défini
  • [SPARK-35288] [SQL] StaticInvoke doit trouver la méthode sans correspondance exacte des classes d’arguments
  • [SPARK-34794] [SQL] Résoudre les problèmes de nom de variable lambda dans les fonctions tableau imbriquées
  • [SPARK-35278] [SQL] Invoke doit trouver la méthode avec le nombre correct de paramètres
  • [SPARK-35226] [SQL] Prise en charge de l’option refreshKrb5Config dans les sources de données JDBC
  • [SPARK-35244] [SQL] Invoke doit lever l’exception d’origine
  • [SPARK-35213] [SQL] Conserver l’ordre correct des structs imbriqués dans les opérations withField chaînées
  • [Spark-35087] [UI] Certaines colonnes de la table des métriques agrégées par l’exécuteur de la page phase-detail ne sont pas correctes.
  • [SPARK-35168] [SQL] mapred.reduce.tasks doit être shuffle.partitions et non pas adaptive.coalescePartitions.initialPartitionNum
  • [Spark-35127] [UI] Quand nous basculons entre les différentes pages stage.details, l’élément d’entrée de la page récemment ouverte peut être vide
  • [SPARK-35142] [PYTHON][ML] Corriger le type de retour incorrect pour rawPredictionUDF dans OneVsRestModel
  • [SPARK-35096] [SQL] SchemaPruning doit respecter la configuration spark.sql.caseSensitive
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias ne doit pas créer UnresolvedAlias
  • [SPARK-35080] [SQL] Autoriser uniquement un sous-ensemble de prédicats d’égalité corrélés lorsqu’une sous-requête est agrégée
  • [SPARK-35117] [UI] Modifiez la barre de progression pour mettre en surbrillance le ratio des tâches en cours
  • [SPARK-35136] Supprimer la valeur null initiale de LiveStage.info
  • [SPARK-34834] [NETWORK] Résoudre une fuite de mémoire réseau potentielle dans TransportResponseHandler
  • [SPARK-35045] [SQL] Ajouter une option interne pour contrôler la mémoire tampon d’entrée dans univocity
  • [SPARK-35014] Corriger le modèle PhysicalAggregation pour ne pas réécrire les expressions pliables
  • [SPARK-35019] [PYTHON][SQL] Corriger les incompatibilités des indicateurs de type dans pyspark.sql.*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() doit respecter la valeur de la partition est null
  • [SPARK-34630] [PYTHON] Ajout de typehint pour pyspark.version
  • [SPARK-34963] [SQL] Corriger le nettoyage de colonne imbriqué pour l’extraction d’un champ struct ne respectant pas la casse d’un tableau de struct
  • [SPARK-34988] [CORE][3.1] Mise à niveau de Jetty pour CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Utilisation d’une fonction de comparaison des coûts relative dans la CBO
  • [SPARK-34970] [SQL][SECURITY][3.1] Biffer les options de type cartographique dans la sortie d’explain()
  • [SPARK-34923] [SQL] La sortie des métadonnées doit être vide pour un plus grand nombre de plans
  • [SPARK-34949] [CORE] Empêcher le réenregistrement BlockManager lors de l’arrêt d’Exécuteur
  • [SPARK-34939] [CORE] Exception de l’échec de l’extraction levée lorsqu’il est impossible de désérialiser les états du mappage diffusé
  • [SPARK-34909] [SQL] Correction de la conversion de negative en unsigned dans conv()
  • [SPARK-34845] [CORE] ProcfsMetricsGetter ne doit pas retourner de métriques procfs partielles
  • [SPARK-34814] [SQL] LikeSimplification doit gérer la valeur NULL
  • [SPARK-34876] [SQL] Remplissage de defaultResult des agrégats n’acceptant pas les valeurs null
  • [SPARK-34829] [SQL] Correction des résultats des fonctions d’ordre supérieur
  • [SPARK-34840] [SHUFFLE] Corrige les cas d’altération dans la lecture aléatoire fusionnée...
  • [SPARK-34833] [SQL] Appliquer correctement le remplissage à droite pour les sous-requêtes corrélées
  • [SPARK-34630] [PYTHON] [SQL] Ajout de typehint pour pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" et df("name") doivent gérer les noms de colonnes entre guillemets correctement
  • [SPARK-33482][SPARK-34756] [SQL] Correction de la vérification de l’égalité FileScan
  • [SPARK-34790] [CORE] Désactiver la récupération des blocs aléatoires dans le lot quand le chiffrement des E/S est activé
  • [SPARK-34803] [PYSPARK] Transmettre le ImportError déclenché en cas d’échec de l’importation de pandas ou de pyarrow
  • [SPARK-34225] [CORE] Ne pas encoder davantage quand une chaîne de formulaire URI est transmise à addFile ou addJar
  • [SPARK-34811] [CORE] Biffer fs.s3a.access.key comme le secret et le jeton
  • [SPARK-34796] [SQL][3.1] Initialiser la variable compteur pour limiter le code-gen dans doProduce()
  • [SPARK-34128] [SQL] Supprimer les avertissements TTransportException indésirables impliqués dans THRIFT-4805
  • [SPARK-34776] [SQL] Le nettoyage de colonne imbriqué ne doit pas nettoyer les attributs générés par la fenêtre
  • [SPARK-34087] [3.1][SQL] Correction d’une fuite de mémoire de ExecutionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords doit utiliser le chargeur de classe Apache Spark au lieu du contexte
  • [SPARK-34719] [SQL][3.1] Résolution correcte de la requête d’affichage avec des noms de colonnes dupliqués
  • [SPARK-34766] [SQL][3.1] Ne pas capturer la configuration maven pour les affichages
  • [SPARK-34731] [CORE] Éviter l’exception ConcurrentModificationException lors de la rédaction de propriétés dans EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Caster l’entrée float en double dans TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] Simplification de ResolveCreateNamedStruct
  • [SPARK-34768] [SQL] Respecte la taille par défaut de la mémoire tampon d’entrée dans Univocity
  • [SPARK-34770] [SQL] InMemoryCatalog. tableExists ne doit pas échouer si la base de données n’existe pas
  • [SPARK-34504] [SQL] Éviter la résolution inutile d’affichages temporaires SQL pour les commandes DDL
  • [SPARK-34727] [SQL] Correction de l’écart dans le forçage de type float en timestamp
  • [SPARK-34723] [SQL] Type de paramètre correct pour l’élimination de sous-expression sous whole-stage
  • [SPARK-34724] [SQL] Correction de l’évaluation interprétée à l’aide de getMethod à la place de getDeclaredMethod
  • [SPARK-34713] [SQL] Correction du groupe par CreateStruct avec ExtractValue
  • [SPARK-34697] [SQL] Autoriser DESCRIBE FUNCTIONS et SHOW FUNCTIONS à expliquer || (opérateur de concaténation de chaînes)
  • [SPARK-34682] [SQL] Utiliser PrivateMethodTester au lieu de la réflexion
  • [SPARK-34682] [SQL] Correction de la régression dans la vérification des erreurs de canonicalisation dans CustomShuffleReaderExec
  • [SPARK-34681][SQL] Corrige le bogue lié à une jointure hachée aléatoire externe complète lors de la création du côté gauche avec une condition non égale
  • [SPARK-34545] [SQL] Résolution des problèmes liés à la fonctionnalité valueCompare de pyrolite
  • [SPARK-34607] [SQL][3.1] Ajouter Utils.isMemberClass pour corriger une erreur de nom de classe malformé sur jdk8u
  • [SPARK-34596] [SQL] Utiliser Utils.getSimpleName pour éviter de tomber sur un nom de classe malformé dans NewInstance.doGenCode
  • [SPARK-34613][SQL] Correction de l’affichage ne capturant pas la configuration du conseil de désactivation
  • [SPARK-32924] [WEBUI] Faire en sorte que la colonne de durée dans l’interface maître soit triée dans le bon ordre
  • [SPARK-34482] [SS] Correction du SparkSession actif pour StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect doit également mettre à jour les métriques
  • [SPARK-34599] [SQL] Correction du problème selon lequel INSERT INTO OVERWRITE ne prend pas en charge les colonnes de partition contenant des points pour DSv2
  • [SPARK-34577] [SQL] Correction de la suppression/de l’ajout de colonnes vers un jeu de données de DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] La partition statique doit également suivre StoreAssignmentPolicy lors de l’insertion dans les tables v2
  • [SPARK-34555] [SQL] Résoudre la sortie des métadonnées de DataFrame
  • [SPARK-34534] Correction de l’ordre des blockIds lors de l’utilisation de FetchShuffleBlocks pour extraire des blocs
  • [SPARK-34547] [SQL] Utilisez uniquement des colonnes de métadonnées pour la résolution en dernier recours
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap échoue pour le nom de colonne comportant un point
  • [SPARK-34561] [SQL] Correction de la suppression/de l’ajout de colonnes à partir de/vers un jeu de données de v2 DESCRIBE TABLE
  • [SPARK-34556] [SQL] La vérification des colonnes de partition statiques dupliquées doit respecter la configuration sensible à la casse
  • [SPARK-34392][SQL] Prise en charge de ZoneOffset +h:mm dans DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Omission de la valeur null dans le filtre push pour le metastore Hive
  • [SPARK-34543][SQL] Respect de la configuration spark.sql.caseSensitive lors de la résolution des spécifications de partition dans version 1SET LOCATION
  • [SPARK-34436][SQL] DPP prend en charge l’expression LIKE ANY/ALL
  • [SPARK-34531] [CORE] Suppression de la balise d’API expérimentale dans PrometheusServlet
  • [SPARK-34497] [SQL] Correction des fournisseurs de connexion JDBC intégrés afin de restaurer les modifications du contexte de sécurité JVM
  • [SPARK-34515] [SQL] Corriger le NPE si l’incrustation contient une valeur null pendant l’exécution de getPartitionsByFilter
  • [SPARK-34490] [SQL] L’analyse doit échouer si l’affichage fait référence à une table supprimée
  • [SPARK-34473] [SQL] Éviter un NPE dans DataFrameReader.schema(StructType)
  • [SPARK-34384] [CORE] Ajouter des documents manquants pour les API ResourceProfile
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext peut se bloquer avec un problème de course
  • [SPARK-20977] [CORE] Utiliser un champ non final pour l’état de CollectionAccumulator
  • [SPARK-34421] [SQL] Résoudre les fonctions et les affichages temporaires dans les affichages avec des expressions de table commune
  • [SPARK-34431] [CORE] Ne charger hive-site.xml qu’une fois
  • [SPARK-34405] [CORE] Correction de la valeur moyenne de timersLabels dans la classe PrometheusServlet
  • [SPARK-33438] [SQL] Objets initialisés de façon dynamique avec des scripts SQL définis pour la commandeset -v
  • [Spark-34158] URL incorrecte du seul développeur Matei dans pom.xml
  • [SPARK-34346] [CORE][SQL][3.1] o.file.buffer.size défini par spark.buffer.size est remplacé par le chargement accidentel de hive-site.xml, ce qui peut entraîner une régression de la performance.
  • [SPARK-34359] [SQL][3.1] Ajouter une configuration héritée pour restaurer le schéma de sortie de SHOW DATABASES
  • [SPARK-34331] [SQL] Accélérer la résolution des colonnes de métadonnées DS v2
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex doit fonctionner avec les noms de colonne et les qualificateurs qui contiennent des nouvelles lignes
  • [SPARK-34326] [CORE][SQL] Correction des UT ajoutées dans SPARK-31793 en fonction de la longueur du chemin d’accès temporaire
  • [SPARK-34319] [SQL] Résolution des attributs en double pour FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [CORE][SQL] Remplace le mappage et l’aplatissement avec flatMap
  • [SPARK-34083] [SQL][3.1] Utilisation des définitions d’origine TPCDS pour les colonnes char/varchar
  • [SPARK-34233] [SQL] [3,1] Correction du fichier NPE pour le remplissage des caractères dans la comparaison binaire
  • [SPARK-34270] [SS] Combine StateStoreMetrics ne doit pas se substituer à StateStoreCustomMetric
  • [SPARK-34144] [SQL] Exception levée lors de la tentative d’écriture de valeurs LocalDate et instantanées dans une relation JDBC
  • [SPARK-34273] [CORE] Ne pas réinscrire BlockManager lorsque SparkContext est arrêté
  • [SPARK-34262] [SQL][3.1] Actualiser les données mises en cache de la table v1 dans ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [CORE][SQL][MLLIB] Remplace le filtre et la taille par le nombre
  • [SPARK-34260] [SQL] Correction de UnresolvedException lors de la création d’une vue temporaire à deux reprises
  • [SPARK-33867] [SQL] Les valeurs Instant et LocalDate ne sont pas gérées lors de la génération de requêtes SQL
  • [Spark-34193] [CORE] Gestionnaire de blocs TorrentBroadcast désaffectant le correctif de concurrence
  • [SPARK-34221] [WEBUI] S’assurer que si une étape échoue dans la page de l’interface utilisateur, le message d’erreur correspondant peut être affiché correctement
  • [SPARK-34236] [SQL] Correction d’Overwrite v2 avec une partition statique null - Impossible de traduire l’expression en filtre source : null
  • [SPARK-34212] [SQL] Correction de la lecture décimale incorrecte à partir des fichiers Parquet
  • [SPARK-34244] [SQL] Suppression de la version Scala de la fonction regexp_extract_all
  • [SPARK-34235] [SS] Créer spark.sql.hive en tant que package privé
  • [SPARK-34232] [CORE] Biffer l’événement SparkListenerEnvironmentUpdate dans le journal
  • [SPARK-34229] [SQL] Avro doit lire les valeurs décimales avec le schéma de fichier
  • [SPARK-34223] [SQL] Correction du NPE pour la partition statique avec valeur null dans InsertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Déplacer le remplissage des caractères vers le côté écriture et supprimer le contrôle de longueur côté lecture
  • [SPARK-34203] [SQL] Convertir les valeurs de partition null en __HIVE_DEFAULT_PARTITION__ dans le catalogue In-Memory v1
  • [SPARK-33726] [SQL] Correction des noms de champ en double lors de l’agrégation
  • [Spark-34133] [Avro] Respect de la casse lors de l’exécution de la correspondance des champs de Catalyst à Avro
  • [SPARK-34187] [SS] Utiliser la plage de décalage disponible obtenue durant l’interrogation lors de la vérification de la validation de décalage
  • [SPARK-34052] [SQL][3.1] Stocker le texte SQL pour une vue temp créée à l’aide de « CACHE TABLE .. AS SELECT…. »
  • [SPARK-34213] [SQL] Actualiser les données mises en cache de la table v1 dans LOAD DATA
  • [SPARK-34191] [PYTHON] [SQL] ajouter le typage de la surcharge de fonction définie par l’utilisateur
  • [SPARK-34200] [SQL] Une référence de colonne ambiguë doit prendre en compte la disponibilité des attributs
  • [SPARK-33813] [SQL][3.1] Résolution du problème qui empêchait la source JDBC de traiter les types spatiaux de MS SQL Server
  • [SPARK-34178] [SQL] Copier les balises pour le nouveau nœud créé par MultiInstanceRelation. newInstance
  • [SPARK-34005] [CORE][3.1] Mettre à jour les métriques de mémoire maximale pour chaque exécuteur à la fin de la tâche
  • [SPARK-34115] [CORE] Vérifier SPARK_TESTING comme valeur différée pour éviter le ralentissement
  • [SPARK-34153] [SQL][3.1][3.0] Supprimer getRawTable()inutilisé dans HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Amélioration des performances pour le remplissage et la vérification de la longueur de char varchar avec StaticInvoke
  • [SPARK-34027] [SQL][3.1] Actualiser le cache dans ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] Remplace java.io.File.toURL par java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] Déplacer QueryCompilationErrors.scala vers org/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] Ajouter UnivariateFeatureSelector
  • [SPARK-33790] [CORE][3.1] Réduire l’appel RPC de getFileStatus dans SingleFileEventLogFileReader
  • [SPARK-34118] [CORE][SQL][3.1] Remplace le filtre et vérifie la présence de vide dans exists ou forall
  • [SPARK-34114] [SQL] ne doit pas découper vers la droite pour la vérification et le remplissage de caractères côté lecture
  • [SPARK-34086] [SQL][3.1] RaiseError génère trop de code et peut échouer dans le contrôle de longueur de données char varchar
  • [SPARK-34075] [SQL][CORE] Les répertoires cachés sont répertoriés pour l’inférence de partition
  • [SPARK-34076] [SQL] SQLContext.dropTempTable échoue si le cache n’est pas vide
  • [SPARK-34084] [SQL][3.1] Correction de la mise à jour automatique des statistiques de table dans ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Mettre en cache le résultat de HadoopDelegationTokenManager.isServiceEnabled utilisé dans KafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [CORE] Tuer des tâches de cloisonnement doit respecter SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] L’extraction par lots par lecture aléatoire doit pouvoir être désactivée une fois qu’elle a été activée
  • [SPARK-34059] [SQL] [CORE] [3.1] Utiliser for/foreach plutôt que map pour s’assurer de l’exécuter de façon dynamique
  • [SPARK-34002] [SQL] Correction de l’utilisation de l’encodeur dans ScalaUDF
  • [SPARK-34060] [SQL][3.1] Correction de la mise en cache de la table Hive lors de la mise à jour des statistiques par ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Correction de la métrique de débordement de mémoire incorrecte lors de l’agrégation
  • [SPARK-33591] [SQL][3.1] Reconnaître null dans les valeurs de spécifications de partition
  • [SPARK-34055] [SQL][3.1] Actualiser le cache dans ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] ReplaceTable doit invalider le cache
  • [SPARK-34003] [SQL] Correction de conflits de règles entre PaddingAndLengthCheckForCharVarchar et ResolveAggregateFunctions
  • [SPARK-33938] [SQL][3.1] Optimiser Like Any/All par LikeSimplification
  • [SPARK-34021] [R] Correction des liens hypertexte dans la documentation SparkR pour la soumission CRAN
  • [SPARK-34011] [SQL][3.1][3.0] Actualiser le cache dans ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Correction de l’erreur CodeGen de la méthode MapObjects.doGenCode dans Scala 2.13
  • [SPARK-33635] [SS] Ajustement de l’ordre de vérification dans KafkaTokenUtil.needTokenUpdate pour remédier à une régression des performances
  • [SPARK-33029] [CORE][WEBUI] Correction de la page de l’exécuteur de l’interface utilisateur marquant erronément le pilote en liste rouge
  • [SPARK-34015] [R] Correction du minutage des entrées dans gapply
  • [SPARK-34012] [SQL] Maintien de la cohérence de comportement quand conf spark.sql.legacy.parser.havingWithoutGroupByAsWhere est vrai avec le guide de migration
  • [SPARK-33844] [SQL][3.1] La commande InsertIntoHiveDir doit également vérifier le nom de la colonne
  • [SPARK-33935] [SQL] Correction de la fonction de coût CBO
  • [SPARK-33100] [SQL] Ignorer un point-virgule à l’intérieur d’un commentaire entre crochets dans spark-sql
  • [SPARK-34000] [CORE] Corriger stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] Remplacer transformUpWithNewOutput pour ajouter allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Modification de la visibilité des classes privées de cas dans mllib pour éviter les erreurs de compilation au moment de l’exécution avec Scala 2.13
  • [SPARK-33950] [SQL][3.1][3.0] Actualiser le cache dans ALTER TABLE .. DROP PARTITION v1
  • [SPARK-33980] [SS] Invalider CHAR/VARCHAR dans spark.readStream.schema
  • [SPARK-33945] [SQL][3.1] Gère une valeur seed aléatoire composée d’une arborescence expr
  • [SPARK-33398] Correction du chargement des modèles d’arborescence avant Spark 3.0
  • [SPARK-33963] [SQL] Canonicaliser HiveTableRelation sans les statistiques de table
  • [SPARK-33906] [WEBUI] Corriger le bogue de la page UI Executor bloquée en raison d’un peakMemoryMetrics non défini
  • [SPARK-33944] [SQL] Journalisation incorrecte pour les clés de l’entrepôt dans les options SharedState
  • [SPARK-33936] [SQL][3.1] Ajouter la version à l’ajout des interfaces du connecteur
  • [SPARK-33916] [CORE] Correction du décalage de stockage de secours et amélioration de la couverture de test du codec de compression
  • [SPARK-33899] [SQL][3.1] Correction de l’échec d’assertion dans SHOW TABLES/VIEWS v1 sur spark_catalog
  • [SPARK-33901] [SQL] Correction des erreurs d’affichage Char et Varchar après les langages de définition de données (DDL)
  • [SPARK-33897] [SQL] Impossible de définir l’option « cross » dans la méthode join
  • [SPARK-33907] [SQL][3.1] Nettoie uniquement les colonnes de JsonToStructs si les options d’analyse syntaxique sont vides
  • [SPARK-33621][SPARK-33784] [SQL][3.1] Ajouter un moyen d’injecter des règles de réécriture de la source de données
  • [SPARK-33900] [WEBUI] Affichage correct de la taille de lecture aléatoire ou des enregistrements lorsque seul remotebytesread est disponible
  • [SPARK-33892] [SQL] Afficher char/varchar dans DESC et SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Char et Varchar échouent dans MetaOperation de ThriftServer
  • [SPARK-33659] [SS] Documenter le comportement actuel de l’API DataStreamWriter.toTable
  • [SPARK-33893] [CORE] Exclure le gestionnaire de bloc de secours de executorList
  • [SPARK-33277][PYSPARK][SQL] Utiliser ContextAwareIterator pour arrêter la consommation après la fin de la tâche
  • [SPARK-33889] [SQL][3.1] Corriger NPE à partir de SHOW PARTITIONS sur les tables V2
  • [SPARK-33879] [SQL] Les valeurs Varchar Char échouent avec une erreur de correspondance en tant que colonnes de partition
  • [SPARK-33877] [SQL] Documents de référence SQL pour INSER avec une colonne de liste
  • [SPARK-33876] [SQL] Ajout d’un contrôle de longueur pour la lecture de char/varchar à partir de tables avec un emplacement externe
  • [SPARK-33846] [SQL] Inclure des commentaires pour un schéma imbriqué dans StructType.toDDL
  • [SPARK-33860] [SQL] Faire en sorte que CatalystTypeConverters.convertToCatalyst corresponde à la valeur spéciale de Array
  • [SPARK-33834] [SQL] Vérifier la colonne ALTER TABLE CHANGE avec Char et Varchar
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN et BenchmarkQueryTest n’affichent pas de code de sous-requête
  • [SPARK-33836] [SS][PYTHON] Exposer DataStreamReader.table et DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] Le changement de nom des tables v2 doit recréer le cache
  • [SPARK-33756] [SQL] Rendre idempotent le MapIterator de BytesToBytesMap
  • [SPARK-33850] [SQL] EXPLAIN FORMATTED n’affiche pas le plan des sous-requêtes si AQE est activé
  • [SPARK-33841] [CORE][3.1] Correction d’un problème de travaux disparaissant par intermittence du SHS sous une charge élevée
  • [SPARK-33593][SQL] Le lecteur de vecteurs a reçu des données incorrectes avec une valeur de partition binaire
  • [SPARK-26341] [WEBUI] Exposition des métriques de mémoire de l’exécuteur au niveau de l’étape, sous l’onglet Étapes
  • [SPARK-33831] [UI] Mise à jour vers jetty 9.4.34
  • [SPARK-33822] [SQL] Utilisation de la méthode CastSupport.cast dans HashJoin
  • [SPARK-33774] [UI][CORE] « Retour au maître » retourne 500 erreur dans le cluster autonome
  • [SPARK-26199][SPARK-31517] [R] Correction de la stratégie de gestion... noms dans la mutation
  • [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader doit être package private
  • [SPARK-33697] [SQL] RemoveRedundantProjects doit exiger un classement des colonnes par défaut
  • [SPARK-33752] [SQL][3.1] Éviter que le getSimpleMessage de AnalysisException ajoute un point-virgule à plusieurs reprises
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Lever l’exception NoSuchPartitionsException depuis HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Trier les propriétés de table sur la clé dans la commande DESCRIBE TABLE
  • [SPARK-33786] [SQL] Le niveau de stockage d’un cache doit être respecté lorsqu’un nom de table est modifié
  • [SPARK-33273] [SQL] Résoudre une condition de concurrence lors de l’exécution d’une sous-requête
  • [SPARK-33653] [SQL][3.1] DSv2 : REFRESH TABLE doit mettre à jour la table elle-même
  • [SPARK-33777] [SQL] Tri de la sortie de SHOW PARTITIONS V2
  • [SPARK-33733] [SQL] PullOutNondeterministic doit vérifier et collecter un champ déterministe
  • [SPARK-33764] [SS] Définir l’intervalle de maintenance du magasin d’état comme configuration SQL
  • [SPARK-33729] [SQL] Lors de l’actualisation du cache, Apache Spark ne doit pas utiliser le plan mis en cache lors du remise en cache des données
  • [SPARK-33742] [SQL][3.1] Lever l’exception PartitionsAlreadyExistException depuis HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Requiert un identificateur de partition complètement spécifié dans partitionExists()
  • [SPARK-33740] [SQL] Des configurations hadoop dans hive-site.xml peuvent remplacer des hadoop préexistants
  • [SPARK-33692] [SQL] L’affichage doit utiliser le catalogue et l’espace de noms capturés pour la fonction de recherche
  • [Spark-33669] Message d’erreur incorrect de l’analyse de l’état de l’application YARN lorsque sc.stop est dans le mode client yarn
  • [SPARK-32110] [SQL] Normalisation des nombres flottants spéciaux dans HyperLogLog++
  • [SPARK-33677] [SQL] Ignore la règle LikeSimplification si le modèle contient un escapeChar
  • [SPARK-33693] [SQL] Déconseille l’utilisation de spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Invalidation des nouveaux types char/varchar dans des API publiques qui produisent des résultats incorrects
  • [SPARK-32680] [SQL] Pas de prétraitement de V2 CTAS avec une requête non résolue
  • [SPARK-33676] [SQL] Exiger une correspondance exacte entre la spécification de la partition et le schéma dans ALTER TABLE .. ADD/DROP PARTITION V2
  • [SPARK-33670] [SQL] Vérification que le fournisseur de partition est Hive dans v1 SHOW TABLE EXTENDED
  • [SPARK-33663] [SQL] Le retrait de données dans le cache ne doit pas être appelé sur des affichages temporaires non existants
  • [SPARK-33667][SQL] Respect de la configuration spark.sql.caseSensitive lors de la résolution des spécifications de partition dans version 1 SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2 : DeleteFrom doit actualiser le cache

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 9.0.

Environnement du système

  • Système d’exploitation : Ubuntu 20.04.2 LTS
  • Java : Zulu 8.54.0.21-CA-linux64
  • Scala : 2.12.10
  • Python : 3.8.10
  • R : 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.2
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requêtes 2.25.1 requests-unixsocket 0.2.0 retrying 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 28/07/2021.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 objet BLOB 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
jeux de données 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 cycle de vie 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrice 1.3-4
memoise 1.1.0 methods 4.1.0 mgcv 1.8-36
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52