Partager via

Databricks Runtime 16.1 (EoS)

Note

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 16.1, basé sur Apache Spark 3.5.0.

Databricks a publié cette version en décembre 2024.

Changements comportementaux

Modification majeure : la gestion des expressions régulières Photon est désormais cohérente avec Apache Spark

Dans Databricks Runtime 15.4 et versions ultérieures, la gestion des expressions régulières dans Photon est mise à jour pour correspondre au comportement de gestion des expressions régulières Apache Spark. Auparavant, les fonctions d’expression régulière exécutées par Photon, telles que split() et regexp_extract(), acceptaient certaines expressions régulières rejetées par l’analyseur Spark. Pour maintenir la cohérence avec Apache Spark, les requêtes Photon échouent désormais pour les expressions régulières que Spark considère non valides.

En raison de cette modification, vous pouvez voir des erreurs si votre code Spark inclut des expressions régulières non valides. Par exemple, l’expression split(str_col, '{'), qui contient une accolade sans correspondance et qui a été précédemment acceptée par Photon, échoue désormais. Pour corriger cette expression, vous pouvez échapper au caractère d’accolades : split(str_col, '\\{').

Le comportement de Photon et de Spark diffère également pour certaines correspondances d’expressions régulières avec des caractères non ASCII. Ceci est également mis à jour afin que Photon corresponde au comportement d’Apache Spark.

Le type de données VARIANT ne peut plus être utilisé avec des opérations nécessitant des comparaisons

Dans Databricks Runtime 16.1 et versions ultérieures, vous ne pouvez pas utiliser les clauses ou opérateurs suivants dans les requêtes qui incluent un type de données VARIANT :

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

En outre, vous ne pouvez pas utiliser ces fonctions DataFrame :

  • df.dropDuplicates()
  • df.repartition()

Ces opérations effectuent des comparaisons et des comparaisons qui utilisent le type de données VARIANT produisent des résultats non définis et ne sont pas prises en charge dans Databricks. Si vous utilisez le type VARIANT dans vos charges de travail ou tables Azure Databricks, Databricks recommande les modifications suivantes :

  • Mettez à jour les requêtes ou expressions pour convertir explicitement des valeurs VARIANT en types de données nonVARIANT.
  • Si vous avez des champs qui doivent être utilisés avec l’une des opérations ci-dessus, extrayez ces champs du type de données VARIANT et stockez-les à l’aide de types de données nonVARIANT.

Pour plus d'informations, consultez les données de variante de requête .

Nouvelles fonctionnalités et améliorations

Mise à niveau du connecteur BigQuery

  • Le connecteur Google BigQuery a été mis à niveau pour utiliser la version 0.41.0 du connecteur open source Spark-BigQuery.

  • Le connecteur Google BigQuery pour Lakehouse Federation utilise désormais l’API Stockage BigQuery au lieu du pilote JDBC. Cette migration résout les problèmes de performances avec le pilote JDBC et est basée sur le connecteur Spark-BigQuery open source.

    Avec cette modification, les résultats de requête intermédiaires pour les vues BigQuery et les tables externes doivent être écrits dans des tables temporaires. Ces objets ne sont pas directement stockés dans le stockage BigQuery. Les tables temporaires seront stockées dans votre projet de facturation BigQuery. Vérifiez que les autorisations appropriées sont définies sur vos comptes de service BigQuery. Pour plus d’informations, consultez Exécuter des requêtes fédérées sur Google BigQuery.

Prise en charge des classements dans Apache Spark est disponible en préversion publique

Vous pouvez désormais affecter des interclassements sensibles à la langue, insensibles à la casse et insensibles à l'accès pour les colonnes et expressions STRING. Ces classements sont utilisés dans les comparaisons de chaînes, le tri, les opérations de regroupement et de nombreuses fonctions de chaîne. Voir Collation.

Prise en charge des classements dans Delta Lake est disponible en préversion publique

Vous pouvez maintenant définir des classements pour les colonnes lors de la création ou de la modification d’une table Delta. Consultez Support de classement pour Delta Lake.

Le mode LITE pour le vide est en aperçu public

Vous pouvez désormais utiliser VACUUM table_name LITE pour effectuer une opération de nettoyage plus légère qui utilise les métadonnées dans le journal des transactions Delta. Voir mode complet vs mode léger et VACUUM.

Prise en charge du paramétrage de la clause USE CATALOG with IDENTIFIER

Dans Databricks Runtime 16.1 et versions ultérieures, la clause IDENTIFIER est prise en charge pour l’instruction USE CATALOG. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre.

Prise en charge des tables et des vues par COMMENT ONCOLUMN

Dans Databricks Runtime 16.1 et versions ultérieures, l’instruction COMMENT ON prend en charge la modification des commentaires pour les colonnes d’affichage et de table.

Nouvelles fonctions SQL

Dans Databricks Runtime 16.1 et versions ultérieures, les nouvelles fonctions SQL intégrées suivantes sont disponibles :

  • dayname(expr) retourne l’acronyme anglais de trois lettres pour le jour de la semaine pour la date donnée.
  • uniform(expr1, expr2 [,seed]) retourne une valeur aléatoire avec des valeurs indépendantes et distribuées de façon identique dans la plage de nombres spécifiée.
  • randstr(length) retourne une chaîne aléatoire de caractères alphanumériques length.

Appel de paramètre nommé pour d’autres fonctions

Dans Databricks Runtime 16.1 et versions ultérieures, les fonctions suivantes prennent en charge l’appel de paramètres nommés :

Le paramètre SYNC METADATA de la commande REPAIR TABLE est pris en charge avec le metastore Hive

Dans Databricks Runtime 16.1 et versions ultérieures, vous pouvez utiliser le paramètre SYNC METADATA avec la commande REPAIR TABLE pour mettre à jour les métadonnées d’une table gérée par metastore Hive. Voir REPAIR TABLE.

Intégrité améliorée des données pour les lots Apache Arrow compressés

Dans Databricks Runtime 16.1 et versions ultérieures, pour protéger davantage contre l'altération des données, chaque LZ4batch Arrow compressé inclut désormais le contenu LZ4 et les sommes de contrôle de bloc. Consultez la description du format de cadre LZ4 .

Support ajouté pour les méthodes Scala sur le calcul en mode d'accès standard d'Unity Catalog (anciennement mode d'accès partagé)

Dans Databricks Runtime 16.1 et versions ultérieures, dans le mode d'accès standard de traitement de Unity Catalog, le support est ajouté pour les méthodes Scala suivantes : Dataset.flatMapGroups(), Dataset.mapGroups()et DataStreamWriter.foreach().

Pilote JDBC Teradata intégré

Dans Databricks Runtime 16.1 et versions ultérieures, le pilote JDBC Teradata est intégré à Azure Databricks. Si vous utilisez un fichier JAR du pilote JDBC chargé par le client via DriverManager, vous devez réécrire des scripts pour utiliser explicitement le fichier JAR personnalisé. Sinon, le pilote intégré est utilisé. Ce pilote prend uniquement en charge la Lakehouse Federation. Pour d'autres scénarios, vous devez fournir votre propre pilote.

Support de StreamingQueryListener pour Scala

Vous pouvez désormais utiliser StreamingQueryListener en Scala sur le calcul configuré avec le mode d’accès standard.

Pilote JDBC Oracle intégré

Dans Databricks Runtime 16.1 et versions ultérieures, le pilote ORACLE JDBC est intégré à Azure Databricks. Si vous utilisez un fichier JAR du pilote JDBC chargé par le client via DriverManager, vous devez réécrire des scripts pour utiliser explicitement le fichier JAR personnalisé. Sinon, le pilote intégré est utilisé. Ce pilote prend uniquement en charge la Lakehouse Federation. Pour d'autres scénarios, vous devez fournir votre propre pilote.

Erreurs plus détaillées pour les tables Delta accessibles avec des chemins d’accès

Une nouvelle expérience de message d’erreur pour les tables Delta accessibles à l’aide de chemins est désormais disponible. Toutes les exceptions sont désormais transférées à l’utilisateur. L’exception DELTA_MISSING_DELTA_TABLE est désormais réservée lorsque les fichiers sous-jacents ne peuvent pas être lus en tant que table Delta.

Autres modifications

Codes d’erreur renommés pour la source cloudFiles Structured Streaming

Cette version inclut une modification pour renommer les codes d’erreur suivants :

  • _LEGACY_ERROR_TEMP_DBR_0143 est renommé en CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 est renommé en CF_INCORRECT_BATCH_USAGE .

Corrections de bugs

Les types imbriqués acceptent désormais les contraintes NULL de manière correcte.

Cette version corrige un bogue affectant certaines colonnes générées par delta de types imbriqués, par exemple, STRUCT. Ces colonnes rejettent parfois incorrectement les expressions basées sur des contraintes de NULL ou de NOT NULL des champs imbriqués. Ce problème a été résolu.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • ipyflow-core de 0.0.198 à 0.0.201
    • pyccolo de 0.0.52 à 0.0.65
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • io.delta.delta-sharing-client_2.12 de 1.2.1 à 1.2.2
    • org.lz4.lz4-java de 1.8.0 à 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 à 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 inclut Apache Spark 3.5.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 16.0 (EoS), ainsi que les correctifs de bogues supplémentaires suivants et les améliorations apportées à Spark :

  • [SPARK-50482] [SC-182879][core] Configuration spark.shuffle.spill sans opération (no-op) déconseillée
  • [SPARK-50032] [SC-182706][sql][16.x] Autoriser l’utilisation du nom de classement complet
  • [SPARK-50467] [SC-182823][python] Ajouter __all__ pour les fonctions intégrées
  • [SPARK-48898] [SC-182828][sql] Corriger le bogue de fragmentation de variant
  • [SPARK-50441] [SC-182668][sql] Corriger les identificateurs paramétrables qui ne fonctionnent pas lors du référencement des CTEs
  • [SPARK-50446] [SC-182639][python] Niveau de concurrence dans la fonction définie par l’utilisateur Python optimisée par Arrow
  • [SPARK-50430] [SC-182536][core] Utiliser le fichier Properties.clone standard au lieu du clone manuel
  • [SPARK-50471] [SC-182790][python] Prendre en charge l’enregistreur de source de données Python basé sur Arrow
  • [SPARK-50466] [SC-182791][python] Affiner la docstring pour les fonctions de string - partie 1
  • [SPARK-50194] [DBR16.x][sc-182593][SS][python] Intégration de l’API new timer et de l’API d’état initial avec minuteur
  • [SPARK-50437] [SC-182586][ss] Réduire la surcharge de création de désérialiseurs dans TransformWithStateExec
  • [SPARK-49676] [DBR16.x][sc-182538][SS][python] Ajouter la prise en charge du chaînage...
  • [SPARK-49294] [SC-182730][ui] Ajouter un attribut width pour la case à cocher shuffle-write-time.
  • [SPARK-50426] [SC-182540][python] Éviter la recherche statique de source de données Python lors de l’utilisation de sources de données intégrées ou Java
  • [SPARK-48356] [SC-182603][sql] Prise en charge de l’instruction FOR
  • [SPARK-50333] [SC-182136][sql] Prise en charge de CsvToStructs dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Métriques pour les validations sur les instances de StagedTable
  • [SPARK-50081] [SC-182344][sql] Prise en charge de XPath* dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] Refactoriser AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][sql] Prise en charge de SchemaOfCsv dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][sql] Corriger l’échec après fusion lors du test d’erreurs
  • [SPARK-50118] [SC-181259][connet] Réinitialiser le cache d’état isolé lors de l’exécution des tâches
  • [SPARK-49873] [SC-178577][sql] Affecter une classe d’erreur appropriée pour _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][core] Prendre en charge spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][sql] Ajouter la fonction DAYNAME
  • [SPARK-50270] [SC-181179][ss][PYTHON] Ajout de métriques d’état personnalisées pour TransformWithStateInPandas
  • [SPARK-50118] Rétablir « [SC-181259][connet] Réinitialiser le cache d’état isolé lors de l’exécution des tâches »
  • [SPARK-50075] [SC-181820][sql][PYTHON][connect] Ajouter des API DataFrame pour les fonctions à valeur de table
  • [SPARK-49470] [SC-175736][ui] Mettre à jour les feuilles de style et javascript dataTables de 1.13.5 à 1.13.11
  • [SPARK-50235] Rétablir « [SC-180786][SQL] Nettoyer la ressource ColumnVector après le traitement de toutes les lignes dans ColumnarToRowExec »
  • [SPARK-50324] [SC-182278][python][CONNECT] Faire en sorte que createDataFrame déclenche Config RPC au maximum une fois
  • [SPARK-50387] [SC-182441][ss] Condition de mise à jour pour l’expiration du minuteur et le test approprié
  • [SPARK-50287] [SC-182400][sql] Options de fusion de table et de relation lors de la création d’WriteBuilder dans FileTable
  • [SPARK-50066] [SC-181484][sql] Prise en charge de SchemaOfXml dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][sql] Corriger le comportement du connecteur PostgreSQL pour les tableaux multidimensionnels
  • [SPARK-50318] [SC-181641][sql] Ajouter IntervalUtils.makeYearMonthInterval pour dédupliquer le code entre l’interprété et codegen
  • [SPARK-50312] [SC-181646][sql] SparkThriftServer createServer, erreur de transmission du paramètre createServer lorsque Kerberos a la valeur true
  • [SPARK-50246] [SC-181468][sql] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][sql] La conversion depuis json/xml ne doit pas modifier les collations dans le schéma fourni
  • [SPARK-50250] [SC-181466][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][connet] Réinitialiser le cache d’état isolé lors de l’exécution des tâches
  • [SPARK-50235] [SC-180786][sql] Nettoyer la ressource ColumnVector après avoir traité toutes les lignes dans ColumnarToRowExec
  • [SPARK-50156] [SC-180781][sql] Intégrer _LEGACY_ERROR_TEMP_2113 dans UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][sql] Intégrer _LEGACY_ERROR_TEMP_0028 dans UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][sql] Support de génération de code pour StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][sql] Ajouter une alternative TryMakeInterval
  • [SPARK-50397] [SC-182367][core] Supprimer les arguments --ip et -i déconseillés de Master/Worker
  • [SPARK-50238] [SC-181434][python] Ajouter la prise en charge des variantes dans pySpark UDFs/UDTFs/UDAFs et Python UC UDFs
  • [SPARK-50079] [SC-179830][sql] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][exemple] Ajouter submit-sql.sh exemple d’API REST
  • [SPARK-49966] [SC-179501][sql] Utiliser Invoke pour implémenter JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][ss] Garantir que les tailles d’index secondaires sont égales aux tailles d’index primaires pour les variables avec état TransformWithState avec TTL
  • [SPARK-50301] [SC-182241][ss][16.x] Rendre les métriques TransformWithState telles qu'elles reflètent leurs significations intuitives
  • [SPARK-50175] [SC-182140][sql] Modifier le calcul de la priorité de l'ordre de collationnement
  • [SPARK-50148] [SC-180292][sql] Rendre StaticInvoke compatible avec la méthode qui déclare l’exception de levée
  • [SPARK-50280] [SC-181214][python] Refactoriser le tri des résultats et le remplissage de compartiment vide dans compute_hist
  • [SPARK-50190] [SC-182458][python] Supprimer la dépendance directe de Numpy de l’histogramme
  • [SPARK-50382] [SC-182368][connect] Ajouter une documentation pour obtenir des informations générales sur le développement d’applications avec/extension de Spark Connect
  • [SPARK-50296] [SC-181464][python][CONNECT] Éviter d’utiliser une propriété de classe dans le pool de threads pour le client Python Connect
  • [SPARK-49566] [SC-182239][sql] Ajouter une syntaxe de canal SQL pour l’opérateur EXTEND
  • [SPARK-50036] [SC-179533][core][PYTHON] Ajouter SPARK_LOG_SCHEMA dans le contexte du shell REPL
  • [SPARK-49859] [SC-178259][connect] Remplacer multiprocessing.ThreadPool par ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][python] Rendre lpad et rpad accepter les arguments de type colonne
  • [SPARK-50379] [SC-182142][sql] Correction de la gestion DayTimeIntevalType dans WindowExecBase
  • [SPARK-49954] [SC-179110][sql] Prise en charge de SchemaOfJson dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][core] Utiliser le code de sortie (ExitCode) 0 pour --help dans les scripts Spark
  • [SPARK-50377] [SC-182238][sql] Autoriser l’évaluation de RuntimeReplaceable pliable
  • [SPARK-50241] [SC-181444][sql] Remplacer NullIntolerant Mixin par la méthode Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][sql] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][sql] Intégrer _LEGACY_ERROR_TEMP_0039 dans UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][ss] Ajouter une métrique personnalisée pour le suivi des ressources utilisées pour l’état initial du processus dans transformWithState
  • [SPARK-50029] [SC-179531][sql] Rendre StaticInvoke compatible avec la méthode qui retourne Any
  • [SPARK-49990] [SC-179497][sql] Améliorer les performances de randStr
  • [SPARK-50048] [SC-179528][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][sql] Transformer _LEGACY_ERROR_TEMP_2104 en INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][sql] Prise en charge du classement de découpage pour les fonctions de chaîne
  • [SPARK-48549] [SC-176472][sql][PYTHON] Améliorer la fonction SQL sentences
  • [SPARK-50022] [SC-179503][core][UI] Correction MasterPage pour masquer les liens de l’interface utilisateur de l’application lorsque l’interface utilisateur est désactivée
  • [SPARK-50087] [SC-182152] Gestion robuste des expressions booléennes dans CASE WHEN pour MsSqlServer et les connecteurs futurs
  • [SPARK-49991] [SC-179481][sql] Make HadoopMapReduceCommitProtocol respect 'mapreduce.output.basename' pour générer des noms de fichiers
  • [SPARK-50038] [SC-179521][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][core][UI] Correction ApplicationPage pour masquer les liens de l’interface utilisateur de l’application lorsque l’interface utilisateur est désactivée
  • [SPARK-49911] [SC-179111][sql] Corriger la sémantique de prise en charge de l’égalité binaire
  • [SPARK-50025] [SC-179496][sql] Intégrer _LEGACY_ERROR_TEMP_1253 dans EXPECT_VIEW_NOT_TABLE
  • [SPARK-49829] [SC-179480][ss] Corriger le bogue sur l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure flux-flux
  • [SPARK-50004] [SC-179499][sql] Intégrer _LEGACY_ERROR_TEMP_3327 dans FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator doit respecter le contrat dans ConstantFolding
  • [SPARK-50340] [SC-181859][sql] Désenvelopper UDT dans la requête d’entrée INSERT
  • [SPARK-50237] [SC-181660][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][sql] Corriger le problème de modification de l’ordre des colonnes de sortie après l’optimisation AQE
  • [SPARK-49773] [SC-178369][sql] Exception Java non interceptée de make_timestamp() avec un fuseau horaire incorrect
  • [SPARK-49977] [SC-179265][sql] Utiliser le calcul itératif basé sur la pile pour éviter de créer de nombreux objets Scala List pour les arborescences d’expressions profondes
  • [SPARK-50153] [SC-181591][sql] Ajouter name à RuleExecutor pour rendre plus clairs les journaux d'activité d'impression de QueryExecutionMetrics
  • [SPARK-50320] [SC-181668][core] Rendre --remote une option officielle en supprimant experimental avertissement
  • [SPARK-49909] [SC-179492]Revenir “[SQL] Corriger le joli nom de certaines expressions”
  • [SPARK-50330] [SC-180720][sc-181764][SQL] Ajouter des indicateurs aux nœuds de tri et de fenêtre
  • [SPARK-50364] [SC-182003][sql] Implémenter la sérialisation pour le type LocalDateTime dans Row.jsonValue
  • [SPARK-50016] [SC-182139][sql] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][python][SS] Prendre en charge deleteIfExists pour TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][sql] Prendre en charge l’expression IDENTIFIER dans l’instruction SETCATALOG
  • [SPARK-50315] [SC-181886][sql] Prendre en charge les métriques personnalisées pour les écritures V1Fallback
  • [SPARK-42838] [SC-181509][sql] Affecter un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][sql] Refactoriser ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][sql] Préparer le script SQL pour l’ajout de l’infrastructure d’exécution
  • [SPARK-49345] [SC-174786][connect] Veillez à utiliser la session Spark en cours d’exécution
  • [SPARK-49925] [SC-178882][sql] Ajouter des tests pour l’ordre de tri avec des chaînes classées
  • [SPARK-50167] [SC-181199][python][CONNECT] Améliorer les messages d’erreur et les importations de tracé PySpark
  • [SPARK-49368] [SC-174999][connect] Éviter d’accéder directement aux classes Protobuf Lite
  • [SPARK-50056] [SC-181378][sql] Prise en charge de ParseUrl dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][ss][PYTHON] Prendre en charge la gestion initiale de l’état pour TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][sql] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][ss] Résoudre la limitation du calcul des métriques avec des sources de streaming DSv1
  • [SPARK-49874] [SC-178303][sql] Supprimer les spécificateurs de classement trim et ltrim
  • [SPARK-49513] [SC-180339][ss] Ajouter la prise en charge d’un minuteur dans l’API transformWithStateInPandas
  • [SPARK-49119] [SC-175607][sql] Corriger l’incohérence de la syntaxe show columns entre v1 et v2
  • [SPARK-49206] [SC-173704][core][UI] Ajouter la table Environment Variables au Master EnvironmentPage
  • [SPARK-49934] [SC-179581][sql] Ajouter un cast implicite pour accéder à la carte classée avec un littéral
  • [SPARK-50049] [SC-181659][sql] Prendre en charge les métriques de pilote personnalisées pour l’écriture dans une table v2
  • [SPARK-50171] [SC-180295][python] Rendre numpy facultatif pour le tracé KDE
  • [SPARK-49962] [SC-179320][sql] Simplifiez la hiérarchie de classes AbstractStringTypes
  • [SPARK-50226] [SC-181483][sql] Corriger MakeDTInterval et MakeYMInterval pour intercepter les exceptions Java
  • [SPARK-48775] [SC-170801][sql][STS] Remplacer SQLContext par SparkSession dans STS
  • [SPARK-49015] [SC-175688][core] Le serveur de connexion doit respecter spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][sql][16.x] Factoriser la résolution de la fonction à réutiliser dans l’analyseur à passe unique
  • [SPARK-49995] [SC-180762][sql] Ajouter la prise en charge des arguments nommés à d’autres fichiers TVF
  • [SPARK-49268] [SC-174903][core] Journaliser les exceptions d’E/S dans le fournisseur d’historique SHS
  • [SPARK-48123] [SC-164989][core] Fournir un schéma de table constante pour interroger des journaux structurés
  • [SPARK-49217] [SC-174904][core] Soutien à la configuration séparée de la taille du tampon dans UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][sql][16.x] Factoriser la résolution des alias à réutiliser dans l’analyseur à passe unique
  • [SPARK-50322] [SC-181665][sql] Corriger l’identificateur paramétrable dans une sous-requête
  • [SPARK-48400] [SC-175283][core] Promouvoir PrometheusServlet à DeveloperApi
  • [SPARK-50118] Rétablir « [SC-181259][connet] Réinitialiser le cache d’état isolé lors de l’exécution des tâches »
  • [SPARK-50306] [SC-181564][python][CONNECT] Prise en charge de Python 3.13 dans Spark Connect
  • [SPARK-50152] [SC-181264][ss] Prendre en charge handleInitialState avec le lecteur de source de données d’état
  • [SPARK-50260] [SC-181271][connect] Refactoriser et optimiser Spark C...
  • [SPARK-47591] [SC-163090][sql] Hive-thriftserver : Migrer logInfo avec des variables vers une infrastructure de journalisation structurée
  • [SPARK-49312] [SC-174672][python] Améliorer le message d’erreur pour assertSchemaEqual
  • [SPARK-49439] [SC-175236][sql] Corriger le joli nom de l’expression FromProtobuf & ToProtobuf
  • [SPARK-50092] [ES-1258521] Corriger le comportement du connecteur PostgreSQL pour les tableaux multidimensionnels
  • [SPARK-49913] [SC-181565][sql] Ajouter la vérification des noms d’étiquettes uniques dans les étendues étiquetées imbriquées
  • [SPARK-49563] [SC-181465][sql] Ajouter une syntaxe de canal SQL pour l’opérateur WINDOW
  • [SPARK-49661] [SC-179021][sql] Implémenter le hachage et la comparaison de classement de découpage.
  • [SPARK-38912] [SC-181543][python] Supprimer le commentaire lié à classmethod et à la propriété
  • [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB Hardening] Améliorer la gestion des mappages de fichiers SST de RocksDB et résoudre le problème de rechargement de la même version avec l’instantané existant
  • [SPARK-49002] Rétablir « [SC-172846][sql] Gérer de manière cohérente les emplacements non valides dans WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY »
  • [SPARK-49668] [SC-178268][sql] Implémenter la prise en charge des clés de classement pour le classement de découpage
  • [SPARK-50262] [SC-181193][sql] Interdire les types complexes de spécifications lors de la modification du classement
  • [SPARK-48898] [SC-181435][sql] Ajouter des fonctions de découpage de variantes
  • [SPARK-48273] [SC-181381]Revenir à "[SQL] Corriger la réécriture tardive de PlanWithUnresolvedIdentifier
  • [SPARK-50222] [SC-180706][core] Prendre en charge spark.submit.appName
  • [SPARK-50208] [SC-180662][core] Prendre en charge spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][sql] Les remplacements de IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 doivent être NullIntolerant
  • [SPARK-50247] [SC-180962][core] Définir BLOCK_MANAGER_REREGISTRATION_FAILED comme ExecutorExitCode
  • [SPARK-50282] [SC-181221][ml] Simplifier TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][sql] Permettant à l’opérateur TransformWithState d’utiliser l’encodage Avro
  • [SPARK-50267] [SC-181180][ml] Améliorer TargetEncoder.fit avec les API DataFrame
  • [SPARK-37178] [SC-180939][ml] Ajouter l’encodage cible à ml.feature
  • [SPARK-50118] [SC-181259][connet] Réinitialiser le cache d’état isolé lors de l’exécution des tâches
  • [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] Faire en sorte que lit(ndarray) avec np.int8 respecte le type de données numpy
  • [SPARK-50256] [SC-181048][sql] Ajouter une validation légère pour vérifier si un plan logique devient non résolu après chaque règle d’optimiseur
  • [SPARK-50196] [SC-180932][connect] Corriger le contexte d’erreur Python pour garantir l’utilisation d’un contexte approprié
  • [SPARK-50274] [SC-181181][core] Protection contre l’utilisation après fermeture dans DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][python][CONNECT] Prendre en charge le paramètre facultatif « column » dans les diagrammes à surfaces, kde et histogrammes.
  • [SPARK-50273] [SC-181178][ss] Améliorer la journalisation des cas d’acquisition/de libération du verrou RocksDB
  • [SPARK-50033] [SC-180720][sc-180659][SQL] Ajoutez un indicateur au nœud logical.Aggregate()
  • [SPARK-50163] [16.x][sc-180201][SC-180664][ss] Corriger la libération d’acquireLock supplémentaire dans RocksDB en raison de l’écouteur de complétion
  • [SPARK-50253] [SC-180969][ss] Stream-Stream Join ne doit pas récupérer l’ID de point de contrôle s’il n’est pas pris en charge.
  • [SPARK-50255] [SC-180964][python] Éviter la conversion inutile dans compute_hist
  • [SPARK-50228] [SC-180780][sql] Déplacer la règle de RewriteCollationJoin vers FinishAnalysis
  • [SPARK-50001] [SC-179524][python][PS][connect] Ajuster « precision » pour faire partie des kwargs pour les diagrammes à surfaces.
  • [SPARK-49637] [SC-180160][sql] Modification du message d’erreur pour INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][python] Obtenir une session active à partir de dataframes
  • [SPARK-50195] [SC-180654][core] Correction de StandaloneRestServer pour propager spark.app.name de manière adéquate à SparkSubmit.
  • [SPARK-50229] [SC-180773] Réduire l’utilisation de la mémoire sur le pilote pour les schémas larges en réduisant la durée de vie des objets AttributeReference créés lors de la planification logique
  • [SPARK-50231] [SC-180815][python] Permettre à la fonction instr d’accepter la colonne substring
  • [SPARK-49854] [SC-179812][16.x][SQL] Cloner le gestionnaire d’artefacts pendant le clone de session
  • [SPARK-50219] [SC-180694][sql] Refactorisation ApplyCharTypePadding afin que les méthodes d’assistance puissent être utilisées dans le résolveur à passe unique
  • [SPARK-50077] [SC-179827][sql] Introduire un nouvel objet de modèle pour LogicalRelation afin d’éviter le modèle de paramètres complets par défaut
  • [SPARK-50128] [Backport][16x][SC-180677][ss] Ajouter les API de gestion de processeur avec état à l’aide d’encodeurs implicites en Scala
  • [SPARK-50061] [SC-179961][sql] Activer la table d’analyse pour les colonnes compilées
  • [SPARK-49993] [SC-180084][sql] Améliorer les messages d’erreur pour somme et moyenne
  • [SPARK-49638] [SC-179665][sql] Supprimer la suggestion de configuration ANSI dans INVALID_URL
  • [SPARK-50204] [SC-180660][sql] Factoriser la résolution du chemin d’accès de lecture HiveTableRelation
  • [SPARK-50193] [SC-180651][ss] Correction de la gestion des exceptions pour la validation des modes de temps
  • [SPARK-50179] [SC-180342][core] Rendre spark.app.name propriété facultative dans l’API REST
  • [SPARK-50068] [SC-180300][sql] Refactoriser TypeCoercion et AnsiTypeCoercion pour séparer les transformations à nœud unique
  • [SPARK-49411] [SC-179483][ss] Communiquer l’ID de point de contrôle du magasin d’état entre le pilote et les opérateurs avec état
  • [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET doivent conserver l’ordre des données
  • [SPARK-49506] [SC-180165][sql] Optimiser ArrayBinarySearch pour un tableau pliable
  • [SPARK-50097] [SC-179908][sql] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][sql][PYTHON] Ajouter try_make_timestamp(_ltz et _ntz) et des tests connexes
  • [SPARK-50054] [SC-180228][python][CONNECT] Prendre en charge les tracés d’histogramme
  • [SPARK-50015] [SC-179964][sql] Affecter la condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Déplacer des fichiers scala et java vers leurs dossiers par défaut
  • [SPARK-49980] [SC-180353][core][SQL] Corriger les fuites de flux de fichiers potentielles causées par une interruption dans les tâches annulées
  • [SPARK-49010] [SC-172304][sql][XML] Ajouter des tests unitaires pour la sensibilité des cas d’inférence de schéma XML
  • [SPARK-49562] [SC-180211][sql] Ajouter une syntaxe de pipe SQL pour l’agrégation
  • [SPARK-49663] [SC-180239][sql] Activer les suggestions RTRIM dans les expressions de classement
  • [SPARK-48965] [SC-175926][sql] Utiliser le schéma approprié dans Dataset#toJSON
  • [SPARK-48493] [SC-175893][python] Améliorer le lecteur de données Python avec la prise en charge directe des Batchs Arrow pour améliorer les performances
  • [SPARK-49734] [SC-180226][python] Ajouter seed argument pour la fonction shuffle
  • [SPARK-50174] [16.x][sc-180253][SQL] Factoriser la résolution UnresolvedCatalogRelation
  • [SPARK-49989] [SC-179512][python][CONNECT] Prendre en charge les tracés kde/densité
  • [SPARK-49805] [SC-180218][sql][ML] Supprimer les fonctions privées[xxx] de function.scala
  • [SPARK-49808] [SC-179490][sql] Corriger un blocage dans l’exécution de sous-requêtes en raison de vals différés
  • [SPARK-49929] [SC-180144][python][CONNECT] Prendre en charge les diagrammes à surfaces
  • [SPARK-50008] [SC-179290][ps][CONNECT] Éviter les opérations inutiles dans attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][ps][CONNECT] Refactoriser l’appel de fonction interne
  • [SPARK-49683] [SC-178341][sql] Bloquer le classement des découpes
  • [SPARK-49939] [SC-178941][sql] Prise en charge de json_object_keys dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-50031] [SC-179582][sql] Ajouter l’expression TryParseUrl
  • [SPARK-49766] [SC-178933][sql] Prise en charge de json_array_length dans Codegen (par Invoke et RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][ss] Utiliser l’ordre stable du nœud EventTimeWatermark pour calculer le filigrane
  • [SPARK-49540] [SC-180145][ps] Unifier l’utilisation de distributed_sequence_id
  • [SPARK-50060] [SC-179965][sql] Conversion désactivée entre différents types compilés dans TypeCoercion et AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][connect] Utiliser un registre distinct pour les fonctions internes de l’API Colonne
  • [SPARK-49811] [SC-177888][sql] Renommer StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][ps] Appliquer ArrayBinarySearch pour l’histogramme
  • [SPARK-49203] [SC-175734][sql] Ajouter une expression pour java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][core] Corriger le mauvais signalement des erreurs irrécupérables en tant qu’exceptions interceptées dans SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][sql] Les collations qui utilisent l’ICU doivent inclure la version de la bibliothèque ICU utilisée
  • [SPARK-49985] [SC-179644][sql] Supprimer la prise en charge des types d’intervalles dans Variant
  • [SPARK-49103] [SC-173066][core] Prendre en charge spark.master.rest.filters
  • [SPARK-50090] [SC-179819] Refactoriser ResolveBinaryArithmetic pour séparer la transformation à nœud unique
  • [SPARK-49902] [SC-179650][sql] Intercepter les erreurs d’exécution sous-jacentes dans RegExpReplace
  • [SPARK-49126] [SC-173342][core] Déplacer spark.history.ui.maxApplications définition de configuration vers History.scala
  • [SPARK-50094] [SC-179820][python][CONNECT] Meilleur message d’erreur lors de l’utilisation du profileur de mémoire sur les éditeurs sans numéros de ligne
  • [SPARK-50062] [SC-179835][sql] Prendre en charge les classements par InSet
  • [SPARK-50035] [Backport][16x][SC-179530][ss] Ajouter la prise en charge de la fonction handleExpiredTimer explicite dans le cadre du processeur avec état
  • [SPARK-49982] [SC-179814][sql] Correction de la mise en cache négative dans InMemoryRelation
  • [SPARK-49082] [SC-173350][sql] Élargissement des promotions de types dans AvroDeserializer
  • [SPARK-50088] [SC-179680][sql] Refactoriser UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][ss] Ajouter la prise en charge du flux de modification de lecture pour les types map et list utilisés dans les processeurs avec état
  • [SPARK-49846] [SC-179506][ss] Ajouter des métriques numUpdatedStateRows et numRemovedStateRows à utiliser avec l’opérateur transformWithState
  • [SPARK-50050] [SC-179643][python][CONNECT][16.x] Permettre à lit d’accepter les éléments ndarray de type str et bool de numpy
  • [SPARK-49821] [SC-179527][ss][PYTHON] Implémenter la prise en charge de MapState et TTL pour TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][sql] Ajouter une syntaxe de canal SQL pour LIMIT/OFFSET et ORDER/SORT/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][lc-4080][SQL] Corriger canPlanAsBroadcastHashJoin pour respecter les indicateurs de jointure de lecture aléatoire
  • [SPARK-50051] [SC-179571][python][CONNECT] Faire en sorte que lit fonctionne avec un ndarray numpy vide
  • [SPARK-50018] [SC-179488][sql] Rendre AbstractStringType sérialisable
  • [SPARK-50016] [SC-179491][sql] Améliorer l’erreur d’incompatibilité de classement explicite
  • [SPARK-50010] [SC-179487][sql] Développer l’erreur de conflit de classement implicite
  • [SPARK-48749] [SC-170116][sql] Simplifier unaryPositive et éliminer ses règles Catalyst avec RuntimeReplaceable
  • [SPARK-49857] [SC-178576][sql] Ajouter storageLevel à l’API localCheckpoint du jeu de données
  • [SPARK-50058] [SC-179538][sql] Factoriser les fonctions de normalisation de plan pour les utiliser ultérieurement dans les tests de l’analyseur à passe unique
  • [SPARK-50052] [SC-179535][python][16.X] Permettre à NumpyArrayConverter de prendre en charge les éléments ndarray de chaînes vides
  • [SPARK-47261] [SC-173665][sql] Attribuer un meilleur nom pour les erreurs _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 et _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][core] Mark KryoRegistrator avec l’interface DeveloperApi
  • [SPARK-48949] [SC-173070][sql] SPJ : Filtrage de partition runtime
  • [SPARK-50044] [SC-179523][python] Affiner la docstring de plusieurs fonctions mathématiques
  • [SPARK-48757] [SC-170113][core] Donner à IndexShuffleBlockResolver des constructeurs explicites
  • [SPARK-50037] [SQL] Refactoriser AttributeSeq.resolve(...)
  • [SPARK-48782] [SC-177056][sql] Ajouter la prise en charge de l’exécution de procédures dans les catalogues
  • [SPARK-49057] [SC-173081][sql] Ne pas bloquer la boucle AQE lors de l’envoi d’étapes de requête
  • [SPARK-48824] [SC-176772][behave-167][SQL] Ajouter une syntaxe SQL de Colonne d’Identité
  • [SPARK-48773] [SC-170773] Documenter la configuration “spark.default.parallelism” à l'aide du framework de génération de configuration
  • [SPARK-48735] [SC-169810][sql] Amélioration des performances pour la fonction BIN
  • [SPARK-48900] [SC-172433] Ajouter reason champ pour tous les appels internes pour l’annulation de travail ou d’étape
  • [SPARK-48488] [SC-167605][core] Corriger les méthodes log[info|warning|error] dans SparkSubmit
  • [SPARK-48708] [SC-169809][core] Supprimer trois inscriptions de type inutiles de KryoSerializer
  • [SPARK-49958] [SC-179312][python] API Python pour les fonctions de validation de chaîne
  • [SPARK-49979] [SC-179264][sql] Corriger le problème de suspension d’AQE lors de la collecte à deux reprises sur un plan échoué
  • [SPARK-48729] [SC-169795][sql] Ajouter une interface UserDefinedFunction pour représenter une fonction SQL
  • [SPARK-49997] [SC-179279][sql] Intégrer _LEGACY_ERROR_TEMP_2165 dans MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][ss] Créer une partition basée sur la taille pendant la lecture Kafka
  • [SPARK-48129] [SC-165006][python] Fournir un schéma de table constante dans PySpark pour interroger des journaux structurés
  • [SPARK-49951] [SC-179259][sql] Attribuer une condition d’erreur appropriée pour LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][sql] Intégrer _LEGACY_ERROR_TEMP_1252 dans EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][connect] Se débarrasser des verrous globaux à partir du service Spark Connect
  • [SPARK-49957] [SC-179202][sql] API Scala pour les fonctions de validation de chaîne
  • [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener ne doit pas être affecté par spark.interrupt()
  • [SPARK-49643] [SC-179239][sql] Fusionner _LEGACY_ERROR_TEMP_2042 dans ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][sql] Corriger ColumnarArray.copy() pour lire les valeurs Null à partir du décalage correct
  • [SPARK-49956] Rétablir “[SC-179070] Classements désactivés avec l'expression collect_set ”
  • [SPARK-49987] [SC-179180][sql] Corriger l’invite d’erreur lorsque seedExpression n’est pas pliable dans randstr
  • [SPARK-49948] [SC-179158][ps][CONNECT] Ajouter un paramètre « precision » à Pandas sur le diagramme à surfaces Spark
  • [SPARK-49970] [SC-179167][sql] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][sql] Lever l’exception appropriée pour l’incompatibilité de type entre ColumnType et le type de données dans certaines lignes
  • [SPARK-49956] [SC-179070] Collations désactivées avec l'expression collect_set
  • [SPARK-49974] [16.x][sc-179071][SQL] Déplacer resolveRelations(…) hors de Analyzer.scala
  • [SPARK-47259] [SC-176437][sql] Attribuer des noms aux conditions d’erreur pour les erreurs d’intervalle
  • [SPARK-47430] [SC-173679][sql] Restructurer le regroupement par type de carte pour corriger l’exception de référence liée
  • [SPARK-49067] [SC-172616][sql] Déplacer le littéral utf-8 dans les méthodes internes de la classe UrlCodec
  • [SPARK-49955] [SC-178989][sql] la valeur null ne signifie pas un fichier endommagé lors de l’analyse de la chaîne JSON RDD
  • [SPARK-49393] [SC-175212][sql] Échec par défaut des API de plug-in de catalogue déconseillées
  • [SPARK-49952] [SC-178985][sql] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][sql] Restreindre les charsets dans JsonOptions
  • [SPARK-49892] [SC-178975][sql] Affecter une classe d’erreur appropriée pour _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][sql] Affecter une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][sql] Affecter des noms aux classes d’erreur _LEGACY_ERROR_TEMP_105[3-4] et _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][sql] Gérer les zéros et les uns dans ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][sql] Attribuer une condition d’erreur appropriée pour _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][core] Utiliser l’accès en lecture seule à conf dans SparkContext le cas échéant
  • [SPARK-49666] [SC-177891][sql] Ajouter un indicateur de fonctionnalité pour la fonctionnalité de classement de découpage
  • [SPARK-48885] [SC-171050][sql] Faire en sorte que certaines sous-classes de RuntimeReplaceable remplacent le remplacement par un val différé
  • [SPARK-49932] [SC-178931][core] Utiliser des ressources tryWithResource version JsonUtils#toJsonString pour éviter les fuites de mémoire
  • [SPARK-49949] [SC-178978][ps] Éviter les tâches d’analyse inutiles dans attach_sequence_column
  • [SPARK-49924] [SC-178935][sql] Conserver containsNull après le remplacement de ArrayCompact
  • [SPARK-49121] [SC-174787][sql] Prendre en charge les fonctions from_protobuf et to_protobuf pour SQL
  • [SPARK-47496] [SC-160529][sql] Support SPI Java pour l’enregistrement dynamique de dialectes JDBC
  • [SPARK-49359] [SC-174895][sql] Autoriser les implémentations StagedTableCatalog à revenir à l’écriture non atomique
  • [SPARK-49895] [SC-178543][sql][ES-1270338] Améliorer l’erreur lorsqu'une virgule finale est rencontrée dans une clause SELECT
  • [SPARK-47945] [SC-163457][sql] MsSQLServer : Documenter le mappage des types de données Spark SQL à partir de Microsoft SQL Server et ajouter des tests
  • [SPARK-46037] [SC-175495][sql] Correctif d’exactitude pour la build de jointure de hachage aléatoire sans codegen
  • [SPARK-47813] [SC-162615][sql] Remplacer getArrayDimension par updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][sql] Erreur d’évaluation de l’exception de transformation de partition
  • [SPARK-47172] [SC-169537][core] Ajouter la prise en charge de AES-GCM pour le chiffrement RPC
  • [SPARK-47666] [SC-161476][sql] Corriger NPE lors de la lecture du tableau de bits MySQL en tant que LongType
  • [SPARK-48947] [SC-174239][sql] Utiliser le nom de charset en minuscules pour réduire le cache manquant dans Charset.forName
  • [SPARK-49909] [SC-178552][sql] Corriger le joli nom de certaines expressions
  • [SPARK-47647] [SC-161377][sql] Rendre la source de données MySQL capable de lire les bits (n>1) en tant que BinaryType comme Postgres
  • [SPARK-46622] [SC-153004][core] Remplacer la méthode toString de o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][python] Rendre le nommage des paramètres de PySparkException cohérent avec JVM
  • [SPARK-49889] [SC-178474][python] Ajouter un argument trim pour les fonctionstrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][sql] Corriger le problème de mappage des types de données sur le connecteur MySQL Connector/J
  • [SPARK-47628] [SC-161257][sql] Correction du problème de tableau de bits Postgres « Impossible de convertir en booléen »
  • [SPARK-49843] [SC-178084][es-1268164][SQL] Correction du commentaire de modification sur les colonnes char/varchar
  • [SPARK-49549] [SC-178764][sql] Attribuer un nom aux conditions d’erreur _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][sql] Rendre DelegatingCatalogExtension plus extensible
  • [SPARK-49559] [SC-178551][sql] Ajouter une syntaxe de canal SQL pour les opérations définies
  • [SPARK-49906] [SC-178536][sql] Introduire et utiliser l’erreur CONFLICTING_DIRECTORY_STRUCTURES pour PartitioningUtils
  • [SPARK-49877] [SC-178392][sql] Modifier la signature de la fonction classifieException : ajouter un argument isRuntime
  • \ [SPARK-47501] [SC-160532][sql] Ajouter la fonction convertDateToDate comme la fonction existante convertTimestampToTimestamp pour JdbcDialect
  • [SPARK-49044] [SC-175746][sql] ValidateExternalType doit retourner l’enfant dans l’erreur
  • [SPARK-47462] [SC-160460][sql] Aligner les mappages d’autres types numériques non signés avec TINYINT dans MySQLDialect
  • [SPARK-47435] [SC-160129][sql] Correction du problème de dépassement de capacité de MySQL UNSIGNED TINYINT provoqué par SPARK-45561
  • [SPARK-49398] [SC-176377][sql] Améliorer l’erreur des paramètres dans la requête de CACHE TABLE et CREATE VIEW
  • [SPARK-47263] [SC-177012][sql] Attribuer des noms aux conditions héritées _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][sql] Corriger l’invite lorsque ascendingOrder est égal à DataTypeMismatch dans SortArray
  • [SPARK-49806] [SC-178304][sql][CONNECT] Supprimer les blank space redondants après show dans les clients Scala et Connect
  • [SPARK-47258] [SC-175032][sql] Affecter des noms aux classes d’erreur _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][sql] Ajouter une syntaxe de canal SQL pour l’opérateur JOIN
  • [SPARK-49836] [SC-178339][sql][SS] Corriger la requête potentiellement défectueuse lorsque la fenêtre est fournie à la fonction window/session_window
  • [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Gérer le mappage des horodatages SQL pour Postgres et MySQL
  • [SPARK-49776] [SC-177818][python][CONNECT] Prendre en charge les graphique à secteurs
  • [SPARK-49824] [SC-178251][ss][CONNECT] Améliorer la journalisation dans SparkConnectStreamingQueryCache
  • [SPARK-49894] [SC-178460][python][CONNECT] Affiner la représentation sous forme de chaîne des opérations de champ de colonne
  • [SPARK-49764] [SC-177491][python][CONNECT] Prendre en charge les graphiques en aires
  • [SPARK-49694] [SC-177376][python][CONNECT] Prendre en charge les graphiques en nuage
  • [SPARK-49744] [SC-178363][ss][PYTHON] Implémenter la prise en charge du TTL pour ListState dans TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][core] Déplacer TransportCipherUtil vers un fichier distinct pour éliminer les avertissements de compilation Java
  • [SPARK-49866] [SC-178353][sql] Améliorer le message d’erreur pour décrire la table avec des colonnes de partition
  • [SPARK-49867] [SC-178302][es-1260570][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][python] Mettre à jour l’approche d’échantillonnage pour les tracés échantillonnés
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] Prendre en charge les graphiques à barres horizontales et verticales
  • [SPARK-49531] [SC-177770][python][CONNECT] Prendre en charge les graphiques en courbes avec plotly en backend
  • [SPARK-49444] [SC-177692][es-1203248][SQL] Modifié UnivocityParser pour lever des exceptions à l'exécution provoquées par ArrayIndexOutOfBounds avec des messages plus axés sur l'utilisateur.
  • [SPARK-49870] [SC-178262][python] Ajouter la prise en charge de Python 3.13 dans Spark Classic
  • [SPARK-49560] [SC-178121][sql] Ajouter une syntaxe de canal SQL pour l’opérateur TABLESAMPLE
  • [SPARK-49864] [SC-178305][sql] Améliorer le message de BINARY_ARITHMETIC_OVERFLOW
  • [SPARK-48780] [SC-170274][sql] Faire des erreurs dans le générique NamedParametersSupport pour gérer les fonctions et les procédures
  • [SPARK-49358] [SC-178158][sql] Expression de mode pour les types de carte avec des chaînes ordonnées
  • [SPARK-47341] [SC-178157][sql] Corriger la documentation inexacte de RuntimeConfig#get
  • [SPARK-48357] [SC-178153][sql] Prise en charge de l’instruction LOOP
  • [SPARK-49845] [SC-178059][core] Rendre appArgs et environmentVariables facultatifs dans l’API REST
  • [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable doit indiquer s’il est destiné à l’écriture
  • [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Ajout de la prise en charge de l’écouteur côté client pour Scala
  • [SPARK-48700] [SC-177978][sql] Expression de mode pour les types complexes (tous les classements)
  • [SPARK-48196] [SC-177899][sql] Transformer les plans lazy val de QueryExecution en LazyTry
  • [SPARK-49749] [16.x][sc-177877][CORE] Modifier le niveau du journal pour déboguer dans BlockManagerInfo
  • [SPARK-49561] [SC-177897][sql] Ajouter une syntaxe de canal SQL pour les opérateurs PIVOT et UNPIVOT
  • [SPARK-49823] [SC-177885][ss] Éviter le vidage lors de l’arrêt dans rocksdb close path
  • [SPARK-49820] [SC-177855] [PYTHON] Changer raise IOError à raise OSError
  • [SPARK-49653] [SC-177266][sql] Jointure unique pour les sous-requêtes scalaires corrélées
  • [SPARK-49552] [SC-177477][python] Ajouter la prise en charge de l’API DataFrame pour les nouvelles fonctions SQL « randstr » et « uniform »
  • [SPARK-48303] [16.x][sc-166251][CORE] Réorganiser LogKeys
  • [SPARK-49656] [16x][backport][SS] Ajouter la prise en charge des variables d'état avec des types de collection de valeurs d'état et des options de lecture de flux de modifications
  • [SPARK-48112] [SC-165129][connect] Exposer la session dans SparkConnectPlanner aux plug-ins
  • [SPARK-48126] [16.x][sc-165309][Core] Rendre spark.log.structuredLogging.enabled efficace
  • [SPARK-49505] [SC-176873][sql] Créer de nouvelles fonctions SQL « randstr » et « uniform » pour générer des chaînes ou des nombres aléatoires dans des plages
  • [SPARK-49463] [SC-177474] Prise en charge de ListState pour TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][core] Unifier la clé MDC mdc.taskName et task_name
  • [SPARK-49557] [SC-177227][sql] Ajouter une syntaxe de canal SQL pour l’opérateur WHERE
  • [SPARK-49323] [16.x][sc-174689][CONNECT] Déplacer MockObserver du dossier de test du serveur Spark Connect vers le dossier principal du serveur
  • [SPARK-49745] [SC-177501][ss] Ajouter une modification pour lire les minuteurs inscrits via le lecteur de source de données d’état
  • [SPARK-49772] [16.x][sc-177478][SC-177214][ss] Supprimer ColumnFamilyOptions et ajouter des configurations directement à dbOptions dans RocksDB

Prise en charge du pilote ODBC/JDBC Databricks

Databricks prend en charge les pilotes ODBC/JDBC publiés au cours des 2 dernières années. Téléchargez les pilotes et la mise à niveau récemment publiés (téléchargez ODBC, téléchargez JDBC).

Consultez les mises à jour de maintenance de Databricks Runtime 16.1 .

Environnement du système

  • Système d’exploitation : Ubuntu 24.04.1 LTS
    • Remarque : Il s’agit de la version Ubuntu utilisée par les conteneurs Databricks Runtime. Les conteneurs DBR s’exécutent sur les machines virtuelles du fournisseur de cloud, qui peuvent utiliser une autre version Ubuntu ou une distribution Linux.
  • Java : Zulu17.54+21-CA
  • Scala : 2.12.15
  • Python : 3.12.3
  • R : 4.4.0
  • Delta Lake : 3.2.1

Bibliothèques Python installées

Library Version Library Version Library Version
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
cryptography 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 Deprecated 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
packaging 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requests 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 six 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané CRAN du Gestionnaire de package Posit le 04-08-2024https://packagemanager.posit.co/cran/2024-08-04/.

Library Version Library Version Library Version
arrow 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 methods 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.0 spatial 7.3-17
splines 4.4.0 sqldf 0.4-11 SQUAREM 2021.1
stats 4.4.0 stats4 4.4.0 stringi 1.8.4
stringr 1.5.1 survival 3.6-4 swagger 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat 3.2.1.1 textshaping 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyvere 2.0.0
timechange 0.3.0 timeDate 4032.109 tinytex 0.52
tools 4.4.0 tzdb 0.4.0 urlchecker 1.0.1
usethis 3.0.0 utf8 1.2.4 utils 4.4.0
uuid 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 vroom 1.6.5 waldo 0.5.2
whisker 0.4.1 withr 3.0.1 xfun 0.46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml 2.3.10 zeallot 0.1.0 zip 2.3.1

Bibliothèques Java et Scala installées (version du cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collector 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1
  • Last updated on