Comparteix via

Databricks Runtime 12.1 (EoS)

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

En las siguientes notas de la versión, se proporciona información sobre el componente Databricks Runtime 12.1, con tecnología de Apache Spark 3.3.1.

Databricks publicó esta versión en enero de 2023.

Nuevas características y mejoras

Características de tablas de Delta Lake compatibles con la administración de protocolos

Azure Databricks ha introducido la compatibilidad con las características de tabla de Delta Lake, que presentan marcas pormenorizadas que especifican qué características son compatibles con una tabla determinada. Consulte Compatibilidad y protocolos de características de Delta Lake.

La E/S predictiva para actualizaciones está en versión preliminar pública

La E/S predictiva ahora acelera las operaciones DELETE, MERGE y UPDATE para las tablas Delta con vectores de eliminación habilitados en el proceso habilitado para Photon. Consulte ¿Qué es la E/S predictiva?.

Explorador de catálogo ya está disponible para todos los roles

Explorador de catálogo ya está disponible para todos los roles de Azure Databricks al usar Databricks Runtime 7.3 LTS y versiones posteriores.

Compatibilidad con varios operadores con estado en una sola consulta de streaming

Los usuarios ahora pueden encadenar operadores con estado con el modo de anexión en consultas de streaming. No todos los operadores son totalmente compatibles. La combinación de intervalos de tiempo entre flujos y flatMapGroupsWithState no permite que otros operadores con estado se encadenen.

La compatibilidad con búferes de protocolo está en versión preliminar pública.

Puede usar las funciones from_protobuf y to_protobuf para intercambiar datos entre tipos binarios y struct. Consulte Búferes de protocolo de lectura y escritura.

Compatibilidad con la autenticación del registro de esquema de Confluent

La integración de Azure Databricks con Confluent Schema Registry ahora admite direcciones externas del registro de esquema con autenticación. Esta característica está disponible para las funciones from_avro, to_avro, from_protobufy to_protobuf. Consulte Protobuf o Avro.

Compatibilidad con el historial de tablas compartidas con recursos compartidos de Delta Sharing

Ahora es posible compartir una tabla con historial completo mediante Delta Sharing, lo que permite a los destinatarios realizar consultas de viaje en el tiempo y consultar tablas mediante el flujo estructurado de Spark. WITH HISTORY se recomienda en lugar de CHANGE DATA FEED, aunque este último sigue siendo compatible. Consulte ALTER SHARE y Agregue tablas a un recurso compartido.

Compatibilidad de streaming con recursos compartidos de Delta Sharing

El flujo estructurado de Spark ahora funciona con el formato deltasharing en tablas Delta Sharing de origen que se hayan compartido mediante WITH HISTORY.

La versión de tabla que usa la marca de tiempo ahora se admite para las tablas de uso compartido de Delta en catálogos

Ahora puede usar la sintaxis TIMESTAMP AS OF SQL en sentencias SELECT para especificar la versión de una tabla Delta Sharing montada en un catálogo. Las tablas deben compartirse mediante WITH HISTORY.

Compatibilidad con CUANDO NO COINCIDE CON LA FUENTE para MERGE INTO

Ahora puede agregar WHEN NOT MATCHED BY SOURCE cláusulas a MERGE INTO para actualizar o eliminar filas de la tabla elegida que no tienen coincidencias en la tabla de origen en función de la condición de combinación. La nueva cláusula está disponible en SQL, Python, Scala y Java. Consulte MERGE INTO.

Recopilación de estadísticas optimizadas para CONVERT TO DELTA

La recopilación de estadísticas de la operación CONVERT TO DELTA ahora es mucho más rápida. Esto reduce el número de cargas de trabajo que pueden usar NO STATISTICS para mejorar la eficacia.

Soporte de Unity Catalog para deshacer tablas

Esta función se lanzó inicialmente en la versión preliminar pública. Es GA a partir del 25 de octubre de 2023.

Ahora puede no quitar una tabla externa o administrada eliminada en un esquema existente en un plazo de siete días después de quitarla. Vea UNDROP y SHOW TABLES DROPPED.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • filelock: de 3.8.0 a 3.8.2
    • platformdirs: de 2.5.4 a 2.6.0
    • setuptools: de 58.0.4 a 61.2.0
  • Bibliotecas de R actualizadas:
  • Bibliotecas de Java actualizadas:
    • io.delta.delta-sharing-spark_2.12: de 0.5.2 a 0.6.2
    • org.apache.hive.hive-storage-api: de 2.7.2 a 2.8.1
    • org.apache.parquet.parquet-column: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-common: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-encoding: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-format-structures: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-hadoop: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.apache.parquet.parquet-jackson: de 1.12.3-databricks-0001 a 1.12.3-databricks-0002
    • org.tukaani.xz: de 1.8 a 1.9

Apache Spark

Databricks Runtime 12.1 incluye Apache Spark 3.3.1. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 12.0 (EoS), junto con las siguientes correcciones de errores y mejoras adicionales de Spark:

  • [SPARK-41405] [SC-119769][12.1.0] Revertir "[SC-119411][sql] Centralizar la lógica de resolución de columnas" y "[SC-117170][spark-41338][SQL] Resolver referencias externas y columnas normales en el mismo lote del analizador"
  • [SPARK-41405] [SC-119411][sql] Centralizar la lógica de resolución de columnas
  • [SPARK-41859] [ SC-119514][sql] CreateHiveTableAsSelectCommand debe establecer correctamente el indicador de sobrescritura.
  • [SPARK-41659] [SC-119526][connect][12.X] Habilitar doctests en pyspark.sql.connect.readwriter
  • [SPARK-41858] [SC-119427][sql] Corregir la regresión de rendimiento del lector de ORC debido a la característica de valor DEFAULT
  • [SPARK-41807] [SC-119399][core] Quitar la clase de error no existente: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
  • [SPARK-41578] [12.x][sc-119273][SQL] Asignar nombre a _LEGACY_ERROR_TEMP_2141
  • [SPARK-41571] [SC-119362][sql] Asignar nombre a _LEGACY_ERROR_TEMP_2310
  • [SPARK-41810] [ SC-119373][connect] Inferir nombres de una lista de diccionarios en SparkSession.createDataFrame
  • [SPARK-40993] [ SC-119504][spark-41705][CONNECT][12.x] Traslado de la documentación y el script de Spark Connect a desarrollo y documentación de Python
  • [SPARK-41534] [ SC-119456][connect][SQL][12.x] Configuración del módulo de cliente inicial para Spark Connect
  • [SPARK-41365] [ SC-118498][ui][3.3] La página de interfaz de usuario de etapas no se puede cargar para el proxy en un entorno específico de YARN
  • [SPARK-41481] [ SC-118150][core][SQL] Reutilización INVALID_TYPED_LITERAL en lugar de _LEGACY_ERROR_TEMP_0020
  • [SPARK-41049] [SC-119305][sql] Reexaminar la gestión de expresiones de estado
  • [SPARK-41726] [ SC-119248][sql] Remove OptimizedCreateHiveTableAsSelectCommand
  • [SPARK-41271] [ SC-118648][sc-118348][SQL] Admite consultas SQL parametrizadas por sql()
  • [SPARK-41066] [ SC-119344][connect][PYTHON] Implementar DataFrame.sampleBy y DataFrame.stat.sampleBy
  • [SPARK-41407] [ SC-119402][sc-119012][SQL][todas las pruebas] Extraer escritura v1 en WriteFiles
  • [SPARK-41565] [SC-118868][sql] Agregar la clase de error UNRESOLVED_ROUTINE
  • [SPARK-41668] [ SC-118925][sql] La función DECODE devuelve resultados incorrectos cuando se pasa NULL
  • [SPARK-41554] [ SC-119274] corregir el cambio de escala decimal cuando la escala disminuye en m...
  • [SPARK-41065] [SC-119324][connect][PYTHON] Implementar DataFrame.freqItems y DataFrame.stat.freqItems
  • [SPARK-41742] [ SC-119404][spark-41745][CONNECT][12.x] Volver a habilitar pruebas de documentación y añadir el alias de columna que falta a count()
  • [SPARK-41069] [SC-119310][connect][PYTHON] Implementar DataFrame.approxQuantile y DataFrame.stat.approxQuantile
  • [SPARK-41809] [SC-119367][connect][PYTHON] Hacer que la función from_json sea compatible con el esquema de tipo de dato (DataType Schema)
  • [SPARK-41804] [SC-119382][sql] Elegir el tamaño de elemento correcto en InterpretedUnsafeProjection para la matriz de UDT
  • [SPARK-41786] [ SC-119308][connect][PYTHON] Funciones auxiliares de desduplicación
  • [SPARK-41745] [SC-119378][spark-41789][12.X] Hacer que createDataFrame soporte listas de filas
  • [SPARK-41344] [ SC-119217][sql] Hacer que el error sea más claro cuando la tabla no se encuentra en el catálogo SupportsCatalogOptions
  • [SPARK-41803] [SC-119380][connect][PYTHON] Agregar función que falta log(arg1, arg2)
  • [SPARK-41808] [SC-119356][connect][PYTHON] Hacer que las funciones JSON admitan opciones
  • [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Hacer que __getitem__ admita filtros y selecciones.
  • [SPARK-41783] [ SC-119288][spark-41770][CONNECT][python] Hacer que la operación de columna admita 'None'
  • [SPARK-41440] [ SC-119279][connect][PYTHON] Evite el operador de caché para el ejemplo general.
  • [SPARK-41785] [ SC-119290][connect][PYTHON] Implementar GroupedData.mean
  • [SPARK-41629] [SC-119276][connect] Compatibilidad con extensiones de protocolos en relaciones y expresiones
  • [SPARK-41417] [SC-118000][core][SQL] Cambiar el nombre _LEGACY_ERROR_TEMP_0019 a INVALID_TYPED_LITERAL
  • [SPARK-41533] [SC-119342][connect][12.X] Control de errores adecuado para spark Connect Server/Client
  • [SPARK-41292] [ SC-119357][connect][12.X] Ventana de compatibilidad en pyspark.sql.window namespace
  • [SPARK-41493] [SC-119339][connect][PYTHON] Hacer que las funciones csv admitan opciones
  • [SPARK-39591] [ SC-118675][ss] Seguimiento de progreso asincrónico
  • [SPARK-41767] [ SC-119337][connect][PYTHON][12.x] Implementar Column.{withField, dropFields}
  • [SPARK-41068] [SC-119268][connect][PYTHON] Implementar DataFrame.stat.corr
  • [SPARK-41655] [SC-119323][connect][12.X] Habilitar doctests en pyspark.sql.connect.column
  • [SPARK-41738] [SC-119170][connect] Mezclar ClientId en la caché de SparkSession
  • [SPARK-41354] [SC-119194][connect] Agregar RepartitionByExpression a proto
  • [SPARK-41784] [SC-119289][connect][PYTHON] Añadir elemento faltante en Column
  • [SPARK-41778] [SC-119262][sql] Agregar un alias "reduce" a ArrayAggregate
  • [SPARK-41067] [SC-119171][connect][PYTHON] Implementar DataFrame.stat.cov
  • [SPARK-41764] [ SC-119216][connect][PYTHON] Hacer que el nombre de operación de cadena interno sea coherente con FunctionRegistry
  • [SPARK-41734] [SC-119160][connect] Agregar un mensaje primario para el catálogo
  • [SPARK-41742] [SC-119263] Admitir df.groupBy().agg({“*”:”count”})
  • [SPARK-41761] [SC-119213][connect][PYTHON] Corregir operaciones aritméticas: __neg__, , __pow__, __rpow__
  • [SPARK-41062] [ SC-118182][sql] Cambiar el nombre UNSUPPORTED_CORRELATED_REFERENCE a CORRELATED_REFERENCE
  • [SPARK-41751] [SC-119211][connect][PYTHON] Corrección Column.{isNull, isNotNull, eqNullSafe}
  • [SPARK-41728] [ SC-119164][connect][PYTHON][12.x] Implementar unwrap_udt función
  • [SPARK-41333] [SC-119195][spark-41737] Implementar GroupedData.{min, max, avg, sum}
  • [SPARK-41751] [ SC-119206][connect][PYTHON] Corrección Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
  • [SPARK-41631] [SC-101081][sql] Admite la resolución implícita de alias de columna lateral en funciones de agregación
  • [SPARK-41529] [SC-119207][connect][12.X] Ejecutar SparkSession.stop
  • [SPARK-41729] [ SC-119205][core][SQL][12.x] Cambiar nombre _LEGACY_ERROR_TEMP_0011 a UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
  • [SPARK-41717] [SC-119078][connect][12.X] Eliminar duplicados en la impresión y repr_html en el LogicalPlan
  • [SPARK-41740] [SC-119169][connect][PYTHON] Implementar Column.name
  • [SPARK-41733] [ SC-119163][sql][SS] Aplicar la eliminación basada en patrones de árbol para la regla ResolveWindowTime
  • [SPARK-41732] [SC-119157][sql][SS] Aplicar la poda basada en patrones de árbol para la regla SessionWindowing
  • [SPARK-41498] [SC-119018] Propagación de metadatos a través de Union
  • [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Implementar el accesor de columna
  • [SPARK-41736] [ SC-119161][connect][PYTHON] pyspark_types_to_proto_types debe admitir ArrayType
  • [SPARK-41473] [SC-119092][connect][PYTHON] Implementar format_number función
  • [SPARK-41707] [SC-119141][connect][12.X] Implementación de la API de catálogo en Spark Connect
  • [SPARK-41710] [SC-119062][connect][PYTHON] Implementar Column.between
  • [SPARK-41235] [ SC-119088][sql][PYTHON]Función de orden superior: implementación de array_compact
  • [SPARK-41518] [SC-118453][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2422
  • [SPARK-41723] [SC-119091][connect][PYTHON] Implementar sequence función
  • [SPARK-41703] [SC-119060][connect][PYTHON] Combine NullType y typed_null en Literal
  • [SPARK-41722] [SC-119090][connect][PYTHON] Implementar 3 funciones de ventana temporal pendientes
  • [SPARK-41503] [SC-119043][connect][PYTHON] Implementar funciones de transformación de partición
  • [SPARK-41413] [ SC-118968][sql] Evitar la redistribución en la combinación Storage-Partitioned cuando las claves de partición no coinciden, pero las expresiones de combinación son compatibles.
  • [SPARK-41700] [ SC-119046][connect][PYTHON] Remove FunctionBuilder
  • [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types debe admitir MapType
  • [SPARK-41702] [SC-119049][connect][PYTHON] Agregar operaciones de columna no válidas
  • [SPARK-41660] [ SC-118866][sql] Solo propaga columnas de metadatos si se usan
  • [SPARK-41637] [SC-119003][sql] ORDER BY ALL
  • [SPARK-41513] [SC-118945][sql] Implementar un acumulador para recopilar métricas de recuento de filas por mapeador
  • [SPARK-41647] [ SC-119064][connect][12.X] Eliminar duplicados de docstrings en pyspark.sql.connect.functions
  • [SPARK-41701] [SC-119048][connect][PYTHON] Crear soporte para la operación de columna decimal
  • [SPARK-41383] [ SC-119015][spark-41692][SPARK-41693] Implementar rollup, cube y pivot
  • [SPARK-41635] [SC-118944][sql] GROUP BY ALL
  • [SPARK-41645] [SC-119057][connect][12.X] Eliminar duplicados de las docstrings en pyspark.sql.connect.dataframe
  • [SPARK-41688] [SC-118951][connect][PYTHON] Mover expresiones a expressions.py
  • [SPARK-41687] [SC-118949][connect] Eliminar duplicados de docstrings en pyspark.sql.connect.group
  • [SPARK-41649] [ SC-118950][connect] Eliminar duplicados de docstrings en pyspark.sql.connect.window
  • [SPARK-41681] [ SC-118939][connect] Factor GroupedData out to group.py
  • [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementar Window funciones
  • [SPARK-41675] [ SC-119031][sc-118934][CONNECT][python][12.X] Hacer que la operación de columna sea compatible datetime
  • [SPARK-41672] [SC-118929][connect][PYTHON] Habilitar las funciones en desuso
  • [SPARK-41673] [SC-118932][connect][PYTHON] Implementar Column.astype
  • [SPARK-41364] [SC-118865][connect][PYTHON] Implementar broadcast función
  • [SPARK-41648] [ SC-118914][connect][12.X] Eliminar docstrings duplicados en pyspark.sql.connect.readwriter
  • [SPARK-41646] [SC-118915][connect][12.X] Eliminar docstrings duplicados en pyspark.sql.connect.session
  • [SPARK-41643] [ SC-118862][connect][12.X] Eliminar duplicados de docstrings en pyspark.sql.connect.column
  • [SPARK-41663] [ SC-118936][connect][PYTHON][12.x] Implementar el resto de funciones lambda
  • [SPARK-41441] [SC-118557][sql] Soporte para Generate sin salida de elementos secundarios obligatoria para albergar referencias externas
  • [SPARK-41669] [SC-118923][sql] Eliminación temprana en canCollapseExpressions
  • [SPARK-41639] [SC-118927][sql][PROTOBUF] : Eliminar ScalaReflectionLock de SchemaConverters
  • [SPARK-41464] [SC-118861][connect][PYTHON] Implementar DataFrame.to
  • [SPARK-41434] [SC-118857][connect][PYTHON] Implementación inicial LambdaFunction
  • [SPARK-41539] [SC-118802][sql] Reasignar estadísticas y restricciones con respecto a la salida en el plan lógico para LogicalRDD
  • [SPARK-41396] [ SC-118786][sql][PROTOBUF] Compatibilidad con campos OneOf y comprobaciones de recursividad
  • [SPARK-41528] [ SC-118769][connect][12.X] Unificar el espacio de nombres de Spark Connect y la API de PySpark
  • [SPARK-41568] [SC-118715][sql] Asignar nombre a _LEGACY_ERROR_TEMP_1236
  • [SPARK-41440] [SC-118788][connect][PYTHON] Implementar DataFrame.randomSplit
  • [SPARK-41583] [ SC-118718][sc-118642][CONNECT][protobuf] Agregar Spark Connect y protobuf a setup.py con la especificación de dependencias
  • [SPARK-27561] [SC-101081][12.x][SQL] Admite la resolución implícita de alias de columna lateral en Proyecto
  • [SPARK-41535] [SC-118645][sql] Establecer null correctamente para los campos de intervalo de calendario en InterpretedUnsafeProjection y InterpretedMutableProjection
  • [SPARK-40687] [SC-118439][sql] Compatibilidad con la función integrada de enmascaramiento de datos 'mask'
  • [SPARK-41520] [ SC-118440][sql] Dividir el patrón de árbol AND_OR para separar los patrones de árbol AND y OR
  • [SPARK-41349] [SC-118668][connect][PYTHON] Implementar DataFrame.hint
  • [SPARK-41546] [ SC-118541][connect][PYTHON] pyspark_types_to_proto_types debe admitir StructType.
  • [SPARK-41334] [SC-118549][connect][PYTHON] Trasladar SortOrder proto de relaciones a expresiones
  • [SPARK-41387] [SC-118450][ss] Afirmar el desplazamiento final actual desde el origen de datos de Kafka para Trigger.AvailableNow
  • [SPARK-41508] [ SC-118445][core][SQL] Cambiar el nombre _LEGACY_ERROR_TEMP_1180 a UNEXPECTED_INPUT_TYPE y quitar _LEGACY_ERROR_TEMP_1179
  • [SPARK-41319] [SC-118441][connect][PYTHON] Implementar Column.{when, otherwise} y Función when con UnresolvedFunction
  • [SPARK-41541] [SC-118460][sql] Corrección de la llamada al método secundario incorrecto en SQLShuffleWriteMetricsReporter.decRecordsWritten()
  • [SPARK-41453] [SC-118458][connect][PYTHON] Implementar DataFrame.subtract
  • [SPARK-41248] [ SC-118436][sc-118303][SQL] Agregar "spark.sql.json.enablePartialResults" para habilitar o deshabilitar resultados parciales json
  • [SPARK-41437] Revertir "[SC-117601][sql] No volver a optimizar la consulta de entrada dos veces para la reversión de escritura v1".
  • [SPARK-41472] [SC-118352][connect][PYTHON] Implementar el resto de funciones binarias o de cadena
  • [SPARK-41526] [SC-118355][connect][PYTHON] Implementar Column.isin
  • [SPARK-32170] [SC-118384] [CORE] Mejore la especulación mediante las métricas de tareas de fase.
  • [SPARK-41524] [SC-118399][ss] Diferenciar SQLConf y extraOptions en StateStoreConf para su uso en RocksDBConf
  • [SPARK-41465] [SC-118381][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1235
  • [SPARK-41511] [SC-118365][sql] Compatibilidad con LongToUnsafeRowMap que ignora clave duplicada
  • [SPARK-41409] [SC-118302][core][SQL] Cambiar el nombre _LEGACY_ERROR_TEMP_1043 a WRONG_NUM_ARGS.WITHOUT_SUGGESTION
  • [SPARK-41438] [SC-118344][connect][PYTHON] Implementar
  • [SPARK-41437] [SC-117601][sql] No optimice la consulta de entrada dos veces para el retroceso de escritura v1.
  • [SPARK-41314] [SC-117172][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1094
  • [SPARK-41443] [SC-118004][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1061
  • [SPARK-41506] [SC-118241][connect][PYTHON] Refactorizar LiteralExpression para que admita DataType
  • [SPARK-41448] [SC-118046] Convertir identificadores de trabajo de MR coherentes en FileBatchWriter y FileFormatWriter
  • [SPARK-41456] [SC-117970][sql] Mejorar el rendimiento de try_cast
  • [SPARK-41495] [ SC-118125][connect][PYTHON] Implementar collection funciones: P~Z
  • [SPARK-41478] [ SC-118167][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1234
  • [SPARK-41406] [ SC-118161][sql] Mensaje de error de refactorización para NUM_COLUMNS_MISMATCH que sea más genérico
  • [SPARK-41404] [SC-118016][sql] Refactorizar ColumnVectorUtils#toBatch para que la prueba de tipos de datos más primitivos ColumnarBatchSuite#testRandomRows
  • [SPARK-41468] [SC-118044][sql] Corregir el manejo de PlanExpression en EquivalentExpressions
  • [SPARK-40775] [SC-118045][sql] Corregir entradas de descripción duplicadas para exámenes de archivos V2
  • [SPARK-41492] [SC-118042][connect][PYTHON] Implementación de funciones MISC
  • [SPARK-41459] [SC-118005][sql] corregir que la salida del registro de operaciones del servidor thrift esté vacía.
  • [SPARK-41395] [ SC-117899][sql] InterpretedMutableProjection debe usar setDecimal para establecer valores NULL para decimales en una fila no segura
  • [SPARK-41376] [ SC-117840][core][3.3] Corrija la lógica de comprobación de Netty preferDirectBufs al iniciar el ejecutor
  • [SPARK-41484] [ SC-118159][sc-118036][CONNECT][python][12.x] Implementar collection funciones: E~M
  • [SPARK-41389] [ SC-117426][core][SQL] Reutilizar WRONG_NUM_ARGS en lugar de _LEGACY_ERROR_TEMP_1044
  • [SPARK-41462] [SC-117920][sql] Los tipos de fecha y hora pueden ascender a TimestampNTZ
  • [SPARK-41435] [SC-117810][sql] Modificar para llamar a invalidFunctionArgumentsError para curdate() cuando expressions no esté vacío
  • [SPARK-41187] [SC-118030][core] Fuga de memoria en LiveExecutor en AppStatusListener cuando ocurre ExecutorLost
  • [SPARK-41360] [ SC-118083][core] Evite volver a registrar BlockManager si se ha perdido el ejecutor
  • [SPARK-41378] [SC-117686][sql] Admitir estadísticas de columna en DS v2
  • [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Sobrescribir prettyName de StringDecode
  • [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementar funciones date/timestamp
  • [SPARK-41329] [SC-117975][connect] Resolución de importaciones circulares en Spark Connect
  • [SPARK-41477] [SC-118025][connect][PYTHON] Inferir correctamente el tipo de datos de enteros literales
  • [SPARK-41446] [ SC-118024][connect][PYTHON][12.x] Hacer que createDataFrame sea compatible con el esquema y más tipos de conjunto de datos de entrada.
  • [SPARK-41475] [SC-117997][connect] Corregir el error del comando lint-scala y la errata tipográfica
  • [SPARK-38277] [SC-117799][ss] Borrar el lote de escritura después de la confirmación del almacén de estado de RocksDB
  • [SPARK-41375] [ SC-117801][ss] Evite la versión más reciente de KafkaSourceOffset vacía.
  • [SPARK-41412] [SC-118015][connect] Implementar Column.cast
  • [SPARK-41439] [SC-117893][connect][PYTHON] Implementar DataFrame.melt y DataFrame.unpivot
  • [SPARK-41399] [ SC-118007][sc-117474][CONNECT] Refactorizar las pruebas relacionadas con la columna para test_connect_column
  • [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Column debe admitir el operador !=
  • [SPARK-40697] [SC-117806][sc-112787][SQL] Añadir padding de caracteres en el lado de lectura para abarcar archivos de datos externos
  • [SPARK-41349] [SC-117594][connect][12.X] Implementar DataFrame.hint
  • [SPARK-41338] [SC-117170][sql] Resuelve referencias externas y columnas normales durante la misma fase de análisis
  • [SPARK-41436] [SC-117805][connect][PYTHON] Implementar collection funciones: A~C
  • [SPARK-41445] [SC-117802][connect] Implementar DataFrameReader.parquet
  • [SPARK-41452] [ SC-117865][sql] to_char debe devolver null cuando el formato es NULL
  • [SPARK-41444] [ SC-117796][connect] Soporte técnico read.json()
  • [SPARK-41398] [ SC-117508][sql] Restricciones Relax en Storage-Partitioned Combinación cuando las claves de partición después del filtrado en tiempo de ejecución no coinciden
  • [SPARK-41228] [ SC-117169][sql] Renombrar y mejorar el mensaje de error para COLUMN_NOT_IN_GROUP_BY_CLAUSE.
  • [SPARK-41381] [SC-117593][connect][PYTHON] Implementar funciones count_distinct y sum_distinct
  • [SPARK-41433] [SC-117596][connect] Hacer configurable Max Arrow BatchSize
  • [SPARK-41397] [SC-117590][connect][PYTHON] Implementación de parte de funciones de cadena y binario
  • [SPARK-41382] [SC-117588][connect][PYTHON] Implementar product función
  • [SPARK-41403] [SC-117595][connect][PYTHON] Implementar DataFrame.describe
  • [SPARK-41366] [ SC-117580][connect] DF.groupby.agg() debe ser compatible
  • [SPARK-41369] [SC-117584][connect] Añadir "connect common" al jar sombreado de los servidores
  • [SPARK-41411] [ SC-117562][ss] Corrección de errores de compatibilidad con marcas de agua del operador con estado múltiple
  • [SPARK-41176] [SC-116630][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1042
  • [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementar funciones de agregación
  • [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementar funciones normales
  • [SPARK-41305] [SC-117411][connect] Mejorar la documentación para el protocolo de comando
  • [SPARK-41372] [SC-117427][connect][PYTHON] Implementar Vista Temporal de DataFrame
  • [SPARK-41379] [ SC-117420][ss][PYTHON] Proporcionar una sesión de Spark clonada en un DataFrame dentro de la función de usuario para el sink foreachBatch en PySpark
  • [SPARK-41373] [SC-117405][sql][ERROR] Cambie el nombre de CAST_WITH_FUN_SUGGESTION a CAST_WITH_FUNC_SUGGESTION
  • [SPARK-41358] [ SC-117417][sql] Método refactorizar ColumnVectorUtils#populate para usar PhysicalDataType en lugar de DataType
  • [SPARK-41355] [SC-117423][sql] Solución alternativa para el problema de validación del nombre de tabla de Hive
  • [SPARK-41390] [SC-117429][sql] Actualización del script usado para generar register la función en UDFRegistration
  • [SPARK-41206] [SC-117233][sc-116381][SQL] Cambiar el nombre de la clase _LEGACY_ERROR_TEMP_1233 de error a COLUMN_ALREADY_EXISTS
  • [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementación de funciones matemáticas
  • [SPARK-40970] [ SC-117308][conectar][PYTHON] Soporte de List[Column] para el argumento 'on' de Join
  • [SPARK-41345] [SC-117178][connect] Agregar sugerencia para conectar Proto
  • [SPARK-41226] [ SC-117194][sql][12.x] Refactorizar tipos de Spark mediante la introducción de tipos físicos
  • [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Agregar compatibilidad básica con DataFrameWriter
  • [SPARK-41347] [SC-117173][connect] Agregar conversión a la expresión proto
  • [SPARK-41323] [SC-117128][sql] Compatibilidad con current_schema
  • [SPARK-41339] [SC-117171][sql] Cierre y vuelva a crear el lote de escritura de RocksDB en lugar de simplemente borrar
  • [SPARK-41227] [SC-117165][connect][PYTHON] Implementar combinación cruzada de DataFrame
  • [SPARK-41346] [ SC-117176][connect][PYTHON] Implementación asc y desc funciones
  • [SPARK-41343] [SC-117166][connect] Mover el análisis de FunctionName al lado servidor
  • [SPARK-41321] [SC-117163][connect] Campo de destino de soporte técnico para UnresolvedStar
  • [SPARK-41237] [SC-117167][sql] Reutilizar la clase UNSUPPORTED_DATATYPE de error para _LEGACY_ERROR_TEMP_0030
  • [SPARK-41309] [ SC-116916][sql] Reutilizar INVALID_SCHEMA.NON_STRING_LITERAL en lugar de _LEGACY_ERROR_TEMP_1093
  • [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Optimizar el uso del constructor de StructType
  • [SPARK-41335] [SC-117135][connect][PYTHON] Compatibilidad con IsNull e IsNotNull en columna
  • [SPARK-41332] [SC-117131][connect][PYTHON] Corrección nullOrdering en SortOrder
  • [SPARK-41325] [SC-117132][connect][12.X] Corrección de la falta de avg() para GroupBy en DF
  • [SPARK-41327] [SC-117137][core] Corregir mediante el cambio de información de On/OffHeapStorageMemory
  • [SPARK-41315] [SC-117129][connect][PYTHON] Implementar DataFrame.replace y DataFrame.na.replace
  • [SPARK-41328] [SC-117125][connect][PYTHON] Agregar API lógica y de cadena a Column
  • [SPARK-41331] [SC-117127][connect][PYTHON] Agregar orderBy y drop_duplicates
  • [SPARK-40987] [ SC-117124][core] BlockManager#removeBlockInternal debe asegurarse de que el bloqueo se desbloquea correctamente.
  • [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Refactorizar "Column" para compatibilidad con la API
  • [SPARK-41312] [SC-116881][connect][PYTHON][12.x] La implementación de DataFrame.withColumnRenamed
  • [SPARK-41221] [SC-116607][sql] Agregar la clase de error INVALID_FORMAT
  • [SPARK-41272] [SC-116742][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_2019
  • [SPARK-41180] [ SC-116760][sql] Reutilizar INVALID_SCHEMA en lugar de _LEGACY_ERROR_TEMP_1227
  • [SPARK-41260] [SC-116880][python][SS][12.x] Convertir instancias de NumPy en tipos primitivos de Python en la actualización de GroupState
  • [SPARK-41174] [SC-116609][core][SQL] Propagar una clase de error a los usuarios para los casos de format inválidos de to_binary()
  • [SPARK-41264] [SC-116971][connect][PYTHON] Hacer que literales admitan más tipos de datos
  • [SPARK-41326] [SC-116972] [CONNECT] Falta entrada en corregir desduplicación
  • [SPARK-41316] [SC-116900][sql] Habilite la recursividad de cola siempre que sea posible.
  • [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Admitir expresiones de cadena en el filtro.
  • [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implementar DataFrame.withColumn(s)
  • [SPARK-41182] [SC-116632][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1102
  • [SPARK-41181] [SC-116680][sql] Migrar los errores de opciones de mapeo a las clases de error.
  • [SPARK-40940] [ SC-115993][12.x] Quitar comprobadores de operadores con estado múltiple para consultas de streaming.
  • [SPARK-41310] [SC-116885][connect][PYTHON] Implementar el método DataFrame.toDF
  • [SPARK-41179] [SC-116631][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1092
  • [SPARK-41003] [SC-116741][sql] BHJ LeftAnti no actualiza numOutputRows cuando codegen está deshabilitado
  • [SPARK-41148][SC-116878][connect][PYTHON] Implementar y DataFrame.dropna
  • [SPARK-41217] [SC-116380][sql] Agregar la clase de error FAILED_FUNCTION_CALL
  • [SPARK-41308] [SC-116875][connect][PYTHON] Mejorar DataFrame.count()
  • [SPARK-41301] [SC-116786] [CONNECT] Homogeneizar el comportamiento de SparkSession.range()
  • [SPARK-41306] [SC-116860][connect] Mejorar la documentación del proto de expresión de Connect.
  • [SPARK-41280] [SC-116733][connect] Implementar el método DataFrame.tail
  • [SPARK-41300] [SC-116751] [CONNECT] El esquema sin establecer se interpreta como esquema
  • [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Cambiar el nombre de RemoteSparkSession
  • [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas no debe devolver dataframe de Pandas opcional
  • [SPARK-41291] [ SC-116738][connect][PYTHON] DataFrame.explain debe imprimir y devolver Ninguno
  • [SPARK-41278] [SC-116732][connect] Limpiar los atributos calificados sin usar en Expression.proto
  • [SPARK-41097] [ SC-116653][core][SQL][ss][PROTOBUF] Quitar la conversión de colecciones redundante basada en el código de Scala 2.13
  • [SPARK-41261] [SC-116718][python][SS] Corrección del problema para applyInPandasWithState cuando las columnas de claves de agrupación no se colocan en orden desde el primer momento
  • [SPARK-40872] [SC-116717][3.3] Reserva al bloque aleatorio original cuando un fragmento aleatorio combinado de inserción es de tamaño cero
  • [SPARK-41114] [SC-116628][connect] Compatibilidad con datos locales para LocalRelation
  • [SPARK-41216] [SC-116678][connect][PYTHON] Implementar DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
  • [SPARK-41238] [SC-116670][connect][PYTHON] Compatibilidad con tipos de datos más integrados
  • [SPARK-41230] [SC-116674][connect][PYTHON] Eliminar str del tipo de expresión de agregado
  • [SPARK-41224] [ SC-116652][spark-41165][SPARK-41184][connect] Implementación optimizada de recopilación basada en flechas para transmitir desde el servidor al cliente
  • [SPARK-41222] [SC-116625][connect][PYTHON] Unificar las definiciones de escritura
  • [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Deshabilitar las funciones no admitidas.
  • [SPARK-41201] [SC-116526][connect][PYTHON] Implementar DataFrame.SelectExpr en el cliente de Python
  • [SPARK-41203] [SC-116258] [CONNECT] Admitir Dataframe.tansform en el cliente de Python.
  • [SPARK-41213] [SC-116375][connect][PYTHON] Implementar DataFrame.__repr__ y DataFrame.dtypes
  • [SPARK-41169] [SC-116378][connect][PYTHON] Implementar
  • [SPARK-41172] [SC-116245][sql] Migre el error de referencia ambiguo a una clase de error.
  • [SPARK-41122] [ SC-116141][connect] La API de Explicación puede admitir diferentes modos
  • [SPARK-41209] [SC-116584][sc-116376][PYTHON] Mejorar la inferencia de tipos PySpark en el método _merge_type
  • [SPARK-41196] [ SC-116555][sc-116179] [CONNECT] Homogeneice la versión de protobuf en el servidor de conexión de Spark para usar la misma versión principal.
  • [SPARK-35531] [SC-116409][sql] Actualizar estadísticas de tabla de Hive sin necesidad de conversión
  • [SPARK-41154] [SC-116289][sql] Almacenamiento en caché incorrecto de relaciones para consultas con especificación de viajes en el tiempo
  • [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementar DataFrame.isEmpty
  • [SPARK-41135] [SC-116400][sql] Cambiar el nombre UNSUPPORTED_EMPTY_LOCATION a INVALID_EMPTY_LOCATION
  • [SPARK-41183] [SC-116265][sql] Agregar una API de extensión para planear la normalización del almacenamiento en caché
  • [SPARK-41054] [SC-116447][ui][CORE] Soporte para RocksDB como KVStore en la interfaz de usuario en tiempo real
  • [SPARK-38550] [SC-115223]Revertir "[SQL][core] Usar un almacén basado en disco para guardar más información de depuración para la interfaz de usuario activa"
  • [SPARK-41173] [SC-116185][sql] Mover require() fuera de los constructores de expresiones de cadena
  • [SPARK-41188] [ SC-116242][core][ML] Establezca executorEnv OMP_NUM_THREADS como spark.task.cpus de forma predeterminada para los procesos JVM del ejecutor de Spark
  • [SPARK-41130] [SC-116155][sql] Cambiar el nombre OUT_OF_DECIMAL_TYPE_RANGE a NUMERIC_OUT_OF_SUPPORTED_RANGE
  • [SPARK-41175] [SC-116238][sql] Asignar un nombre a la clase de error _LEGACY_ERROR_TEMP_1078
  • [SPARK-41106] [SC-116073][sql] Reducir la conversión de colección al crear AttributeMap
  • [SPARK-41139] [ SC-115983][sql] Mejorar la clase de error: PYTHON_UDF_IN_ON_CLAUSE
  • [SPARK-40657] [SC-115997][protobuf] Exigir sombreado para el archivo JAR de clases de Java, mejorar el manejo de errores
  • [SPARK-40999] [ SC-116168] Propagar sugerencias a subconsultas
  • [SPARK-41017] [SC-116054][sql] Admitir la eliminación de columnas con varios filtros no deterministas
  • [SPARK-40834] [SC-114773][sql] Usar SparkListenerSQLExecutionEnd para realizar un seguimiento del estado final de SQL en la interfaz de usuario
  • [SPARK-41118] [ SC-116027][sql] to_number/try_to_number debe devolver null cuando el formato es null
  • [SPARK-39799] [ SC-115984][sql] DataSourceV2: Ver interfaz de catálogo
  • [SPARK-40665] [SC-116210][sc-112300][CONNECT] Evite insertar Spark Connect en la versión binaria de Apache Spark.
  • [SPARK-41048] [ SC-116043][sql] Mejorar la creación de particiones de salida y la ordenación con caché de AQE
  • [SPARK-41198] [SC-116256][ss] Corrección de métricas en la consulta en streaming teniendo CTE y DSv1 como fuentes de streaming.
  • [SPARK-41199] [ SC-116244][ss] Corrección del problema de métricas cuando el origen de streaming DSv1 y el origen de streaming DSv2 se usan conjuntamente
  • [SPARK-40957] [SC-116261][sc-114706] Agregar caché de memoria en HDFSMetadataLog
  • [SPARK-40940] [ SC-115993][12.x] Quitar comprobadores de operadores con estado múltiple para consultas de streaming
  • [SPARK-41090] [SC-116040][sql] Lanzar una excepción para db_name.view_name al crear una vista temporal mediante la Dataset API
  • [SPARK-41133] [SC-116085][sql] Integrar UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION en NUMERIC_VALUE_OUT_OF_RANGE
  • [SPARK-40557] [SC-116182][sc-111442][CONNECT] 9 confirmaciones de volcado de código
  • [SPARK-40448] [SC-114447][sc-111314][CONNECT] compilación de Spark Connect como un complemento de controlador con dependencias sombreada
  • [SPARK-41096] [SC-115812][sql] Compatibilidad con la lectura de parquet FIXED_LEN_BYTE_ARRAY tipo
  • [SPARK-41140] [SC-115879][sql] Cambiar el nombre de la clase _LEGACY_ERROR_TEMP_2440 de error a INVALID_WHERE_CONDITION
  • [SPARK-40918] [ SC-114438][sql] Desajuste entre FileSourceScanExec y Orc y ParquetFileFormat al generar la salida en formato columnar
  • [SPARK-41155] [SC-115991][sql] Agregar mensaje de error a SchemaColumnConvertNotSupportedException
  • [SPARK-40940] [ SC-115993] Quitar comprobadores de operadores con estado múltiple para consultas de streaming.
  • [SPARK-41098] [ SC-115790][sql] Cambiar el nombre GROUP_BY_POS_REFERS_AGG_EXPR a GROUP_BY_POS_AGGREGATE
  • [SPARK-40755] [SC-115912][sql] Migración de errores de comprobación de tipos de formato numérico a clases de error
  • [SPARK-41059] [ SC-115658][sql] Cambiar el nombre _LEGACY_ERROR_TEMP_2420 a NESTED_AGGREGATE_FUNCTION
  • [SPARK-41044] [SC-115662][sql] Convertir DATATYPE_MISMATCH.UNSPECIFIED_FRAME a INTERNAL_ERROR
  • [SPARK-40973] [SC-115132][sql] Cambiar el nombre _LEGACY_ERROR_TEMP_0055 a UNCLOSED_BRACKETED_COMMENT

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 12.1.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 "asttokens" 2.0.5
atributos 21.4.0 llamada de retorno 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 negro 22.3.0 blanquear 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
Haz clic 8.0.4 criptografía 3.4.8 ciclista 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorador 5.1.1 defusedxml 0.7.1 distlib 0.3.6
Conversión de docstring a markdown 0,11 puntos de entrada 0,4 Ejecutar 0.8.3
visión general de las facetas 1.0.0 fastjsonschema 2.16.2 bloqueo de archivos 3.8.2
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.0 jsonschema 4.4.0 Cliente Jupyter 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Mccabe 0.7.0 Mal sintonizado 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
cuaderno 6.4.8 numpy 1.21.5 empaquetado 21,3
Pandas 1.4.2 PandocFiltros 1.5.0 parso 0.8.3
pathspec 0.9.0 chivo expiatorio 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Almohada 9.0.1 pepita 21.2.4
platformdirs 2.6.0 trazado 5.6.0 pluggy 1.0.0
Cliente-Prometeo 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 Python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-servidor 1.6.0 pytz 2021.3 pyzmq 22.3.0
Solicitudes 2.27.1 requests-unixsocket 0.2.0 cuerda 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
biblioteca de visualización de datos de Python llamada seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
six (seis) 1.16.0 colador para sopa 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels (paquete de Python para análisis estadístico) 0.13.2 tenacidad 8.0.1
terminado 0.13.1 ruta de prueba 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
actualizaciones desatendidas 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 codificaciones web 0.5.1 ¿Qué es el parche? 1.0.3
rueda 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 11-11-2022.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
flecha 10.0.0 askpass 1.1 asegúrate de que 0.2.1
retroportaciones 1.4.1 base 4.2.2 base64enc 0.1-3
poco 4.0.4 bit 64 4.0.5 mancha 1.2.3
bota 1.3-28 fermentar 1,0 - 8 Brio 1.1.3
escoba 1.0.1 bslib 0.4.1 cachemir 1.0.6
callr 3.7.3 cursor 6.0-93 cellranger (herramienta de análisis de datos celulares) 1.1.0
Chron 2.3-58 clase 7.3-20 Cli 3.4.1
clipr 0.8.0 reloj 0.6.1 conglomerado 2.1.4
codetools 0.2-18 espacio de colores 2.0-3 commonmark 1.8.1
compilador 4.2.2 configuración 0.3.1 cpp11 0.4.3
crayón 1.5.2 credenciales 1.3.2 rizo 4.3.3
tabla de datos 1.14.4 conjuntos de datos 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Descripción 1.4.2 devtools 2.4.5
diffobj 0.3.5 digerir 0.6.30 iluminado hacia abajo 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
elipsis 0.3.2 evaluar 0,18 fans 1.0.3
colores 2.1.1 mapa rápido 1.1.0 fontawesome 0.4.0
convictos 0.5.2 foreach 1.5.2 extranjero 0.8-82
fragua 0.2.0 Fs 1.5.2 futuro 1.29.0
aplicación futura 1.10.0 hacer gárgaras 1.2.1 genéricos 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globales 0.16.1
pegamento 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 elementos gráficos 4.2.2 grDevices 4.2.2
rejilla 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 Casco 1.2.0 refugio 2.5.1
más alto 0.9 HMS 1.1.2 herramientas de HTML 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Identificadores 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iteradores 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 tejido 1.40
etiquetado 0.4.2 más tarde 1.3.0 retícula 0.20-45
lava 1.7.0 ciclo de vida 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Formato Markdown 1.3
MASA 7.3-58 Matriz 1.5-1 memorizar 2.0.1
métodos 4.2.2 mgcv 1.8-41 mimo 0,12
miniUI (Interfaz de Usuario) 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl (software de cifrado) 2.0.4 paralelo 4.2.2
Paralelamente 1.32.1 pilar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 elogio 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progreso 1.2.2
progressr 0.11.0 promesas 1.2.0.1 prototipo 1.0.0
intermediario 0.4-27 P.D 1.7.2 ronroneo 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
Bosque Aleatorio (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recetas 1.0.3
partido de revancha 1.0.1 segunda revancha 2.1.2 Telecontroles 2.4.2
ejemplo reproducible 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 balanzas 1.2.1
selectr 0.4-2 información de sesión 1.2.2 forma 1.4.6
brillante 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 espacial 7.3-11 Tiras 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Estadísticas 4.2.2
estadísticas4 4.2.2 stringi 1.7.8 stringr 1.4.1
supervivencia 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 Formateo de texto 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 cambio de hora 0.1.1 fechaHora 4021.106
tinytex 0,42 herramientas 4.2.2 tzdb 0.3.0
verificador de URL 1.0.1 usa esto 2.1.6 utf8 1.2.2
utilidades 4.2.2 Identificador Único Universal (UUID) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
bigotes 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 cremallera 2.2.2

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws cliente de Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configuración del SDK de Java de AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing (paquete de software para la gestión de balanceo de carga elástica) 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis (kit de desarrollo de software Java para AWS Kinesis) 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs (registros del SDK de AWS para Java) 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (SDK de Java para Storage Gateway de AWS) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws SDK de AWS para Java - Soporte 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo sombreado 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compañero de clase 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson Gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guayaba 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger perfilador 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk (SDK de Azure para almacenamiento en lago de datos) 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lentes_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuración 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity analizadores de univocidad 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack (software de cálculo numérico) 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compresor de aire 0,21
io.delta delta-sharing-spark_2.12 0.6.2
io.dropwizard.metrics núcleo de métricas 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics métricas y verificaciones de salud 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus cliente_simple_común 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activación 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transacciones 1.1
javax.xml.bind jaxb-api 2.2.11
javolución javolución 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine escabeche 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combinado_todo 0,1
org.acplt.remotetea remotetea-oncrpc (servicio de comunicación remota) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr plantilla de cadenas 3.2.1
org.apache.ant hormiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant lanzador de aplicaciones Ant 1.9.2
org.apache.arrow formato de flecha 7.0.0
org.apache.arrow núcleo de memoria de flecha 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow vector de flecha 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curador-cliente 2.13.0
org.apache.curator marco de trabajo para curadores 2.13.0
org.apache.curator curador-recetas 2.13.0
org.apache.derby derbi 10.14.2.0
org.apache.hadoop hadoop-cliente-api 3.3.4-databricks
org.apache.hadoop Entorno de ejecución del cliente de Hadoop 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive Hive-shims 2.3.9
org.apache.hive API de almacenamiento de hive 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims planificador-de-adaptadores-hive 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy hiedra 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc calzos de orco 1.7.6
org.apache.parquet parquet-columna 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet codificación de parquet 1.12.3-databricks-0002
org.apache.parquet estructuras-de-formato-parquet 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotaciones de audiencia 0.13.0
org.apache.zookeeper guardián de zoológico 3.6.2
org.apache.zookeeper Zookeeper-Jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino compilador común 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty Seguridad de Jetty 9.4.46.v20220331
org.eclipse.jetty servidor Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Aplicación web de Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-API 9.4.46.v20220331
org.eclipse.jetty.websocket cliente de websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket servidor de websocket 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers servlet de contenedor de Jersey 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator validador de hibernación 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anotaciones 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Cuñas 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaz de prueba 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark no utilizado 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on