Databricks Runtime 14.2

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 14.2, на базе Apache Spark 3.5.0.

Databricks выпустила эти изображения в ноябре 2023 года.

Новые функции и внесенные улучшения

• CACHE SELECT Теперь игнорируется
• Исправлена обработка поврежденных файлов в командах DML
• Поддержка реестра схем для связанных функций protobuf и Avro в общих кластерах
• foreachBatch и StreamingListener поддержка
• Параллелизм на уровне строк по умолчанию доступен и включен по умолчанию
• Разностный общий доступ: получатели могут выполнять пакетные, CDF и потоковые запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)
• Неглубокий клон для внешних таблиц каталога Unity (общедоступная предварительная версия)
• Новый алгоритм кэширования дисков
• from_avro с соединителем реестра схем добавляет поддержку эволюции схемы
• Быстрая сбор статистики с несколькими потоками
• Фильтры pushdown в разностных файлах DeltaSource
• Поддержка скалярных пользовательских функций Scala в общих кластерах (общедоступная предварительная версия)

CACHE SELECT Теперь игнорируется

Теперь команда CACHE SELECT SQL игнорируется в пользу улучшенного алгоритма кэширования. Дополнительные сведения см. в статье Оптимизация производительности с помощью кэширования в Azure Databricks.

Исправлена обработка поврежденных файлов в командах DML

Команды DELETEUPDATEDML и MERGE INTO больше не учитывают параметры ignoreCorruptFiles чтения иignoreMissingFiles. При обнаружении непрочитанного файла в таблице эти команды теперь завершаются ошибкой, даже если эти параметры указаны.

Поддержка реестра схем для связанных функций protobuf и Avro в общих кластерах

Теперь можно использовать функции , и to_avrofrom_protobufto_protobuf Python с реестром from_avroсхем в общих кластерах.

foreachBatch и StreamingListener поддержка

Теперь вы можете использовать foreachBatch() ИНТЕРФЕЙСы API с StreamingListener структурированной потоковой передачей в общих кластерах. См. раздел "Использование foreachBatch для записи в произвольные приемники данных и запросы структурированной потоковой передачи мониторинга" в Azure Databricks.

Параллелизм на уровне строк по умолчанию доступен и включен по умолчанию

Параллелизм на уровне строк уменьшает конфликты между параллельными операциями записи, обнаруживая изменения на уровне строк. Параллелизм на уровне строк поддерживается только в таблицах без секционирования, включающей таблицы с ликвидной кластеризация. Параллелизм на уровне строк включен по умолчанию в разностных таблицах с включенными векторами удаления. См. статью "Конфликты записи с параллелизмом на уровне строк".

Разностный общий доступ: получатели могут выполнять пакетные, CDF и потоковые запросы к общим таблицам с векторами удаления (общедоступная предварительная версия)

Получатели разностного общего доступа теперь могут выполнять пакетные запросы, CDF и потоковой передачи в общих таблицах, использующих векторы удаления. В Databricks Runtime 14.1 они могут выполнять только пакетные запросы. См. статью "Добавление таблиц с векторами удаления или сопоставлением столбцов в общую папку", "Чтение таблиц с включенными векторами удаления" или "Сопоставление столбцов" и "Чтение таблиц" с включенными векторами удаления или сопоставлением столбцов.

Неглубокий клон для внешних таблиц каталога Unity (общедоступная предварительная версия)

Теперь можно использовать неглубокий клон с внешними таблицами каталога Unity. См . раздел "Мелкий клон" для таблиц каталога Unity.

Новый алгоритм кэширования дисков

Планировщик Spark теперь использует новый алгоритм кэширования дисков. Алгоритм улучшает использование дисков и назначение секций между узлами с более быстрым назначением как первоначально, так и после событий масштабирования кластера. Назначение кэша стикеров повышает согласованность между запусками и уменьшает объем данных, перемещающихся во время операций повторной балансировки.

from_avro с соединителем реестра схем добавляет поддержку эволюции схемы

Теперь можно включить перезапуск конвейеров при обнаружении измененных записей. Ранее, если с соединителем произошла from_avro эволюция схемы, будут возвращены nullновые столбцы. См. статью "Чтение и запись потоковых данных Avro".

Быстрая сбор статистики с несколькими потоками

Сбор статистики составляет до 10 раз быстрее при выполнении преобразования В DELTA или клонирования из таблиц Iceberg и Parquet. См. таблицы Convert to Delta Lake и Clone Parquet и Iceberg.

Фильтры pushdown в разностных файлах DeltaSource

Для повышения использования фильтры секций в запросах потоковой передачи разностных таблиц теперь отправляются в Delta до ограничения скорости.

Поддержка скалярных пользовательских функций Scala в общих кластерах (общедоступная предварительная версия)

Теперь вы можете использовать скалярные пользовательские функции Scala в кластерах с поддержкой каталога Unity, настроенных в режиме общего доступа. См . раздел "Определяемые пользователем скалярные функции " Scala".

Обновления библиотек

• Обновленные библиотеки Python:
  • fastjsonschema от 2.18.0 до 2.19.0
  • блокировка файлов от 3.12.3 до 3.12.4
  • googleapis-common-protos с 1.60.0 до 1.61.0
• Обновленные библиотеки R:
• Обновленные библиотеки Java:

Apache Spark

Databricks Runtime 14.2 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.1, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-45592] [DBRRM-624] Вернуть значение "[SC-146977][SQL] Ошибка правильности в AQE с InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] Возврат "[SC-146319][PYTHON][SQL] Начальная поддержка f...
• [SPARK-45433] [DBRRM-621] Возврат "[SC-145163][SQL] Исправление схемы CSV/JSON...
• [SPARK-45592] [SC-146977] [SQL] Проблема с правильностью в AQE с InMemoryTableScanExec
• [SPARK-45354] Возврат "[SC-143991][SQL] Разрешить функции внизу"
• [SPARK-45680] [TEST-ONLY] [SASP-2347] [CONNECT] Исправление тестов
• [SPARK-45680] [CONNECT] Сеанс выпуска
• [SPARK-43380] [SC-146726] [ES-897115] [SQL] Исправление замедления чтения Avro
• [SPARK-45649] [SC-146742] [SQL] Объединение платформы подготовки для OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727] [PYTHON] [SQL] Создание StructType из Json
• [SPARK-45620] [SC-146225] [PYTHON] Исправлены ИНТЕРФЕЙСы API для пользователей, связанные с UDTF Python для использования верблюдьего Регистра
• [SPARK-45727] [SC-146978] [SS] Удаление неиспользуемой карты в имитации распространения подложки
• [SPARK-45723] [SC-146890] [PYTHON] [CONNECT] Методы каталога избежать преобразования pandas
• [SPARK-45574] [SC-146106] [SQL] Добавление :: синтаксис как сокращенный для приведения
• [SPARK-45670] [SC-146725] [CORE] [3.5] SparkSubmit не поддерживается --total-executor-cores при развертывании в K8s
• [SPARK-45661] [SC-146594] [SQL] [PYTHON] Добавление toNullable в StructType, MapType и ArrayType
• [SPARK-45524] [SC-146319] [PYTHON] [SQL] Начальная поддержка API чтения источника данных Python
• [SPARK-45542] [SC-145892] [CORE] Замена setSafeMode(HdfsConstants.SafeModeAction, boolean) на setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641] [SQL] SPJ: обработка пустых входных секций после динамической фильтрации
• [SPARK-45454] [SC-144846] [SQL] Задайте для владельца таблицы значение по умолчанию current_user
• [SPARK-45554] [SC-146875] [PYTHON] Введение гибкого параметра в assertSchemaEqual
• [SPARK-45242] [SC-143410] [SQL] Использование идентификатора кадра данных для семантической проверки метрик сбора
• [SPARK-45674] [SC-146862] [CONNECT] [PYTHON] Улучшено сообщение об ошибке для атрибутов, зависимых от JVM, в Подключение Spark.
• [SPARK-45646] [SC-146276] [SQL] Удаление переменных времени жесткого копирования до Hive 2.0
• [SPARK-43380] [SC-146726] [ES-897115] [SQL] Исправление замедления чтения Avro
• [SPARK-45545] [SC-146484] [CORE] Передача SSLOptions везде, где мы создадим SparkTransportConf
• [SPARK-45641] [SC-146260] [пользовательский интерфейс] Отображение времени начала приложения в AllJobsPage
• [SPARK-40154] [SC-146491] [Python] [Документация] Правильный уровень хранения в docstring dataframe.cache
• [SPARK-45626] [SC-146259] [SQL] Преобразование _LEGACY_ERROR_TEMP_1055 в REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900] [SQL] Исправление правильности для вложенных скалярных вложенных запросов с агрегатами COUNT
• [SPARK-45619] [SC-146226] [CONNECT] [PYTHON] Применение наблюдаемых метрик к объекту "Наблюдение"
• [SPARK-45588] [SC-145909] [PROTOBUF] [CONNECT] [ДОПОЛНИТЕЛЬНЫЙ] Улучшение Scaladoc для StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120] [CORE] Избегайте ParVector, который не распространяет ThreadLocals или SparkSession
• [SPARK-45604] [SC-146105] [SQL] Добавление проверка логического типа в INT64 —> преобразование DateTime в векторизованного средства чтения Parquet
• [SPARK-44649] [SC-145891] [SQL] Фильтр среды выполнения поддерживает передачу эквивалентных выражений на стороне создания
• [SPARK-41674] [SC-128408] [SQL] Фильтр среды выполнения должен поддерживать сторону соединения с несколькими уровнями в качестве стороны создания фильтра
• [SPARK-45547] [SC-146228] [ML] Проверка векторов с помощью встроенной функции
• [SPARK-45558] [SC-145890] [SS] Введение файла метаданных для оператора потоковой передачи с отслеживанием состояния
• [SPARK-45618] [SC-146252] [CORE] Удаление BaseErrorHandler
• [SPARK-45638] [SC-146251] [SQL] [Avro] Улучшение охвата тестов десятичного преобразования
• [SPARK-44837] [SC-146020] [SQL] Изменение сообщения об ошибке ALTER TABLE ALTER PARTITION column
• [SPARK-45561] [SC-146264] [SQL] Добавление правильных преобразований для TINYINT в MySQLDialect
• [SPARK-45632] [SC-146255] [SQL] Кэш таблиц должен избегать ненужных ColumnarToRow при включении AQE
• [SPARK-45569] [SC-145932] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2152 ошибки
• [SPARK-44784] [SC-141015] [CONNECT] Сделайте SBT тестирование герметично.
• [SPARK-45452] [SC-144836] [SQL] Улучшение InMemoryFileIndex использования FileSystem.listFiles API
• [SPARK-44735] [SC-146186] [SQL] Добавление предупреждений msg при вставке столбцов с тем же именем по строкам, которые не совпадают
• [SPARK-45351] [SC-144791] [CORE] Изменение spark.shuffle.service.db.backend значения по умолчанию на ROCKSDB
• [SPARK-45553] [SC-145906] [PS] Исключить assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022] [CORE] Предоставление детерминированногоLevel в качестве developerApi
• [SPARK-45549] [SC-145895] [CORE] Удаление неиспользуемого numExistingExecutors в CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030] [CONNECT] Включение SqlState в сообщение proto SparkThrowable
• [SPARK-45595] [SC-146037] предоставляет sqlstate в сообщении об ошибке
• [SPARK-45628] [SC-146123] [ML] Улучшение vector_to_array для .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884] [SQL] [ДАЛЬНЕЙШИЕ ДЕЙСТВИЯ] Отключение декорреляций в условиях соединения для теста AQE InSubquery
• [SPARK-45576] [SC-145883] [CORE] Удаление ненужных журналов отладки в ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719] [CONNECT] Улучшения агента пользователя: используйте переменную env SPARK_CONNECT_USER_AGENT и включите определенные атрибуты среды.
• [SPARK-45508] [SC-145513] [CORE] Добавьте "-add-open=java.base/jdk.internal.ref=ALL-UNNAMED", чтобы платформа может получить доступ к Более чистому методу на Java 9+
• [SPARK-45595] Возврат "[SC-146037] Предоставление SQLSTATE в сообщении об ошибке"
• [SPARK-45595] [SC-146037] Предоставление SQLSTATE в сообщении об ошибке
• [SPARK-45112] Вернуть "[SC-143259][SQL] Использовать неразрешенноеfunction ba...
• [SPARK-45257] [SC-143411] [CORE] Включить spark.eventLog.compress по умолчанию
• [SPARK-45586] [SC-145899] [SQL] Уменьшение задержки компилятора для планов с большими деревьями выражений
• [SPARK-45517] [SC-145691] [CONNECT] [14.x] Разверните дополнительные конструкторы исключений для поддержки параметров платформы ошибок
• [SPARK-45581] [SC-145896] Обязательно сделайте SQLSTATE обязательным.
• [SPARK-45427] [SC-145590] [CORE] Добавление параметров SSL RPC в SSLOptions и SparkTransportConf
• [SPARK-45261] [SC-143357] [CORE] Исправление EventLogFileWriters для обработки none в виде кодека
• [SPARK-45582] [SC-145897] [SS] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи
• [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: сделать "rowTag" обязательным параметром
• [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] Замена Class.newInstance() на Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163] [SQL] Исправление вывода схемы CSV/JSON, если метки времени не соответствуют указанной метке времени
• [SPARK-45458] [SC-145011] [SQL] Преобразование IllegalArgumentException в SparkIllegalArgumentException в bitwiseExpressions
• [SPARK-45564] [SC-145735] [SQL] Упростите "DataFrameStatFunctions.bloomFilter" с выражением BloomFilterAggregate
• [SPARK-45566] [SC-1457777] [PS] Поддержка таких тестов Pandas для API Pandas в Spark
• [SPARK-45498] [SC-145509] [CORE] Дальнейшие действия. Пропустить завершение задачи со старого этапа...
• [SPARK-45483] [SC-145152] [CONNECT] Исправьте группы функций в connect.functions
• [SPARK-45577] [SC-145781] [PYTHON] Исправление UserDefinedPythonTableFunctionAnalyzeRunner для передачи сложенных значений из именованных аргументов
• [SPARK-45009] [SC-138223] [ДАЛЬНЕЙШИЕ ДЕЙСТВИЯ] Отключение декорреляций в условиях соединения для AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] Разрешить выборочное отключение "fallocate" в хранилище состояний RocksDB
• [SPARK-45500] [SC-145134] [CORE] [WEBUI] Отображение количества ненормально завершенных драйверов в MasterPage
• [SPARK-44120] [SC-144349] [PYTHON] Поддержка Python 3.12
• [SPARK-45439] [SC-145589] [SQL] [пользовательский интерфейс] Уменьшение использования памяти LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717] [пользовательский интерфейс] Ненужный цикл JSON.stringify и JSON.parse для списка задач на этапе
• [SPARK-45567] [SC-145718] [CONNECT] Удалите избыточный файл, если в org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259] [SQL] Использование разрешения на основе неразрешенногоFunction в функциях набора данных SQL
• [SPARK-45486] [SASP-2457] [SC-145612] [CONNECT] Создание идемпотентного запроса add_artifact
• [SPARK-44913] [SC-144326] [SQL] DS V2 поддерживает отправку UDF версии 2 с волшебным методом
• [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions ошибка
• [SPARK-45491] [SC-145622] Добавление отсутствующих SQLSTATES 2/2
• [SPARK-45009] [SC-145620] [SC-138223] [SQL] Декорректные вложенные запросы предиката в условии соединения
• [SPARK-45377] [SC-144377] [CORE] Обработка InputStream в NettyLogger
• [SPARK-45248] [SC-143759] [CORE] Установка времени ожидания для сервера пользовательского интерфейса Spark
• [SPARK-44594] [SC-145611] [SS] Удаление избыточного параметра метода в соединителе Kafka
• [SPARK-45539] [SC-145621] [SS] Добавление утверждения и журнала для указания определения водяного знака требуется для запросов потоковой агрегирования в режиме добавления
• [SPARK-44262] [SC-145639] [SQL] Добавление и getInsertStatement добавление dropTable в JdbcDialect
• [SPARK-45516] [SC-145480] [CONNECT] Включение QueryContext в сообщение proto SparkThrowable
• [SPARK-45310] [SC-145127] [CORE] Состояние блока перетасовки отчета должно учитывать службу перетасовки во время миграции из эксплуатации
• [SPARK-45521] [SC-145487] [ML] Избегайте повторного вычисления nnz в VectorAssembler
• [SPARK-45418] [SC-145485] [SQL] [PYTHON] [CONNECT] Измените псевдоним столбца current_database() на current_schema()
• [SPARK-45116] [SC-145142] [SQL] Добавление некоторых комментариев для param JdbcDialect createTable
• [SPARK-45495] [SC-145529] [ядро] Профиль ресурсов уровня поддержки для кластера k8s при отключении динамического выделения
• [SPARK-45487] [SC-145559] Исправление ошибок SQLSTATEs и временных ошибок
• [SPARK-45505] [SC-145550] [PYTHON] Рефакторинг анализаInPython, чтобы сделать его повторно используемым
• [SPARK-45132] [SC-145425] [SQL] Исправление ИДЕНТИФИКАТОРа вызова функции
• [SPARK-45213] [SC-145020] [SQL] Назначение имени _LEGACY_ERROR_TEMP_2151 ошибки
• [SPARK-45416] [SC-145126] [CONNECT] Результаты со стрелками проверка согласованности
• [SPARK-45163] [SC-143386] [SQL] Слияние UNSUPPORTED_VIEW_OPERATION & UNSUPPORTED_TABLE_OPERATION и устранение некоторых проблем
• [SPARK-45421] [SC-144814] [SQL] Перехват AnalysisException по inlineCTE
• [SPARK-43664] [SC-145404] [CONNECT] [PS] Создание исключения для ps.sql объекта Pandas-on-Spark в Подключение Spark.
• [SPARK-45402] [SC-145371] [SQL] [PYTHON] Добавление API UDTF для методов eval и "terminate" для использования предыдущего результата анализа
• [SPARK-36112] [SC-67885] [SQL] Поддержка сопоставленных запросов EXISTS и IN с помощью платформы DecorrelateInnerQuery
• [SPARK-45383] [SC-144929] [SQL] Исправление сообщения об ошибке для перемещения по времени с не существующей таблицей
• [SPARK-43254] [SC-143318] [SQL] Назначьте имя _LEGACY_ERROR_TEMP_2018 ошибки
• [SPARK-45204] [SC-145167] [CONNECT] Добавление необязательного executeHolder в Spark Подключение Planner
• [SPARK-45451] [SC-145144] [SQL] Настройка уровня хранилища набора данных по умолчанию
• [SPARK-45192] [SC-143194] [пользовательский интерфейс] Исправлено превышение параметров lineInterpolate для пограничных вычислений graphviz
• [SPARK-45467] [SC-145146] [CORE] Замена Proxy.getProxyClass() на Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139] [ML] [CONNECT] Добавление преобразователя функций сборщика массива
• [SPARK-44855] [SC-145226] [CONNECT] Небольшие настройки для подключения ExecuteGrpcResponseSender к ExecuteResponseObserver
• [SPARK-45398] [SC-144796] [SQL] Добавление ESCAPE в sql()Like выражение
• [SPARK-45494] [SC-145129] [CORE] [PYTHON] Введение функций util для чтения и записи массива байтов для PythonWorkerUtils
• [SPARK-45464] [SC-145125] [CORE] Исправлена сборка распространения сетевого yarn
• [SPARK-45461] [SC-144851] [CORE] [SQL] [MLLIB] Знакомство с картой для служба хранилища Level
• [SPARK-45450] [SC-145009] [PYTHON] Исправлены импорты в соответствии с PEP8: pyspark.pandas и pyspark (core)
• [SPARK-45475] [SC-145018] [SQL] Использует DataFrame.foreachPartition вместо RDD.foreachPartition в JdbcUtils
• [SPARK-45271] [SC-143778] [SQL] Слияние _LEGACY_ERROR_TEMP_1113 в TABLE_OPERATION и удаление неиспользуемого метода в QueryCompilationErrors
• [SPARK-45449] [SC-145013] [SQL] Проблема с недопустимостью кэша с таблицей JDBC
• [SPARK-45473] [SC-145017] [SQL] Исправлено неверное сообщение об ошибке для RoundBase
• [SPARK-43299] [SC-145022] [SS] [CONNECT] Преобразование StreamingQueryException в клиент Scala
• [SPARK-45474] [SC-145014] [CORE] [WEBUI] Поддержка фильтрации верхнего уровня в API JSON MasterPage
• [SPARK-45205] [SC-145012] [SQL] CommandResultExec для переопределения методов итератора, чтобы избежать активации нескольких заданий.
• [SPARK-45472] [SC-145004] [SS] Хранилище состояний RocksDB не требуется повторно проверка проверка назначаемого пути
• [SPARK-45470] [SC-145010] [SQL] Избегайте вставки строкового значения типа сжатия hive orc
• [SPARK-45448] [SC-144829] [PYTHON] Исправлены импорты в соответствии с PEP8: pyspark.testing, pyspark.mllib, pyspark.resource и pyspark.streaming
• [SPARK-45446] [SC-144828] [PYTHON] Исправлены импорты в соответствии с PEP8: pyspark.errors и pyspark.ml
• [SPARK-45239] [SC-144832] [CONNECT] Уменьшение размера spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831] [PYTHON] [CONNECT] Методы DataFrame проверка одном сеансе
• [SPARK-45413] [SC-144847] [CORE] Добавление предупреждения для поддержки drop LevelDB
• [SPARK-45462] [SC-144848] [CORE] [WEBUI] Показать Duration в ApplicationPage
• [SPARK-44527] [SC-144855] [SQL] Замените ScalarSubquery значением NULL, если его maxRows равно 0
• [SPARK-45401] [SC-144854] [PYTHON] Добавление нового метода cleanup в интерфейс UDTF
• [SPARK-43704] [SC-144849] [CONNECT] [PS] Поддержка MultiIndexto_series()
• [SPARK-45424] [SC-1448888] [SQL] Исправление значения timestampFormatter, возвращающие необязательные результаты синтаксического анализа, если совпадают только префикс
• [SPARK-45441] [SC-144833] [PYTHON] Дополнительные функции util для PythonWorkerUtils
• [SPARK-45412] [SC-144803] [PYTHON] [CONNECT] Проверка плана и сеанса в DataFrame.__init__
• [SPARK-45408] [SC-144810] [CORE] Добавление параметров SSL RPC в TransportConf
• [SPARK-45432] [SC-144818] [CORE] Удаление устаревшего конструктора Hadoop-2 LocatedFileStatus
• [SPARK-45434] [SC-144819] [ML] [CONNECT] LogisticRegression проверка метки обучения
• [SPARK-45420] [SC-144808] [SQL] [PYTHON] [CONNECT] Добавление DataType.fromDDL в PySpark
• [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] Удаление schema из конструктора DataFrame
• [SPARK-45404] [SC-144799] [CORE] Поддержка AWS_ENDPOINT_URL переменной env
• [SPARK-43620] [SC-144792] [CONNECT] [PS] Исправление API Pandas зависит от неподдерживаемых функций
• [SPARK-45354] [SC-143991] [SQL] Разрешение функций внизу
• [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [CONNECT] Добавьте повторные попытки для API артефактов. Улучшение обработки ошибок (дальнейшие действия по [SPARK-45093]).
• [SPARK-45120] [SC-142780] [SPARK-45150] [пользовательский интерфейс] Обновление d3 с версии 3 до версии 7(v7.8.5) и применение изменений API в пользовательском интерфейсе
• [SPARK-44838] [SC-143983] [SQL] улучшение raise_error
• [SPARK-45312] [SC-143754] [SQL] [пользовательский интерфейс] Поддержка переключателя отображения и скрытия svg плана на странице выполнения
• [SPARK-45378] [SC-144448] [CORE] Добавление convertToNettyForSsl в ManagedBuffer
• [SPARK-44762] [SC-144338] [CONNECT] [CORE] Документация по Spark Подключение.addJobTag и Подключение SparkSession.addTag
• [SPARK-45383] Обработка неразрешенного реляционного времениTravel корректно
• [SPARK-45347] [SC-144512] [SQL] [CONNECT] Включение SparkThrowable в FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512] [SQL] CheckAnalysis должен вызывать встроенный план в AnalysisException
• [SPARK-45359] [SC-144336] [PYTHON] [CONNECT] DataFrame.{columns, colRegex, explain} должен вызывать исключения, если план недопустим
• [SPARK-45227] [SC-144233] [CORE] Устранение тонкой проблемы с безопасностью потоков с помощью CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171] [PYTHON] Правило анализатора Refactor ResolveFunctions, чтобы отложить выполнение бокового соединения при использовании аргументов таблицы
• [SPARK-45266] Вернитесь к правилу анализатора Refactor ResolveFunctions "[SC-144171][PYTHON] Refactor ResolveFunctions, чтобы отложить выполнение бокового соединения при использовании аргументов таблицы".
• [SPARK-45371] [SC-144389] [CONNECT] Устранение проблем с заливки в клиенте Spark Подключение Scala
• [SPARK-45057] [SC-144214] [CORE] Избегайте получения блокировки чтения, если keepReadLock имеет значение false
• [SPARK-45385] [SC-144357] [SQL] Исключить spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917] [SQL] Удаление конфигурации SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171] [PYTHON] Правило анализатора Refactor ResolveFunctions, чтобы отложить выполнение бокового соединения при использовании аргументов таблицы
• [SPARK-45362] [SC-144198] [PYTHON] Проецирование выражений PARTITION BY перед использованием метода UDTF Python UDTF eval
• [SPARK-45346] [SC-143925] [SQL] Вывод схемы Parquet должен учитывать флаг конфиденциальности регистра при слиянии схемы
• [SPARK-45341] [SC-143933] [CORE] Исправьте уровень заголовка в комментариях KVStore.java для sbt doc успешного выполнения с помощью Java 17
• [SPARK-45334] [SC-143914] [SQL] Удаление вводящих в заблуждение комментариев в parquetSchemaConverter
• [SPARK-45337] [SC-143932] [CORE] Рефакторинг AbstractCommandBuilder#getScalaVersion для удаления проверка для Scala 2.12
• [SPARK-45329] [SC-143918] [PYTHON] [CONNECT] Методы DataFrame пропускают преобразование pandas
• [SPARK-43662] [SC-143923] [PS] [CONNECT] Поддержка merge_asof в Spark Подключение
• [SPARK-44126] [SC-143751] [CORE] Число сбоев перетасовки миграции не должно увеличиваться при выводе целевого исполнителя из эксплуатации
• [SPARK-44550] [SC-119768] [SQL] Включение исправлений правильности для anSI null IN (empty list)
• [SPARK-45316] [SC-143783] [CORE] [SQL] Добавление новых параметров ignoreCorruptFiles/ignoreMissingFiles в HadoopRDD и NewHadoopRDD
• [SPARK-45093] [SC-143414] [CONNECT] [PYTHON] Отчеты об ошибках для запроса addArtifacts
• [SPARK-44756] [SC-143787] [CORE] Исполнитель зависает, когда RetryingBlockTransferor не может инициировать повторную попытку
• [SPARK-45333] [SC-143768] [CORE] Исправлена одна ошибка единицы, связанная с spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750] [SQL] [CONNECT] Обработка null-имени файла в трассировках стека исключений
• [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId добавляет сведения о столбцах
• [SPARK-45235] [SC-143314] [CONNECT] [PYTHON] Поддержка параметров карты и массива по sql()
• [SPARK-45138] [SC-143309] [SS] Определите новый класс ошибок и при сбое проверка назначения состояния к DFS
• [SPARK-45297] [SC-143644] [SQL] Удаление обходного решения для dateformatter, добавленного в SPARK-31827
• [SPARK-44345] [SC-143593] [CORE] Более низкий unknown shuffle map output уровень журнала, чтобы WARN, если включена миграция с перетасовками
• [SPARK-44463] [SC-143251] [SS] [CONNECT] Улучшение обработки ошибок для рабочей роли Python Подключение
• [SPARK-45207] [SC-143603] [SQL] [CONNECT] Реализация обогащения ошибок для клиента Scala
• [SPARK-45240] [SC-143602] [SQL] [CONNECT] Реализация обогащения ошибок для клиента Python
• [SPARK-45216] [SC-143288] [SQL] Исправление недетерминированных API наборов данных
• [SPARK-45251] [SC-143419] [CONNECT] Добавление поля client_type для FetchErrorDetails
• [SPARK-45137] [SC-143001] [CONNECT] Поддержка параметров карты или массива в параметризованном режиме sql()
• [SPARK-45224] [SC-143257] [PYTHON] Добавление примеров w/map и массива в качестве параметров sql()
• [SPARK-44622] [SC-143205] [SQL] [CONNECT] Реализация FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] Резервное выполнение одного пакета для Trigger.AvailableNow с неподдерживаемых источников, а не с помощью оболочки
• [SPARK-44823] [14.x] [SC-142979] [PYTHON] Обновление черного до 23.9.1 и исправления проверка
• [SPARK-45078] [SC-142954] [SQL] Исправление array_insert НеявныхCastInputTypes не работает
• [SPARK-44579] [SC-138428] [SQL] Поддержка прерывания при отмене в SQLExecution
• [SPARK-45252] [SC-143371] [CORE] Экранируйте символы больше или меньше символов в комментариях, чтобы выполнить sbt doc успешно
• [SPARK-45189] [SC-142973] [SQL] Создание неразрешеннойrelation из TableIdentifier должно содержать поле каталога
• [SPARK-45229] [SC-143254] [CORE] [пользовательский интерфейс] Отображение количества драйверов, ожидающих состояния SUBMITTED в MasterPage
• [SPARK-43453] Возврат "[SC-143135][PS] Игнорируйте namesMultiIndex, когда axis=1 "concat

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Системная среда

• Операционная система: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

Установленные библиотеки Python

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
anyio	3.5.0	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.0.5	attrs	22.1.0	backcall	0.2.0
beautifulsoup4	4.11.1	black	22.6.0	bleach	4.1.0
blinker	1.4	boto3	1.24.28	botocore	1.27.96
certifi	2022.12.7	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	щелчок	8.0.4	comm	0.1.2
контурная диаграмма	1.0.5	Криптографии	39.0.1	cycler	0.11.0
Cython	0.29.32	databricks-sdk	0.1.6	dbus-python	1.2.18
debugpy	1.6.7	decorator	5.1.1	defusedxml	0.7.1
distlib	0.3.7	docstring-to-markdown	0,11	entrypoints	0,4
executing	0.8.3	facets-overview	1.1.1	fastjsonschema	2.19.0
filelock	3.12.4	шрифтовые инструменты	4.25.0	googleapis-common-protos	1.61.0
grpcio	1.48.2	grpcio-status	1.48.1	httplib2	0.20.2
idna	3,4	importlib-metadata	4.6.4	ipykernel	6.25.0
ipython	8.14.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
jedi	0.18.1	jeepney	0.7.1	Jinja2	3.1.2
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.17.3
jupyter-client	7.3.4	jupyter-server	1.23.4	jupyter_core	5.2.0
jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0	Брелок	23.5.0
kiwisolver	1.4.4	launchpadlib	1.10.16	lazr.restfulclient	0.14.4
lazr.uri	1.0.6	lxml	4.9.1	MarkupSafe	2.1.1
matplotlib	3.7.0	matplotlib-inline	0.1.6	Маккейб	0.7.0
mistune	0.8.4	more-itertools	8.10.0	mypy-extensions	0.4.3
nbclassic	0.5.2	nbclient	0.5.13	nbconvert	6.5.4
nbformat	5.7.0	nest-asyncio	1.5.6	nodeenv	1.8.0
записная книжка	6.5.2	notebook_shim	0.2.2	numpy	1.23.5
oauthlib	3.2.0	во внешнем виде	22,0	pandas	1.5.3
pandocfilters	1.5.0	parso	0.8.3	pathspec	0.10.3
patsy	0.5.3	pexpect	4.8.0	pickleshare	0.7.5
Pillow	9.4.0	pip	22.3.1	platformdirs	2.5.2
график	5.9.0	pluggy	1.0.0	prometheus-client	0.14.1
prompt-toolkit	3.0.36	protobuf	4.24.0	psutil	5.9.0
psycopg2	2.9.3	ptyprocess	0.7.0	pure-eval	0.2.2
pyarrow	8.0.0	pyarrow-hotfix	0,4	pycparser	2.21
pydantic	1.10.6	pyflakes	3.1.0	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.1.1	python-lsp-server	1.8.0
pytoolconfig	1.2.5	pytz	2022.7	pyzmq	23.2.0
requests	2.28.1	Веревку	1.7.0	s3transfer	0.6.2
scikit-learn	1.1.1	scipy	1.10.0	Сиборн	0.12.2
Секрет служба хранилища	3.3.1	Send2Trash	1.8.0	setuptools	65.6.3
six	1.16.0	sniffio	1.2.0	soupsieve	2.3.2.post1
ssh-import-id	5,11	stack-data	0.2.0	statsmodels	0.13.5
tenacity	8.1.0	terminado	0.17.1	threadpoolctl	2.2.0
tinycss2	1.2.1	tokenize-rt	4.2.1	tomli	2.0.1
tornado	6.1	traitlets	5.7.1	typing_extensions	4.4.0
ujson	5.4.0	unattended-upgrades	0,1	urllib3	1.26.14
virtualenv	20.16.7	wadllib	1.3.6	wcwidth	0.2.5
webencodings	0.5.1	websocket-client	0.58.0	whatthepatch	1.0.2
wheel	0.38.4	widgetsnbextension	3.6.1	yapf	0.33.0
zipp	1.0.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека	Версия	Библиотека	Версия	Библиотека	Версия
Стрелка	12.0.1	askpass	1,1	assertthat	0.2.1
внутренние порты	1.4.1	base	4.3.1	base64enc	0.1-3
bit	4.0.5	bit64	4.0.5	большой двоичный объект	1.2.4
загрузка	1.3-28	Заваривать	1,0–8	brio	1.1.3
Метлу	1.0.5	bslib	0.5.0	cachem	1.0.8
вызывающий объект	3.7.3	крышка	6.0-94	cellranger	1.1.0
chron	2.3-61	class	7.3-22	cli	3.6.1
clipr	0.8.0	clock	0.7.0	cluster	2.1.4
codetools	0.2-19	colorspace	2.1-0	commonmark	1.9.0
компилятор	4.3.1	config	0.3.1	Противоречие	1.2.0
cpp11	0.4.4	Карандаш	1.5.2	учетные данные	1.3.2
curl	5.0.1	data.table	1.14.8	наборы данных	4.3.1
DBI	1.1.3	dbplyr	2.3.3	desc	1.4.2
средства разработки	2.4.5	Схема	1.6.5	diffobj	0.3.5
digest	0.6.33	downlit	0.4.3	dplyr	1.1.2
dtplyr	1.3.1	e1071	1.7-13	многоточие	0.3.2
evaluate	0.21	вентиляторы	1.0.4	Farver	2.1.1
fastmap	1.1.1	fontawesome	0.5.1	forcats	1.0.0
foreach	1.5.2	Иностранных	0.8-82	forge	0.2.0
fs	1.6.2	будущее	1.33.0	future.apply	1.11.0
gargle	1.5.1	Универсальные шаблоны	0.1.3	gert	1.9.2
ggplot2	3.4.2	gh	1.4.0	gitcreds	0.1.2
glmnet	4.1-7	globals	0.16.2	Клей	1.6.2
googledrive	2.1.1	googlesheets4	1.1.1	Говер	1.0.1
графика	4.3.1	grDevices	4.3.1	grid	4.3.1
gridExtra	2.3	gsubfn	0,7	gtable	0.3.3
hardhat	1.3.0	haven	2.5.3	высокий	0.10
Hms	1.1.3	htmltools	0.5.5	htmlwidgets	1.6.2
httpuv	1.6.11	httr	1.4.6	httr2	0.2.3
ids	1.0.1	ini	0.3.1	ipred	0.9-14
isoband	0.2.7	Итераторы	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	KernSmooth	2.23-21	трикотажный	1,43
Маркировки	0.4.2	later	1.3.1	Решетки	0.21-8
Lava	1.7.2.1	жизненный цикл	1.0.3	listenv	0.9.0
lubridate	1.9.2	magrittr	2.0.3	Markdown	1,7
МАССАЧУСЕТС	7.3-60	«Матрица»	1.5-4.1	memoise	2.0.1
оплаты	4.3.1	mgcv	1.8-42	Mime	0,12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.11
munsell	0.5.0	nlme	3.1-162	nnet	7.3-19
numDeriv	2016.8-1.1	openssl	2.0.6	parallel	4.3.1
parallelly	1.36.0	Столб	1.9.0	pkgbuild	1.4.2
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2.1
plogr	0.2.0	plyr	1.8.8	Похвалы	1.0.0
prettyunits	1.1.1	Proc	1.18.4	processx	3.8.2
prodlim	2023.03.31	profvis	0.3.8	Ход выполнения	1.2.2
progressr	0.13.0	promises	1.2.0.1	proto	1.0.0
proxy	0.4-27	ps	1.7.5	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
randomForest	4.7-1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
readr	2.1.4	readxl	1.4.3	Рецепты	1.0.6
Реванш	1.0.1	rematch2	2.1.2	remotes	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.1.1
rmarkdown	2,23	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-11
RSQLite	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
rvest	1.0.3	sass	0.4.6	Весы	1.2.1
селектор	0.4-2	sessioninfo	1.2.2	Формы	1.4.6
Блестящие	1.7.4.1	sourcetools	0.1.7-1	sparklyr	1.8.1
пространственный	7.3-15	Сплайны	4.3.1	sqldf	0.4-11
SQUAREM	2021.1	stats	4.3.1	статистика4	4.3.1
stringi	1.7.12	stringr	1.5.0	Выживания	3.5-5
sys	3.4.2	systemfonts	1.0.4	tcltk	4.3.1
testthat	3.1.10	textshaping	0.3.6	tibble	3.2.1
tidyr	1.3.0	tidyselect	1.2.0	tidyverse	2.0.0
timechange	0.2.0	TimeDate	4022.108	tinytex	0,45 %
средства	4.3.1	tzdb	0.4.0	urlchecker	1.0.1
usethis	2.2.2	utf8	1.2.3	служебные программы	4.3.1
uuid	1.1-0	vctrs	0.6.3	viridisLite	0.4.2
vroom	1.6.3	waldo	0.5.1	виски	0.4.1
withr	2.5.0	xfun	0,39	xml2	1.3.5
xopen	1.0.0	xtable	1.8-4	Yaml	2.3.7
zip	2.3.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы	Идентификатор артефакта	Версия
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	потоковая передача	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	databricks-sdk-java	0.7.0
com.databricks	jets3t	0.7.1–0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.15.2
com.fasterxml.jackson.core	jackson-core	2.15.2
com.fasterxml.jackson.core	jackson-databind	2.15.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.15.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.15.1
com.fasterxml.jackson.module	jackson-module-paranamer	2.15.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.15.2
com.github.ben-manes.caffeine	caffeine	2.9.3
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.5-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.10.1
com.google.crypto.tink	tink	1.9.0
com.google.errorprone	error_prone_annotations	2.10.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guava	15,0
com.google.protobuf	protobuf-java	2.6.1
com.helger	профилировщик	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxb-core	2.2.11
com.sun.xml.bind	jaxb-impl	2.2.11
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.3
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.16.0
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.13.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.25
io.delta	delta-sharing-client_2.12	1.0.2
io.dropwizard.metrics	метрики-заметки	4.2.19
io.dropwizard.metrics	metrics-core	4.2.19
io.dropwizard.metrics	metrics-graphite	4.2.19
io.dropwizard.metrics	metrics-healthchecks	4.2.19
io.dropwizard.metrics	metrics-jetty9	4.2.19
io.dropwizard.metrics	metrics-jmx	4.2.19
io.dropwizard.metrics	metrics-json	4.2.19
io.dropwizard.metrics	metrics-jvm	4.2.19
io.dropwizard.metrics	metrics-servlets	4.2.19
io.netty	netty-all	4.1.96.Final
io.netty	netty-buffer	4.1.96.Final
io.netty	netty-codec	4.1.96.Final
io.netty	netty-codec-http	4.1.96.Final
io.netty	netty-codec-http2	4.1.96.Final
io.netty	netty-codec-socks	4.1.96.Final
io.netty	netty-common	4.1.96.Final
io.netty	netty-handler	4.1.96.Final
io.netty	netty-handler-proxy	4.1.96.Final
io.netty	netty-resolver	4.1.96.Final
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.netty	netty-tcnative-classes	2.0.61.Final
io.netty	netty-transport	4.1.96.Final
io.netty	netty-transport-classes-epoll	4.1.96.Final
io.netty	netty-transport-classes-kqueue	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.96.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.96.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.96.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	Коллектор	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1,3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	arrow-format	12.0.1
org.apache.arrow	arrow-memory-core	12.0.1
org.apache.arrow	arrow-memory-netty	12.0.1
org.apache.arrow	arrow-vector	12.0.1
org.apache.avro	avro	1.11.2
org.apache.avro	avro-ipc	1.11.2
org.apache.avro	avro-mapred	1.11.2
org.apache.commons	commons-collections4	4.4.
org.apache.commons	commons-compress	1.23.0
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.6
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.20.0
org.apache.logging.log4j	log4j-api	2.20.0
org.apache.logging.log4j	log4j-core	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.9.1-shaded-protobuf
org.apache.orc	orc-mapreduce	1.9.1-shaded-protobuf
org.apache.orc	orc-shims	1.9.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.ws.xmlschema	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded	4,23
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.31.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.52.v20230823
org.eclipse.jetty	jetty-continuation	9.4.52.v20230823
org.eclipse.jetty	jetty-http	9.4.52.v20230823
org.eclipse.jetty	jetty-io	9.4.52.v20230823
org.eclipse.jetty	jetty-jndi	9.4.52.v20230823
org.eclipse.jetty	jetty-plus	9.4.52.v20230823
org.eclipse.jetty	jetty-proxy	9.4.52.v20230823
org.eclipse.jetty	jetty-security	9.4.52.v20230823
org.eclipse.jetty	jetty-server	9.4.52.v20230823
org.eclipse.jetty	jetty-servlet	9.4.52.v20230823
org.eclipse.jetty	jetty-servlets	9.4.52.v20230823
org.eclipse.jetty	jetty-util	9.4.52.v20230823
org.eclipse.jetty	jetty-util-ajax	9.4.52.v20230823
org.eclipse.jetty	jetty-webapp	9.4.52.v20230823
org.eclipse.jetty	jetty-xml	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-client	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-common	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-server	9.4.52.v20230823
org.eclipse.jetty.websocket	websocket-servlet	9.4.52.v20230823
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.40
org.glassfish.jersey.containers	jersey-container-servlet-core	2.40
org.glassfish.jersey.core	jersey-client	2.40
org.glassfish.jersey.core	jersey-common	2.40
org.glassfish.jersey.core	jersey-server	2.40
org.glassfish.jersey.inject	jersey-hk2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.ini4j	ini4j	0.5.4
org.javassist	javassist	3.29.2-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.9
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.6.0
org.roaringbitmap	RoaringBitmap	0.9.45
org.roaringbitmap	shims	0.9.45
org.rocksdb	rocksdbjni	8.3.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.9.0
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	Scalatest-compatible	3.2.15
org.scalatest	scalatest-core_2.12	3.2.15
org.scalatest	scalatest-diagrams_2.12	3.2.15
org.scalatest	scalatest-featurespec_2.12	3.2.15
org.scalatest	scalatest-flatspec_2.12	3.2.15
org.scalatest	scalatest-freespec_2.12	3.2.15
org.scalatest	scalatest-funspec_2.12	3.2.15
org.scalatest	scalatest-funsuite_2.12	3.2.15
org.scalatest	scalatest-matchers-core_2.12	3.2.15
org.scalatest	scalatest-mustmatchers_2.12	3.2.15
org.scalatest	scalatest-propspec_2.12	3.2.15
org.scalatest	scalatest-refspec_2.12	3.2.15
org.scalatest	scalatest-shouldmatchers_2.12	3.2.15
org.scalatest	scalatest-wordspec_2.12	3.2.15
org.scalatest	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	jul-to-slf4j	2.0.7
org.slf4j	slf4j-api	2.0.7
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.42.0.0
org.xerial.snappy	snappy-java	1.1.10.3
org.yaml	snakeyaml	2.0
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1