Databricks Runtime 15.3
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.3, на базе Apache Spark 3.5.0.
Databricks выпустила эти изображения в июне 2024 года.
Новые функции и внесенные улучшения
PySpark DataSources теперь поддерживает потоковую чтение и запись
PySpark DataSources, который позволяет читать из пользовательских источников данных и записывать их в пользовательские приемники данных, теперь поддерживает потоковую чтение и запись. См . настраиваемые источники данных PySpark.
Отключение сопоставления столбцов с функцией удаления
Теперь можно отключить DROP FEATURE
сопоставление столбцов в таблицах Delta и изменить протокол таблицы. См. раздел "Отключить сопоставление столбцов".
Синтаксис типа variant и функции в общедоступной предварительной версии
Встроенная поддержка Apache Spark для работы с полуструктурированных данных как VARIANT
типа теперь доступна в Spark DataFrames и SQL. См . сведения о варианте запроса.
Поддержка типа variant для Delta Lake в общедоступной предварительной версии
Теперь можно использовать VARIANT
для хранения полуструктурированных данных в таблицах, поддерживаемых Delta Lake. См . раздел "Поддержка variant" в Delta Lake.
Поддержка различных режимов эволюции схемы в представлениях
CREATE VIEW и ALTER VIEW теперь позволяют задать режим привязки схемы, повышая способ обработки изменений схемы в базовых объектах. Эта функция позволяет представлениям терпеть или адаптироваться к изменениям схемы в базовых объектах. Он устраняет изменения в схеме запроса, вызванные изменениями определений объектов.
observe()
Поддержка методов, добавленных в клиент Spark Connect Scala
Клиент Spark Connect Scala теперь поддерживает Dataset.observe()
методы. Поддержка этих методов позволяет определить метрики для наблюдения за Dataset
объектом с помощью ds.observe("name", metrics...)
методов или ds.observe(observationObject, metrics...)
методов.
Улучшена задержка перезапуска потока для автозагрузчика
Этот выпуск включает изменение, которое улучшает задержку перезапуска потока для автозагрузчика. Это улучшение реализуется путем загрузки состояния в хранилище состояний RocksDB асинхронно. При этом изменении вы увидите улучшение времени начала потоков с большими состояниями, например потоки с большим количеством уже полученных файлов.
Возврат кадра данных в виде pyarrow.Table
Для поддержки записи кадра данных непосредственно в объект Apache Arrow pyarrow.Table
этот выпуск включает функцию DataFrame.toArrow()
. Дополнительные сведения об использовании стрелки в PySpark см. в разделе Apache Arrow в PySpark.
Улучшение производительности некоторых функций окна
Этот выпуск включает изменение, которое повышает производительность некоторых функций окна Spark, в частности функции, которые не включают ORDER BY
предложение или window_frame
параметр. В таких случаях система может перезаписать запрос, чтобы запустить его с помощью агрегатной функции. Это изменение позволяет запросу выполняться быстрее с помощью частичной агрегирования и предотвращения затрат на выполнение функций окна. Параметр spark.databricks.optimizer.replaceWindowsWithAggregates.enabled
конфигурации Spark управляет этой оптимизацией и имеет значение true
по умолчанию. Чтобы отключить эту оптимизацию, установите значение spark.databricks.optimizer.replaceWindowsWithAggregates.enabled
false
.
Поддержка необязательного параметра области в list_secrets()
Этот выпуск позволяет ограничить результаты функции таблицы list_secrets() определенной областью.
Исправления ошибок
WriteIntoDeltaCommand
Метрики в пользовательском интерфейсе Spark теперь отображаются правильно
Этот выпуск включает исправление метрик, отображаемых на вкладке SQL пользовательского интерфейса Spark для Execute WriteIntoDeltaCommand
узла. Ранее метрики, отображаемые для этого узла, были нулевыми.
Функция groupby()
в API Pandas игнорирует as_index=False
аргумент
Этот выпуск включает исправление проблемы с groupby()
функцией в API Pandas в Spark. Перед этим исправлением groupby()
в результирующем кадре данных не включался ключи группы с изменением метки агрегированных столбцов и as_index=False
аргументом.
Ошибка синтаксического анализа с несколькими функциями окна, ссылающимися на выходные данные других функций
Этот выпуск устраняет проблему, которая может возникать, когда запрос Spark имеет несколько последовательных функций окна, где ссылки на выходные данные функций окна из других функций окна. В редких случаях система может удалить одну из ссылок, что приводит к ошибкам при оценке запроса. Это исправляет проекты этих ссылок, чтобы обеспечить оценку запросов. Это изменение управляется параметром spark.databricks.optimizer.collapseWindows.projectReferences
конфигурации Spark, который устанавливается true
по умолчанию. Чтобы отключить это изменение, установите значение spark.databricks.optimizer.collapseWindows.projectReferences
false
.
Обновления библиотек
- Обновленные библиотеки Python:
- блокировка файлов с 3.13.1 до 3.13.4
- Обновленные библиотеки R:
- Обновленные библиотеки Java:
- org.rocksdb.rocksdbjni с 8.3.2 до 8.11.4
Apache Spark
Databricks Runtime 15.3 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 15.2, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-48288] [SC-166141] Добавление типа исходных данных для выражения приведения соединителя
- [SPARK-48175] [SC-166341] [SQL] [PYTHON] Хранение сведений о сортировке в метаданных, а не в типе SER/DE
- [SPARK-48172] [SC-166078] [SQL] Устранение проблем с устранением неполадок в JDBCDialects
- [SPARK-48186] [SC-165544] [SQL] Добавление поддержки AbstractMapType
- [SPARK-48031] [SC-166523] Дед устаревших представлений в SCHEMA BINDING
- [SPARK-48369] [SC-166566] [SQL] [PYTHON] [CONNECT] Добавление функции
timestamp_add
- [SPARK-48330] [SC-166458] [SS] [PYTHON] Исправлена проблема времени ожидания источника данных потоковой передачи Python для большого интервала триггера
- [SPARK-48369] Возврат "[SC-166494][SQL][PYTHON][CONNECT] Добавить функцию
timestamp_add
" - [SPARK-48336] [SC-166495] [PS] [CONNECT] Реализация
ps.sql
в Spark Connect - [SPARK-48369] [SC-166494] [SQL] [PYTHON] [CONNECT] Добавление функции
timestamp_add
- [SPARK-47354] [SC-165546] [SQL] Добавление поддержки сортировки для выражений вариантов
- [SPARK-48161] [SC-165325] [SQL] Исправлено исправление обратного pr- добавление поддержки сортировки для выражений JSON
- [SPARK-48031] [SC-166391] Decompose viewSchemaMode config, add SHOW CREATE TABLE support
- [SPARK-48268] [SC-166217] [CORE] Добавление конфигурации для SparkContext.setCheckpointDir
- [SPARK-48312] [ES-1076198] [SQL] Улучшение производительности Alias.removeNonInheritableMetadata
- [SPARK-48294] [SC-166205] [SQL] Обработка нижнего регистра в вложенныхTypeMissingElementTypeError
- [SPARK-47254] [SC-158847] [SQL] Назначение имен классам ошибок _LEGACY_ERROR_TEMP_325[1-9]
- [SPARK-47255] [SC-158749] [SQL] Назначение имен классам ошибок _LEGACY_ERROR_TEMP_323[6-7] и _LEGACY_ERROR_TEMP_324[7-9]
- [SPARK-48310] [SC-166239] [PYTHON] [CONNECT] Кэшированные свойства должны возвращать копии
- [SPARK-48308] [SC-166152] [Ядро] Объединение схемы получения данных без столбцов секционирования в FileSourceStrategy
- [SPARK-48301] [SC-166143] [SQL] Переименование
CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE
вCREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
- [SPARK-48287] [SC-166139] [PS] [CONNECT] Применение встроенного
timestamp_diff
метода - [SPARK-47607] [SC-166129] Добавление документации для структурированной платформы ведения журнала
- [SPARK-48297] [SC-166136] [SQL] Исправление предложения TRANSFORM регрессии с помощью char/varchar
- [SPARK-47045] [SC-156808] [SQL] Замена
IllegalArgumentException
наSparkIllegalArgumentException
sql/api
- [SPARK-46991] [SC-156399] [SQL] Замена
IllegalArgumentException
наSparkIllegalArgumentException
catalyst
- [SPARK-48031] [SC-165805] [SQL] Поддержка эволюции схемы представления
- [SPARK-48276] [SC-166116] [PYTHON] [CONNECT] Добавление отсутствующих
__repr__
методов дляSQLExpression
- [SPARK-48278] [SC-166071] [PYTHON] [CONNECT] Уточнение строкового представления
Cast
- [SPARK-48272] [SC-166069] [SQL] [PYTHON] [CONNECT] Добавление функции
timestamp_diff
- [SPARK-47798] [SC-162492] [SQL] Обогащение сообщения об ошибке для сбоев чтения десятичных значений
- [SPARK-47158] [SC-158078] [SQL] Назначьте правильное имя и
sqlState
_LEGACY_ERROR_TEMP_(2134|2231)
- [SPARK-48218] [SC-166082] [CORE] TransportClientFactory.createClient может вызвать FetchFailedException
- [SPARK-48277] [SC-166066] Улучшение сообщения об ошибке для ErrorClassesJsonReader.getErrorMessage
- [SPARK-47545] [SC-165444] [CONNECT] Поддержка набора
observe
данных для клиента Scala - [SPARK-43258] [SC-158151] [SQL] Назначение имен ошибкам _LEGACY_ERROR_TEMP_202[3,5]
- [SPARK-48267] [SC-165903] [SS] Регрессионный тест e2e с SPARK-47305
- [SPARK-48263] [SC-165925] Поддержка функции сортировки для строк, отличных от UTF8_BINARY
- [SPARK-48260] [SC-165883] [SQL] Отключение координации фиксации выходных данных в одном тесте ParquetIOSuite
- [SPARK-47834] [SC-165645] [SQL] [CONNECT] Пометка устаревших функций с помощью
@deprecated
inSQLImplicits
- [SPARK-48011] [SC-164061] [Ядро] Сохранить имя LogKey в качестве значения, чтобы избежать создания новых экземпляров строк
- [SPARK-48074] [SC-164647] [Ядро] Повышение удобочитаемости журналов JSON
- [SPARK-44953] [SC-165866] [CORE] Журнал предупреждения при включении отслеживания перетасовки рядом с другим поддерживаемым механизмом DA
- [SPARK-48266] [SC-165897] [CONNECT] Перемещение объекта
org.apache.spark.sql.connect.dsl
пакета в тестовый каталог - [SPARK-47847] [SC-165651] [CORE] Возражать
spark.network.remoteReadNioBufferConversion
- [SPARK-48171] [SC-165178] [CORE] Очистка использования устаревших конструкторов
o.rocksdb.Logger
- [SPARK-48235] [SC-165669] [SQL] Непосредственно передайте соединение вместо всех аргументов, чтобы получитьBroadcastBuildSide и getShuffleHashJoinBuildSide
- [SPARK-48224] [SC-165648] [SQL] Запретить использование ключей карты от типа variant
- [SPARK-48248] [SC-165791] [PYTHON] Исправление вложенного массива для уважения устаревшего conf объекта inferArrayTypeFromFirstElement
- [SPARK-47409] [SC-165568] [SQL] Добавление поддержки сортировки для типа StringTrim функций и выражений (для UTF8_BINARY и LCASE)
- [SPARK-48143] [ES-1095638] [SQL] Использование упрощенных исключений для потока управления между UnivocityParser и FailureSafeParser
- [SPARK-48146] [SC-165668] [SQL] Исправлена агрегатная функция в дочернем утверждении выражения
- [SPARK-48161] Возврат "[SC-165325][SQL] Добавление поддержки сортировки для выражений JSON"
- [SPARK-47963] [CORE] Создание внешней экосистемы Spark может использовать структурированные механизмы ведения журнала
- [SPARK-48180] [SC-165632] [SQL] Улучшение ошибки при вызове UDTF с помощью arg TABLE забывает круглые скобки вокруг нескольких exprs PARTITION/ORDER BY
- [SPARK-48002] [SC-164132] [PYTHON] [SS] Добавление теста для наблюдаемых метрик в PySpark StreamingQueryListener
- [SPARK-47421] [SC-165548] [SQL] Добавление поддержки сортировки для выражений URL-адресов
- [SPARK-48161] [SC-165325] [SQL] Добавление поддержки сортировки для выражений JSON
- [SPARK-47359] [SC-164328] [SQL] Поддержка функции TRANSLATE для работы с сортировкой строк
- [SPARK-47365] [SC-165643] [PYTHON] Добавление метода dataFrame в PySpark в метод DataFrame () to PySpark
- [SPARK-48228] [SC-165649] [PYTHON] [CONNECT] Реализация проверки отсутствующих функций в ApplyInXXXX
- [SPARK-47986] [SC-165549] [CONNECT] [PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
- [SPARK-47963] Возврат "[CORE] Сделать внешнюю экосистему Spark может использовать структурированные механизмы ведения журнала "
- [SPARK-47963] [CORE] Создание внешней экосистемы Spark может использовать структурированные механизмы ведения журнала
- [SPARK-48208] [SC-165547] [SS] Пропустить предоставление метрик использования памяти из RocksDB, если включена ограниченная загрузка памяти
- [SPARK-47566] [SC-164314] [SQL] Поддержка функции SubstringIndex для работы с сортировкой строк
- [SPARK-47589] [SC-162127] [SQL] Hive-Thriftserver: миграция logError с переменными в структурированную платформу ведения журнала
- [SPARK-48205] [SC-165501] [PYTHON] Удаление модификатора private[sql] для источников данных Python
- [SPARK-48173] [SC-165181] [SQL] CheckAnalysis должен видеть весь план запроса
- [SPARK-48197] [SC-165520] [SQL] Избегайте ошибки утверждения для недопустимой лямбда-функции
- [SPARK-47318] [SC-162573] [CORE] Добавляет раунд HKDF в производное ключ AuthEngine для выполнения стандартных методик KEX
- [SPARK-48184] [SC-165335] [PYTHON] [CONNECT] Всегда задавать начальное значение
Dataframe.sample
на стороне клиента - [SPARK-48128] [SC-165004] [SQL] Для выражения BitwiseCount / bit_count исправлена ошибка синтаксиса кодегена для входных данных логического типа
- [SPARK-48147] [SC-165144] [SS] [CONNECT] Удаление прослушивателей на стороне клиента при удалении локального сеанса Spark
- [SPARK-48045] [SC-165299] [PYTHON] Api Pandas groupby с несколькими agg-relabel игнорирует as_index=False
- [SPARK-48191] [SC-165323] [SQL] Поддержка кодировки и декодирования строк UTF-32
- [SPARK-45352] [SC-137627] [SQL] Устранение свертываемых секций окна
- [SPARK-47297] [SC-165179] [SQL] Добавление поддержки сортировки для выражений форматирования
- [SPARK-47267] [SC-165170] [SQL] Добавление поддержки сортировки для хэш-выражений
- [SPARK-47965] [SC-163822] [CORE] Избегайте orNull в TypedConfigBuilder и OptionalConfigEntry
- [SPARK-48166] [SQL] Избегайте использования BadRecordException в качестве ошибки с пользователем в VariantExpressionEvalUtils
- [SPARK-48105] [SC-165132] [SS] Исправление состояния гонки между выгрузками и моментальными снимками хранилища состояний
- [SPARK-47922] [SC-163997] [SQL] Реализация выражения try_parse_json
- [SPARK-47719] [SC-161909] [SQL] Изменение spark.sql.legacy.timeParse...
- [SPARK-48035] [SC-165136] [SQL] Исправление try_add/try_multiply семантики для добавления и умножения
- [SPARK-48107] [SC-164878] [PYTHON] Исключение тестов из дистрибутива Python
- [SPARK-46894] [SC-164447] [PYTHON] Перемещение условий ошибок PySpark в автономный JSON-файл
- [SPARK-47583] [SC-163825] [CORE] SQL Core: перенос logError с переменными в структурированную платформу ведения журнала
- [SPARK-48064] Возврат "[SC-164697][SQL] Обновление сообщений об ошибках для стандартных связанных классов ошибок"
- [SPARK-48048] [SC-164846] [CONNECT] [SS] Добавлена поддержка прослушивателя на стороне клиента для Scala
- [SPARK-48064] [SC-164697] [SQL] Обновление сообщений об ошибках для стандартных связанных классов ошибок
- [SPARK-48056] [SC-164715] [CONNECT] [PYTHON] Повторный запуск плана, если возникает ошибка SESSION_NOT_FOUND, и не было получено частичного ответа
- [SPARK-48124] [SC-165009] [CORE] Отключение структурированного ведения журнала для Connect-Repl по умолчанию
- [SPARK-47922] Возврат "[SC-163997][SQL] Реализация выражения try_parse_json"
- [SPARK-48065] [SC-164817] [SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys является слишком строгим
- [SPARK-48114] [SC-164956] [CORE] Повторная компиляция шаблона, чтобы избежать ненужных работ
- [SPARK-48067] [SC-164773] [SQL] Исправление столбцов по умолчанию по умолчанию
- [SPARK-47922] [SC-163997] [SQL] Реализация выражения try_parse_json
- [SPARK-48075] [SC-164709] [SS] Добавление проверки типов для функций PySpark avro
- [SPARK-47793] [SC-164324] [SS] [PYTHON] Реализация SimpleDataSourceStreamReader для источника данных потоковой передачи Python
- [SPARK-48081] [SC-164719] Исправление ClassCastException в NTile.checkInputDataTypes(), если аргумент не является свертываемым или неправильным типом
- [SPARK-48102] [SC-164853] [SS] Отслеживание длительности получения метрик источника и приемника при выполнении потокового запроса
- [SPARK-47671] [SC-164854] [Ядро] Включение структурированного ведения журнала в log4j2.properties.template и документация по обновлению
- [SPARK-47904] [SC-163409] [SQL] Сохранение регистра в схеме Avro при использовании enableStableIdentifiersForUnionType
- [SPARK-48058] [SC-164695] [SPARK-43727] [PYTHON] [CONNECT]
UserDefinedFunction.returnType
анализ строки DDL - [SPARK-46922] [SC-156102] [CORE] [SQL] Не упаковывать ошибки среды выполнения, связанные с пользователем
- [SPARK-48047] [SC-164576] [SQL] Уменьшение нагрузки на память пустых тегов TreeNode
- [SPARK-47934] [SC-164648] [CORE] Убедитесь, что конечные косые черты в
HistoryServer
перенаправлениях URL-адресов - [SPARK-47921] [SC-163826] [CONNECT] Исправление создания ExecuteJobTag в ExecuteHolder
- [SPARK-48014] [SC-164150] [SQL] Измените ошибку makeFromJava в EvaluatePython на ошибку с пользователем
- [SPARK-47903] [SC-163424] [PYTHON] Добавление поддержки оставшихся скалярных типов в библиотеке Variant PySpark
- [SPARK-48068] [SC-164579] [PYTHON]
mypy
должен иметь--python-executable
параметр - [SPARK-47846] [SC-163074] [SQL] Добавление поддержки типа Variant в выражении from_json
- [SPARK-48050] [SC-164322] [SS] Логический план журнала при запуске запроса
- [SPARK-47810] [SC-163076] [SQL] Заменить эквивалентное выражение <=> в условии соединения
- [SPARK-47741] [SC-164290] Добавлена обработка переполнения стека в средстве синтаксического анализа
- [SPARK-48053] [SC-164309] [PYTHON] [CONNECT] SparkSession.createDataFrame должен предупреждать о неподдерживаемых параметрах
- [SPARK-47939] [SC-164171] [SQL] Реализация нового правила анализатора для перемещения ParameterizedQuery в ExplainCommand и DescribeQueryCommand
- [SPARK-48063] [SC-164432] [CORE] Включить
spark.stage.ignoreDecommissionFetchFailure
по умолчанию - [SPARK-48016] [SC-164280] [SQL] Исправлена ошибка в функции try_divide при использовании десятичных разрядов
- [SPARK-48033] [SC-164291] [SQL] Исправление
RuntimeReplaceable
выражений, используемых в столбцах по умолчанию - [SPARK-48010] [SC-164051] [SQL] [ES-1109148] Избегайте повторных вызовов conf.resolver в resolveExpression
- [SPARK-48003] [SC-164323] [SQL] Добавление поддержки сортировки для статистической обработки эскизов hll
- [SPARK-47994] [SC-164175] [SQL] Исправлена ошибка с помощью фильтра столбцов CASE WHEN в SQLServer
- [SPARK-47984] [SC-163837] [ML] [SQL] Изменение
MetricsAggregate/V2Aggregator#serialize/deserialize
вызоваSparkSerDeUtils#serialize/deserialize
- [SPARK-48042] [SC-164202] [SQL] Используйте форматировщик меток времени с часовыми поясами на уровне класса вместо копирования на уровне метода
- [SPARK-47596] [SPARK-47600] [SPARK-47604] [SPARK-47804] Миграции структурированных журналов
- [SPARK-47594] [SPARK-47590] [SPARK-47588] [SPARK-47584] Миграции структурированных журналов
- [SPARK-47567] [SC-164172] [SQL] Поддержка функции LOCATE для работы с сортировкой строк
- [SPARK-47764] [SC-163820] [CORE] [SQL] Очистка зависимостей перетасовки на основе ShuffleCleanupMode
- [SPARK-48039] [SC-164174] [PYTHON] [CONNECT] Обновление класса ошибок для
group.apply
- [SPARK-47414] [SC-163831] [SQL] Поддержка сортировки строчных регистров для выражений regexp
- [SPARK-47418] [SC-163818] [SQL] Добавление рукописных реализаций для содержащихся в нижнем регистре юникодов, запусков и окончанийWith и оптимизации UTF8_BINARY_LCASE
- [SPARK-47580] [SC-163834] [SQL] Катализатор SQL: устранение неименованных переменных в журналах ошибок
- [SPARK-47351] [SC-164008] [SQL] Добавление поддержки сортировки для строковых выражений StringToMap и Маски
- [SPARK-47292] [SC-164151] [SS] safeMapToJValue должен учитывать значения типа NULL
- [SPARK-47476] [SC-164014] [SQL] Поддержка функции REPLACE для работы с сортировкой строк
- [SPARK-47408] [SC-164104] [SQL] Исправление математических выражений, использующих StringType
- [SPARK-47350] [SC-164006] [SQL] Добавление поддержки сортировки для выражения строки SplitPart
- [SPARK-47692] [SC-163819] [SQL] Исправление значения StringType по умолчанию при неявном приведение
- [SPARK-47094] [SC-161957] [SQL] SPJ: динамическое перебалансирование количества контейнеров, если они не равны
- [SPARK-48001] [SC-164000] [CORE] Удаление неиспользуемого
private implicit def arrayToArrayWritable
изSparkContext
- [SPARK-47986] [SC-163999] [CONNECT] [PYTHON] Не удается создать новый сеанс при закрытии сеанса по умолчанию сервером
- [SPARK-48019] [SC-164121] Исправлено неправильное поведение в ColumnVector/ColumnarArray с помощью словаря и null
- [SPARK-47743] [SPARK-47592] [SPARK-47589] [SPARK-47581] [SPARK-47586] [SPARK-47593] [SPARK-47595] [SPARK-47587] [SPARK-47603] Миграции структурированных журналов
- [SPARK-47999] [SC-163998] [SS] Улучшение ведения журнала вокруг создания моментального снимка и добавления и удаления записей из карты кэша состояний в HDFS в поставщике хранилища состояний в HDFS
- [SPARK-47417] [SC-162872] [SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Предложения
- [SPARK-47712] [SC-161871] [CONNECT] Разрешить подключать подключаемые модули для создания и обработки наборов данных
- [SPARK-47411] [SC-163351] [SQL] Поддержка функций StringInstr и FindInSet для работы с сортировкой строк
- [SPARK-47360] [SC-163014] [SQL] Поддержка сортировки: Overlay, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
- [SPARK-47413] [SC-163323] [SQL] — добавление поддержки в подстроку/слева/вправо для параметров сортировки
- [SPARK-47983] [SC-163835] [SQL] Demote spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled to internal
- [SPARK-47964] [SC-163816] [PYTHON] [CONNECT] Скрытие SQLContext и HiveContext в pyspark-connect
- [SPARK-47985] [SC-163841] [PYTHON] Упрощение функций с помощью
lit
- [SPARK-47633] [SC-163453] [SQL] Включение выходных данных плана правой стороны для
LateralJoin#allAttributes
более согласованной канонизации - [SPARK-47909] Возврат "[PYTHON][CONNECT] Родительский класс DataFrame f...
- [SPARK-47767] [SC-163096] [SQL] Отображение значения смещения в TakeOrderedAndProjectExec
- [SPARK-47822] [SC-162968] [SQL] Запрет хэш-выражений хэширования типа данных Variant
- [SPARK-47490] [SC-160494] [SS] Исправление конструктора ведения журнала RocksDB, чтобы избежать предупреждения об отказе
- [SPARK-47417] Вернуть значение "[SC-162872][SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
- [SPARK-47352] [SC-163460] [SQL] Исправление параметров верхнего, нижнего, параметров сортировки InitCap
- [SPARK-47909] [PYTHON] [CONNECT] Родительский класс DataFrame для Spark Connect и Классической модели Spark
- [SPARK-47417] [SC-162872] [SQL] Поддержка сортировки: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Предложения
Поддержка драйвера ODBC/JDBC Databricks
Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).
Системная среда
- Операционная система: Ubuntu 22.04.4 LTS
- Java: Zulu 8.78.0.19-CA-linux64
- Scala: 2.12.18
- Python: 3.11.0
- R: 4.3.2
- Delta Lake: 3.2.0
Установленные библиотеки Python
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
щелчок | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
контурная диаграмма | 1.0.5 | криптография | 41.0.3 | cycler | 0.11.0 |
Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
entrypoints | 0,4 | executing | 0.8.3 | facets-overview | 1.1.1 |
filelock | 3.13.4 | шрифтовые инструменты | 4.25.0 | gitdb | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.29.0 |
google-cloud-core | 2.4.1 | google-cloud-storage | 2.16.0 | google-crc32c | 1.5.0 |
google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3,4 |
importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | нажатие клавиш | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.3 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | во внешнем виде | 23,2 |
pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
график | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.23.0 |
protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
pytz | 2022.7 | PyYAML | 6,0 | pyzmq | 23.2.0 |
requests | 2.31.0 | rsa | 4,9 | s3transfer | 0.10.1 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | мореборн | 0.12.2 |
SecretStorage | 3.3.1 | setuptools | 68.0.0 | six | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5,11 |
stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
ujson | 5.4.0 | unattended-upgrades | 0,1 | urllib3 | 1.26.16 |
virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
wheel | 0.38.4 | zipp | 3.11.0 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN.
Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
---|---|---|---|---|---|
Стрелка | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
внутренние порты | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-7 | большой двоичный объект | 1.2.4 | загрузка | 1.3-28 |
заваривать | 1.0-10 | brio | 1.1.4 | метла | 1.0.5 |
bslib | 0.6.1 | cachem | 1.0.8 | вызывающий объект | 3.7.3 |
крышка | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
class | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
colorspace | 2.1-0 | commonmark | 1.9.1 | компилятор | 4.3.2 |
config | 0.3.2 | Противоречие | 1.2.0 | cpp11 | 0.4.7 |
карандаш | 1.5.2 | учетные данные | 2.0.1 | curl | 5.2.0 |
data.table | 1.15.0 | наборы данных | 4.3.2 | DBI | 1.2.1 |
dbplyr | 2.4.0 | desc | 1.4.3 | средства разработки | 2.4.5 |
Схема | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | многоточие | 0.3.2 | evaluate | 0,23 |
вентиляторы | 1.0.6 | Farver | 2.1.1 | fastmap | 1.1.1 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
иностранный | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
будущее | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
Универсальные шаблоны | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.2 | клей | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Говер | 1.0.1 |
графика | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
gridExtra | 2.3 | gsubfn | 0,7 | gt | 0.10.1 |
gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
высокий | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
ipred | 0.9-14 | isoband | 0.2.7 | Итераторы | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
KernSmooth | 2.23-21 | трикотажный | 1,45 | маркирование | 0.4.3 |
later | 1.3.2 | решётка | 0.21-8 | Lava | 1.7.3 |
жизненный цикл | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | Markdown | 1.12 | МАССАЧУСЕТС | 7.3-60 |
«Матрица» | 1.5-4.1 | memoise | 2.0.1 | оплаты | 4.3.2 |
mgcv | 1.8-42 | мим | 0,12 | miniUI | 0.1.1.1 |
mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
parallelly | 1.36.0 | столб | 1.9.0 | pkgbuild | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
plogr | 0.2.0 | plyr | 1.8.9 | хвалить | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
prodlim | 2023.08.28 | profvis | 0.3.8 | Ход выполнения | 1.2.3 |
progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
ReactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
Рецепты | 1.0.9 | реванш | 2.0.0 | rematch2 | 2.1.2 |
remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
rlang | 1.1.3 | rmarkdown | 2,25 | RODBC | 1.3-23 |
roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
весы | 1.3.0 | селектор | 0.4-2 | sessioninfo | 1.2.2 |
форма | 1.4.6 | блестящий | 1.8.0 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.4 | пространственный | 7.3-15 | Сплайны | 4.3.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
статистика4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
выживание | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
TimeDate | 4032.109 | tinytex | 0,49 | средства | 4.3.2 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
utf8 | 1.2.4 | служебные программы | 4.3.2 | uuid | 1.2-0 |
V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
vroom | 1.6.5 | waldo | 0.5.2 | усы | 0.4.1 |
withr | 3.0.0 | xfun | 0,41 | xml2 | 1.3.6 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
zeallot | 0.1.0 | zip | 2.3.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
ИД группы | Идентификатор артефакта | Версия |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonaws | aws-java-sdk-config | 1.12.610 |
com.amazonaws | aws-java-sdk-core | 1.12.610 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
com.amazonaws | aws-java-sdk-directory | 1.12.610 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
com.amazonaws | aws-java-sdk-efs | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
com.amazonaws | aws-java-sdk-emr | 1.12.610 |
com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
com.amazonaws | aws-java-sdk-glue | 1.12.610 |
com.amazonaws | aws-java-sdk-iam | 1.12.610 |
com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
com.amazonaws | aws-java-sdk-kms | 1.12.610 |
com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
com.amazonaws | aws-java-sdk-logs | 1.12.610 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
com.amazonaws | aws-java-sdk-rds | 1.12.610 |
com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
com.amazonaws | aws-java-sdk-ses | 1.12.610 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
com.amazonaws | aws-java-sdk-sns | 1.12.610 |
com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonaws | aws-java-sdk-sts | 1.12.610 |
com.amazonaws | aws-java-sdk-support | 1.12.610 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
com.amazonaws | jmespath-java | 1.12.610 |
com.clearspring.analytics | потоковая передача | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.17.1 |
com.databricks | jets3t | 0.7.1–0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | джексон-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15,0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | профилировщик | 1.1.1 |
com.ibm.icu | icu4j | 72.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.25 |
io.delta | delta-sharing-client_2.12 | 1.0.5 |
io.dropwizard.metrics | метрики-заметки | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.96.Final |
io.netty | netty-buffer | 4.1.96.Final |
io.netty | netty-codec | 4.1.96.Final |
io.netty | netty-codec-http | 4.1.96.Final |
io.netty | netty-codec-http2 | 4.1.96.Final |
io.netty | netty-codec-socks | 4.1.96.Final |
io.netty | netty-common | 4.1.96.Final |
io.netty | netty-handler | 4.1.96.Final |
io.netty | netty-handler-proxy | 4.1.96.Final |
io.netty | netty-resolver | 4.1.96.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.96.Final |
io.netty | netty-transport-classes-epoll | 4.1.96.Final |
io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.96.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | коллектор | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1,1 |
javax.transaction | transaction-api | 1,1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1,3 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | arrow-format | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | arrow-vector | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4. |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-шейд-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-шейд-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4,23 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-collections | 11.1.0 |
org.eclipse.collections | Eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | shims | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 8.11.4 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | Scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1,9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
Обратная связь
https://aka.ms/ContentUserFeedback.
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделеОтправить и просмотреть отзыв по