Среда выполнения 1.2

  • Статья

Среда выполнения Microsoft Fabric — это интегрированная с Azure платформа, основанная на Apache Spark, которая обеспечивает выполнение и управление проектированием и обработкой и анализом данных. В этом документе рассматриваются компоненты и версии среды выполнения 1.2.

Среда выполнения Microsoft Fabric 1.2 — это последняя версия среды выполнения общедоступной версии. К основным компонентам среды выполнения 1.2 относятся:

  • Apache Spark 3.4.1
  • Операционная система: Маринр 2.0
  • Java: 11.
  • Scala: 2.12.17
  • Python: 3.10
  • Delta Lake: 2.4.0
  • R: 4.2.2

Screenshot showing where to select runtime version.

Среда выполнения Microsoft Fabric 1.2 поставляется с коллекцией пакетов уровня по умолчанию, включая полную установку Anaconda и часто используемые библиотеки для Java/Scala, Python и R. Эти библиотеки автоматически включаются при использовании записных книжек или заданий на платформе Microsoft Fabric. Ознакомьтесь с документацией по полному списку библиотек. Microsoft Fabric периодически развертывает обновления обслуживания для среды выполнения 1.2, предоставляя исправления ошибок, улучшения производительности и исправления безопасности. Обеспечение оптимальной производительности и надежности для задач обработки данных.

Новые функции и улучшения Spark версии 3.4.1

Apache Spark 3.4.0 — пятый выпуск в строке 3.x. Этот выпуск, управляемый сообществом с открытым исходным кодом, разрешил более 2600 билетов Jira. Он представляет клиент Python для Spark Подключение, улучшает структурированную потоковую передачу с помощью асинхронного отслеживания хода выполнения и обработки состояния Python. Он расширяет охват API Pandas с поддержкой входных данных NumPy, упрощает миграцию из традиционных хранилищ данных с помощью соответствия ANSI и новых встроенных функций. Она также повышает производительность разработки и отладку с помощью профилирования памяти. Кроме того, среда выполнения 1.2 основана на Apache Spark 3.4.1, выпуск обслуживания, ориентированный на исправления стабильности.

Ключевые моменты

  • Реализация поддержки значений DEFAULT для столбцов в таблицах (SPARK-38334)
  • Поддержка типа данных TIMESTAMP БЕЗ TIMEZONE (SPARK-35662)
  • Поддержка ссылок на псевдонимы бокового столбца (SPARK-27561)
  • Жесткое использование SQLSTATE для классов ошибок (SPARK-41994)
  • Включение соединений фильтров Блум по умолчанию (SPARK-38841)
  • Улучшена масштабируемость пользовательского интерфейса Spark и стабильность драйвера для крупных приложений (SPARK-41053)
  • Асинхронное отслеживание хода выполнения в структурированной потоковой передаче (SPARK-39591)
  • Произвольное отслеживание состояния Python в структурированной потоковой передаче (SPARK-40434)
  • Улучшения охвата API Pandas (SPARK-42882) и поддержки входных данных NumPy в PySpark (SPARK-39405)
  • Предоставьте профилировщик памяти для определяемых пользователем функций PySpark (SPARK-40281)
  • Реализация распространителя PyTorch (SPARK-41589)
  • Публикация артефактов SBOM (счета за программное обеспечение) (SPARK-41893)
  • Реализация поддержки значений DEFAULT для столбцов в таблицах (SPARK-38334)
  • Поддержка параметризованного SQL (SPARK-41271, SPARK-42702)
  • Реализация поддержки значений DEFAULT для столбцов в таблицах (SPARK-38334)
  • Добавление Dataset.as(StructType) (SPARK-39625)
  • Поддержка параметризованного SQL (SPARK-41271, SPARK-42702)
  • Добавление unpivot/melt (SPARK-38864, SPARK-39876)
  • Поддержка ссылок на псевдонимы бокового столбца (SPARK-27561)
  • Предложение смещения результатов поддержки (SPARK-28330, SPARK-39159)
  • Поддержка метки времени без типа данных часового пояса (SPARK-35662)
  • Поддержка скалярных вложенных запросов во время перемещения (SPARK-39306)
  • Сделать API каталога совместимым с пространством имен 3 уровня (SPARK-39235)
  • Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных (SPARK-39633)
  • Добавление SparkSession.config(Map) (SPARK-40163)
  • Поддержка изменения базы данных каталога сеансов по умолчанию (SPARK-35242)
  • Поддержка Protobuf для Spark — from_protobuf AND to_protobuf (SPARK-40654)
  • Добавление предложения WHEN NOT MATCHED BY SOURCE в MERGE INTO (SPARK-40921)
  • Ограничение на упорядочение для параметров столбца CREATE TABLE (SPARK-409444)
  • Эквивалент SQL для команды перезаписи кадра данных (SPARK-40956)
  • Поддержка создания без необходимых дочерних выходных данных для размещения внешних ссылок (SPARK-41441)
  • ORDER BY ALL (SPARK-41637)
  • GROUP BY ALL (SPARK-41635)
  • Добавление flatMapSortedGroups и cogroupSorted (SPARK-38591)
  • Поддержка вложенных запросов с соответствующими предикатами неравенства (SPARK-36114)
  • Поддержка вложенных запросов с корреляцией через UNION/INTERSECT/EXCEPT (SPARK-36124)
  • Исправлена ошибка OOM не может быть сообщена, когда AQE (адаптивное выполнение запросов) в (SPARK-42290)
  • Исправьте логику обрезки, не обрабатывая символы управления ASCII правильно (SPARK-44383)
  • Dataframe.joinWith внешнего соединения должен возвращать значение NULL для несовпадной строки (SPARK-37829)
  • Используйте utils, чтобы получить переключатель для динамического выделения, используемого в локальной проверка point (SPARK-42421)
  • Добавление CapturedException в utils (SPARK-42078)
  • Поддержка SELECT DEFAULT с ORDER BY, LIMIT, OFFSET for INSERT source relation (SPARK-43071)
  • Клиент Python для Spark Подключение (SPARK-39375)

Ознакомьтесь с полной версией заметок о выпуске для конкретной версии Apache Spark, посещая spark 3.4.0 и Spark 3.4.1.

Новые оптимизации пользовательских запросов

Поддержка параллельных операций записи в Spark

При выполнении параллельных вставок данных в ту же таблицу с помощью запроса SQL INSERT INTO возникает ошибка 404 с сообщением "Сбой операции: указанный путь не существует". Эта ошибка может привести к потере данных. Наша новая функция, алгоритм фиксации выходных данных файлов, устраняет эту проблему, позволяя клиентам легко выполнять вставку параллельных данных.

Чтобы получить доступ к этой функции, включите spark.sql.enable.concurrentWrites флаг компонента, который включен по умолчанию начиная с среды выполнения 1.2 (Spark 3.4). Хотя эта функция также доступна в других версиях Spark 3, она не включена по умолчанию. Эта функция не поддерживает параллельное выполнение запросов INSERT OVERWRITE, в которых каждое параллельное задание перезаписывает данные в разных секциях одной таблицы динамически. Для этого Spark предлагает альтернативную функцию, которую можно активировать, настроив параметр для динамического spark.sql.sources.partitionOverwriteMode.

Интеллектуальные операции чтения, пропускающие файлы из неудачных заданий

В текущей системе фиксации Spark при сбое вставки в задание таблицы, но некоторые задачи завершаются успешно, файлы, созданные успешными задачами, сосуществуют с файлами из неудачного задания. Это сосуществование может привести к путанице для пользователей, так как становится сложно различать файлы, принадлежащие к успешным и неудачным заданиям. Кроме того, когда одно задание считывает из таблицы, а другое одновременно вставляет данные в ту же таблицу, задание чтения может получить доступ к незафиксированным данным. Если задание записи завершается ошибкой, задание чтения может обрабатывать неправильные данные.

Флаг spark.sql.auto.cleanup.enabled управляет нашей новой функцией, устраняя эту проблему. При включении Spark автоматически пропускает чтение файлов, которые не были зафиксированы при выполнении spark.read или выборе запросов из таблицы. Файлы, записанные перед включением этой функции, продолжают читаться как обычно.

Ниже приведены видимые изменения:

  • Теперь все файлы содержат tid-{jobID} идентификатор в именах файлов.
  • Вместо маркера _success , который обычно создается в выходном расположении после успешного завершения задания, создается новый _committed_{jobID} маркер. Этот маркер связывает идентификаторы успешного задания с определенными именами файлов.
  • Мы представили новую команду SQL, которую пользователи могут периодически запускать для управления хранилищем и очистки незафиксированных файлов. Синтаксис для этой команды выглядит следующим образом:
    • Чтобы очистить определенный каталог, выполните указанные действия. CLEANUP ('/path/to/dir') [RETAIN number HOURS];
    • Чтобы очистить определенную таблицу: CLEANUP [db_name.]table_name [RETAIN number HOURS]; в этом синтаксисе представляет URI расположения, path/to/dir где требуется очистка, и number является значением двойного типа, представляющего период хранения. Срок хранения по умолчанию — семь дней.
  • Мы ввели новый параметр spark.sql.deleteUncommittedFilesWhileListingконфигурации, который по умолчанию задан false . Включение этого параметра приводит к автоматическому удалению незафиксированных файлов во время чтения, но этот сценарий может замедлить операции чтения. Рекомендуется вручную запустить команду очистки, если кластер неактивен, а не включить этот флаг.

Руководство по миграции из runtime 1.1 в Runtime 1.2

При миграции из среды выполнения 1.1, на базе Apache Spark 3.3, в среду выполнения 1.2, на базе Apache Spark 3.4, ознакомьтесь с официальным руководством по миграции. Ниже приведены основные моменты.

Основные сведения

  • Так как Spark 3.4 драйвер Spark владеет PersistentVolumnClaimи пытается повторно использовать, если они не назначены динамическим исполнителям. Чтобы восстановить поведение до Spark 3.4, можно задать значение false и spark.kubernetes.driver.reusePersistentVolumeClaim значение spark.kubernetes.driver.ownPersistentVolumeClaimfalse.
  • Так как Spark 3.4 драйвер Spark отслеживает данные перетасовки, если динамическое выделение включено без перетасовки службы. Чтобы восстановить поведение до Spark 3.4, можно задать значение spark.dynamicAllocation.shuffleTracking.enabledfalse.
  • Так как Spark 3.4 пытается вывести кэшированный RDD (устойчивый распределенный набор данных) и перетасовать блоки, если оба spark.decommission.enabled и spark.storage.decommission.enabled имеют значение true. Чтобы восстановить поведение до Spark 3.4, можно задать как, так spark.storage.decommission.rddBlocks.enabled и spark.storage.decommission.shuffleBlocks.enabledfalseдля .
  • Так как Spark 3.4, Spark использует хранилище RocksDB, если spark.history.store.hybridStore.enabled значение true. Чтобы восстановить поведение до Spark 3.4, можно задать значение spark.history.store.hybridStore.diskBackendLEVELDB.

PySpark

  • В Spark 3.4 схема столбца массива выводится путем объединения схем всех элементов в массиве. Чтобы восстановить предыдущее поведение, в котором схема выводится только из первого элемента, можно задать значение spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabledtrue.
  • В Spark 3.4 при использовании Pandas в API Groupby.applySpark, если возвращаемый тип func параметра не указан и compute.shortcut_limit имеет значение 0, число строк выборки автоматически присваивается 2. Эта корректировка гарантирует наличие по крайней мере двух строк выборки для обеспечения точного вывода схемы.
  • В Spark 3.4, если Pandas в API Index.insert Spark выходит за рамки, он вызывает IndexError с index {} is out of bounds for axis 0 with size {} последующим поведением pandas 1.4.
  • В Spark 3.4 имя серии сохраняется в Pandas в API Series.mode Spark для выравнивания с поведением pandas 1.4.
  • В Spark 3.4 тип Pandas в API Index.__setitem__ Spark сначала проверка s value является Column типом, чтобы избежать непредвиденного ValueError вызова столбца в is_list_like логический столбец: используйте "&" для "and", "|" для "или", "~" для "не" при создании логических выражений кадра данных.
  • В Spark 3.4 api Pandas в Spark astype('category') также обновляется categories.dtype в соответствии с исходными данными dtype , чтобы следовать поведению pandas 1.4.
  • В Spark 3.4 api Pandas в Spark поддерживает группирование путем позиционного индексирования и GroupBy.headGroupBy.tail выполнения pandas 1.4. Отрицательные аргументы теперь работают правильно и приводят к диапазонам относительно конца и начала каждой группы. Ранее отрицательные аргументы возвращали пустые кадры.
  • В Spark 3.4 процесс groupby.apply вывода схемы в Pandas в Spark сначала выведет тип pandas, чтобы обеспечить точность панды dtype как можно больше.
  • В Spark 3.4 Series.concat параметр сортировки учитывается для выполнения поведения pandas 1.4.
  • В Spark 3.4 DataFrame.__setitem__ выполняется копирование и замена существующих массивов, которые не будут перезаписаны для выполнения поведения pandas 1.4.
  • В Spark 3.4 SparkSession.sql и Pandas в API sql Spark получили новый параметр args, который обеспечивает привязку именованных параметров к их литералам SQL.
  • В Spark 3.4 API Pandas в Spark следует за pandas 2.0, а некоторые API были устарели или удалены в Spark 3.4 в соответствии с изменениями, внесенными в pandas 2.0. Дополнительные сведения см. в [заметках о выпуске pandas](https://pandas.pydata.org/docs/dev/whatsnew/).

SQL, наборы данных и кадры данных

  • Так как Spark 3.4 команды INSERT INTO с явным списком столбцов, содержащим меньше столбцов, чем целевая таблица, автоматически добавляет соответствующие значения по умолчанию для оставшихся столбцов (или NULL для любого столбца, который не имеет явно назначенного значения по умолчанию). В Spark 3.3 или более ранней версии эти команды завершаются ошибкой, возвращая ошибки, сообщающие о том, что количество предоставленных столбцов не соответствует количеству столбцов в целевой таблице. Отключение spark.sql.defaultColumn.useNullsForMissingDefaultValues восстановления предыдущего поведения.
  • Так как Spark 3.4, Number или Number(*) из Teradata рассматривается как Десятичная(38,18). В Spark 3.3 или более ранней версии число или число(*) из Teradata обрабатывается как Десятичная(38, 0), в этом случае дробная часть удаляется.
  • Так как Spark 3.4, база данных версии 1, таблица, постоянное представление и идентификатор функции включают "spark_catalog" в качестве имени каталога, если база данных определена, например идентификатор таблицы: spark_catalog.default.t Чтобы восстановить устаревшее поведение, установите значение spark.sql.legacy.v1IdentifierNoCatalogtrue.
  • Так как Spark 3.4, когда включен режим ANSI SQL (конфигурация), spark SQL всегда возвращает результат NULL при получении значения карты spark.sql.ansi.enabledс неисследующим ключом. В Spark 3.3 или более ранней версии возникает ошибка.
  • Так как Spark 3.4 интерфейс командной строки spark-sql SQL не выводит префикс Error in query: перед сообщением AnalysisExceptionоб ошибке.
  • Так как Spark 3.4 split функция игнорирует конечные пустые строки, если regex параметр пуст.
  • Так как Spark 3.4 to_binary функция выдает ошибку для неправильно сформированных входных str данных. Используйте try_to_binary для допуска неправильно сформированных входных данных и возврата NULL.
    • Допустимая Base64 строка должна содержать символы из base64 алфавита (A-Za-z0-9+/), необязательное заполнение (=) и необязательные пробелы. Пробелы пропускаются при преобразовании, за исключением случаев, когда они предшествуют символам заполнения. Если заполнение присутствует, оно должно завершить строку и следовать правилам, описанным в RFC 4648 § 4.
    • Допустимые шестнадцатеричные строки должны содержать только допустимые символы (0-9A-Fa-f).
    • Допустимые значения: без учета регистра , base64, , utf-8utf8.hexfmt
  • Так как Spark 3.4 создается только PartitionsAlreadyExistException при создании секций, но некоторые из них уже существуют. В Spark 3.3 или более ранней версии Spark может вызывать либо PartitionsAlreadyExistExceptionPartitionAlreadyExistsException.
  • Так как Spark 3.4, Spark проверяет спецификацию секций в ALTER PARTITION, чтобы следовать поведению spark.sql.storeAssignmentPolicy, что может вызвать исключение, если преобразование типов завершается ошибкой, например ALTER TABLE .. ADD PARTITION(p='a') если столбец p является типом int. Чтобы восстановить устаревшее поведение, установите значение spark.sql.legacy.skipTypeValidationOnAlterPartitiontrue.
  • Так как Spark 3.4 векторные читатели включены по умолчанию для вложенных типов данных (массив, карта и структур). Чтобы восстановить устаревшее поведение, задайте и spark.sql.parquet.enableNestedColumnVectorizedReader установите spark.sql.orc.enableNestedColumnVectorizedReader значение false.
  • Так как Spark 3.4 BinaryType не поддерживается в источнике данных CSV. В Spark 3.3 или более ранней версии пользователи могут записывать двоичные столбцы в источнике данных CSV, но выходное содержимое в CSV-файлах Object.toString()является бессмысленным. Тем временем, если пользователи считывают таблицы CSV с двоичными столбцами, Spark создает Unsupported type: binary исключение.
  • Так как Spark 3.4 соединения фильтров блум включены по умолчанию. Чтобы восстановить устаревшее поведение, установите значение spark.sql.optimizer.runtime.bloomFilter.enabledfalse.

Структурированная потоковая передача

  • Так как Spark 3.4 не рекомендуется, Trigger.Once и пользователям рекомендуется перейти из Trigger.OnceTrigger.AvailableNowнего. Дополнительные сведения см. в статье SPARK-39805 .
  • Так как Spark 3.4 значение конфигурации для смещенияspark.sql.streaming.kafka.useDeprecatedOffsetFetching Kafka изменяется на truefalseзначение по умолчанию. По умолчанию больше не используется планирование на основе группы потребителей, что влияет на необходимый ACL. Дополнительные сведения см. в разделе "Структурированная интеграция Потоковой передачи Kafka".

Новые функции и улучшения Delta Lake 2.4

Delta Lake — это открытый код проект, который позволяет построить архитектуру lakehouse на вершине озера данных. Delta Lake поддерживает транзакции ACID и масштабируемую обработку метаданных, а также позволяет объединить обработку потоковых данных и пакетную обработку на базе существующих озер данных.

В частности, Delta Lake поддерживает перечисленные ниже функции и возможности.

  • Транзакции ACID в Spark: сериализуемые уровни изоляции гарантируют, что читатели не столкнутся с несогласованными данными.
  • Обработка масштабируемых метаданных: использует распределенную мощность обработки Spark для обработки всех метаданных для таблиц с масштабируемыми петабайтами с легкостью.
  • Потоковая передача и объединение пакетов : таблица в Delta Lake — это пакетная таблица и источник потоковой передачи и приемник. Прием потоковых данных, выполнение пакетов задним числом и интерактивные запросы работают без дополнительной настройки.
  • Применение схемы: автоматическая обработка вариантов схемы, чтобы предотвратить вставку недопустимых записей во время приема.
  • Переход по времени: управление версиями данных позволяет выполнять откаты, вести полноценные исторические журналы аудита и проводить воспроизводимые эксперименты машинного обучения.
  • Upserts и deletes: поддерживает операции слияния, обновления и удаления, чтобы включить сложные варианты использования, такие как запись измененных данных, медленно изменяющиеся операции измерения (SCD), потоковые upserts и т. д.

Основные функции в этом выпуске приведены ниже.

  • Поддержка Apache Spark 3.4.
  • Поддержка записи векторов удаления для DELETE команды. Ранее при удалении строк из таблицы Delta любой файл с по крайней мере одной соответствующей строкой будет перезаписан. При удалении векторов эти дорогостоящие перезаписи можно избежать. Дополнительные сведения см. в статье о векторах удаления.
  • Поддержка всех операций записи в таблицах с включенными векторами удаления.
  • ПоддержкаPURGE удаления векторов удаления из текущей версии таблицы Delta путем перезаписи файлов данных с векторами удаления. Дополнительные сведения см. в документации.
  • Поддержка чтения веб-канала изменений для таблиц с включенными векторами удаления.
  • ПоддержкаREPLACE WHERE выражений в SQL для выборочной перезаписи данных. Ранее параметры replaceWhere поддерживаются только в API DataFrameWriter.
  • Предложения поддержкиWHEN NOT MATCHED BY SOURCE в SQL для команды слияния.
  • Поддержка пропуска созданных столбцов из списка столбцов для запросов SQL INSERT INTO . Delta автоматически создает значения для любых неопределенных созданных столбцов.
  • Поддержка типа данных, добавленного TimestampNTZ в Spark 3.3. Для использования TimestampNTZ требуется обновление протокола Delta; дополнительные сведения см. в документации .
  • Разрешить изменение типа столбца или charvarchar столбца на совместимый тип в команде ALTER TABLE . Новое поведение совпадает с apache Spark и позволяет переадресовать из или varchar в charvarchar .string
  • Блокировать использование overwriteSchema с динамической перезаписью секции. Этот сценарий может повредить таблицу, так как не все данные можно удалить, и схема недавно написанных секций не может соответствовать схеме без изменений секций.
  • Возвращает пустое DataFrame значение для канала измененных данных при отсутствии фиксаций в заданном диапазоне меток времени. Ранее возникла ошибка.
  • Исправлена ошибка в веб-канале измененных данных для записей, созданных в течение неоднозначного часа, когда происходит летнее сохранение.
  • Исправлена ошибка, из-за которой запрос внешней таблицы Delta в корне контейнера S3 приведет к возникновению ошибки.
  • Удалите утечку внутренних метаданных Spark из журнала Delta, чтобы сделать все затронутые таблицы читаемыми снова.

Ознакомьтесь с полной версией заметок о выпуске Delta Lake 2.4.

Пакеты уровня по умолчанию для библиотек Java/Scala

В следующей таблице перечислены все пакеты уровня по умолчанию для Java/Scala и соответствующие версии.

GroupId ArtifactId Версия
com.aliyun aliyun-java-sdk-core 4.5.10
com.aliyun aliyun-java-sdk-kms 2.11.0
com.aliyun aliyun-java-sdk-ram 3.1.0
com.aliyun aliyun-sdk-oss 3.13.0
com.amazonaws aws-java-sdk-bundle 1.12.262
com.clearspring.analytics потоковая передача 2.9.6
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml.джексон jackson-annotations 2.14.2
com.fasterxml.джексон jackson-core 2.14.2
com.fasterxml.джексон jackson-core-asl 1.9.13
com.fasterxml.джексон jackson-databind 2.14.2
com.fasterxml.джексон jackson-dataformat-cbor 2.14.2
com.fasterxml.джексон jackson-mapper-asl 1.9.13
com.fasterxml.джексон jackson-module-scala_2.12 2.14.2
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.5.2-5
com.github.vowpalwabbit vw-jni 9.3.0
com.github.wendykierp JTransforms 3.1
com.google.cloud.bigdataoss gcs-connector hadoop3-2.2.11
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 14.0.1
com.google.protobuf protobuf-java 2.5.0
com.googlecode.json-simple json-simple 1.1.1
com.jcraft jsch 0.1.54
com.jolbox bonecp 0.8.0.RELEASE
com.linkedin.isolation-forest isolation-forest_3.2.0_2.12 2.0.8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.azure azure-eventhubs 3.3.0
com.microsoft.azure azure-eventhubs-spark_2.12 2.3.22
com.microsoft.azure azure-keyvault-core 1.0.0
com.microsoft.azure служба хранилища Azure 7.0.1
com.microsoft.azure cosmos-analytics-spark-3.4.1-connector_2.12 1.8.10
com.microsoft.azure Qpid-proton-j-extensions 1.2.4
com.microsoft.azure synapseml_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-cognitive_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-core_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-deep-learning_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-internal_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-lightgbm_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-opencv_2.12 0.11.2-spark3.4
com.microsoft.azure synapseml-vw_2.12 0.11.2-spark3.4
com.microsoft.azure.kusto kusto-data 3.2.1
com.microsoft.azure.kusto kusto-ingest 3.2.1
com.microsoft.azure.kusto kusto-spark_3.0_2.12 3.1.16
com.microsoft.azure.kusto spark-kusto-synapse-connector_3.1_2.12 1.3.3
com.microsoft.cognitiveservices.speech client-jar-sdk 1.14.0
com.microsoft.sqlserver msslq-jdbc 8.4.1.jre8
com.ning compress-lzf 1.1.2
com.sun.istack istack-commons-runtime 3.0.8
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.typesafe config 1.3.4
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 2.5.1
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4.jar
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
io.airlift aircompressor 0.21
io.delta delta-core_2.12 2.4.0
io.delta delta-storage 2.4.0
io.dropwizard.metrics metrics-core 4.2.15
io.dropwizard.metrics metrics-graphite 4.2.15
io.dropwizard.metrics metrics-jmx 4.2.15
io.dropwizard.metrics metrics-json 4.2.15
io.dropwizard.metrics metrics-jvm 4.2.15
io.github.resilience4j устойчивость4j-core 1.7.1
io.github.resilience4j устойчивость4j-retry 1.7.1
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-http-4 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.opentracing opentracing-api 0.33.0
io.opentracing opentracing-noop 0.33.0
io.opentracing opentracing-util 0.33.0
io.spray спрей-json_2.12 1.3.5
io.vavr vavr 0.10.4
io.vavr vavr-match 0.10.4
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.inject jakarta.inject 2.6.1
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
jakarta.xml.bind jakarta.xml.bind-api 2.3.2
javax.activation activation 1.1.1
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.2
mysql mysql-connector-java 8.0.18
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.py4j py4j 0.10.9.7
net.sourceforge.f2j arpack_combined_all 0,1
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.22
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-pool2 2.11.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-aliyun 3.3.4.5.3-105251583
org.apache.hadoop hadoop-annotations 3.3.4.5.3-105251583
org.apache.hadoop Hadoop-aws 3.3.4.5.3-105251583
org.apache.hadoop Hadoop-azure 3.3.4.5.3-105251583
org.apache.hadoop Hadoop-azure-datalake 3.3.4.5.3-105251583
org.apache.hadoop hadoop-client-api 3.3.4.5.3-105251583
org.apache.hadoop hadoop-client-runtime 3.3.4.5.3-105251583
org.apache.hadoop Hadoop-cloud-storage 3.3.4.5.3-105251583
org.apache.hadoop Hadoop-openstack 3.3.4.5.3-105251583
org.apache.hadoop hadoop-shaded-guava 1.1.1
org.apache.hadoop hadoop-yarn-server-web-proxy 3.3.4.5.3-105251583
org.apache.hive hive-common 2.3.9
org.apache.hive hive-exec 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-metastore 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims-0.23 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-shims-common 2.3.9
org.apache.hive hive-shims-scheduler 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.httpcomponents httpmime 4.5.14
org.apache.httpcomponents.client5 httpclient5 5.1.3
org.apache.iceberg дельта-айсберг 2.4.0.6
org.apache.ivy ivy 2.5.1
org.apache.kafka kafka-client 3.3.2
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j-impl 2.19.0
org.apache.orc orc-core 1.8.4
org.apache.orc orc-mapreduce 1.8.4
org.apache.orc orc-shims 1.8.4
org.apache.parquet parquet-column 1.12.3
org.apache.parquet parquet-common 1.12.3
org.apache.parquet parquet-encoding 1.12.3
org.apache.parquet parquet-format-structures 1.12.3
org.apache.parquet parquet-hadoop 1.12.3
org.apache.parquet parquet-jackson 1.12.3
org.apache.qpid proton-j 0.33.8
org.apache.spark spark-avro_2.12 3.4.1.5.3-105251583
org.apache.spark spark-catalyst_2.12 3.4.1.5.3-105251583
org.apache.spark spark-core_2.12 3.4.1.5.3-105251583
org.apache.spark spark-graphx_2.12 3.4.1.5.3-105251583
org.apache.spark spark-hadoop-cloud_2.12 3.4.1.5.3-105251583
org.apache.spark spark-hive_2.12 3.4.1.5.3-105251583
org.apache.spark spark-kvstore_2.12 3.4.1.5.3-105251583
org.apache.spark spark-launcher_2.12 3.4.1.5.3-105251583
org.apache.spark spark-mllib_2.12 3.4.1.5.3-105251583
org.apache.spark spark-mllib-local_2.12 3.4.1.5.3-105251583
org.apache.spark spark-network-common_2.12 3.4.1.5.3-105251583
org.apache.spark spark-network-shuffle_2.12 3.4.1.5.3-105251583
org.apache.spark spark-repl_2.12 3.4.1.5.3-105251583
org.apache.spark spark-sketch_2.12 3.4.1.5.3-105251583
org.apache.spark spark-sql_2.12 3.4.1.5.3-105251583
org.apache.spark spark-sql-kafka-0-10_2.12 3.4.1.5.3-105251583
org.apache.spark spark-streaming_2.12 3.4.1.5.3-105251583
org.apache.spark spark-streaming-kafka-0-10-assembly_2.12 3.4.1.5.3-105251583
org.apache.spark spark-tags_2.12 3.4.1.5.3-105251583
org.apache.spark spark-token-provider-kafka-0-10_2.12 3.4.1.5.3-105251583
org.apache.spark spark-unsafe_2.12 3.4.1.5.3-105251583
org.apache.spark spark-yarn_2.12 3.4.1.5.3-105251583
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.3.5.3-105251583
org.apache.zookeeper zookeeper-jute 3.6.3.5.3-105251583
org.apiguardian apiguardian-api 1.1.0
org.codehaus.janino commons-compiler 3.1.9
org.codehaus.janino janino 3.1.9
org.codehaus.jettison jettison 1,1
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleusjavax.jdo 3.2.0-m3
org.eclipse.jetty jetty-util 9.4.50.v2021201
org.eclipse.jetty jetty-util-ajax 9.4.50.v2021201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.javatuples javatuples 1.2
org.jdom jdom2 2.0.6
org.jetbrains annotations 17.0.0
org.jodd jodd-core 3.5.2
org.json json 20210307
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.junit.юпитер junit-юпитер 5.5.2
org.junit.юпитер junit-юпитер-api 5.5.2
org.junit.юпитер junit-юпитер-двигатель 5.5.2
org.junit.юпитер junit-юпитер-params 5.5.2
org.junit.platform junit-platform-commons 1.5.2
org.junit.platform junit-platform-engine 1.5.2
org.lz4 lz4-java 1.8.0
org.objenesis objenesis 3.2
org.openpnp opencv 3.2.0-1
org.opentest4j opentest4j 1.2.0
org.postgresql postgresql 42.2.9
org.roaringbitmap RoaringBitmap 0.9.38
org.roaringbitmap shims 0.9.38
org.rocksdb rocksdbjni 7.9.2
org.scala-lang scala-компилятор 2.12.17
org.scala-lang scala-library 2.12.17
org.scala-lang scala-reflect 2.12.17
org.scala-lang.modules scala-collection-compat_2.12 2.7.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.0
org.scala-lang.modules scala-parser-combinators_2.12 2.1.1
org.scala-lang.modules scala-xml_2.12 2.1.0
org.scalactic scalactic_2.12 3.2.14
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire_2.12 0.17.0
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial.snappy snappy-java 1.1.10.1
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
stax stax-api 1.0.1

Пакеты уровня по умолчанию для Python

В следующей таблице перечислены все пакеты уровня по умолчанию для Python и их соответствующих версий.

Библиотека Версия Библиотека Версия Библиотека Версия
_libgcc_mutex 0,1 jupyter_client 8.5.0 pycosat 0.6.6
_openmp_mutex 4,5 jupyter_core 5.4.0 pycparser 2.21
_py-xgboost-mutex 2.0 jupyter_events 0.8.0 pydantic 1.10.9
absl-py 2.0.0 jupyter_server 2.7.3 pygments 2.16.1
adal 1.2.7 jupyter_server_terminals 0.4.4 pyjwt 2.8.0
adlfs 2023.4.0 jupyterlab_pygments 0.2.2 pynacl 1.5.0
aiohttp 3.8.6 jupyterlab_widgets 3.0.9 pyodbc 4.0.39
aiosignal 1.3.1 keras 2.12.0 pyopenssl 23.2.0
alembic 1.12.0 keras-preprocessing 1.1.2 pyparsing 3.0.9
alsa-lib 1.2.10 keyutils 1.6.1 pyperclip 1.8.2
ansi2html 1.8.0 kiwisolver 1.4.5 pypika 0.48.9
anyio 3.7.1 krb5 1.21.2 pyqt 5.15.9
appdirs 1.4.4 Имя 3.100 pyqt5-sip 12.12.2
argon2-cffi 23.1.0 lcms2 2.15 pysocks 1.7.1
argon2-cffi-bindings 21.2.0 ld_impl_linux-64 2.40 python 3.10.12
Стрелка 1.3.0 lerc 4.0.0 python-dateutil 2.8.2
asttokens 2.4.0 liac-arff 2.5.0 python-fastjsonschema 2.18.1
astunparse 1.6.3 libabseil 20230125.3 python-flatbuffers 23.5.26
async-timeout 4.0.3 libaec 1.1.2 python-graphviz 0.20.1
atk-1.0 2.38.0 libarrow 12.0.1 python-json-logger 2.0.7
Attr 2.5.1 libbrotlicommon 1.0.9 python-tzdata 2023.3
attrs 23.1.0 libbrotlidec 1.0.9 python-xxhash 3.4.1
autopage 0.5.2 libbrotlienc 1.0.9 python_abi 3,10
aws-c-auth 0.7.3 libcap 2.69 pythonnet 3.0.1
aws-c-cal 0.6.1 libclang 15.0.7 pytorch 2.0.1
aws-c-common 0.9.0 libclang13 15.0.7 pytorch-mutex 1.0
aws-c-compression 0.2.17 libcrc32c 1.1.2 pytz 2023.3.post1
aws-c-event-stream 0.3.1 libcups 2.3.3 pyu2f 0.1.5
aws-c-http 0.7.11 libcurl 8.4.0 pywin32-on-windows 0.1.0
aws-c-io 0.13.32 libdeflate 1.19 pyyaml 6.0.1
aws-c-mqtt 0.9.3 libebm 0.4.3 pyzmq 25.1.1
aws-c-s3 0.3.14 libedit 3.1.20191231 qt-main 5.15.8
aws-c-sdkutils 0.1.12 libev 4,33 rdma-core 28,9
aws-checksums 0.1.17 libevent 2.1.12 re2 2023.03.02
aws-crt-cpp 0.21.0 libexpat 2.5.0 readline 8.2
aws-sdk-cpp 1.10.57 libffi 3.4.2 referencing 0.30.2
azure-core 1.29.4 libflac 1.4.3 regex 2023.8.8
azure-datalake-store 0.0.51 libgcc-ng 13.2.0 requests 2.31.0
azure-identity 1.14.1 libgcrypt 1.10.1 requests-oauthlib 1.3.1
azure-storage-blob 12.18.3 libgd 2.3.3 retrying 1.3.3
azure-storage-file-datalake 12.12.0 libgfortran-ng 13.2.0 rfc3339-validator 0.1.4
backcall 0.2.0 libgfortran5 13.2.0 rfc3986-validator 0.1.1
backoff 1.11.1 libglib 2.78.0 rich 13.6.0
внутренние порты 1.0 libgoogle-cloud 2.12.0 rpds-py 0.10.6
backports.functools_lru_cache 1.6.5 libgpg-error 1,47 rsa 4,9
bcrypt 4.0.1 libgrpc 1.54.3 ruamel.yaml 0.17.32
beautifulsoup4 4.12.2 libhwloc 2.9.3 ruamel.yaml.clib 0.2.7
blas 1.0 libiconv 1.17 ruamel_yaml 0.15.80
bleach 6.1.0 libjpeg-turbo 2.1.5.1 s2n 1.3.49
blinker 1.6.3 libllvm14 14.0.6 sacremoses 0.0.53
brotli 1.0.9 libllvm15 15.0.7 salib 1.4.7
brotli-bin 1.0.9 libnghttp2 1.52.0 scikit-learn 1.3.0
brotli-python 1.0.9 libnsl 2.0.1 scipy 1.10.1
bzip2 1.0.8 libnuma 2.0.16 Сиборн 0.12.2
c-ares 1.20.1 libogg 1.3.4 seaborn-base 0.12.2
ca-certificates 2023.7.22 libopus 1.3.1 send2trash 1.8.2
cached-property 1.5.2 libpng 1.6.39 преобразователи предложений 2.0.0
cached_property 1.5.2 libpq 15,4 sentry-sdk 1.32.0
cachetools 5.3.2 libprotobuf 3.21.12 seqeval 1.2.2
каир 1.18.0 libpulsar 3.2.0 setproctitle 1.3.3
catboost 1.1.1 librsvg 2.56.3 setuptools 68.2.2
certifi 2023.7.22 libsndfile 1.2.2 shap 0.42.1
cffi 1.16.0 libsodium 1.0.18 shellingham 1.5.4
charset-normalizer 3.3.1 libsqlite 3.43.2 sip 6.7.12
chroma-hnswlib 0.7.3 libssh2 1.11.0 six 1.16.0
chromadb 0.4.13 libstdcxx-ng 13.2.0 Среза 0.0.7
щелчок 8.1.7 libsystemd0 254 smmap 5.0.0
Скалы 4.2.0 libthrift 0.18.1 snappy 1.1.10
cloudpickle 2.2.1 libtiff 4.6.0 sniffio 1.3.0
clr_loader 0.2.6 libtool 2.4.7 soupsieve 2.5
cmaes 0.10.0 libutf8proc 2.8.0 sqlalchemy 2.0.22
cmd2 2.4.3 libuuid 2.38.1 sqlparse 0.4.4
colorama 0.4.6 libuv 1.46.0 stack_data 0.6.2
цветные журналы 15.0.1 libvorbis 1.3.7 starlette 0.27.0
colorlog 6.7.0 libwebp 1.3.2 statsmodels 0.14.0
comm 0.1.4 libwebp-base 1.3.2 Стивидорных 5.1.0
conda-package-handling 2.2.0 libxcb 1.15 sympy 1.12
conda-package-streaming 0.9.0 libxgboost 1.7.6 tabulate 0.9.0
configparser 5.3.0 libxkbcommon 1.6.0 Tbb 2021.10.0
контурная диаграмма 1.1.1 libxml2 2.11.5 tenacity 8.2.3
Криптографии 41.0.5 libxslt 1.1.37 tensorboard 2.12.3
cycler 0.12.1 libzlib 1.2.13 tensorboard-data-server 0.7.0
cython 3.0.4 lightgbm; 4.0.0 tensorflow 2.12.1
панель мониторинга 2.14.0 lime 0.2.0.1 tensorflow-base 2.12.1
dash-core-components 2.0.0 llvm-openmp 17.0.3 tensorflow-estimator 2.12.1
dash-html-components 2.0.0 llvmlite 0.40.1 termcolor 2.3.0
dash-table 5.0.0 lxml 4.9.3 terminado 0.17.1
dash_cytoscape 0.2.0 lz4-c 1.9.4 threadpoolctl 3.2.0
databricks-cli 0.18.0 Мако 1.2.4 тиктокен 0.5.1
dataclasses 0,8 Markdown 3.4.4 tinycss2 1.2.1
наборы данных 2.14.6 markdown-it-py 3.0.0 tk 8.6.13
dbus 1.13.6 markupsafe 2.1.3 токенизаторы 0.13.3
debugpy 1.8.0 matplotlib 3.7.2 toml 0.10.2
decorator 5.1.1 matplotlib-base 3.7.2 tomli 2.0.1
defusedxml 0.7.1 matplotlib-inline 0.1.6 toolz 0.12.0
dill 0.3.7 mdurl 0.1.0 tornado 6.3.3
diskcache 5.6.3 mistune 3.0.1 tqdm 4.66.1
distlib 0.3.7 mkl 2021.4.0 traitlets 5.12.0
docker-py 6.1.3 mkl-service 2.4.0 Трансформаторы 4.26.0
docker-pycreds 0.4.0 mkl_fft 1.3.1 treeinterpreter 0.2.2
entrypoints 0,4 mkl_random 1.2.2 typed-ast 1.5.5
et_xmlfile 1.1.0 ml_dtypes 0.3.1 typer 0.9.0
группа исключений 1.1.3 mlflow-skinny 2.6.0 types-python-dateutil 2.8.19.14
executing 1.2.0 монотонный 1.5 types-pytz 2023.3.1.1
expat 2.5.0 Mpc 1.3.1 typing_extensions 4.5.0
fastapi 0.103.2 mpfr 4.2.1 typing_utils 0.1.0
flaml 2.1.1dev2 mpg123 1.32.3 tzdata 2023c
flask 3.0.0 mpmath 1.3.0 Ucx 1.14.1
flatbuffers 23.5.26 msal 1.24.1 юникода2 15.1.0
font-ttf-dejavu-sans-mono 2,37 msal_extensions 1.0.0 unixodbc 2.3.12
font-ttf-inconsolata 3.000 multidict 6.0.4 URI-template 1.3.0
font-ttf-source-code-pro 2.038 многопроцессная обработка 0.70.15 urllib3 1.26.17
font-ttf-ubuntu 0.83 munkres 1.1.4 uvicorn 0.23.2
fontconfig 2.14.2 mysql-common 8.0.33 virtualenv 20.23.1
fonts-conda-ecosystem 1 mysql-libs 8.0.33 wandb 0.15.12
fonts-conda-forge 1 nbclient 0.8.0 wcwidth 0.2.8
шрифтовые инструменты 4.43.1 nbconvert-core 7.9.2 webcolors 1,13
fqdn 1.5.1 nbformat 5.9.2 webencodings 0.5.1
freetype 2.12.1 ncurses 6,4 websocket-client 1.6.4
fribidi 1.0.10 nest-asyncio 1.5.8 werkzeug 3.0.1
замороженный список 1.4.0 networkx 3.2 wheel 0.41.2
fsspec 2023.10.0 nltk 3.8.1 widgetsnbextension 4.0.9
gast 0.4.0 nspr 4.35 wrapt 1.15.0
gdk-pixbuf 2.42.10 nss 3.94 xcb-util 0.4.0
geographiclib 1,52 numba 0.57.1 xcb-util-image 0.4.0
geopy 2.3.0 numpy 1.24.3 xcb-util-keysyms 0.4.0
gettext 0.21.1 numpy-base 1.24.3 xcb-util-renderutil 0.3.9
gevent 23.9.0.post1 oauthlib 3.2.2 xcb-util-wm 0.4.1
gflags 2.2.2 onnxruntime 1.16.1 XGBoost 1.7.6
giflib 5.2.1 openai 0.27.8 xkeyboard-config 2.40
gitdb 4.0.11 openjpeg 2.5.0 xorg-kbproto 1.0.7
gitpython 3.1.40 openpyxl 3.1.2 xorg-libice 1.1.1
glib 2.78.0 openssl 3.1.4 xorg-libsm 1.2.4
glib-tools 2.78.0 opt-einsum 3.3.0 xorg-libx11 1.8.7
glog 0.6.0 opt_einsum 3.3.0 xorg-libxau 1.0.11
Gmp 6.2.1 optuna 2.8.0 xorg-libxdmcp 1.1.3
gmpy2 2.1.2 orc 1.9.0 xorg-libxext 1.3.4
google-auth 2.23.3 Переопределения 7.4.0 xorg-libxrender 0.9.11
google-auth-oauthlib 1.0.0 во внешнем виде 23,2 xorg-renderproto 0.11.1
google-pasta 0.2.0 pandas 2.0.3 xorg-xextproto 7.3.0
graphite2 1.3.13 pandas-заглушки 2.1.1.230928 xorg-xf86vidmodeproto 2.3.1
Graphviz 8.1.0 pandasql 0.7.3 xorg-xproto 7.0.31
greenlet 3.0.1 pandocfilters 1.5.0 xxhash 0.8.2
grpcio 1.54.3 Pango 1.50.14 xz 5.2.6
gst-plugins-base 1.22.6 paramiko 3.3.1 Yaml 0.2.5
gstreamer 1.22.6 parso 0.8.3 yarl 1.9.2
gtk2 2.24.33 Пафоса 0.3.1 zeromq 4.3.5
Gts 0.7.6 pathtools 0.1.2 zipp 3.17.0
h11 0.14.0 patsy 0.5.3 zlib 1.2.13
h5py 3.10.0 pbr 5.11.1 zope.event 5,0
harfbuzz 8.2.1 pcre2 10.40 zope.interface 6.1
hdf5 1.14.2 pexpect 4.8.0 zstandard 0.21.0
holidays 0,35 pickleshare 0.7.5 zstd 1.5.5
html5lib 1,1 pillow 10.0.1 astor 0.8.1
huggingface_hub 0.18.0 pip 23.1.2 contextlib2 21.6.0
человеколюбие 10.0 pixman 0.42.2 filelock 3.11.0
icu 73,2 pkgutil-resolve-name 1.3.10 fluent-logger 0.10.0
idna 3,4 platformdirs 3.5.1 gson 0.0.3
imageio 2.31.1 график 5.16.1 jaraco-context 4.3.0
importlib-metadata 6.8.0 ply 3.11 joblibspark 0.5.2
importlib-resources 6.1.0 pooch 1.8.0 json-tricks 3.17.3
importlib_metadata 6.8.0 portalocker 2.8.2 jupyter-ui-poll 0.2.2
importlib_resources 6.1.0 posthog 3.0.2 more-itertools 10.1.0
intel-openmp 2021.4.0 Оспы 0.3.3 msgpack 1.0.7
interpret 0.4.3 ppft 1.7.6.7 mypy 1.4.1
interpret-core 0.4.3 милый 3.8.0 mypy-extensions 1.0.0
ipykernel 6.26.0 prometheus_client 0.17.1 Nni 2.10.1
ipython 8.14.0 prompt-toolkit 3.0.39 powerbiclient 3.1.1
ipywidgets 8.0.7 prompt_toolkit 3.0.39 pyspark 3.4.1.5.3.20230713
isodate 0.6.1 protobuf 4.21.12 pythonwebhdfs 0.2.3
isoduration 20.11.0 psutil 5.9.5 Ответы на запросы 0.23.3
itsdangerous 2.1.2 pthread-stubs 0,4 Оценка rouge-score 0.1.2
Jax 0.4.17 ptyprocess 0.7.0 schema 0.7.5
jaxlib 0.4.14 pulsar-client 3.3.0 simplejson 3.19.2
jedi 0.19.1 pulseaudio-client 16.1 synapseml-mlflow 1.0.22.post2
jinja2 3.1.2 pure_eval 0.2.2 synapseml-utils 1.0.18.post1
joblib 1.3.2 py-xgboost 1.7.6 typeguard 2.13.3
jsonpointer 2.4 py4j 0.10.9.7 types-pyyaml 6.0.12.12
jsonschema 4.19.1 pyarrow 12.0.1 typing-extensions 4.8.0
jsonschema-спецификации 2023.7.1 pyasn1 0.5.0 Websockets 12,0
jsonschema-with-format-nongpl 4.19.1 pyasn1-modules 0.3.0 wolframalpha 5.0.0
xmltodict 0.13.0

Пакеты уровня по умолчанию для R

В следующей таблице перечислены все пакеты уровня по умолчанию для R и их соответствующих версий.

Библиотека Версия Библиотека Версия Библиотека Версия
_libgcc_mutex 0,1 r-caret 6.0_94 r-похвала 1.0.0
_openmp_mutex 4,5 r-cellranger 1.1.0 r-prettyunits 1.2.0
_r-мьютекс 1.0.1 класс r 7.3_22 r-proc 1.18.4
_r-xgboost-mutex 2.0 r-cli 3.6.1 r-processx 3.8.2
aws-c-auth 0.7.0 r-clipr 0.8.0 r-prodlim 2023.08.28
aws-c-cal 0.6.0 R-clock 0.7.0 r-profvis 0.3.8
aws-c-common 0.8.23 R-codetools 0.2_19 R-progress 1.2.2
aws-c-compression 0.2.17 R-collections 0.3.7 R-progressr 0.14.0
aws-c-event-stream 0.3.1 пространство r-colorspace 2.1_0 r-promises 1.2.1
aws-c-http 0.7.10 r-commonmark 1.9.0 r-proxy 0.4_27
aws-c-io 0.13.27 r-config 0.3.2 r-pryr 0.1.6
aws-c-mqtt 0.8.13 R-конфликтуется 1.2.0 r-ps 1.7.5
aws-c-s3 0.3.12 r-coro 1.0.3 r-purrr 1.0.2
aws-c-sdkutils 0.1.11 r-cpp11 0.4.6 R-quantmod 0.4.25
aws-checksums 0.1.16 r-crayon 1.5.2 r-r2d3 0.2.6
aws-crt-cpp 0.20.2 R-credentials 2.0.1 r-r6 2.5.1
aws-sdk-cpp 1.10.57 r-crosstalk 1.2.0 r-r6p 0.3.0
binutils_impl_linux-64 2.40 r-crul 1.4.0 r-ragg 1.2.6
bwidget 1.9.14 r-curl 5.1.0 r-rappdirs 0.3.3
bzip2 1.0.8 r-data.table 1.14.8 r-rbokeh 0.5.2
c-ares 1.20.1 r-dbi 1.1.3 r-rcmd проверка 1.4.0
ca-certificates 2023.7.22 r-dbplyr 2.3.4 r-rcolorbrewer 1.1_3
каир 1.18.0 r-desc 1.4.2 r-rcpp 1.0.11
cmake 3.27.6 R-devtools 2.4.5 r-reactable 0.4.4
curl 8.4.0 r-диаграмма 1.6.5 r-reactr 0.5.0
expat 2.5.0 R-dials 1.2.0 r-readr 2.1.4
font-ttf-dejavu-sans-mono 2,37 r-dicedesign 1,9 r-readxl 1.4.3
font-ttf-inconsolata 3.000 r-diffobj 0.3.5 рецепты r-рецептов 1.0.8
font-ttf-source-code-pro 2.038 r-digest 0.6.33 R-rematch 2.0.0
font-ttf-ubuntu 0.83 r-downlit 0.4.3 r-rematch2 2.1.2
fontconfig 2.14.2 r-dplyr 1.1.3 R-remotes 2.4.2.1
fonts-conda-ecosystem 1 r-dtplyr 1.3.1 r-reprex 2.0.2
fonts-conda-forge 1 r-e1071 1.7_13 r-reshape2 1.4.4
freetype 2.12.1 r-многоточие 0.3.2 r-rjson 0.2.21
fribidi 1.0.10 r-evaluate 0,23 r-rlang 1.1.1
gcc_impl_linux-64 13.2.0 r-fansi 1.0.5 r-rlist 0.4.6.2
gettext 0.21.1 r-farver 2.1.1 r-rmarkdown 2.22
gflags 2.2.2 R-fastmap 1.1.1 r-rodbc 1.3_20
gfortran_impl_linux-64 13.2.0 r-fontawesome 0.5.2 r-roxygen2 7.2.3
glog 0.6.0 r-forcats 1.0.0 r-rpart 4.1.21
glpk 5,0 r-foreach 1.5.2 r-rprojroot 2.0.3
Gmp 6.2.1 r-forge 0.2.0 r-rsample 1.2.0
graphite2 1.3.13 r-fs 1.6.3 r-rstudioapi 0.15.0
Gsl 2.7 r-furrr 0.3.1 r-rversions 2.1.2
gxx_impl_linux-64 13.2.0 r-future 1.33.0 r-rvest 1.0.3
harfbuzz 8.2.1 r-future.apply 1.11.0 R-sass 0.4.7
icu 73,2 r-gargle 1.5.2 R-scales 1.2.1
ядро-headers_linux-64 2.6.32 R-generics 0.1.3 r-selectr 0.4_2
keyutils 1.6.1 r-gert 2.0.0 r-sessioninfo 1.2.2
krb5 1.21.2 r-ggplot2 3.4.2 R-shape 1.4.6
ld_impl_linux-64 2.40 r-gh 1.4.0 r-блестящий 1.7.5.1
lerc 4.0.0 r-gistr 0.9.0 R-ползунок 0.3.1
libabseil 20230125.3 r-gitcreds 0.1.2 R-sourcetools 0.1.7_1
libarrow 12.0.0 R-globals 0.16.2 r-sparklyr 1.8.2
libblas 3.9.0 r-glue 1.6.2 r-squarem 2021.1
libbrotlicommon 1.0.9 r-googledrive 2.1.1 r-stringi 1.7.12
libbrotlidec 1.0.9 r-googlesheets4 1.1.1 r-stringr 1.5.0
libbrotlienc 1.0.9 r-gower 1.0.1 r-выживание 3.5_7
libcblas 3.9.0 r-gpfit 1.0_8 r-sys 3.4.2
libcrc32c 1.1.2 r-gt 0.9.0 r-systemfonts 1.0.5
libcurl 8.4.0 r-gtable 0.3.4 r-testthat 3.2.0
libdeflate 1.19 r-gtsummary 1.7.2 r-textshaping 0.3.7
libedit 3.1.20191231 r-hardhat 1.3.0 r-tibble 3.2.1
libev 4,33 r-haven 2.5.3 r-tidymodels 1.1.0
libevent 2.1.12 r-hexbin 1.28.3 r-tidyr 1.3.0
libexpat 2.5.0 r-highcharter 0.9.4 r-tidyselect 1.2.0
libffi 3.4.2 r-highr 0.10 r-tidyverse 2.0.0
libgcc-devel_linux-64 13.2.0 r-hms 1.1.3 r-timechange 0.2.0
libgcc-ng 13.2.0 r-htmltools 0.5.6.1 R-timedate 4022.108
libgfortran-ng 13.2.0 R-htmlwidgets 1.6.2 r-tinytex 0.48
libgfortran5 13.2.0 r-httpcode 0.3.0 r-факел 0.11.0
libgit2 1.7.1 r-httpuv 1.6.12 r-triebeard 0.4.1
libglib 2.78.0 r-httr 1.4.7 r-ttr 0.24.3
libgomp 13.2.0 r-httr2 0.2.3 r-tune 1.1.2
libgoogle-cloud 2.12.0 R-ids 1.0.1 r-tzdb 0.4.0
libgrpc 1.55.1 r-igraph 1.5.1 r-url проверка er 1.0.1
libiconv 1.17 R-infer 1.0.5 R-urltools 1.7.3
libjpeg-turbo 3.0.0 r-ini 0.3.1 R-usethis 2.2.2
liblapack 3.9.0 R-ipred 0.9_14 r-utf8 1.2.4
libnghttp2 1.55.1 r-isoband 0.2.7 r-uuid 1.1_1
libnuma 2.0.16 R-итераторы 1.0.14 r-v8 4.4.0
libopenblas 0.3.24 r-хосе 1.2.0 R-vctrs 0.6.4
libpng 1.6.39 r-jquerylib 0.1.4 r-viridislite 0.4.2
libprotobuf 4.23.2 r-jsonlite 1.8.7 r-vroom 1.6.4
libsanitizer 13.2.0 r-juicyjuice 0.1.0 r-waldo 0.5.1
libssh2 1.11.0 r-kernsmooth 2.23_22 r-warp 0.2.0
libstdcxx-devel_linux-64 13.2.0 r-knitr 1,45 r-whisker 0.4.1
libstdcxx-ng 13.2.0 r-labeling 0.4.3 r-withr 2.5.2
libthrift 0.18.1 r-labelled 2.12.0 R-workflows 1.1.3
libtiff 4.6.0 r-later 1.3.1 Наборы рабочих процессов r-workflowsets 1.0.1
libutf8proc 2.8.0 r-lattice 0.22_5 r-xfun 0,41
libuuid 2.38.1 r-lava 1.7.2.1 r-xgboost 1.7.4
libuv 1.46.0 r-lazoval 0.2.2 r-xml 3.99_0.14
libv8 8.9.83 r-lhs 1.1.6 r-xml2 1.3.5
libwebp-base 1.3.2 жизненный цикл r 1.0.3 r-xopen 1.0.0
libxcb 1.15 r-lightgbm 3.3.5 r-xtable 1.8_4
libxgboost 1.7.4 r-listenv 0.9.0 r-xts 0.13.1
libxml2 2.11.5 r-lobstr 1.1.2 r-yaml 2.3.7
libzlib 1.2.13 r-lubridate 1.9.3 r-yardstick 1.2.0
lz4-c 1.9.4 r-magrittr 2.0.3 r-zip 2.3.0
make 4.3 r-maps 3.4.1 r-zoo 1.8_12
ncurses 6,4 r-markdown 1.11 rdma-core 28,9
openssl 3.1.4 r-mass 7.3_60 re2 2023.03.02
orc 1.8.4 r-matrix 1.6_1.1 readline 8.2
pandoc 2.19.2 R-memoise 2.0.1 rhash 1.4.4
Pango 1.50.14 r-mgcv 1.9_0 s2n 1.3.46
pcre2 10.40 r-mime 0,12 седан 4,8
pixman 0.42.2 r-miniui 0.1.1.1 snappy 1.1.10
pthread-stubs 0,4 r-modeldata 1.2.0 sysroot_linux-64 2.12
стрелка r-стрелка 12.0.0 r-modelenv 0.1.1 tk 8.6.13
r-askpass 1.2.0 R-modelmetrics 1.2.2.2 tktable 2,10
r-assertthat 0.2.1 r-modelr 0.1.11 Ucx 1.14.1
R-backports 1.4.1 r-munsell 0.5.0 unixodbc 2.3.12
r-base 4.2.3 r-nlme 3.1_163 xorg-kbproto 1.0.7
r-base64enc 0.1_3 r-nnet 7.3_19 xorg-libice 1.1.1
r-bigd 0.2.0 r-numderiv 2016.8_1.1 xorg-libsm 1.2.4
r-bit 4.0.5 r-opensl 2.1.1 xorg-libx11 1.8.7
r-bit64 4.0.5 r-parallelly 1.36.0 xorg-libxau 1.0.11
R-bitops 1.0_7 R-parsnip 1.1.1 xorg-libxdmcp 1.1.3
R-BLOB 1.2.4 r-patchwork 1.1.3 xorg-libxext 1.3.4
r-brew 1.0_8 r-столп 1.9.0 xorg-libxrender 0.9.11
r-brio 1.1.3 r-pkgbuild 1.4.2 xorg-libxt 1.3.0
r-broom 1.0.5 r-pkgconfig 2.0.3 xorg-renderproto 0.11.1
r-broom.helpers 1.14.0 r-pkgdown 2.0.7 xorg-xextproto 7.3.0
r-bslib 0.5.1 r-pkgload 1.3.3 xorg-xproto 7.0.31
R-cachem 1.0.8 R-график 4.10.2 xz 5.2.6
R-callr 3.7.3 r-plyr 1.8.9 zlib 1.2.13
zstd 1.5.5

Связанный контент