Апрель 2019 г.

Эти функции и доработки платформы Azure Databricks были выпущены в апреле 2019 г.

Примечание.

Выпуски являются поэтапными. На обновление вашей учетной записи Azure Databricks может потребоваться до одной недели с даты выпуска.

MLflow в Azure Databricks (общедоступная версия)

25 апреля 2019 г.

Выпущена общедоступная версия MLflow с управляемыми функциями для Azure Databricks. MLflow на Azure Databricks предлагает размещенную версию MLflow, полностью интегрированную с моделью безопасности Databricks и интерактивной рабочей областью. См. раздел MLflow для жизненного цикла модели машинного обучения.

Delta Lake в Azure Databricks

24 апреля 2019 г.

В Databricks имеется проект Delta Lake с открытым кодом. Delta Lake — это уровень хранения, который обеспечивает надежность хранилищ данных, построенных на HDFS и облачных хранилищах, путем обеспечения транзакций ACID посредством оптимистичного управления конкурентным доступом между операциями записи и изоляции снимков для согласованного чтения во время записи. Delta Lake также предоставляет встроенное версионирование данных для простого отката и повторного создания отчетов.

Примечание.

То, что ранее называлось Databricks Delta, теперь является проектом с открытым кодом Delta Lake, также в Azure Databricks доступна оптимизация. См. статью "Что такое Delta Lake в Azure Databricks?".

Боковая панель в MLflow

9—16 апреля 2019 г.: версия 2.95

Теперь можно просматривать запуски MLflow и изменения записной книжки, которые привели к этим запускам, на боковой панели рядом с записной книжкой. На правой боковой панели записной книжки щелкните на значок "Эксперимент" Experiment icon.

См. раздел Создание эксперимента записной книжки.

Автоматический доступ к Azure Data Lake Storage первого и второго поколений с помощью учетных данных Microsoft Entra ID (GA)

9—16 апреля 2019 г.: версия 2.95

Мы рады сообщить о общедоступной доступности автоматической проверки подлинности в Azure Data Lake Storage 1-го поколения и 2-го поколения из кластеров Azure Databricks с использованием того же идентификатора Microsoft Entra ID, который вы используете для входа в Azure Databricks.

Просто включите кластер для пропуска учетных данных Microsoft Entra ID, и команды, которые вы выполняете в этом кластере, смогут считывать и записывать ваши данные в хранилище Azure Data Lake Storage первого и второго поколений без необходимости настройки учетных данных сервисного принципала для доступа к хранилищу.

Для получения дополнительной информации см. Доступ к Azure Data Lake Storage с использованием сквозной передачи учетных данных Microsoft Entra ID (устаревший).

Databricks Runtime 5.3 (общедоступная версия)

3 апреля 2019 г.

Выпущена общедоступная версия Databricks Runtime 5.3. Databricks Runtime 5.3 включает новые функции и обновления Delta Lake, а также обновленные библиотеки Python, R, Java и Scala.

К основным обновлениям относится следующее:

• Общая доступность функции "путешествие во времени" в Databricks Delta
• Репликация таблиц MySQL в Delta, Public Preview
• Оптимизирована папка DBFS FUSE для рабочих нагрузок глубокого обучения
• Улучшения библиотеки для записных книжек
• Новые рекомендации Советника по Databricks

Дополнительные сведения см. в разделе Databricks Runtime 5.3 (EoS).

Databricks Runtime 5.3 ML (общедоступная версия)

3 апреля 2019 г.

Благодаря Databricks Runtime 5.3 для Машинного обучения мы создали нашу первую общедоступную версию Databricks Runtime ML! Databricks Runtime ML предоставляет готовую среду для Машинного обучения и обработки и анализа данных. Она основана на Databricks Runtime и добавлено множество популярных библиотек Машинного обучения, включая TensorFlow, PyTorch, Keras и XGBoost. Оно также поддерживает распределенное обучение с использованием Horovod.

Эта версия основана на Databricks Runtime 5.3 с дополнительными библиотеками, некоторыми другими версиями библиотек и управлением пакетами Conda для библиотек Python. Основные новые функции, начиная с бета-версии Databricks Runtime 5.2 ML, включают следующее.

• Интеграция MLlib с MLflow (закрытая предварительная версия), которая обеспечивает автоматическую регистрацию запусков MLflow для моделей, соответствующих алгоритмам настройки PySpark CrossValidator и TrainValidationSplit.

  Если вы хотите принять участие в предварительной версии, обратитесь к группе учетной записи Databricks.

• Обновление библиотек PyArrow, Horovod и TensorboardX.

  Обновление PyArrow добавляет возможность использовать BinaryType при выполнении преобразования с использованием Arrow и делает его доступным для использования в pandas UDF.

Дополнительные сведения см. в разделе Databricks Runtime 5.3 ML (EoS). Инструкции по созданию кластера Databricks Runtime для машинного обучения см. в разделе ИИ и машинное обучение в Databricks.