Использование Apache Spark MLlib в Azure Databricks

На этой странице приведены примеры записных книжек, показывающих, как использовать MLlib в Azure Databricks.

Apache Spark MLlib — масштабируемая библиотека машинного обучения Apache Spark, состоящая из общих алгоритмов и служебных программ обучения, включая классификацию, регрессию, кластеризацию, совместную фильтрацию, сокращение размерности, а также базовые элементы оптимизации. Для получения справочных сведений о функциях MLlib Azure Databricks рекомендует следующие ссылки на API Apache Spark:

• Руководство по программированию MLlib
• Справочник по API Python
• Справочник по API Scala
• API Java

Пакет pyspark.ml из Apache Spark MLlib поддерживается для бессерверных, стандартных и выделенных вычислений.

Сведения об использовании Apache Spark MLlib из R см. в документации по машинному обучению R.

Пример записной книжки для двоичной классификации

В этой записной книжке показано, как создать приложение двоичной классификации с помощью API конвейеров Apache Spark MLlib.

Ноутбук для двоичной классификации

Получить ноутбук

Примеры записных книжек для деревьев принятия решений

В этих примерах демонстрируются разные приложения деревьев принятия решений с использованием API конвейеров Apache Spark MLlib.

деревья принятия решений

В этих записных книжках показано, как выполнять классификацию с помощью деревьев принятия решений.

Записная книжка — деревья принятия решений для распознавания цифр

Получить ноутбук

Записная книжка для опроса SFO — деревья решений

Получить ноутбук

Регрессия GBT с использованием конвейеров MLlib

В этой тетради показано, как использовать конвейеры MLlib для выполнения регрессии с использованием деревьев с градиентным усилением для прогнозирования количества арендованных велосипедов (в час) на основе таких сведений, как день недели, погода, сезон и т. д.

Записная книжка — регрессия для прогнозирования показателей проката велосипедов

Получить ноутбук

Пример продвинутого блокнота Apache Spark MLlib

В этой записной книжке показано, как создать пользовательский трансформатор.

Записная книжка — пользовательский трансформатор

Получить ноутбук