Общие сведения об использовании машинного обучения Spark в кластерах больших данных SQL Server
Область применения: 
SQL Server 2019 (15.x)
Внимание
Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, и программное обеспечение будет продолжать поддерживаться с помощью накопительных обновлений SQL Server до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.
В этой статье объясняется, как эффективно использовать Spark для Машинное обучение в SQL Server Кластеры больших данных.
Машинное обучение Spark в кластерах больших данных SQL Server
Кластеры больших данных SQL Server позволяют применять сценарии и решения машинного обучения, использующие различные технологические стеки: Службы машинного обучения SQL Server и Apache Spark ML.
Чтобы лучше понять, когда следует использовать каждый технологический стек, обратитесь к разделу Руководство по машинному обучению для кластеров больших данных SQL Server. В этом руководстве рассматривается Apache Spark ML.
Для сценариев машинного обучения на основе больших данных размещение больших данных в HDFS и использование возможностей Apache Spark ML являются более экономичным, масштабируемым и эффективным вариантом. Однако это далеко не исчерпывающий список возможностей машинного обучения Spark. Полный список возможностей см. в разделе Spark MLlib.
В следующем разделе приведен проверенный список сценариев и статей, связанных с использованием Spark в кластерах больших данных SQL Server.
Материалы по использованию машинного обучения Spark в кластерах больших данных SQL Server
| Learn | Содержимое | Установить связь |
|---|---|---|
| Среда выполнения кластеров больших данных SQL Server для Apache Spark | Содержит сведения о том, что входит в каждый выпуск | Руководство по среде выполнения кластеров больших данных SQL Server для Apache Spark |
| Пул носителей | Сведения о том, как хранить данные и как совместно использовать HDFS и Spark для получения доступа к данным для машинного обучения | Знакомство с пулом носителей в SQL Server Кластеры больших данных |
| Использование возможностей на основе записных книжек и выбранных инструментов | Подключение конечной точки Spark-Livy с использованием выбранных инструментов | Отправка заданий Spark в SQL Server Кластеры больших данных в Azure Data Studio Отправка заданий Spark в кластере больших данных SQL Server в Visual Studio Code Использование sparklyr в кластере больших данных SQL Server |
| Установка дополнительных пакетов | Если пакет отсутствует в списке, установите его | Управление библиотекой Spark |
| Как устранять неполадки | В случае появления ошибок | Устранение неполадок с записной книжкой pysparkОтладка и диагностика приложений Spark на sql Server Кластеры больших данных в сервере журнала Spark |
| Отправка пакетных заданий машинного обучения | Запуск обучения ML и пакетной оценки из командной строки | Отправка заданий Spark с помощью средств командной строки |
| Быстрое перемещение данных между SQL Server и Spark | Выбор SQL Server в качестве источника и/или места назначения для сценариев машинного обучения Spark. Использование HDFS не является обязательным | Использование соединителя Apache Spark для SQL Server и AZURE SQL |
| Практическое использование модели Spark | После обучения приступите к практическому использованию модели с помощью MLeap | Создание, экспорт и оценка моделей машинного обучения Spark на Кластеры больших данных SQL Server |
| Общие сведения о первичной обработке данных | Наряду с мощными возможностями Spark по первичной обработке данных мы предоставляем ускоритель кода PROSE | Первичная обработка данных с помощью ускорителя кода PROSE |
Следующие шаги
Дополнительные сведения см. в статье "Знакомство с SQL Server Кластеры больших данных".