Основные понятия: наука о данных и машинное обучение в Azure Databricks

Анализ данных и машинное обучение (DS и ML) извлекают аналитические сведения и создают прогнозные модели из данных. DS и ML включают как интерактивное исследование, так и моделирование и автоматизированные производственные системы. Классический машинный обучение включает такие методы, как классификация, регрессия, обнаружение аномалий, прогнозирование и рекомендация.

Современные методы глубокого обучения и ИИ — это технические типы машинного обучения. В этом разделе рассматривается глубокое обучение. Сведения об ИИ см. в разделе "Основные понятия: ИИ на Azure Databricks".

Жизненный цикл ML

Жизненный цикл машинного обучения охватывает комплексный путь от необработанных данных к рабочей модели и снова через мониторинг и переобучение. К ключевым этапам относятся:

1. Определите целевой объект прогнозирования, метрики успешности и рабочие требования.
2. Запустите анализ аналитических данных (EDA), чтобы понять распределение данных, прогнозные сигналы и проблемы с качеством данных перед моделированием.
3. Подготовка данных и функций, управляемых в хранилище компонентов.
4. Обучайте модели и отслеживайте эксперименты, записывая метаданные экспериментов для анализа и развертывания.
5. Оцените качество модели с использованием хранимых данных и критериев заинтересованных лиц.
6. Регистрируйте, подготавливайте и тестируйте модели перед развертыванием в рабочей среде.
7. Разверните в рабочую среду на конечных точках реального времени или в заданиях пакетного вывода.
8. Отслеживайте и переобучайте модели, чтобы адаптировать их к меняющимся данным или поведению пользователей.

См. руководство по каждому этапу жизненного цикла машинного обучения .

Разработка и операции с поддержкой искусственного интеллекта

В Azure Databricks есть Genie Code — ИИ-помощник, интегрированный во все записные книжки и рабочее пространство. Используйте его для разработки, отладки и текущих операций, опираясь на свои специализированные знания о контексте предприятия. См. раздел "Использование кода Genie для обработки и анализа данных".

Код Genie можно использовать на каждом шаге рабочего процесса:

• Начните с чата Genie , чтобы обнаружить соответствующие модели, данные и функции в рабочей области и каталоге Unity.
• Используйте Genie Code для создания прототипов конвейеров генерации признаков, обучения и настройки моделей, оценки и развертывания.
• Анализируйте эндпоинты обслуживания моделей с помощью Genie Code, чтобы диагностировать и исследовать проблемы в производственной среде.

Вы также можете использовать сторонние средства программирования для разработки и обслуживания конвейеров машинного обучения на Azure Databricks. См. навыки агента для помощников по написанию кода ИИ.

Что такое платформа машинного обучения?

Платформа машинного обучения — это объединенная инфраструктура, инструментирование и уровень управления, поддерживающий полный жизненный цикл машинного обучения, от необработанных данных до рабочих моделей. Хорошо спроектированная платформа машинного обучения объединяет инженерию данных, интерактивную аналитику данных и промышленное машинное обучение в единой управляемой системе.

К ключевым компонентам относятся:

• Ресурсы данных, такие как файлы, таблицы, конвейеры обработки и хранилища компонентов
• Инструменты для экспериментов, такие как ноутбуки и визуализации, с простой совместной работой и помощью ИИ
• Инфраструктура обучения с настраиваемыми средами и гибкими вычислительными ресурсами
• Инфраструктура развертывания и мониторинга для пакетной службы и обслуживания в режиме реального времени с рабочими панелями мониторинга и оповещениями
• Инструменты MLOps и управления для оркестрации, CI/CD, отслеживания происхождения данных, управления доступом и ведения журналов аудита

К ключевым возможностям управления относятся следующие возможности:

• Единое управление данными и ресурсами машинного обучения. Дополнительные сведения см. в статье "Что такое каталог Unity?".
• Единое управление конечными точками модели. Дополнительные сведения см. в шлюзе ИИ для обслуживания конечных точек.
• Единый подход к безопасности. Дополнительные сведения см. в databricks AI Security.
• Единое администрирование данных и средств машинного обучения. Подробнее см. в разделе Администрирование.

См. также возможности Azure Databricks в области науки о данных и машинного обучения и архитектуру Azure Databricks.

Машинное обучение и глубокое обучение и ИИ

Границы между машинным обучением (ML), глубокого обучения (DL) и ИИ могут быть нечеткими. В этом руководстве основное внимание уделяется машинному обучению и глубокому обучению, но следующие функции платформы поддерживают все три парадигмы:

• Служба моделей поддерживает классические модели машинного обучения, глубокого обучения и пользовательских моделей ИИ для вывода в режиме реального времени и пакетной обработки.
• ai_query поддерживает запросы SQL и рабочие нагрузки пакетного вывода для всех трех парадигм.

• Среда выполнения ИИ и среда выполнения с поддержкой GPU Databricks для Машинное обучение поддерживают обучение и настройку во всех трех парадигмах.

• Отслеживание экспериментов MLflow отслеживает запуски и эксперименты для всех трех парадигм.
• Databricks AI Search служит неструктурированным данным для всех трех парадигм.

Дополнительные ресурсы

• Жизненный цикл машинного обучения — этапы жизненного цикла машинного обучения и рекомендации
• Azure Databricks возможности обработки и анализа данных и машинного обучения — возможности машинного обучения Azure Databricks по этапу рабочего процесса
• ИИ в Databricks — варианты использования, клиенты и другие ресурсы