Обучение моделей искусственного интеллекта и машинного обучения

Azure Databricks предлагает гибкие вычислительные решения, адаптированные к различным потребностям машинного обучения, начиная от сред выполнения управляемого кластера до полностью бессерверных сред GPU.

Вычисления	Описание
Среда выполнения ИИ	Бессерверная среда вычислений GPU, оптимизированная для пользовательских рабочих нагрузок глубокого обучения с одним узлом и несколькими узлами.
Среда выполнения Databricks для машинного обучения	Классическая среда вычислений с предварительно созданными библиотеками для классических рабочих нагрузок машинного обучения и глубокого обучения.

Среда выполнения ИИ (предварительная версия)

Это важно

Эта функция доступна в общедоступной предварительной версии.

Среда выполнения ИИ — это специализированное предложение в бессерверной экосистеме Databricks. Она оптимизирована для нагрузок глубокого обучения с одним или несколькими узлами, таких как тонкая настройка LLM или обучение моделей компьютерного зрения. Общие сведения о том, как бессерверные вычисления соответствуют архитектуре Databricks, см. в разделе "Бессерверная архитектура рабочей области".

Ключевые возможности:

• Мгновенная доступность: Снимает необходимость управления базовой инфраструктурой кластера, что позволяет подключить блокнот непосредственно к безсерверным ресурсам GPU.
• Высокопроизводительное оборудование: предоставляет доступ к GPU A10 для экономичных задач.
• Управляемые среды. Предоставляет базовую среду по умолчанию для полной настройки или среды ИИ, предварительно загруженной с общими пакетами машинного обучения, такими как Преобразователи и Ray.
• Гибкое масштабирование. Поддерживает распределенное обучение по нескольким GPU и узлам.

Databricks Runtime для машинного обучения

Databricks Runtime for Machine Learning — это специализированная среда выполнения, которая автоматизирует создание вычислительных ресурсов с предварительно созданной инфраструктурой. Он предназначен для пользователей, которые хотят комплексной, готовой к использованию среды для классического машинного обучения и глубокого обучения.

Ключевые возможности:

• Предварительно установленные библиотеки: включает популярные библиотеки, такие как PyTorch, TensorFlow и XGBoost, которые получают частые обновления и оптимизированную поддержку.
• Универсальность вычислений: Поддерживает типы экземпляров на основе CPU и GPU, включая AWS Graviton для улучшения соотношения цены и производительности.
• Оптимизация: предлагает интеграцию с Photon для ускорения задач Spark SQL, DataFrames и обработки признаков.
• Управление доступом: требуется выделенный режим доступа для безопасного доступа к данным через каталог Unity.