Обучение моделей искусственного интеллекта и машинного обучения

Azure Databricks предлагает вычислительные решения для различных нужд машинного обучения — от управляемых кластеров до бессерверных GPU-вычислений с AI Runtime.

Вычисления	Описание
Среда выполнения ИИ	Бессерверная среда вычислений GPU, оптимизированная для пользовательских рабочих нагрузок глубокого обучения с одним узлом и несколькими узлами.
Среда выполнения Databricks для машинного обучения	Классическая среда вычислений с предварительно созданными библиотеками для классических рабочих нагрузок машинного обучения и глубокого обучения.

Среда выполнения ИИ

Среда выполнения ИИ — это специализированное предложение в бессерверной экосистеме Databricks. Она оптимизирована для нагрузок глубокого обучения с одним или несколькими узлами, таких как тонкая настройка LLM или обучение моделей компьютерного зрения. Общие сведения о том, как бессерверные вычисления соответствуют архитектуре Databricks, см. в разделе "Бессерверная архитектура рабочей области".

Ключевые возможности:

• Мгновенная доступность: устраняет необходимость управлять базовой кластерной инфраструктурой, что позволяет напрямую подключить ноутбук к AI Runtime.
• Высокопроизводительное оборудование: предоставляет доступ к GPU A10 для экономичных задач.
• Управляемые среды. Предоставляет базовую среду по умолчанию для полной настройки или среды ИИ, предварительно загруженной с общими пакетами машинного обучения, такими как Преобразователи и Ray.
• Гибкое масштабирование. Поддерживает распределенное обучение по нескольким GPU и узлам.

Databricks Runtime для машинного обучения

Databricks Runtime for Машинное обучение — это специализированная среда выполнения, которая автоматизирует создание вычислительных ресурсов с предварительно созданной инфраструктурой. Он предназначен для пользователей, которые хотят комплексной, готовой к использованию среды для классического машинного обучения и глубокого обучения.

Ключевые возможности:

• Предварительно установленные библиотеки: включает популярные библиотеки, такие как PyTorch, TensorFlow и XGBoost, которые получают частые обновления и оптимизированную поддержку.
• Универсальность вычислений: Поддерживает типы экземпляров на основе CPU и GPU, включая AWS Graviton для улучшения соотношения цены и производительности.
• Оптимизация: предлагает интеграцию с Photon для ускорения задач Spark SQL, DataFrames и обработки признаков.
• Управление доступом: требуется выделенный режим доступа для безопасного доступа к данным через каталог Unity.