Введение в создание приложений искусственного интеллекта в Azure Databricks

Мозаика ИИ поддерживает как простые, так и сложные приложения GenAI, от чат-ботов с дополненным поколением (RAG) до агентов вызова инструментов и систем. В этом руководстве описаны основные понятия приложений и агентов GenAI в Databricks и рекомендации по созданию, оценке и масштабированию приложений GenAI.

Страница	Description
Начало работы: GenAI без программирования	Попробуйте использовать ИИ-площадку для тестирования на основе пользовательского интерфейса и прототипирования.
Начало работы: MLflow 3 для GenAI	Попробуйте MLflow для трассировки, оценки и отзывов пользователей.
Основные понятия: GenAI в Databricks	Узнайте о моделях GenAI, агентах, инструментах и приложениях.
Платформа: основные функции GenAI	Дополнительные сведения о ключевых функциях GenAI в Azure Databricks.

Начало создания приложений GenAI

Попробуйте использовать пользовательский интерфейс и код на основе GenAI в Azure Databricks.

Tutorial	Description
Начните: запросы к большим языковым моделям и создание прототипов ИИ-агентов без программирования	Ознакомьтесь с ИИ-площадкой для тестирования и прототипов на основе пользовательского интерфейса.
Начало работы: MLflow 3 для GenAI	Попробуйте использовать MLflow для трассировки, оценки и обратной связи пользователей.
Как начать создание запросов к крупным языковым моделям в Databricks	Используйте интерфейсы API моделей Foundation для запроса моделей GenAI с помощью кода.

Изучение концепций GenAI

Ознакомьтесь с основными понятиями GenAI, такими как модели, агенты, инструменты и приложения.

Guide	Description
Основные понятия. Создание искусственного интеллекта в Azure Databricks	Узнайте о моделях GenAI, агентах, инструментах и приложениях.
Основные проблемы в создании приложений GenAI	Узнайте о ключевых проблемах GenAI и о том, как Databricks их решает.
шаблоны проектирования агентных систем	Узнайте о вариантах и компромиссах в конструкциях агентов, от простых цепочек до сложных многоагентных систем.

Использование функций Azure Databricks для создания приложений GenAI

Для подходов без кода или низкого кода сначала ознакомьтесь со следующими сведениями:

Функция	Description
Агент Брюкс	Создавайте и оптимизируйте доменные системы агентов ИИ высокого качества для распространенных вариантов использования.
Детская площадка для искусственного интеллекта	Запрашивайте модели и агентов GenAI, занимайтесь инженерией запросов, и прототипируйте агентов для вызова инструментов в пользовательском интерфейсе.
Функции ИИ	Вызов встроенных функций SQL для задач ИИ.

Для подходов code-first начните с изучения:

Функция	Description
MLflow для GenAI	Используйте MLflow для трассировки и наблюдаемости, оценки и мониторинга.
Базовые модели в службе обслуживания моделей	Используйте конечные точки модели GenAI, включая API-интерфейсы базовых моделей, размещенных в Databricks, и внешние модели.
Векторный поиск	Создание и запрос векторных индексов для RAG и других систем агентов.
Фреймворк агента ИИ Mosaic	Создание и развертывание агентов ИИ с помощью кода.
Шлюз искусственного интеллекта	Управление и мониторинг доступа к моделям и конечным точкам GenAI.

Более подробный список см. раздел "Возможности ИИ Mosaic" для GenAI.

Общая аналитика и аналитика данных

• Общий интеллект относится к тому, что LLM внутренне знает в результате широкого предтренинга на разнообразных текстах. Это полезно для свободного владения языком и общего рассуждения.
• Аналитика данных относится к данным и API для конкретного домена вашей организации. Это может включать записи клиентов, сведения о продукте, базы знаний или документы, которые отражают уникальную бизнес-среду.

Системы агентов смешивают эти два источника знаний: они начинаются с широкого, универсального знания LLM, а затем приносят данные в режиме реального времени или конкретного домена, чтобы ответить на подробные вопросы или выполнить специализированные действия. С помощью Azure Databricks вы можете внедрить аналитику данных в приложения GenAI на каждом уровне:

• Источники данных, такие как векторные индексы и Genie

• Агенты, в том числе пользовательские дизайны агентов и автоматизированные дизайны из Agent Bricks

• Данные оценки и метрики
• Оптимизация запроса на основе данных оценки

• Точная настройка модели, включая индивидуальную настройку и автоматическую настройку агентом Bricks

GenAI vs. ML и глубокое обучение

Границы между генерируемым искусственным интеллектом (GenAI), машинным обучением (ML) и глубоким обучением (DL) могут быть нечеткими. В этом руководстве основное внимание уделяется GenAI, но следующие функции платформы Databricks поддерживают машинное обучение, глубокое обучение и GenAI:

• Служба моделей поддерживает модели машинного обучения, глубокого обучения и GenAI. Его можно использовать для пакетного вывода GenAI и для развертывания агентов или точно настроенных моделей с помощью поддержки пользовательских моделей.

• Бессерверные вычисления на GPU и Databricks Runtime с поддержкой GPU для машинного обучения можно использовать для обучения и тонкой настройки моделей глубокого обучения и моделей GenAI.

• Отслеживание экспериментов MLflow можно использовать для отслеживания как классических экспериментов машинного обучения, так и экспериментов GenAI.
• Хранилище функций Databricks можно использовать для управления структурированными данными как для классического машинного обучения, так и для GenAI.