Поделиться через

Общие сведения о создании приложений ИИ поколения на Databricks

  • Статья

Мозаичный ИИ предоставляет комплексную платформу для создания, развертывания и управления приложениями GenAI. В этой статье описаны основные компоненты и процессы, участвующие в разработке приложений GenAI в Databricks.

Развертывание и выполнение запросов моделей ИИ поколения

Для простых вариантов использования можно напрямую обслуживать и запрашивать модели ИИ поколения, включая высококачественные модели с открытым исходным кодом, а также сторонние модели от поставщиков LLM, таких как OpenAI и Anthropic.

Служба модели ИИ мозаики поддерживает обслуживание и запросы моделей сгенерируемым ИИ с помощью следующих возможностей:

  • API-интерфейсы модели foundation. Эта функция позволяет открывать современные модели и точно настроенные варианты моделей для конечной точки обслуживания модели. Эти модели являются курируемыми архитектурами базовых моделей, поддерживающими оптимизированное вывод. Базовые модели, такие как инструкции DBRX, Llama-2-70B-chat, BGE-Large и Mistral-7B доступны для немедленного использования с ценами на токен , а рабочие нагрузки, требующие гарантий производительности, таких как настраиваемые варианты модели, могут быть развернуты с подготовленной пропускной способностью.
  • Внешние модели. Это генеривные модели ИИ, размещенные за пределами Databricks. Конечные точки, обслуживающие внешние модели, могут централизованно управляться, и клиенты могут устанавливать ограничения скорости и управление доступом для них. Примеры включают в себя базовые модели, такие как GPT-4 OpenAI, Anthropic в Клоде и другие.

См. статью "Создание модели создания модели искусственного интеллекта" для обслуживания конечных точек.

Платформа агента ИИ мозаики

Платформа агента ИИ Мозаики состоит из набора инструментов для Databricks, предназначенных для создания, развертывания и оценки рабочих агентов, таких как приложения получения дополненного поколения (RAG).

Она совместима с сторонними платформами, такими как LangChain и LlamaIndex, что позволяет разрабатывать с помощью предпочтительной платформы и использовать управляемый каталог Unity Databricks, платформу оценки агентов и другие преимущества платформы.

Быстро выполните итерацию по разработке агента с помощью следующих функций:

  • Создание и ведение журналов агентов с помощью любой библиотеки и MLflow. Параметризируйте агенты, чтобы быстро экспериментировать и выполнять итерацию по разработке агентов.
  • Трассировка агента позволяет выполнять журнал, анализ и сравнение трассировок в коде агента для отладки и понимания того, как агент отвечает на запросы.
  • Развертывание агентов в рабочей среде с собственной поддержкой потоковой передачи маркеров и ведения журнала запросов и ответов, а также встроенное приложение проверки для получения отзывов пользователей для агента.