Поделиться через

Общие сведения о генеривных приложениях ИИ в Databricks

Mosaic AI поддерживает как простые, так и сложные приложения генеративного ИИ, от чат-ботов с дополненной генерацией (RAG) до агентов для вызова инструментов. Ознакомьтесь с ключевыми понятиями, лежащими в основе приложений и агентов поколения, изучите распространенные шаблоны проектирования и ознакомьтесь с руководствами по созданию, оценке и масштабированию приложений ИИ поколения.

Основные понятия приложений генеративного ИИ

Ознакомьтесь с основными понятиями приложений генеративного ИИ.

Узнайте, как Мозаика ИИ решает ключевые проблемы во время разработки ИИ поколения.

Попробуйте создавать приложения поколения ИИ с помощью Мозаичного ИИ

Начните изучение со следующих руководств по ноутбуку:

Когда вы будете готовы к большей сложности, ознакомьтесь с расширенными руководствами и учебными материалами.

Что такое приложения ИИ поколения?

Приложение ИИ поколения — это приложение, использующее модели генерированного ИИ (например, LLMs, модели создания изображений и модели преобразования текста в речь) для создания новых выходных данных, автоматизации сложных задач или участия в интеллектуальном взаимодействии на основе ввода пользователем. В то время как приложения генеративного ИИ могут использовать различные модели, это руководство сосредоточено на приложениях, работающих на основе LLM.

Хотя приложения ИИ на основе LLM-поколения могут создаваться различными способами, они обычно попадают под один из двух архитектурных шаблонов:

Тип 1. Монолитный LLM + запрос Тип 2 (рекомендуется): система агента
Что такое? Один LLM с тщательно разработанными запросами. Несколько взаимодействующих компонентов (вызовы LLM, ретриверы, вызовы API) организованы вместе , начиная от простых цепочек до сложных многоагентных систем.
пример вариантов использования классификация контента: использование LLM для категоризации запросов в службу поддержки клиентов по предопределённым темам. Интеллектуальный помощник: объединение процессов извлечения документов, нескольких вызовов LLM и внешних API, используемых для исследования, анализа и составления комплексных отчетов.
лучше всего подходит для Простые, ориентированные задачи, быстрые прототипы и четко определенные запросы. Сложные рабочие процессы, задачи, требующие различных навыков, и задачи, требующие учета предыдущих шагов.
ключевые преимущества Упрощенная реализация, более быстрая разработка и более низкая операционная сложность. Более надежный и поддерживаемый, лучший контроль и гибкость, легче тестировать и проверять, а также оптимизация на уровне компонентов.
Ограничения Менее гибкий, трудный для оптимизации и ограниченной функциональности. Более сложная реализация, более начальная настройка и нуждается в координации компонентов.

Для большинства корпоративных вариантов использования Databricks рекомендует агентную систему . Разбив системы на небольшие, хорошо определенные компоненты, разработчики могут лучше управлять сложностью, сохраняя высокий уровень контроля и соответствия требованиям, необходимым для корпоративных приложений.

В мозаике ИИ есть инструменты и возможности, которые работают как для монолитных систем, так и для систем агентов, а остальная часть этой документации охватывает создание обоих типов приложений ИИ поколения.

Чтобы узнать больше о теории, лежащей в основе систем агентов, и монолитных моделей, просмотреть записи блога из основателей Databricks:

Что такое система агента?

Система агента — это система на основе ИИ , которая может автономно воспринимать, решать и действовать в среде для достижения целей. В отличие от автономного LLM, который создает только выходные данные при появлении запроса, система агента обладает степенью агентства. Современные агентные системы на основе LLM используют LLM в качестве "мозга" для интерпретации контекста, размышляя о следующем шаге, и выполнения таких действий, как вызовы API, механизмы извлечения и использование инструментов для выполнения задач.

Система агента — это система с LLM в его основе. Эта система:

  1. Получает запросы пользователей или сообщения от другого агента.
  2. Соображения о том, как действовать: какие данные следует получить, какую логику применить, какие инструменты использовать, или запрашивать дополнительные данные от пользователя.
  3. Выполняет план и, возможно, вызывает несколько инструментов или передает полномочия подчиненным агентам.
  4. Возвращает ответ или запрашивает у пользователя дополнительное уточнение.

Благодаря объединению общего интеллекта (предварительно обученных возможностей LLM) и интеллекта данных (специализированных знаний и API, относящихся к вашему бизнесу), системы агентов обеспечивают высокоэффективные корпоративные сценарии использования, такие как усовершенствованные потоки обслуживания клиентов, боты с богатыми данными для аналитики и оркестрация с несколькими агентами для сложных операционных задач.

Что может сделать система агента?

Система агента может:

  • Динамически планировать действия
  • Перенос состояния от одного шага к следующему
  • Настройте свою стратегию на основе новой информации без непрерывного вмешательства человека

Где автономный LLM может выводить маршрут путешествия при запросе, система агента может получить сведения о клиентах и забронировать рейсы автономно, используя средства и API. Сочетая "общий интеллект" из LLM с использованием "интеллектуального анализа данных" (данные или API для конкретного домена), агентные системы могут решать сложные случаи использования в предприятиях, которые одной статической модели было бы сложно решить.

Агентность — это континуум; чем больше свободы вы предоставляете моделям для управления поведением системы, тем более агентным становится приложение. На практике большинство производственных систем тщательно ограничивают автономию агента, чтобы обеспечить соответствие и прогнозируемость, например, требуя одобрения человека для рискованных действий.

Общая аналитика и аналитика данных

Диаграмма, сравнивающая общий интеллект и интеллект данных.

  • общий интеллект: относится к тому, что LLM по сути знает от широкого предварительного обучения на разнообразном тексте. Это полезно для свободного владения языком и общего рассуждения.
  • Аналитика данных: Ссылается на данные и API для конкретного домена вашей организации. Это может включать записи клиентов, сведения о продукте, базы знаний или документы, которые отражают уникальную бизнес-среду.

Системы агентов смешивают эти две перспективы: они начинаются с широкого, универсального знания LLM, а затем приносят данные в режиме реального времени или конкретного домена, чтобы ответить на подробные вопросы или выполнить специализированные действия.

Пример системы агента

Блок-схема взаимодействия клиента с приложением генеративного ИИ.

Рассмотрим сценарий центра обработки вызовов между клиентом и агентом искусственного интеллекта поколения:

Клиент отправляет запрос: "Вы можете помочь мне вернуть последний заказ?"

  1. Причина и план. Учитывая намерение запроса, агент планирует: "Просмотреть последний заказ пользователя и проверить нашу политику возврата".
  2. Поиск сведений (аналитика данных): агент запрашивает базу данных заказов, чтобы получить соответствующий заказ и ссылается на политический документ.
  3. Причина: агент проверяет, соответствует ли этот заказ периоду возврата.
    • Необязательное участие человека в процессе: Агент проверяет дополнительное правило: если элемент попадает в определенную категорию или находится за пределами обычного периода возврата, передать на рассмотрение человеку.
  4. действие: агент активирует процесс возврата и создает метку доставки.
  5. Причина: агент создает ответ для клиента.

Агент ИИ отвечает клиенту: "Готово! Вот ваша этикетка доставки..."

Эти шаги являются второй натурой в контексте call-центра, где работают люди. В контексте системы агента LLM "рассуждает", в то время как система вызывает специализированные инструменты или источники данных для наполнения деталями.

Средства и источники данных, которые использует система агента.

Уровни сложности: от LLM до систем агентов

При создании систем искусственного интеллекта может возникнуть несколько уровней сложности.

  • LLM (LLM + Промт)

    • Автономный LLM реагирует на текстовые запросы на основе знаний из обширного набора данных обучения.
    • Хорошо подходит для простых или универсальных запросов, но часто не связано с реальными данными бизнеса.

    LLM отвечает пользователям

  • жестко запрограммированную систему агента («Chain»)

    • Разработчики оркеструют детерминированные, предварительно определенные шаги. Например, приложение RAG всегда может извлекать из векторного хранилища и объединять результаты с запросом пользователя.
    • Логика фиксирована, и LLM не решает, с какой последовательностью вызывать инструменты.

    Жестко закодированные цепочки инструментов

  • Система агента вызова инструментов

    • LLM решает, какое средство следует использовать и когда следует использовать во время выполнения.
    • Этот подход поддерживает динамические, контекстно-осведомленные решения о вызове каких инструментов, таких как база данных CRM или API публикации в Slack.

    Агенты ИИ рационализирует план и выполняют его с помощью инструментов.

  • Многоагентные системы

    • Несколько специализированных агентов, каждая из которых имеет собственную функцию или домен.
    • Координатор (иногда руководитель ИИ , иногда на основе правил) решает, какой агент будет вызываться на каждом шаге.
    • Агенты могут передавать задачи друг другу, сохраняя общий поток беседы.

    Координатор управляет несколькими агентами ИИ.

При создании любого приложения на базе LLM начните с простого. Введите более сложные действия агентов, когда они действительно нужны для повышения гибкости или принятия решений на основе модели. Детерминированные цепочки предлагают прогнозируемые потоки на основе правил для хорошо определенных задач, а более агентические подходы стоят за дополнительную сложность и потенциальную задержку.

Платформа агента ИИ мозаики не зависит от этих шаблонов, что упрощает запуск и развитие на более высоком уровне автоматизации и автономии по мере роста требований приложения.

Инструменты в агентной системе

В контексте системы агента, инструменты являются функциями единичного взаимодействия, которые LLM может вызывать для выполнения четко определенной задачи. Модель искусственного интеллекта обычно создает параметры для каждого вызова средства, а средство обеспечивает простое взаимодействие с входными выходными данными. На стороне инструмента нет памяти для многоходовых операций.

Ниже перечислены некоторые распространенные категории инструментов:

  • Средства , которые извлекают или анализируют данные
    • средства извлечения вектора: запрашивать векторный индекс, чтобы найти наиболее релевантные фрагменты текста.
    • Структурированные средства извлечения: выполнять запросы к таблицам Delta или использовать API для получения структурированной информации.
    • средство поиска в Интернете: поиск в интернете или во внутренней базе данных.
    • Классические модели машинного обучения: Средства, которые вызывают модели машинного обучения для выполнения прогнозов классификации или регрессии, таких как модель scikit-learn или XGBoost.
    • Модели генеративного ИИ: Инструменты, которые выполняют специализированную генерацию, например генерацию кода или изображений, и возвращают результаты.
  • средства , изменяющие состояние внешней системы
    • Средство вызова API: Конечные точки CRM, внутренние службы или другие сторонние интеграции для таких задач, как "обновление состояния доставки".
    • средство выполнения кода : выполняет предоставленный пользователем код (или в некоторых случаях, созданный LLM) в песочнице.
    • интеграция со Slack или электронной почтой: размещает сообщение или отправляет уведомление.
  • Средства, выполняющие логику или выполняющие определенную задачу
    • Средство исполнителя кода: Выполняет предоставленный пользователем код или код LLM в песочнице, например скрипты Python.

Чтобы узнать больше об инструментах агента ИИ Мозаики, см. раздел инструменты агента ИИ.

Ключевые характеристики инструментов

Инструменты в агентской системе

  • Выполните одну хорошо определенную операцию.
  • Не сохраняйте текущий контекст за пределами этого вызова.
  • Разрешить системе агента доступ к внешним данным или службам, так как LLM не может получить доступ к ним напрямую.

Обработка ошибок и безопасность инструментов

Так как каждый вызов средства является внешней операцией, например вызовОМ API, система должна корректно обрабатывать сбои, такие как время ожидания, обработка неправильно сформированных ответов или недопустимые входные данные. В производственной среде ограничьте количество разрешенных вызовов инструментов, имейте резервный ответ, если все вызовы инструментов завершаются сбоем, и примените ограничения, чтобы система агентов не пыталась повторить одно и то же неудачное действие.

Подробнее