Пакетное вывод с помощью API-интерфейсов модели Foundation

В этой статье приведены примеры записных книжек, которые выполняют пакетное вывод в подготовленной конечной точке пропускной способности с помощью API модели Foundation. Для выполнения пакетного вывода с помощью API модели Foundation требуются обе записные книжки.

В примерах показано пакетное вывод с помощью модели инструкций DBRX для задач чата.

Требования

• Рабочая область в поддерживаемом регионе API модели Foundation
• Databricks Runtime 14.0 ML или более поздней версии
• Записная книжка и chat-batch-inference-api записная книжка provisioned-throughput-batch-inference должны существовать в том же каталоге в рабочей области.

Настройка входной таблицы, пакетного вывода

Следующая записная книжка выполняет следующие задачи с помощью Python:

• Считывает данные из входной таблицы и входного столбца
• Создает запросы и отправляет их в конечную точку API модели Foundation
• Сохраняет входные строки вместе с данными ответа в выходную таблицу

Задачи пакетного вывода модели чата с помощью записной книжки Python

Получить записную книжку

Следующая записная книжка выполняет те же задачи, что и указанная выше записная книжка, но с помощью Spark:

• Считывает данные из входной таблицы и входного столбца
• Создает запросы и отправляет их в конечную точку API модели Foundation
• Сохраняет входную строку вместе с данными ответа в выходной таблице

Задачи пакетного вывода модели чата с помощью записной книжки UDF PySpark Pandas

Получить записную книжку

Создание подготовленной конечной точки пропускной способности

Если вы хотите использовать записную книжку Spark вместо записной книжки Python, обязательно обновите команду, которая вызывает записную книжку Python.

• Создает подготовленную конечную точку обслуживания пропускной способности
• Отслеживайте конечную точку, пока не достигнет готового состояния
• Вызывает записную книжку chat-batch-inference-api для выполнения задач пакетного вывода параллельно с подготовленной конечной точкой. Если вы предпочитаете использовать Spark, измените эту ссылку на вызов записной книжки chat-batch-inference-udf .
• Удаляет подготовленную конечную точку обслуживания пропускной способности после завершения пакетного вывода

Выполнение пакетного вывода в подготовленной записной книжке конечной точки пропускной способности

Получить записную книжку

Дополнительные ресурсы

• Начало запроса LLM в Databricks
• Попробуйте модель инструктажа DBRX на детской площадке ИИ