Поддерживаемые модели для оплаты за токен
Внимание
Эта функция предоставляется в режиме общедоступной предварительной версии.
В этой статье описываются современные открытые модели, поддерживаемые API модели Databricks Foundation в режиме оплаты за токен.
Запросы можно отправлять в эти модели с помощью конечных точек с оплатой за токен, доступных в рабочей области Databricks. См. статью "Базовые модели запросов".
Помимо поддержки моделей в режиме оплаты за токен, API модели Foundation также предлагают подготовленный режим пропускной способности. Databricks рекомендует подготовленную пропускную способность для рабочих нагрузок. Этот режим поддерживает все модели семейства архитектур модели (например, модели DBRX), включая настраиваемые и настраиваемые предварительно обученные модели, поддерживаемые в режиме оплаты за токен. Список поддерживаемых архитектур см . в API-интерфейсах модели модели подготовки подготовленной пропускной способности.
Вы можете взаимодействовать с этими поддерживаемыми моделями с помощью игровой площадки искусственного интеллекта.
Указание DBRX
Внимание
DBRX предоставляется под лицензией Databricks Open Model, Copyright © Databricks, Inc. Все права защищены. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели, включая политику допустимого использования Databricks.
Инструкции DBRX — это модель языка, обученная Databricks.
Модель выходит за пределы установленных открытый код моделей на стандартных тестах и выполняется в широком наборе задач естественного языка, таких как сводка текста, ответы на вопросы, извлечение и кодирование.
Инструкции DBRX Instruct могут обрабатывать до 32 кб маркеров входной длины и генерировать выходные данные до 4 кб маркеров. Благодаря своей архитектуре MoE DBRX Instruct является очень эффективным для вывода, активируя только 36B параметров из общей сложности 132B обученных параметров. Конечная точка с оплатой за токен, обслуживающая эту модель, имеет ограничение скорости одного запроса в секунду. См . ограничения и регионы обслуживания моделей.
Как и в других крупных языковых моделях, выходные данные инструкции DBRX могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать расширенное поколение (RAG) в сценариях, где точность особенно важна.
Модели DBRX используют следующую системную строку по умолчанию для обеспечения релевантности и точности в ответах модели:
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Мета Ллома 3 70B Инструктаж
Внимание
Llama 3 лицензирована в соответствии с лицензией СООБЩЕСТВА LLAMA 3, Метаплатформами авторских © прав, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
Meta-Llama-3-70B-Instruct — это модель плотного языка 70B с контекстом 8000 токенов, созданных и обученных Мета. Модель оптимизирована для вариантов использования диалога и соответствует человеческим предпочтениям для полезности и безопасности. Он не предназначен для использования на языках, отличных от английского. Узнайте больше о моделях Meta Llama 3.
Как и в других крупных языковых моделях, выходные данные Llama-3 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать расширенное поколение (RAG) в сценариях, где точность особенно важна.
Ллома 2 70B Чат
Внимание
Llama 2 лицензирована в соответствии с лицензией LLAMA 2 Community, © Meta Platform, Inc. Все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.
Llama-2-70B-Chat — это модель языка 70B параметров с длиной контекста 4096 токенов, обученных Meta. Он отличается от интерактивных приложений, требующих строгого аргументирования, включая суммирование, ответы на вопросы и приложения чата.
Как и в других крупных языковых моделях, выходные данные Llama-2-70B могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать расширенное поколение (RAG) в сценариях, где точность особенно важна.
Инструкции Mixtral-8x7B
Mixtral-8x7B Instruct является высококачественной разреженной смесью экспертной модели (SMoE), обученной Мистраль ИИ. Инструкции Mixtral-8x7B можно использовать для различных задач, таких как ответы на вопросы, суммирование и извлечение.
Mixtral может обрабатывать длину контекста до 32 кб маркеров. Mixtral может обрабатывать английский, французский, итальянский, немецкий и испанский. Mixtral совпадений или переиграет Ллама 2 70B и GPT3.5 на большинстве эталонных показателей (производительность Mixtral), в то время как в четыре раза быстрее, чем Llama 70B во время вывода.
Аналогично другим крупным языковым моделям, модель структуры Mixtral-8x7B не должна полагаться на создание фактически точной информации. Хотя было предпринято большое усилие по очистке предварительно подготовленных данных, возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные выходные данные. Чтобы снизить риск, Databricks по умолчанию использует вариант запроса системы безопасного режима Мистраля.
Инструкции MPT 7B
Инструкция MPT-7B-8K-Instruct — это модель 6,7B параметров, обученная MosaicML для выполнения инструкций с длинной формой, особенно ответов на вопросы и обобщение более длинных документов. Модель предварительно обучена для 1,5T-токенов в сочетании наборов данных и точно настроена на набор данных, производный от Databricks Dolly-15k, а также наборы данных Anthropic Полезной и Безвредной (HH-RLHF) — имя модели, которое вы видите в продукте mpt-7b-instruct , но модель, используемая специально, является новой версией модели.
Инструкции MPT-7B-8K-Instruct можно использовать для различных задач, таких как ответы на вопросы, суммирование и извлечение. Это очень быстро относительно Ллома-2-70B, но может привести к снижению качества ответов. Эта модель поддерживает длину контекста в 8 тысяч токенов. Дополнительные сведения о модели mpT-7B-8k-Instruct.
Аналогично другим языковым моделям этого размера, не следует полагаться на создание фактически точной информации mpT-7B-8K-Instruct. Эта модель была обучена на различных общедоступных наборах данных. Хотя было предпринято большое усилие по очистке предварительно подготовленных данных, возможно, что эта модель может генерировать непристойные, предвзятые или иным образом оскорбительные выходные данные.
Инструкции MPT 30B
MpT-30B-Instruct — это модель параметров 30B для инструкций, приведенных ниже, обученной в MosaicML. Модель предварительно обучена для 1T-токенов в сочетании английского текста и кода, а затем дальнейшие инструкции, точно настроенные на набор данных, производный от Databricks Dolly-15k, anthropic Полезный и безвредный (HH-RLHF), КонкуренцияMath, DuoRC, CoT GSM8k, QASPER, QuALITY, SummScreen и Наборы данных Паука.
Инструкции MPT-30B-Instruct можно использовать для различных задач, таких как ответы на вопросы, суммирование и извлечение. Это очень быстро относительно Llama-2-70B, но может создавать более низкие качества ответы и не поддерживает многоэтапный чат. Эта модель поддерживает длину контекста 8 192 токенов. Узнайте больше о модели инструкции MPT-30B.
Аналогично другим языковым моделям этого размера, инструкции MPT-30B-Instruct не должны полагаться на создание фактически точной информации. Эта модель была обучена на различных общедоступных наборах данных. Хотя было предпринято большое усилие по очистке предварительно подготовленных данных, возможно, что эта модель может создать непристойные, предвзятые или в противном случае оскорбительные выходные данные.
BGE Large (en)
BaAI General Embedding (BGE) — это модель внедрения текста, которая может сопоставить любой текст с вектором внедрения измерения 1024. Эти векторы можно использовать в векторных базах данных для LLM, а также задачи, такие как извлечение, классификация, ответы на вопросы, кластеризация или семантический поиск. Эта конечная точка служит английской версией модели.
Модели внедрения особенно эффективны при использовании в тандеме с LLM для получения дополненного поколения (RAG). BGE можно использовать для поиска соответствующих фрагментов текста в больших блоках документов, которые можно использовать в контексте LLM.
В приложениях RAG можно повысить производительность системы извлечения, включив параметр инструкции. Авторы BGE рекомендуют попробовать инструкцию "Represent this sentence for searching relevant passages:" по внедрению запросов, хотя его влияние на производительность зависит от домена.