Поделиться через

Поддерживаемые модели для API моделей Databricks Foundation

В этой статье описываются современные открытые модели, поддерживаемые API модели Databricks Foundation.

Примечание.

Смотрите поддерживаемые базовые модели на Mosaic AI Model Serving для проверки региональной доступности этих моделей и поддерживаемых областей функций.

Запросы можно отправлять в эти модели с помощью конечных точек с оплатой за токен, доступных в рабочей области Databricks. Дополнительные сведения см. в статье "Использование базовых моделей " и таблицы моделей с оплатой за токен для имен используемых конечных точек модели.

Помимо поддержки моделей в режиме оплаты за токен, API базовых моделей также предлагают режим обеспеченной пропускной способности. Databricks рекомендует выделенную пропускную способность для производственных рабочих нагрузок. Этот режим поддерживает все модели семейства архитектур моделей (например, модели DBRX), включая тонко настроенные и настраиваемые предварительно обученные модели, поддерживаемые в режиме оплаты за токен. Список поддерживаемых архитектур см. в API модели базовых моделей с подготовленной пропускной способностью.

Вы можете взаимодействовать с этими поддерживаемыми моделями с помощью игровой площадки искусственного интеллекта.

Мета Лама 4 Маверрик

Внимание

Ознакомьтесь с лицензиями разработчиков и условиями лицензии для разработчиков модели Llama 4 и политики допустимого использования.

Лама 4 Maverick является передовой большой языковой моделью, построенной и обученной компанией Мета. Это первая модель из семейства Llama, которая использует архитектуру с сочетанием экспертов для повышения эффективности вычислений. Llama 4 Maverick поддерживает несколько языков и оптимизирован для точных вариантов использования изображений и распознавания текста. В настоящее время поддержка Databricks Llama 4 Maverick ограничена задачами, связанными с пониманием текста. Узнайте больше о Ламе 4 Маверик.

Как и в других крупных языковых моделях, выходные данные Llama 4 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Meta Llama 3.3 70B

Внимание

Начиная с 11 декабря 2024 года Meta-Llama-3.3-70B-Instruct приходит на смену поддержку Meta-Llama-3.1-70B-Instruct в точках взаимодействия Foundation Model API с оплатой за каждый токен.

Ознакомьтесь с лицензиями разработчиков и условиями, применимыми к лицензии сообщества LLama 3.3 и политике приемлемого использования.

Meta-Llama-3.3-70B-Instruct — это современная модель обработки естественного языка с контекстом на 128 000 маркеров, созданная и обученная компанией Meta. Модель поддерживает несколько языков и оптимизирована для вариантов использования диалога. Узнайте больше о Мета Ллома 3.3.

Как и в других крупных языковых моделях, выходные данные Llama-3 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Meta Llama 3.1 405B Инструкция

Внимание

Использование этой модели с API Foundation находится в общедоступной предварительной версии. Обратитесь к группе учетных записей Databricks, если при использовании этой модели возникают сбои конечных точек или ошибки стабилизации.

Смотрите применимые лицензии разработчиков моделей и условия для лицензионного соглашения сообщества Llama 3.1 и Правила надлежащего использования.

Meta-Llama-3.1-405B-Instruct является крупнейшей открыто доступной моделью большого языка, созданной и обученной мета, и распространяется машинным обучением Azure с помощью каталога моделей AzureML. Использование этой модели позволяет клиентам разблокировать новые возможности, такие как расширенное, многошаговое рассуждение и высококачественное создание синтетических данных. Эта модель конкурентоспособна с GPT-4-Turbo с точки зрения качества.

Как и Meta-Llama-3.1-70B-Instruct, эта модель имеет контекст 128 000 маркеров и поддержку на десяти языках. Он соответствует человеческим предпочтениям для полезности и безопасности и оптимизирован для вариантов использования диалога. Дополнительные сведения о моделях Meta Llama 3.1.

Как и в других крупных языковых моделях, выходные данные Llama-3.1 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Мета Ллама 3.1 8B Instruct

Внимание

См. применимые лицензии разработчиков и условия для лицензии сообщества LLama 3.1 и политики допустимого использования.

Meta-Llama-3.1-8B-Instruct — это передовая языковая модель с контекстом 128 000 маркеров, созданная и обученная Meta. Модель поддерживает несколько языков и оптимизирована для вариантов использования диалога. Узнайте больше о Мета Ллома 3.1.

Как и в других крупных языковых моделях, выходные данные Llama-3 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Anthropic Claude Sonnet 4

Внимание

Клиенты отвечают за обеспечение соответствия условиям политики допустимого использования Anthropic. См. также соглашение databricks Master Cloud Services.

Claude Sonnet 4 — это передовая гибридная модель рассуждений, построенная и обученная компанией Anthropic. Эта модель предлагает два режима: практически мгновенное реагирование и расширенное мышление для более глубокой рассудки на основе сложности задачи. Claude Sonnet 4 оптимизирован для различных задач, таких как разработка кода, крупномасштабный анализ содержимого и разработка приложений агента.

Как и в других крупных языковых моделях, выходные данные Claude Sonnet 4 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Эта конечная точка размещена Databricks Inc. в AWS в периметре безопасности Databricks.

Anthropic Claude Opus 4

Внимание

Клиенты отвечают за обеспечение соответствия условиям политики допустимого использования Anthropic. См. также соглашение databricks Master Cloud Services.

Клод Opus 4 — это инновационная гибридная модель рассуждений, построенная и обученная Anthropic. Эта модель предлагает два режима: практически мгновенное реагирование и расширенное мышление для более глубокой рассудки на основе сложности задачи. Claude Opus 4 оптимизирован для различных задач, таких как расширенное создание кода, оркестрация агентов, кросс-исходные исследования, создание контента и суммирование с использованием хранения контекста.

Как и в других крупных языковых моделях, выходные данные Claude Opus 4 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Эта конечная точка размещена Databricks Inc. в AWS в периметре безопасности Databricks.

Anthropic Claude 3.7 Сонет

Внимание

Клиенты отвечают за обеспечение соответствия условиям политики допустимого использования Anthropic. См. также соглашение databricks Master Cloud Services.

Клод 3.7 Sonnet — это гибридная модель рассуждений, созданная и обученная компанией Anthropic. Это большая языковая модель и модель рассуждений, которая может быстро реагировать или расширять свои рассуждения в зависимости от сложности задачи. При использовании расширенного режима мышления действия Клода 3.7 Sonnet отображаются пользователю. Клод 3.7 Sonnet оптимизирован для различных задач, таких как создание кода, математическое обоснование и следование инструкциям.

Как и в других крупных языковых моделях, выходные данные Claude 3.7 могут опустить некоторые факты и иногда создавать ложные сведения. Databricks рекомендует использовать генерацию, дополненную выборкой (RAG), в сценариях, где особенно важна точность.

Эта конечная точка размещена Databricks Inc. в AWS в периметре безопасности Databricks.

GTE Large (en)

Внимание

GtE Large (En) предоставляется в соответствии с лицензией Apache 2.0, авторскими правами (c) Apache Software Foundation, все права зарезервированы. Клиенты отвечают за обеспечение соответствия применимым лицензиям модели.

General Text Embedding (GTE) — это модель текстового встраивания, которая может сопоставить любой текст с вектором размерности 1024 и окном встраивания для 8192 токенов. Эти векторы можно использовать в векторных индексах для LLM, а также для задач, таких как извлечение, классификация, ответы на вопросы, кластеризация или семантический поиск. Эта конечная точка API обслуживает англоязычную версию модели и не создает нормализованные эмбеддинги.

Модели встраивания особенно эффективны при использовании в тандеме с крупномасштабными языковыми моделями (LLM) для дополненного извлечением генерации (RAG). GTE можно использовать для поиска соответствующих фрагментов текста в больших блоках документов, которые можно использовать в контексте LLM.

BGE Large (en)

BaAI General Embedding (BGE) — это модель встраивания текста, которая может сопоставить любой текст с вектором встраивания 1024 измерений и окном встраивания 512 токенов. Эти векторы можно использовать в векторных индексах для LLM, а также для задач, таких как извлечение, классификация, ответы на вопросы, кластеризация или семантический поиск. Эта конечная точка предоставляет английскую версию модели и генерирует нормализованные встраивания.

Модели встраивания особенно эффективны при использовании в тандеме с крупномасштабными языковыми моделями (LLM) для дополненного извлечением генерации (RAG). BGE можно использовать для поиска соответствующих фрагментов текста в больших блоках документов, которые можно использовать в контексте LLM.

В приложениях RAG можно повысить производительность системы извлечения, включив параметр инструкции. Авторы BGE рекомендуют попробовать инструкцию "Represent this sentence for searching relevant passages:" для внедрения запросов, хотя её влияние на производительность зависит от области.

Дополнительные ресурсы