Compartilhar via

Implantar foundation models de IA generativa

  • Artigo

Este artigo descreve o suporte para servir e consultar modelos fundamentais de IA generativa e LLMs usando o Mosaic AI Model Serving.

Importante

Para obter um tutorial de introdução sobre como consultar um modelo de base no Databricks, confira Introdução à consulta de LLMs no Databricks.

O que são modelos de base?

Modelos básicos são grandes modelos de ML pré-treinados com a intenção de que sejam ajustados para tarefas mais específicas de compreensão e geração de idiomas. Esses modelos são utilizados para discernir padrões dentro dos dados de entrada para cargas de trabalho de IA generativa e LLMs.

O Mosaic IA Model Serving dá suporte ao serviço e à consulta de modelos fundamentais usando os seguintes recursos:

  • APIs do Foundation Model. Esta funcionalidade disponibiliza modelos abertos de última geração para o ponto de extremidade de serviço de modelo. Esses modelos são arquiteturas de modelo de base com curadoria que dão suporte à inferência otimizada. Modelos base, como DBRX Instruct, Llama-2-70B-chat, BGE-Large e Mistral-7B, estão disponíveis para uso imediato com preço de pagamento por token e cargas de trabalho que exigem garantias de desempenho e variantes de modelo ajustadas podem ser implantadas com taxa de transferência provisionada.
  • Modelos externos. Estes são modelos que são hospedados fora do Databricks. Os pontos de extremidade que atendem modelos externos podem ser controlados centralmente e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Exemplos incluem modelos de base como GPT-4 da OpenAI, Claude da Antropic e outros.

Requisitos

Para acessar e consultar modelos fundamentais usando o Mosaic AI Model Serving, examine os requisitos para cada funcionalidade.

Criar um ponto de extremidade de serviço de foundation model

Consulte Criar um modelo de IA gerativa que atende pontos de extremidade

Consultar um foundation model

Recursos adicionais