Compartilhar via

Modelos de linguagem grande (LLMS)

  • Artigo

O Azure Databricks simplifica o acesso e compilação de modelos de linguagem grandes disponíveis publicamente.

O Databricks Runtime para Machine Learning inclui bibliotecas como Hugging Face Transformers e LangChain que permitem integrar modelos pré-treinados existentes ou outras bibliotecas de código aberto ao fluxo de trabalho. A partir daqui, você pode aproveitar os recursos da plataforma do Azure Databricks para ajustar LLMs usando seus próprios dados para melhorar o desempenho do domínio.

Além disso, o Azure Databricks oferece funcionalidade interna para que usuários SQL acessem e experimentem LLMs como o Azure OpenAI e o OpenAI usando por meio das funções de IA.

Treinamento de Foundation Model

Importante

Esse recurso está em uma versão prévia. Entre em contato com a equipe da sua conta do Databricks para se inscrever na Visualização Pública.

O Treinamento de Foundation Model é uma interface simples para a pilha de treinamento do Databricks para executar o ajuste fino do modelo completo.

Você pode fazer o seguinte usando o Treinamento de Foundation Model:

  • Ajuste um modelo com seus dados personalizados, com os pontos de verificação salvos no MLflow. Você mantém o controle completo do modelo com ajuste fino.
  • Registre automaticamente o modelo no Catálogo do Unity, permitindo uma implantação fácil com o serviço de modelo.
  • Ajuste um modelo completo e proprietário carregando os pesos de um modelo em que foi aplicado ajuste fino anteriormente.

Confira Introdução ao Treinamento de Modelos da Fundação.

Hugging Face Transformers

Com transformadores do Hugging Face no Databricks, você pode escalar horizontalmente seus aplicativos em lote de NLP (processamento de linguagem natural) e ajustar modelos para aplicativos de modelo de linguagem grande.

A biblioteca transformers do Hugging Face vem pré-instalada no Databricks Runtime 10.4 LTS ML e posterior. Muitos dos modelos populares de NLP funcionam melhor em hardware de GPU, portanto, você pode obter o melhor desempenho usando hardware de GPU recente, a menos que use um modelo especificamente otimizado para uso em CPUs.

LangChain

O LangChain está disponível como uma variante experimental do MLflow que permite que os clientes do LangChain aproveitem as ferramentas robustas e os recursos de acompanhamento de experimentos do MLflow diretamente do ambiente do Azure Databricks.

O LangChain é uma estrutura de software projetada para ajudar a criar aplicativos que utilizam LLMs (modelos de linguagem grande) e combiná-los com dados externos para trazer mais contexto de treinamento para suas LLMs.

O Databricks Runtime ML inclui langchain no Databricks Runtime 13.1 ML e superior.

Saiba mais sobre as integrações específicas do LangChain do Databricks.

Funções de IA

Importante

Esse recurso está em uma versão prévia.

As funções de IA são funções SQL internas que permitem que os usuários do SQL:

  • Utilize APIs do Databricks Foundation Model para concluir várias tarefas nos dados da sua empresa.
  • Acesse modelos externos como GPT-4 da OpenAI e experimente-os.
  • Modelos de consulta hospedados por pontos de extremidade do Serviço de Modelo do Mosaic AI de consultas SQL.