Share via

Modelos de linguagem grande (LLMs) em Databricks

  • Artigo

O Azure Databricks simplifica o acesso e a criação de modelos de linguagem grandes disponíveis publicamente.

O Databricks Runtime for Machine Learning inclui bibliotecas como Hugging, Face, Transformers e LangChain, que permitem integrar modelos pré-treinados existentes ou outras bibliotecas de código aberto ao seu fluxo de trabalho. A partir daqui, você pode aproveitar os recursos da plataforma Azure Databricks para ajustar LLMs usando seus próprios dados para um melhor desempenho de domínio.

Além disso, o Azure Databricks oferece funcionalidade interna para usuários SQL acessarem e experimentarem LLMs como Azure OpenAI e OpenAI usando funções de IA.

Formação em Modelo de Fundação

Importante

Esta funcionalidade está em Pré-visualização Pública. Entre em contato com sua equipe de conta Databricks para se inscrever na Visualização Pública.

O Foundation Model Training é uma interface simples para a pilha de treinamento Databricks para executar o ajuste fino completo do modelo.

Você pode fazer o seguinte usando o Foundation Model Training:

  • Ajuste um modelo com seus dados personalizados, com os pontos de verificação salvos no MLflow. Você mantém o controle total do modelo ajustado.
  • Registre automaticamente o modelo no Unity Catalog, permitindo uma fácil implantação com o serviço de modelo.
  • Ajuste um modelo completo e proprietário carregando os pesos de um modelo previamente ajustado.

Consulte Treinamento de modelo de fundação.

Abraçando Transformadores de Rosto

Com o Hugging Face Transformers no Databricks, você pode expandir seus aplicativos em lote de processamento de linguagem natural (NLP) e ajustar modelos para aplicativos de modelo de linguagem grande.

A biblioteca Hugging Face transformers vem pré-instalada no Databricks Runtime 10.4 LTS ML e superior. Muitos dos modelos de NLP populares funcionam melhor em hardware de GPU, então você pode obter o melhor desempenho usando hardware de GPU recente, a menos que use um modelo especificamente otimizado para uso em CPUs.

LangChain

O LangChain está disponível como um sabor experimental de MLflow que permite que os clientes do LangChain aproveitem as ferramentas robustas e os recursos de rastreamento de experimentos do MLflow diretamente do ambiente do Azure Databricks.

LangChain é uma estrutura de software projetada para ajudar a criar aplicativos que utilizam grandes modelos de linguagem (LLMs) e combiná-los com dados externos para trazer mais contexto de treinamento para seus LLMs.

O Databricks Runtime ML inclui langchain no Databricks Runtime 13.1 ML e superior.

Saiba mais sobre integrações LangChain específicas do Databricks.

Funções de IA

Importante

Esta funcionalidade está em Pré-visualização Pública.

As funções de IA são funções SQL incorporadas que permitem aos utilizadores SQL:

  • Use as APIs do Databricks Foundation Model para concluir várias tarefas nos dados da sua empresa.
  • Acesse modelos externos como GPT-4 da OpenAI e experimente-os.
  • Modelos de consulta hospedados pelo modelo Databricks que servem pontos de extremidade de consultas SQL.