IA generativa e modelos de linguagem grande (LLMs) no Azure Databricks

Este artigo fornece uma visão geral da IA generativa no Databricks e inclui links para exemplos de blocos de anotações e demonstrações.

O que é IA generativa?

A IA generativa é um tipo de inteligência artificial focada na capacidade dos computadores de usar modelos para criar conteúdo como imagens, texto, código e dados sintéticos.

As aplicações de IA generativa são construídas com base em grandes modelos de linguagem (LLMs) e modelos de base.

• LLMs são modelos de aprendizagem profunda que consomem e treinam conjuntos de dados massivos para se destacarem em tarefas de processamento de linguagem. Eles criam novas combinações de texto que imitam a linguagem natural com base em seus dados de treinamento.
• Os modelos de base são grandes modelos de ML pré-treinados com a intenção de serem ajustados para tarefas mais específicas de compreensão e geração de linguagem. Esses modelos são utilizados para discernir padrões dentro dos dados de entrada.

Depois que esses modelos completam seus processos de aprendizagem, juntos geram resultados estatisticamente prováveis quando solicitados e podem ser empregados para realizar várias tarefas, incluindo:

• Geração de imagens com base nas existentes ou utilizando o estilo de uma imagem para modificar ou criar uma nova.
• Tarefas de fala, tais como transcrição, tradução, geração de perguntas/respostas e interpretação da intenção ou significado do texto.

Importante

Embora muitos LLMs ou outros modelos de IA generativa tenham salvaguardas, eles ainda podem gerar informações prejudiciais ou imprecisas.

A IA generativa tem os seguintes padrões de design:

• Prompt Engineering: Criando prompts especializados para orientar o comportamento do LLM
• Geração aumentada de recuperação (RAG): combinando um LLM com a recuperação de conhecimento externo
• Ajuste fino: Adaptação de um LLM pré-treinado a conjuntos de dados específicos de domínios
• Pré-treinamento: Treinamento de um LLM a partir do zero

Desenvolva IA generativa e LLMs no Azure Databricks

O Azure Databricks unifica o ciclo de vida da IA, desde a coleta e preparação de dados, passando pelo desenvolvimento de modelos e LLMOps, até o atendimento e monitoramento. Os seguintes recursos são especificamente otimizados para facilitar o desenvolvimento de aplicações generativas de IA:

• Unity Catalog para governança, descoberta, controle de versão e controle de acesso para dados, recursos, modelos e funções.
• MLflow para acompanhamento de desenvolvimento de modelos e avaliação de LLM.
• Engenharia de recursos e serviço.
• Modelo Databricks Servindo para implantação de LLMs. Você pode configurar um ponto de extremidade de serviço de modelo especificamente para acessar modelos básicos:
  • LLMs abertos de última geração usando APIs de modelo de fundação.
  • Modelos de terceiros hospedados fora do Databricks. Consulte Modelos externos em Databricks Model Serving.
• O Databricks Vetor Search fornece um banco de dados vetorial consultável que armazena vetores de incorporação e pode ser configurado para sincronizar automaticamente com sua base de conhecimento.
• Lakehouse Monitoring para monitoramento de dados e rastreamento de modelos de previsão de qualidade e desvio usando registro automático de carga útil com tabelas de inferência.
• AI Playground para testar modelos de fundação a partir do seu espaço de trabalho Databricks. Você pode solicitar, comparar e ajustar configurações, como prompt do sistema e parâmetros de inferência.
• Treinamento de modelo básico para personalizar um modelo de fundação usando seus próprios dados para otimizar seu desempenho para sua aplicação específica.

Recursos adicionais

• Consulte Recuperar geração aumentada (RAG) no Azure Databricks.
  • Consulte Criar um chatbot de perguntas e respostas com LLama2 e Databricks.
• Para obter informações sobre como usar modelos Hugging Face em Databricks, consulte Hugging Face Transformers.
• O repositório databricks-ml-examples no Github contém implementações de exemplo de LLMs de última geração (SOTA).