Compartilhar via

Considerações de ajuste fino dos modelos do Azure OpenAI na Azure AI Foundry

O ajuste fino é o processo de pegar um modelo de linguagem pré-treinado e adaptá-lo para executar uma tarefa específica ou melhorar seu desempenho em um determinado conjunto de dados. Isso envolve treinar o modelo em um conjunto de dados pequeno e específico para a tarefa enquanto ajusta ligeiramente os pesos do modelo. O ajuste fino aproveita o conhecimento que o modelo adquiriu durante seu treinamento inicial em um conjunto de dados grande e diversificado, permitindo que ele se especialize sem começar do zero. Esta abordagem é muitas vezes mais eficiente e eficaz do que treinar um novo modelo a partir do zero, especialmente para tarefas especializadas.

Principais benefícios do ajuste fino

Maior precisão e relevância

O ajuste fino melhora o desempenho do modelo em tarefas específicas, treinando-o com dados específicos da tarefa. Isso geralmente resulta em saídas de alta qualidade mais precisas e relevantes em comparação com o uso de prompts gerais.

Ao contrário do aprendizado de poucas capturas, onde apenas um número limitado de exemplos pode ser incluído em um prompt, o ajuste fino permite treinar o modelo em um conjunto de dados adicional. O ajuste fino ajuda o modelo a aprender padrões mais matizados e melhora o desempenho da tarefa.

Eficiência e potencial de redução de custos

Modelos aperfeiçoados exigem instruções mais breves porque são treinados em exemplos relevantes. Esse processo reduz o número de tokens necessários em cada solicitação, o que pode levar a economias de custos dependendo do caso de uso.

Como os modelos ajustados precisam de menos exemplos no prompt, eles processam solicitações mais rapidamente, resultando em tempos de resposta mais rápidos.

Escalabilidade e especialização

O ajuste fino aplica o pré-treinamento extensivo de modelos de linguagem e aprimora suas capacidades para aplicações específicas, tornando-as mais eficientes e eficazes para casos de uso direcionados.

O ajuste fino de modelos menores pode alcançar níveis de desempenho comparáveis aos modelos maiores e mais caros para tarefas específicas. Essa abordagem reduz os custos computacionais e aumenta a velocidade, tornando-se uma solução escalável e econômica para implantar IA em ambientes com recursos limitados.

Quando afinar

O ajuste fino é adequado para momentos em que você tem uma pequena quantidade de dados e deseja melhorar o desempenho do seu modelo. O ajuste fino pode ser para diferentes tipos de casos de uso - mas eles geralmente se enquadram em categorias mais amplas.

  • Reduzindo a sobrecarga de engenharia de prompts: Muitos usuários começam com poucos aprendizados, anexando exemplos de saídas desejadas à mensagem do sistema. Com o tempo, esse processo pode levar a prompts cada vez mais longos, aumentando a contagem de tokens e a latência. O ajuste fino permite incorporar os exemplos no modelo treinando com as saídas esperadas, o que é valioso em cenários com numerosos casos limite.

  • Modificar estilo e tom: o ajuste fino ajuda a alinhar as saídas do modelo com o estilo ou tom desejado, garantindo consistência em aplicativos como chatbots de atendimento ao cliente e comunicação específica da marca.

  • Geração de saídas em formatos ou esquemas específicos: Os modelos podem ser ajustados para produzir saídas em formatos ou esquemas específicos, tornando-os ideais para geração de dados estruturados, relatórios ou respostas formatadas.

  • Melhorar o uso da ferramenta: Embora a API de conclusão de bate-papo suporte chamadas de ferramentas, listar muitas ferramentas aumenta o uso de token e pode levar a alucinações. O ajuste fino com exemplos de ferramentas aumenta a precisão e a consistência, mesmo sem definições completas de ferramentas.

  • Melhorar o desempenho baseado em recuperação: a combinação de ajuste fino com métodos de recuperação melhora a capacidade de um modelo de integrar conhecimento externo, executar tarefas complexas e fornecer respostas mais precisas e sensíveis ao contexto. O ajuste fino treina o modelo para usar efetivamente os dados recuperados enquanto filtra informações irrelevantes.

  • Otimização para eficiência: O ajuste fino também pode ser usado para transferir conhecimento de um modelo maior para um menor, permitindo que o modelo menor alcance um desempenho de tarefa semelhante com menor custo e latência. Por exemplo, os dados de produção de um modelo de alto desempenho podem ser usados para ajustar um modelo menor e mais eficiente. Essa abordagem ajuda a dimensionar soluções de IA, mantendo a qualidade e reduzindo a sobrecarga computacional.

  • Destilação: A destilação de modelo usa as saídas de um modelo grande para ajustar um modelo menor, permitindo que ele tenha um desempenho semelhante em uma tarefa específica, por exemplo, coletando tráfego de produção de uma implantação o1 e usando isso como dados de treinamento para ajustar o 4o-mini. Este processo pode reduzir custos e latência, uma vez que modelos mais pequenos podem ser mais eficientes.

Tipos de ajuste fino

O Azure AI Foundry oferece vários tipos de técnicas de -tuning fina:

  • Ajuste fino supervisionado: Isso permite que você forneça dados personalizados (prompt/conclusão ou bate-papo conversacional, dependendo do modelo) para ensinar novas habilidades ao modelo base. Esse processo envolve o treinamento adicional do modelo em um conjunto de dados rotulado de alta qualidade, onde cada ponto de dados está associado à saída ou resposta correta. O objetivo é melhorar o desempenho do modelo em uma tarefa específica, ajustando seus parâmetros com base nos dados rotulados. Esta técnica funciona melhor quando existem maneiras finitas de resolver um problema e você quer ensinar ao modelo uma tarefa específica e melhorar sua precisão e concisão.

  • Ajuste fino de reforço: Esta é uma técnica de personalização de modelo, benéfica para otimizar o comportamento do modelo em ambientes altamente complexos ou dinâmicos, permitindo que o modelo aprenda e se adapte através de feedback iterativo e tomada de decisão. Por exemplo, os prestadores de serviços financeiros podem otimizar o modelo para avaliações de risco mais rápidas e precisas ou aconselhamento de investimento personalizado. Na área da saúde e farmacêutica, o o3-mini pode ser adaptado para acelerar a descoberta de medicamentos, permitindo uma análise de dados mais eficiente, geração de hipóteses e identificação de compostos promissores. RFT é uma ótima maneira de ajustar quando há um número infinito ou alto de maneiras de resolver um problema. A classificadora recompensa o modelo de forma incremental e melhora o raciocínio.

  • Otimização de Preferência Direta (DPO): Esta é outra nova técnica de alinhamento para modelos de linguagem grande, projetada para ajustar os pesos dos modelos com base nas preferências humanas. Ao contrário do Reinforcement Learning from Human Feedback (RLHF), o DPO não requer o ajuste de um modelo de recompensa e usa preferências binárias para treinamento. Este método é computacionalmente mais leve e rápido, tornando-o igualmente eficaz no alinhamento e sendo mais eficiente. Você compartilha a resposta não preferida e a resposta preferida com o conjunto de treinamento e utiliza a técnica DPO.

Você também pode empilhar técnicas: primeiro usando SFT para criar um modelo personalizado – otimizado para seu caso de uso – depois usando ajuste fino de preferência para alinhar as respostas às suas preferências específicas. Durante a etapa SFT, você se concentra na qualidade dos dados e na representatividade das tarefas, enquanto a etapa DPO ajusta as respostas com comparações específicas.

Desafios e limitações do ajuste fino

O ajuste fino de grandes modelos de linguagem pode ser uma técnica poderosa para adaptá-los a domínios e tarefas específicos. No entanto, o ajuste fino também vem com alguns desafios e desvantagens que precisam ser considerados antes de aplicá-lo a um problema do mundo real. Abaixo estão alguns desses desafios e desvantagens.

  • O ajuste fino requer dados de treinamento de alta qualidade, suficientemente grandes e representativos que correspondam ao domínio e à tarefa de destino. Os dados de qualidade são relevantes, precisos, consistentes e diversificados o suficiente para cobrir os possíveis cenários e variações que o modelo encontrará no mundo real. Dados de baixa qualidade ou não representativos levam a sobreajuste, subajuste ou distorção no modelo ajustado, o que prejudica sua generalização e robustez.
  • O ajuste fino de modelos de linguagem grandes significa custos adicionais associados ao treinamento e à hospedagem do modelo personalizado.
  • A formatação de pares de entrada/saída usados para ajustar um modelo de linguagem grande pode ser crucial para seu desempenho e usabilidade.
  • O ajuste fino pode precisar ser repetido sempre que os dados forem atualizados ou quando um modelo base atualizado for lançado. Isto implica um acompanhamento e uma atualização regular.
  • O ajuste fino é uma tarefa repetitiva (tentativa e erro), portanto, os hiperparâmetros precisam ser cuidadosamente definidos. O ajuste fino requer muita experimentação e testes para encontrar a melhor combinação de hiperparâmetros e configurações para alcançar o desempenho e a qualidade desejados.

Próximos passos