Share via

Como treinar um modelo de classificação de texto personalizado

  • Artigo

O treinamento é o processo no qual o modelo aprende com os dados rotulados. Após a conclusão do treinamento, você poderá exibir o desempenho do modelo para determinar se precisa melhorar o modelo.

Para treinar um modelo, inicie um trabalho de treinamento. Somente trabalhos concluídos com êxito criam um modelo utilizável. Os trabalhos de treinamento expiram após sete dias. Após esse período, você não poderá recuperar os detalhes do trabalho. Se o trabalho de treinamento foi concluído com êxito e um modelo foi criado, ele não será afetado pela expiração do trabalho. Você só pode ter um trabalho de treinamento em execução de cada vez e não pode iniciar outros trabalhos no mesmo projeto.

Os tempos de treinamento podem ser de alguns minutos ao lidar com alguns documentos até várias horas, dependendo do tamanho do conjunto de dados e da complexidade do esquema.

Pré-requisitos

Antes de treinar o modelo, você precisa dos seguintes itens:

Confira o ciclo de vida de desenvolvimento de projetos para obter mais informações.

Divisão de dados

Antes de iniciar o processo de treinamento, os documentos rotulados no projeto são divididos em um conjunto de treinamento e um conjunto de teste. Cada um deles atua em uma função diferente. O conjunto de treinamentos é usado no treinamento do modelo, esse é o conjunto com o qual o modelo aprende a classe/as classes atribuídas a cada documento. O conjunto de testes é um conjunto cego que não é introduzido ao modelo durante o treinamento, mas somente durante a avaliação. Depois que o modelo é treinado com êxito, ele é usado para fazer previsões nos documentos do conjunto de testes. As métricas de avaliação do modelo serão calculadas com base nessas previsões. É recomendável garantir que todas as classes sejam representadas adequadamente nos conjuntos de treinamentos e testes.

A classificação de textos personalizada é compatível com os dois métodos de divisão de dados:

  • Dividir automaticamente o conjunto de teste nos dados de treinamento: o sistema dividirá os dados rotulados entre os conjuntos de treinamentos e testes, de acordo com os percentuais escolhidos. O sistema tentará ter uma representação de todas as classes em seu conjunto de treinamento. A divisão percentual recomendada é de 80% para treinamento e 20% para teste.

Observação

Se você escolher a opção Dividir automaticamente o conjunto de testes nos dados de treinamento, somente os dados atribuídos ao conjunto de treinamentos serão divididos de acordo com os percentuais fornecidos.

  • Usar uma divisão manual dos dados de treinamento e de teste: esse método permite que os usuários definam quais documentos rotulados devem pertencer a qual conjunto. Essa etapa será habilitada somente se você tiver adicionado documentos ao conjunto de testes durante a rotulagem de dados.

Treinar um modelo

Para começar a treinar o modelo no Language Studio:

  1. Selecione Trabalhos de treinamento no menu à esquerda.

  2. Selecione Iniciar um trabalho de treinamento no menu superior.

  3. Selecione Treinar um novo modelo e digite o nome do modelo na caixa de texto. Também é possível substituir um modelo existente selecionando essa opção e escolhendo o modelo que você deseja substituir no menu suspenso. A substituição de um modelo treinado é irreversível, mas não afetará os modelos implantados até que você implante o novo modelo.

    Criar um trabalho de treinamento

  4. Selecione o método de divisão de dados. Você pode optar por dividir automaticamente o conjunto de teste nos dados de treinamento, em que o sistema dividirá os dados rotulados entre os conjuntos de treinamento e de teste, de acordo com os percentuais especificados. Alternativamente, você pode Usar uma divisão manual dos dados de treinamento e de teste. Essa opção será habilitada somente se você tiver adicionado documentos ao conjunto de teste durante a rotulagem de dados. Confira Como treinar um modelo para obter mais informações sobre divisão de dados.

  5. Selecione o botão Treinar.

  6. Se você selecionar a ID do trabalho de treinamento na lista, será exibido um painel lateral em que você poderá verificar o Progresso do treinamento, o Status do trabalho e outros detalhes para esse trabalho.

    Observação

    • Somente os trabalhos de treinamento concluídos com êxito vão gerar modelos.
    • O tempo necessário para treinar o modelo pode levar de alguns minutos até várias horas de acordo com o tamanho dos dados rotulados.
    • É possível ter um trabalho de treinamento em execução por vez. Não é possível iniciar outro trabalho de treinamento no mesmo projeto até que o trabalho em execução seja concluído.

Cancelar o trabalho de treinamento

Para cancelar um trabalho de treinamento no Language Studio, acesse a página Trabalhos de treinamento. Selecione o trabalho de treinamento que deseja cancelar e selecione Cancelar no menu superior.

Próximas etapas

Após a conclusão do treinamento, você poderá exibir o desempenho do modelo para melhorar o modelo opcionalmente, se necessário. Quando estiver satisfeito com seu modelo, você poderá implantá-lo, tornando-o disponível para uso na classificação de texto.