Classification

Você pode usar Classificação para classificar seus documentos em categorias predefinidas com IA.

Exemplos de classificação incluem:

  • Classificar transcrições de chamadas de clientes por intenção
  • Classificando documentos por tipo de conteúdo
  • Classificando as revisões de produto por sentimento

A classificação está disponível através da interface Agent Bricks, em SQL, com a API REST e com a API Assíncrona (Beta).

Crie um agente de classificação na interface

Requirements

Vá para o ícone de agentes.Agentes no painel de navegação à esquerda da sua área de trabalho. Clique em Criar Agente e selecione Classificação de Texto.

Etapa 1. Selecione seus dados de origem

Use Classificação para classificar seus documentos.

  1. Selecione seus dados de origem. Você pode selecionar um volume com documentos ou uma tabela com dados de texto.

  2. Clique em Criar Agente.

Etapa 2. Configurar rótulos de classificação

Depois que a Classificação processar seus dados, configure e refine os rótulos de classificação.

Para adicionar rótulos de classificação manualmente:

  1. Clique em + Adicionar rótulo para adicionar um rótulo de classificação.
  2. Insira o nome do rótulo e a descrição opcional e clique em Adicionar rótulo.
  3. Repita 1 a 2 para cada rótulo que você deseja adicionar.
  4. (Opcional) Habilite vários rótulos se desejar que o agente retorne mais de um rótulo.

Para importar rótulos de uma tabela:

  1. Clique em Importar da tabela.
  2. Selecione a tabela e clique em Avançar.
  3. Selecione a coluna de rótulo, a coluna de descrição e o SQL Warehouse.
  4. Clique em Visualizar para ver os rótulos importados.
  5. Se você estiver satisfeito com os rótulos, clique em Importar e substituir rótulos.

Você deve ter pelo menos dois rótulos definidos para executar a classificação. Depois de terminar de adicionar seus rótulos, clique em Salvar e execute a classificação.

Para configurar opções adicionais, clique no botão de opções ícone Sliders ao lado de Salvar e executar a classificação e, em seguida, ative uma ou mais das opções a seguir:

  • Pontuações de confiança: Mostra níveis de confiança para rótulos previstos.
  • Fundamentação: Mostra a fundamentação para os rótulos previstos.

A classificação classifica até 5 documentos e linhas e exibe os resultados. Você também pode adicionar mais.

UI de revisão de classificação mostrando etiquetas de classificação e resultados

Etapa 3. Examinar e melhorar as respostas de classificação

Examine as respostas de classificação e envie comentários para melhorar o agente.

  1. Examine o documento e a resposta de classificação:

    • Se a resposta estiver correta, dê um like.
    • Se a resposta estiver incorreta, exiba um polegar para baixo. Ajude a Classificação a corrigir a resposta selecionando o rótulo correto. Clique em Salvar.
  2. Para melhorar as respostas do agente, ajuste as descrições do rótulo de classificação.

  3. Compare versões para otimizar o desempenho do agente. Clique em Versões. Ao lado de uma versão anterior, clique em Comparar para comparar as descrições de rótulo de classificação de uma versão anterior com a versão atual. Clique em Restaurar para restaurar uma versão anterior.

Etapa 4. Usar o agente de classificação

Se você estiver satisfeito com as respostas, comece a usar o agente para classificação em escala.

Clique em Usar Agente no canto superior direito. Você pode escolher:

  • Execute em SQL para usar o agente para classificar todo o seu volume ou tabela. Isso abre uma consulta SQL que usa os rótulos ai_classify de classificação que você definiu. Para obter mais informações sobre como usar ai_classify em consultas SQL, consulte ai_classify a função.
  • Crie um pipeline Lakeflow que rode em intervalos programados para invocar seu agente em novos dados. Isso cria um pipeline do Lakeflow que atualiza uma tabela de streaming com seus dados classificados. Você pode configurar o agendamento do pipeline para que ele seja executado quando novos dados chegarem. Para mais informações sobre os pipelines Lakeflow, veja Spark Declarative Pipelines on Lakeflow.

Classifique documentos em SQL

Chame ai_classify no SQL para classificar documentos em escala:

SELECT ai_classify(
  'My password is leaked.',
  '["urgent", "not_urgent"]',
  MAP('version', '2.1')
);

Consulte a ai_classify referência de SQL.

Classificar documentos com a API REST

Use a API REST para classificar documentos de aplicativos, serviços e fluxos de automação. Veja a documentação da API REST para referência.

O limite padrão de taxa para ai_classify requisições da API REST é de 1.200 solicitações por minuto por workspace. Entre em contato com a equipe da sua conta Databricks para solicitar um limite maior.

O exemplo a seguir classifica uma mensagem de suporte ao cliente:

curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/ai-classify" \
     -H "Authorization: Bearer $DATABRICKS_TOKEN" \
     -H "Content-Type: application/json" \
     -d '{
  "content": "My password is leaked.",
  "labels": ["urgent", "not_urgent"],
  "options": {
    "instructions": "Classify the support request by urgency."
  }
}'

Classificar documentos com a API Assíncrona (Beta)

Use a API Assíncrona de Funções de IA (Beta) para classificar muitos textos em um único lote. Para os campos de solicitação e resposta, e para as requisições de cancelamento e listagem de lotes, veja a referência da API Assíncrona. Um administrador de espaço de trabalho deve ativar a prévia da AI Functions Asynchronous API na página de Prévias.

Note

Para classificar as linhas de uma tabela do Unity Catalog em um trabalho, você pode usar uma ai_classify tarefa (Beta) em vez disso. A tarefa lê e escreve nas tabelas do Catálogo Unity para você, e cada execução processa apenas as linhas que são novas ou alteradas.

Para classificar textos com a API Assíncrona:

  1. Crie um arquivo de entrada JSONL com uma linha para cada texto. Cada linha tem um custom_id exclusivo e o texto em body.text:

    {"custom_id": "ticket-001", "body": {"text": "My password is leaked."}}
    {"custom_id": "ticket-002", "body": {"text": "How do I change my billing address?"}}
    
  2. Faça o upload do arquivo de entrada para um volume do Unity Catalog, por exemplo, com a API Files.

  3. Crie um lote que rode ai_classify no arquivo de entrada. O labels e options em params aplicam-se a cada linha, e output_ref é o diretório de volumes para os resultados:

    curl -X POST "$DATABRICKS_HOST/api/2.0/ai-functions/batches" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN" \
         -H "Content-Type: application/json" \
         -d '{
      "endpoint": "ai_classify",
      "input_ref": "/Volumes/my_catalog/my_schema/my_volume/requests.jsonl",
      "params": {
        "labels": ["urgent", "not_urgent"],
        "options": {
          "instructions": "Classify the support request by urgency."
        }
      },
      "output_ref": "/Volumes/my_catalog/my_schema/my_volume/output/"
    }'
    

    A resposta contém o batch name. Use-o no lugar de <batch-name> nos próximos passos.

  4. Verifique o status do lote. O lote é concluído quando status é COMPLETED, CANCELLED, ou FAILED:

    curl -X GET "$DATABRICKS_HOST/api/2.0/ai-functions/batches/<batch-name>" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN"
    

    Quando o arquivo de saída está pronto, output_ref em a resposta contém seu caminho.

  5. Baixe o arquivo de saída com a API Files:

    curl -X GET "$DATABRICKS_HOST/api/2.0/fs/files/Volumes/my_catalog/my_schema/my_volume/output/<batch-name>_output.jsonl" \
         -H "Authorization: Bearer $DATABRICKS_TOKEN" \
         -o output.jsonl
    

O arquivo de saída possui uma linha para cada linha do arquivo de entrada. As linhas estão na mesma ordem do arquivo de entrada. Cada linha tem o custom_id de sua solicitação e um dos seguintes campos:

  • response: O resultado da requisição. Ela possui os mesmos campos da resposta da API AI Classify REST.
  • error: o type e o message do erro, se a solicitação falhou.

O exemplo a seguir mostra uma linha para uma solicitação que teve sucesso e uma linha para uma solicitação que falhou:

{"custom_id": "ticket-001", "response": {...}}
{"custom_id": "ticket-002", "error": {"type": "request_failed", "message": "..."}}

Limitations

Ver limitações