Erros de dados do Azure Stream Analytics

  • Artigo

Erros de dados são erros que ocorrem durante o processamento dos dados. Esses erros ocorrem com mais frequência durante as operações de desserialização, serialização e gravação dos dados. Quando ocorrem erros de dados, o Stream Analytics grava informações detalhadas e eventos de exemplo nos logs de recursos. Habilite os logs de diagnóstico em seu trabalho para obter esses detalhes adicionais. Em alguns casos, um resumo dessas informações também é fornecido por meio de notificações do portal.

Este artigo descreve os diferentes tipos de erro, as causas e os detalhes do log de recursos para erros de dados de entrada e saída.

Esquema de logs de recursos

Consulte Solucionar problemas Azure Stream Analytics usando logs de diagnóstico para ver o esquema para logs de recursos. O JSON a seguir é um valor de exemplo para o campo Propriedades de um log de recursos para um erro de dados.

{
    "Source": "InputTelemetryData",
    "Type": "DataError",
    "DataErrorType": "InputDeserializerError.InvalidData",
    "BriefMessage": "Json input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "Message": "Input Message Id: https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt Error: Json input stream should either be an array of objects or line separated objects. Found token type: Integer",
    "ExampleEvents": "[\"1,2\\\\u000d\\\\u000a3,4\\\\u000d\\\\u000a5,6\"]",
    "FromTimestamp": "2019-03-22T22:34:18.5664937Z",
    "ToTimestamp": "2019-03-22T22:34:18.5965248Z",
    "EventCount": 1
}

Erros de dados de entrada

InputDeserializerError.InvalidCompressionType

  • Causa: o tipo de compactação de entrada selecionado não corresponde aos dados.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: mensagens com qualquer erro de desserialização, incluindo tipo de compactação inválido, são removidas da entrada.
  • Detalhes do log
    • Identificador de mensagem de entrada. Para o Hub de eventos, o identificador é a PartitionID, o deslocamento e o número de sequência.

Mensagem de erro

"BriefMessage": "Unable to decompress events from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please ensure compression setting fits the data being processed."

InputDeserializerError.InvalidHeader

  • Causa: o cabeçalho dos dados de entrada é inválido. Por exemplo, um CSV tem colunas com nomes duplicados.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: mensagens com qualquer erro de desserialização, incluindo cabeçalho inválido, são removidas da entrada.
  • Detalhes do log
    • Identificador de mensagem de entrada.
    • Conteúdo real de até poucos quilobytes.

Mensagem de erro

"BriefMessage": "Invalid CSV Header for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt'. Please make sure there are no duplicate field names."

InputDeserializerError.MissingColumns

  • Causa: as colunas de entrada definidas com CREATE TABLE ou por meio de TIMESTAMP BY não existem.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: os eventos com colunas ausentes são removidos da entrada.
  • Detalhes do log
    • Identificador de mensagem de entrada.
    • Nomes das colunas que estão ausentes.
    • Conteúdo real de até poucos quilobytes.

Mensagens de erro

"BriefMessage": "Could not deserialize the input event(s) from resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Missing fields specified in query or in create table. Fields expected:ColumnA Fields found:ColumnB"

InputDeserializerError.TypeConversionError

  • Causa: não é possível converter a entrada para o tipo especificado na instrução CREATE TABLE.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: eventos com erro de conversão de tipo são descartados da entrada.
  • Detalhes do log
    • Identificador de mensagem de entrada.
    • Nome da coluna e tipo esperado.

Mensagens de erro

"BriefMessage": "Could not deserialize the input event(s) from resource '''https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' as Csv. Some possible reasons: 1) Malformed events 2) Input source configured with incorrect serialization format" 

"Message": "Unable to convert column: dateColumn to expected type."

InputDeserializerError.InvalidData

  • Causa: os dados de entrada não estão no formato correto. Por exemplo, a entrada não é um JSON válido.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: todos os eventos na mensagem depois que um erro de dados inválido foi encontrado são removidos da entrada.
  • Detalhes do log
    • Identificador de mensagem de entrada.
    • Conteúdo real de até poucos quilobytes.

Mensagens de erro

"BriefMessage": "Json input stream should either be an array of objects or line separated objects. Found token type: String"

"Message": "Json input stream should either be an array of objects or line separated objects. Found token type: String"

InvalidInputTimeStamp

  • Causa: o valor da expressão TIMESTAMP BY não pode ser convertido em datetime.
  • Notificação do portal fornecida: Sim
  • Nível de log de recursos: aviso
  • Impacto: eventos com carimbo de data/hora de entrada inválido são removidos da entrada.
  • Detalhes do log
    • Identificador de mensagem de entrada.
    • Mensagem de erro.
    • Conteúdo real de até poucos quilobytes.

Mensagem de erro

"BriefMessage": "Unable to get timestamp for resource 'https:\\/\\/exampleBlob.blob.core.windows.net\\/inputfolder\\/csv.txt ' due to error 'Cannot convert string to datetime'"

InvalidInputTimeStampKey

  • Causa: o valor de TIMESTAMP BY OVER timestampColumn é NULL.
  • Notificação do portal fornecida: sim
  • Nível de log de recursos: aviso
  • Impacto: eventos com chave de carimbo de data/hora de entrada inválido são removidos da entrada.
  • Detalhes do log
    • O conteúdo real de até poucos quilobytes.

Mensagem de erro

"BriefMessage": "Unable to get value of TIMESTAMP BY OVER COLUMN"

LateInputEvent

  • Causa: a diferença entre a hora do aplicativo e a hora de chegada é maior do que a janela de tolerância de chegada tardia.
  • Notificação do portal fornecida: não
  • Nível de log de recursos: informações
  • Impacto: os eventos de entrada tardia são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para obter mais informações, consulte Políticas de manuseio de tempo.
  • Detalhes do log
    • Hora de chegada e hora do aplicativo.
    • Conteúdo real de até poucos quilobytes.

Mensagem de erro

"BriefMessage": "Input event with application timestamp '2019-01-01' and arrival time '2019-01-02' was sent later than configured tolerance."

EarlyInputEvent

  • Causa: a diferença entre a hora do aplicativo e a hora de chegada é maior que cinco minutos.
  • Notificação do portal fornecida: não
  • Nível de log de recursos: informações
  • Impacto: os eventos de entrada antecipada são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para obter mais informações, consulte Políticas de manuseio de tempo.
  • Detalhes do log
    • Hora de chegada e hora do aplicativo.
    • Conteúdo real de até poucos quilobytes.

Mensagem de erro

"BriefMessage": "Input event arrival time '2019-01-01' is earlier than input event application timestamp '2019-01-02' by more than 5 minutes."

OutOfOrderEvent

  • Causa: o evento é considerado fora de ordem de acordo com a janela de tolerância para fora de ordem definida.
  • Notificação do portal fornecida: não
  • Nível de log de recursos: informações
  • Impacto: os eventos de entrada fora de ordem são tratados de acordo com a configuração "Manipular outros eventos" na seção Ordenação de eventos da configuração do trabalho. Para obter mais informações, consulte Políticas de manuseio de tempo.
  • Detalhes do log
    • Conteúdo real de até poucos quilobytes.

Mensagem de erro

"Message": "Out of order event(s) received."

Erros de dados de saída

O Azure Stream Analytics pode identificar erros de dados de saída com ou sem uma solicitação de E/S para o coletor de saída, dependendo da configuração. Por exemplo, uma coluna obrigatória ausente, como PartitionKey, ao se usar a saída da Tabela do Azure, pode ser identificada sem uma solicitação de E/S. No entanto, as violações de restrição na saída do SQL exigem uma solicitação de E/S.

Há vários erros de dados que só podem ser detectados depois de fazer uma chamada para o coletor de saída, o que pode retardar o processamento. Para resolver isso, altere a configuração do trabalho ou a consulta que está causando o erro de dados.

OutputDataConversionError.RequiredColumnMissing

  • Causa: a coluna necessária para a saída não existe. Por exemplo, uma coluna definida como Tabela do Azure PartitionKey não existe.
  • Notificação do portal fornecida: sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo a coluna necessária ausente, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do log
    • Nome da coluna e o identificador de registro ou parte do registro.

Mensagem de erro

"Message": "The output record does not contain primary key property: [deviceId] Ensure the query output contains the column [deviceId] with a unique non-empty string less than '255' characters."

OutputDataConversionError.ColumnNameInvalid

  • Causa: o valor da coluna não está de acordo com a saída. Por exemplo, o nome da coluna não é uma coluna de tabela do Azure válida.
  • Notificação do portal fornecida: sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo nome de coluna inválido, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do log
    • Nome da coluna e o identificador de registro ou parte do registro.

Mensagem de erro

"Message": "Invalid property name #deviceIdValue. Please refer MSDN for Azure table property naming convention."

OutputDataConversionError.TypeConversionError

  • Causa: uma coluna não pode ser convertida em um tipo válido na saída. Por exemplo, o valor da coluna é incompatível com restrições ou tipo definido na tabela SQL.
  • Notificação do portal fornecida: sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo erro de conversão de tipo, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do log
    • Nome da coluna.
    • O identificador de registro ou parte do registro.

Mensagem de erro

"Message": "The column [id] value null or its type is invalid. Ensure to provide a unique non-empty string less than '255' characters."

OutputDataConversionError.RecordExceededSizeLimit

  • Causa: o valor da mensagem é maior que o tamanho de saída com suporte. Por exemplo, um registro é maior que 1 MB para uma saída do hub de eventos.
  • Notificação do portal fornecida: sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo o limite de tamanho excedido do registro, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do log
    • O identificador de registro ou parte do registro.

Mensagem de erro

"BriefMessage": "Single output event exceeds the maximum message size limit allowed (262144 bytes) by Event Hub."

OutputDataConversionError.DuplicateKey

  • Causa: um registro já contém uma coluna com o mesmo nome de uma coluna do sistema. Por exemplo, a saída CosmosDB com uma coluna chamada ID quando a coluna ID é para uma coluna diferente.
  • Notificação do portal fornecida: sim
  • Nível de log de recursos: aviso
  • Impacto: todos os erros de conversão de dados de saída, incluindo chave duplicada, são tratados de acordo com a configuração Política de Dados de Saída.
  • Detalhes do log
    • Nome da coluna.
    • O identificador de registro ou parte do registro.
"BriefMessage": "Column 'devicePartitionKey' is being mapped to multiple columns."

Próximas etapas