Compartilhar via

Coletar e analisar logs em Clusters de Big Data ao usar notebooks

  • Artigo

Esta página é um índice de notebooks para Clusters de Big Data do SQL Server. Esses notebooks executáveis (.ipynb) foram criados para o SQL Server 2019 para auxiliar no registro de clusters de Big Data.

Importante

O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.

Cada notebook foi criado para conferir suas próprias dependências. A opção Executar todas as células é concluída com êxito ou gera uma exceção com uma dica de hiperlink para outro notebook resolver a dependência ausente. Siga o hiperlink de dica para o notebook de destino e clique em Executar todas as células. Após o êxito, volte para o notebook original e clique em Executar todas as células.

Depois que todas as dependências forem instaladas mas Executar todas as células falhar, cada notebook analisará os resultados e, sempre que possível, produzirá um hiperlink de dica para outro notebook a fim de ajudar a resolver o problema.

Coletar logs do Cluster de Big Data

Essta seção contém um conjunto de notebooks úteis para obter logs de um Cluster de Big Data do SQL Server.

Nome Descrição
TSG001 – Executar azdata copy-logs Use a interface de linha de comando azdata para copiar dados para clusters de Big Data.
TSG061 – Obter a parte final de todos os logs de contêiner para os pods no namespace do BDC Obtenha todos os logs de contêiner para os pods do cluster de Big Data no namespace.
TSG062 – Obter a parte final de todos os logs de contêiner anteriores para os pods no namespace do BDC Obtenha todos os logs de contêiner anteriores para os pods do cluster de Big Data no namespace.
TSG083 – Executar kubectl cluster-info dump Use a interface de linha de comando do kubetl para despejar informações relacionadas ao cluster de Big Data.
TSG084 – Erro interno do processador de consultas Use a consulta DMV para obter mais informações sobre o erro interno do processador de consultas.
TSG091 – Obter os logs da CLI do azdata Obtenha os logs do azdata do computador local.

Analisar logs de Clusters de Big Data

Um conjunto de notebooks para coletar e analisar logs de um cluster de Big Data do SQL Server. O processo de análise sugerirá notebooks subsequentes a serem executados para um problema conhecido encontrado nos logs.

Name Descrição
TSG030 – Arquivos de log de erros do SQL Server Obtenha os arquivos de log de erros do SQL Server, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG031 – Logs do PolyBase do SQL Server Obtenha os logs do PolyBase do SQL Server, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG034 – Logs do Livy Obtenha os logs do Livy, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG035 – Logs do Histórico do Spark Obtenha os logs de histórico do Spark, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG036 – Logs do controlador Obtenha os logs do controlador das últimas "N" horas, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG046 – Logs de gateway do Knox O Knox apresenta um erro 500 ao cliente e remove os detalhes (a pilha) que apontam para a causa do problema subjacente. Portanto, use este notebook para obter os logs do Knox do cluster. Obtenha os logs de gateway do Knox, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG073 – Logs do InfluxDB Obtenha os logs do InfluxDB, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG076 – Logs da Pesquisa Elástica Obtenha os logs da Pesquisa Elástica, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG077 – logs do Kibana Obter os logs do Kibana, analisar as entradas de log e sugerir guias de solução de problemas adicionais relevantes.
TSG088 – Logs de datanode do Hadoop Obtenha os logs de datanode do Hadoop, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG090 – Logs do nodemanager do YARN Obtenha os logs de nodemanager do Yarn, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG092 – Parte final do log do Supervisord para todos os contêineres no BDC Obtenha a parte final do log do Supervisord para todos os contêineres no BDC, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG093 – Parte final do log do Agente para todos os contêineres no BDC Obtenha a parte final do log do Agente para todos os contêineres no BDC, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG094 – Logs do Grafana Obtenha os logs do Grafana, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG095 – Logs de namenode do Hadoop Obtenha os logs de datanode do namenode, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.
TSG096 – Logs do Zookeeper Obtenha os logs do ZooKeeper, analise as entradas de log e sugira guias de solução de problemas adicionais relevantes.

Próximas etapas