Explore o processo de análise de dados
A análise de dados é o processo de coleta, transformação e apresentação de dados para informar a tomada de decisões. O desenvolvimento de uma solução analítica começa antes de qualquer tecnologia estar envolvida, com um exercício de levantamento de requisitos. A partir daí, o processo continua a ingerir, processar e explorar dados. A análise e a implantação da solução são seguidas pela solicitação de feedback da empresa. Finalmente, a solução de análise é otimizada e o processo recomeça. O processo de análise nunca é feito.
Aqui, você aprenderá quais etapas estão incluídas no processo de análise de dados.
Levantamento de requisitos
As equipes de dados trabalham com a empresa para entender as necessidades de negócios e os resultados pretendidos de um projeto de análise. A recolha de requisitos inclui a identificação de:
- Quais são as principais questões de negócios?
- Que dados estão disponíveis? Os dados disponíveis responderão às necessidades das empresas ou é necessário recolher mais dados?
- Quais são as dimensões essenciais - como as partes interessadas vão querer fatiar os dados?
- Quais são os indicadores-chave de desempenho ou métricas de desempenho?
- Como os usuários consumirão a análise?
- Qual a frequência de ingestão de dados?
- Qual é a frequência dos relatórios?
É um mal-entendido comum que uma equipe de dados será capaz de extrair insights de volumes de dados sem ter discutido nenhuma das questões acima. Uma equipe de dados não será capaz de determinar o tipo apropriado de análise e/ou a solução correta sem ter seguido um processo estruturado de coleta de requisitos.
A coleta de requisitos pode assumir muitas formas, dependendo da estrutura da equipe, do volume e velocidade dos dados e do tipo de análise necessária.
A ingestão e o processamento de dados
Usando os requisitos coletados do negócio, uma equipe de dados começará a ingerir e transformar dados.
Os serviços de dados do Azure disponíveis para ingestão e transformação incluem, mas não estão limitados a, Azure Cosmos DB, Banco de Dados SQL do Azure, Azure Synapse Analytics, Azure Databricks, Azure Data Lake, Hubs de Eventos do Azure e Azure Stream Analytics.
Um engenheiro de dados é muitas vezes responsável pela ingestão inicial e transformação de dados. Os dados são então apresentados a outros membros da equipe de dados para exploração e análise. Os serviços de dados do Azure normalmente usados por analistas de dados corporativos e cientistas de dados podem ser limitados a bancos de dados ou data lakes específicos.
Os termos Extrair, Transformar e Carregar (ETL) ou Extrair, Carregar e Transformar (ELT) referem-se ao processo de ingestão e processamento de dados.
Nota
Saiba mais sobre o processo ETL.
Exploração de dados
A exploração de dados é o esforço para entender com o que você está trabalhando e como esses dados podem responder às necessidades do negócio. A exploração de dados pode ser feita em muitas ferramentas diferentes. Em um nível básico, a equipe de dados pode usar o Excel para examinar o conteúdo de um .csv para exibir o número de registros e/ou as variáveis específicas que eles têm que explorar. Cada membro da equipe de dados pode realizar perfis de dados em uma ferramenta diferente. Um analista pode criar um perfil de dados usando o Power Query no Power BI, enquanto um cientista de dados pode usar o Apache Spark no Azure Synapse.
A exploração de dados ajuda a informar as etapas necessárias de transformação e limpeza de dados, que podem ser comunicadas de volta ao engenheiro de dados para incorporar à solução de análise.
O analista também pode iniciar a prototipagem de painéis ou relatórios na fase de exploração de dados. Entender como a empresa quer ver e usar os resultados da análise informará o protótipo, juntamente com as tendências e/ou insights descobertos durante a exploração de dados.
Análise de dados
Depois que os dados forem explorados, a análise de dados pode começar. A análise pode ser descritiva, preditiva, prescritiva ou mesmo cognitiva e pode ser conduzida em muitas ferramentas diferentes. Os resultados devem responder às necessidades de negócios identificadas e, após a revisão inicial, provavelmente levarão a mais perguntas e análises.
Há uma diferença entre uma análise pontual e uma solução de análise. Ambos têm o seu lugar, e a necessidade de um ou outro será determinada durante o processo de levantamento de requisitos.
Implantar solução de análise
Os resultados serão apresentados às partes interessadas em uma ferramenta de relatório ou visualização de dados como o Microsoft Power BI, onde as pessoas podem interagir e usar os resultados da análise para a tomada de decisões.
As principais considerações na implantação de uma solução de análise ajudarão a determinar as ferramentas, o licenciamento e as permissões certas necessárias para colocar os dados nas mãos de todos que precisam deles. O acesso a informações oportunas levará, em última análise, a decisões baseadas em dados.
Solicitar e processar feedback
A implantação de uma solução de análise pode parecer uma linha de chegada, mas é importante entender as respostas para algumas perguntas-chave.
- O produto de dados está a ser utilizado?
- A análise responde verdadeiramente às necessidades do negócio?
- Existem problemas técnicos imprevistos com a solução?
- O produto de dados é acessível?
- Que novas questões de negócio levanta esta análise?
As pessoas que usam sua solução de análise são seus clientes e, se o produto que você criou não responder adequadamente às suas necessidades, há trabalho a ser feito.
Existem vários meios de solicitar feedback. O primeiro lançamento de uma solução pode exigir reuniões de revisão regulares, enquanto o monitoramento das métricas de uso de um projeto em andamento ajudará você a entender o uso ao longo do tempo e até mesmo as áreas da sua solução que são e não são úteis.
Otimizar solução
Implementar o feedback de seus usuários é um primeiro passo lógico para otimizar sua solução de análise. Também pode haver oportunidades para remover a latência no processo, por exemplo, garantindo que a atualização de dados ocorra no tempo atribuído. A otimização também pode significar refletir com mais precisão as necessidades do usuário, ajustando o design visual ou garantindo que os visuais de relatório sejam renderizados rapidamente.
Recomeçar
O processo de análise é cíclico por natureza. Expor dados e insights geralmente leva a pedidos de mais análise, o que leva a mais feedback, e assim por diante. Em uma grande equipe de dados, o processo de análise pode ocorrer em sprints curtos, onde diferentes membros da equipe trabalham simultaneamente para alcançar pequenas metas antes de passar para a próxima etapa do processo. Em equipes menores, uma pessoa pode estar atuando em várias funções, o que faria o processo parecer diferente.
Independentemente de como o processo se parece para você, a comunicação é um componente crítico em todo o processo. A equipe de dados deve se comunicar entre si e estar em diálogo com o negócio, para garantir que o desenvolvimento da solução esteja respondendo às necessidades e necessidades do negócio que possam aparecer nos dados.