Funções em dados
Fazer uma narrativa com os dados é um percurso que geralmente não começa com você. Os dados precisam vir de algum lugar. Colocar esses dados em um local que possa ser usado por você leva a um esforço que provavelmente está fora do seu escopo, especialmente em consideração da empresa.
Os aplicativos e projetos de hoje podem ser grandes e complexos, geralmente envolvendo o uso de habilidades e o conhecimento de vários indivíduos. Cada pessoa contribui com um talento e uma experiência exclusivos, dividindo o esforço do trabalho em conjunto e coordenando tarefas e responsabilidades para concluir um projeto, desde a concepção até a produção.
No passado recente, funções como analista de negócios e desenvolvedores de business intelligence eram o padrão para processamento e compreensão de dados. No entanto, a expansão excessiva do tamanho e de diferentes tipos de dados fez essas funções evoluírem para conjuntos de habilidades mais especializados que modernizam e simplificam o processo de engenharia e análise de dados.
As seguintes seções realçam as diferentes funções em dados e a responsabilidade específica no espectro total, de descoberta e compreensão de dados:
Analista de negócios
Analista de dados
Engenheiro de dados
Cientista de dados
Administrador de banco de dados
Analista de negócios
Embora existam algumas semelhanças entre um analista de dados e um analista de negócios, a principal diferença entre as duas funções é o que eles fazem com os dados. Um analista de negócios está mais perto da empresa e é especialista em interpretar os dados provenientes da visualização. Muitas vezes, as funções do analista de dados e o analista de negócios podem ser a responsabilidade de uma só pessoa.
Analista de dados
Um analista de dados permite que as empresas maximizem o valor dos ativos de dados deles por meio de ferramentas de visualização e relatórios, como o Microsoft Power BI. Os analistas de dados são responsáveis pela criação de perfil, limpeza e transformação de dados. Suas responsabilidades também incluem a criação de modelos semânticos ampliáveis e eficientes, além de habilitar e implementar recursos avançados de análise de dados em relatórios para análise. Um analista de dados trabalha com os stakeholders pertinentes para identificar os requisitos apropriados e necessários de dados e de relatórios, depois tem a tarefa de transformar dados brutos em insights relevantes e significativos.
Um analista de dados também é responsável pelo gerenciamento dos ativos do Power BI, incluindo relatórios, painéis de controle, workspaces e os modelos semânticos subjacentes usados nos relatórios. Eles têm a tarefa deles de implementar e configurar procedimentos de segurança adequados, em conjunto com os requisitos de stakeholder, para garantir a segurança de todos os ativos do Power BI e dos dados que utilizam.
Os analistas de dados trabalham com engenheiros de dados para determinar e localizar fontes de dados apropriadas que atendam aos requisitos de stakeholder. Além disso, os analistas de dados trabalham com o engenheiro de dados e o administrador de banco de dados para verificar se o analista tem acesso adequado às fontes de dados necessárias. O analista de dados também trabalha com o engenheiro de dados para identificar novos processos de coleta de dados para análise ou aprimorar os processos existentes.
Engenheiro de dados
Os engenheiros de dados provisionam e configuram tecnologias de plataforma de dados locais e na nuvem. Eles gerenciam e protegem o fluxo de dados estruturados e não estruturados de várias fontes. As plataformas de dados usadas podem incluir bancos de dados relacionais, bancos de dados não relacionais, fluxos de dados e repositórios de arquivos. Os engenheiros de dados também garantem que os serviços de dados se integrem de maneira segura e direta nas plataformas de dados.
As principais responsabilidades de engenheiros de dados incluem o uso de serviços de dados locais e na nuvem e ferramentas para ingestão, saída e transformação de dados de várias fontes. Engenheiros de dados colaboram com stakeholders empresariais para identificar e atender aos requisitos de dados. Eles criam e implementam soluções.
Embora talvez haja algum alinhamento nas tarefas e nas responsabilidades de um engenheiro de dados e de um administrador de banco de dados, o escopo de trabalho de um engenheiro de dados vai muito além de cuidar de um banco de dados e do servidor em que ele está hospedado e, provavelmente, não inclui o gerenciamento geral de dados operacionais.
Engenheiros de dados agregam um valor imenso a projetos de business intelligence e ciência de dados. Quando os engenheiros de dados reúnem os dados, um processo comumente chamado de estruturação de dados, os projetos são concluídos, porque os cientistas de dados podem se concentrar nas áreas de trabalho deles próprios.
Como analista de dados, você provavelmente trabalharia junto a um engenheiro de dados para garantir que você possa acessar as diversas fontes de dados estruturados e não estruturados, porque lhe dariam apoio para otimizar modelos semânticos que, de modo geral, são distribuídos a partir de um data lake ou data warehouse modernos.
Os administradores de banco de dados e os profissionais de business intelligence podem fazer facilmente a transição para uma função de engenheiro de dados; eles precisam aprender as ferramentas e a tecnologia usadas para processar essas grandes quantidades de dados.
Cientista de dados
Os cientistas de dados realizam a análise avançada para extrair valor dos dados. Seu trabalho pode variar de análise descritiva a análise preditiva. A análise descritiva avalia os dados por meio de um processo conhecido como EDA (análise exploratória de dados). A análise preditiva é usada no machine learning para aplicar técnicas de modelagem que possam detectar anomalias ou padrões. Essas análises são partes importantes dos modelos de previsão.
As análises descritiva e preditiva são apenas aspectos parciais do trabalho dos cientistas de dados. Alguns cientistas de dados podem trabalhar na área de aprendizado profundo, realizando experimentos iterativos para resolver um problema de dados complexo com o uso de algoritmos personalizados.
Evidências não científicas sugerem que a maior parte do trabalho em um projeto de ciência de dados é gasto em estruturação de dados e engenharia de recursos. Os cientistas de dados podem acelerar o processo de experimentação quando os engenheiros de dados usam as habilidades deles para estruturar os dados com êxito.
À primeira vista, pode parecer que um cientista de dados e um analista de dados fazem trabalhos completamente diferentes, mas não é verdade. Um cientista de dados examina os dados para determinar as perguntas que precisam de respostas e geralmente desenvolve uma hipótese ou um experimento. Em seguida, recorrem ao analista de dados para auxiliar na geração de relatórios e na visualização dos dados.
Administrador de banco de dados
Um administrador de banco de dados implementa e gerencia os aspectos operacionais de soluções de plataformas de dados híbridas e nativas de nuvem criadas nos serviços de dados do Microsoft Azure e no Microsoft SQL Server. Um administrador de banco dados é responsável pela disponibilidade geral e pelo desempenho e otimizações consistentes das soluções de banco de dados. Eles trabalham em conjunto com os stakeholders para identificar e implementar as políticas, as ferramentas e os processos para backup de dados e planos de recuperação.
A função do administrador de banco de dados é diferente da função de um engenheiro de dados. Um administrador de banco de dados monitora e gerencia a integridade geral de um banco de dados e o hardware no qual ele reside, enquanto um engenheiro de dados está envolvido no processo de estruturação de dados, em outras palavras, ingestão, transformação, validação e limpeza de dados para atender às necessidades e requisitos empresariais.
O administrador de banco de dados também é responsável por gerenciar a segurança geral dos dados, concedendo e restringindo o acesso e os privilégios dos usuários aos dados, conforme determinado pelas necessidades e requisitos empresariais.