Integrar a análise de escala de nuvem à estratégia de adoção da nuvem
Crie uma estratégia única e centralizada de adoção de nuvem para sua organização, usando a Metodologia de estratégia no Cloud Adoption Framework do Azure. Se você ainda não registrou a estratégia de adoção de nuvem, use o modelo de estratégia e planejamento.
Este artigo contém considerações sobre os cenários de análise de escala de nuvem que afetam a estratégia mais abrangente.
Antes de implementar a análise de escala de nuvem, estabeleça um plano para a estratégia de dados. Você pode começar aos poucos com um único caso de uso ou pode ter um conjunto muito maior de casos de uso que exigirão priorização. Ter uma estratégia ajuda a estabelecer os processos e iniciar as primeiras conversas sobre os pilares em que você precisa se concentrar.
Priorizar os resultados dos negócios para a estratégia de dados
Ter uma estratégia de dados bem-sucedida oferece uma vantagem competitiva. Você sempre deve alinhar a estratégia de dados aos resultados dos negócios desejados. A maioria dos resultados dos negócios pode ser classificada em uma das quatro categorias a seguir:
Capacitar os funcionários: forneça à força de trabalho o conhecimento em tempo real sobre clientes, dispositivos e computadores. Esse conhecimento ajuda os funcionários a colaborar com eficiência para atender às necessidades dos clientes ou negócios com agilidade.
Interagir com os clientes: ofereça uma experiência personalizada, enriquecida e conectada, inspirada pela marca. Aproveite o poder de dados e insights para gerar a fidelidade do cliente em cada etapa de um percurso do cliente.
Otimizar operações: aumente o fluxo de informações em toda a organização. Sincronize os processos de negócios e use uma abordagem controlada por dados para tornar cada interação relevante.
Transformar os produtos e o ciclo de vida de desenvolvimento: reúna dados telemétricos sobre os serviços e as ofertas. Use os dados de telemetria para priorizar uma versão ou criar um novo recurso e para avaliar a eficácia e a adoção continuamente.
Depois de priorizar os resultados dos negócios, examine os projetos atuais e iniciativas estratégicas de longo prazo e classifique-os adequadamente. Combine os quatro categorias de resultados dos negócios em um formato de matriz baseado na complexidade e no impacto. Além disso, adicione os pilares de arquitetura para ajudar a analisar detalhadamente o cenário.
Desbloquear valor estratégico
A criação de uma cultura controlada por dados para impulsionar os negócios de maneira consistente, inovadora, ágil e informada tem algumas complexidades inerentes e realidades básicas. Antes de entrar na fase de implantação, concentre os esforços na formação de uma estratégia de dados coerente, que possa ajudar a alcançar os resultados dos negócios desejados.
A análise de escala de nuvem está alinhada às motivações com foco na inovação. Os indicadores comuns a seguir motivam os clientes que integram esse cenário na estratégia de adoção da nuvem:
- Uma estrutura de análise escalonável, que permite criar uma plataforma de dados corporativos
- Autoatendimento para capacitar os usuários na exploração de dados, criação de ativos de dados e desenvolvimento de produtos
- Uma cultura orientada a dados com ativos de dados reutilizáveis, comunidades de dados, troca de terceiros segura e compartilhamento in-loco
- Compartilhamento de dados com confiança usando políticas, identidade comum, confidencialidade e criptografia
- Experiências e participações do cliente aprimoradas
- Transformação de produtos ou serviços
- Desestabilização do mercado com novos produtos ou serviços
O diagrama a seguir contém os principais temas que ajudam a perceber essas motivações em sua própria estratégia. Analise cuidadosamente os temas e a maneira como contribuem para uma estratégia de dados coerente. Considere também como eles podem liberar o valor estratégico dos dados e possibilitar um crescimento consistente dos negócios.
"Uma estratégia de dados é a base para usar dados como ativo e desenvolver os negócios. Não é um trabalho de patch para problemas de dados. É um plano de orientação de longo prazo que define as pessoas, os processos e a tecnologia a serem estabelecidos para resolver os desafios de dados."
A criação da estratégia é uma etapa. A execução da estratégia em escala empresarial representa um grande desafio para a cultura, as pessoas, os processos e as opções de tecnologia existentes da sua organização. A execução exige compromisso e propriedade clara em todos os níveis da sua organização.
Aumento das eficiências
A agilidade da nuvem exige que as organizações se adaptem rapidamente e tragam eficiências para todas as áreas dos negócios. De acordo com o relatório sobre riscos emergentes da Gartner, apesar de as organizações continuarem a se concentrar e investir em iniciativas digitais, dois terços dessas organizações demonstram pontos fracos empresariais e não conseguem atender às expectativas, mesmo que continuem se concentrando e investindo em iniciativas digitais,
Operacionalizar o gerenciamento de dados
Muitas organizações têm descentralizado lentamente a TI central, para viabilizar a agilidade. As organizações desejam inovar rapidamente e ter acesso a dados unificados em toda a empresa na forma de autoatendimento para atender aos requisitos desafiadores dos negócios.
Há muitas razões pelas quais as empresas não conseguem aproveitar todo o potencial dos dados. Pode ser porque as funções de negócios são executadas isoladamente, de modo que cada equipe está usando diferentes ferramentas e padrões para análise de dados. Ou pode ser devido a uma falha ao vincular os indicadores-chave de desempenho às metas de negócios gerais.
A democratização de dados ajuda a agregar esse valor à empresa novamente e alcançar as metas desafiadoras de crescimento dos negócios.
- Entenda e priorize as necessidades de LOBs.
- Distribua os dados entre domínios para viabilizar a propriedade e aproximar os dados dos usuários.
- Implante produtos de dados de autoatendimento para gerar insights e valor comercial.
Para governança de dados, você deve encontrar um equilíbrio adequado no mundo descentralizado de uma democratização de dados. Se você impuser a governança muito rigorosamente, poderá reprimir a inovação. No entanto, se você não tiver pelo menos alguns princípios e processos fundamentais estabelecidos, provavelmente acabará tendo silos de dados. Esses silos podem prejudicar a reputação da sua organização e possíveis receitas. Uma abordagem holística de governança de dados é fundamental para liberar o valor estratégico dos dados de maneira consistente.
A ausência de uma estratégia de dados bem pensada leva à necessidade de apenas "dar início" e começar rapidamente a agregar valor à organização. Resolva os problemas de negócios atuais, tomando medidas a respeito dos principais temas mencionados anteriormente ou usando-os como princípios estratégicos em uma estrutura. O uso desses temas principais também pode ajudar a criar uma estratégia de dados holística iterativa com validação, mas ainda assim fornecer resultados oportunos. Os líderes de negócios e tecnologia devem desenvolver as estratégias e a mentalidade necessárias para gerar valor a partir dos dados e escalar rapidamente de maneira simplificada e estruturada
Para obter mais informações, confira O que é governança de dados?.
Desenvolver uma cultura controlada por dados
Para criar uma estratégia de dados bem-sucedida, você precisa de uma cultura controlada por dados. Desenvolva uma cultura que promova consistentemente a participação colaborativa e aberta. Nesse tipo de cultura, toda a força de trabalho pode aprender, comunicar e melhorar os resultados dos negócios da organização. Desenvolver uma cultura controlada por dados também melhora a capacidade de cada funcionário de gerar impacto ou influência, com o respaldo dos dados.
O ponto de partida do percurso depende da organização, do setor e do local atual ao longo da curva de maturidade. O diagrama a seguir mostra um modelo de maturidade de exemplo, que descreve os níveis de maturidade do uso de IA de uma organização:
Nível 0
Os dados não são explorados de forma programática e consistente. A organização se concentra nos dados de uma perspectiva de desenvolvimento de aplicativos.
No Nível 0, a organização geralmente tem projetos de análise não planejados. Cada aplicativo é altamente especializado nas necessidades exclusivas dos dados e dos stakeholders. Cada aplicativo também tem bases de código e equipes de engenharia significativas, e muitos são projetados fora da TI. A viabilização de casos de uso e a análise são isoladas.
Nível 1
No Nível 1, as equipes estão sendo formadas e a estratégia está sendo criada, mas a análise permanece departamentalizada. A organização tende a ter um bom desempenho em captura e análise de dados tradicionais. Ela pode ter determinado nível de compromisso com uma abordagem de escala de nuvem. Por exemplo, ela já pode acessar os dados na nuvem.
Nível 2
A plataforma de inovação da organização está quase pronta. Os fluxos de trabalho estão estabelecidos para lidar com a qualidade dos dados. A organização pode responder algumas perguntas do tipo "por quê".
No Nível 2, a organização está pesquisando ativamente uma estratégia de dados de ponta a ponta, que usa armazenamentos de data lake controlados de maneira centralizada, para controlar a expansão do armazenamento de dados e melhorar a capacidade de descoberta de dados. A organização está prontas para aplicativos inteligentes que levam a computação para os data lakes controlados de maneira centralizada. Esses aplicativos inteligentes reduzem os riscos de privacidade, os custos de computação e a necessidade de cópias federadas de dados importantes.
Nesse nível, a organização também está pronta para usar serviços de dados compartilhados, multilocatários, hospedados de maneira centralizada para tarefas comuns de computação de dados. Esses serviços de dados compartilhados permitem insights rápidos provenientes dos serviços de inteligência orientados à ciência de dados.
Nível 3
A organização usa uma abordagem de dados holística. Os projetos relacionados aos dados estão integrados aos resultados dos negócios. A organização usa plataformas de análise para fazer previsões.
No Nível 3, a organização libera a inovação digital das perspectivas de patrimônio de dados e de desenvolvimento de aplicativos. Os serviços de dados fundamentais estão estabelecidos, incluindo data lakes e serviços de dados compartilhados.
Várias equipes em toda a organização estão fazendo um bom trabalho com as cargas de trabalho comerciais críticas, os principais casos de uso dos negócios e os resultados mensuráveis. Novos serviços de dados compartilhados são identificados usando a telemetria. A TI é um conselheiro confiável para as equipes em toda a empresa usando uma estratégia de dados confiável e conectada de ponta a ponta para ajudar a melhorar os processos empresariais críticos.
Nível 4
No Nível 4, toda a organização usa estruturas, padrões corporativos e uma cultura controlada por dados. A automação, os loops de feedback controlados por dados e os centros de excelência em análise ou automação podem ser observados em ação.
Desenvolver objetivos alinhados aos negócios
Identificar prioridades alinhadas com a visão do negócio e manter uma ideologia de “pensar grande, começar pequeno e agir rápido” são chaves para o sucesso. Escolher o caso de uso certo nem sempre precisa ser um processo de verificação difícil e demorado. Pode ser um problema contínuo em qualquer unidade de negócios, em que haja dados suficientes para validar o retorno sobre o investimento, mais apetite e facilidade de adesão. As coisas podem se mover rapidamente e é nesse ponto que a maioria da organização pode estar com dificuldades para começar.
Entender os atributos dos dados
Para criar uma estratégia de dados sólida, você precisa entender como os dados funcionam. Conhecer as principais características dos dados ajuda a criar uma prática com princípios para lidar com os dados.
Os dados se movem rapidamente, mas a velocidade não pode desafiar as leis da física. Os dados devem estar em conformidade com as leis da terra ou do setor que os criou.
Os dados não mudam por conta própria, mas são propensos a alterações e perda acidental, a menos que você estabeleça medidas vigor para atenuar esses desafios. Implemente medidas anticorrupção para controles, bancos de dados e armazenamento de modo que você possa lidar com as mudanças imprevistas. Além disso, verifique se você configurou processos de monitoramento, auditorias, alertas e downstream.
Os dados por conta própria não produzem insights nem geram valor. Para obter insights ou extrair valor, você deve implementar a maioria ou todos os dados por meio de quatro etapas discretas:
- Ingestão
- Armazenamento
- Processando
- Análise
Cada uma dessas quatro etapas tem seus próprios princípios, processos, ferramentas e tecnologias.
A retenção de ativos de dados e insights relacionados pode afetar as decisões socioeconômicas, políticas, de pesquisa e de investimento. É fundamental que sua organização possa fornecer insights de forma segura e responsável. Todos os dados gerados ou adquiridos devem passar por um exercício de classificação de dados, a menos que seja explicitamente declarado de outra forma. A criptografia é o padrão ouro para lidar com dados confidenciais em repouso e em trânsito.
Os dados, aplicativos e serviços têm sua própria força gravitacional, mas a força dos dados é a maior. Ao contrário da lendária maçã de Sir Isaac Newton, os dados não têm uma massa física que afete os objetos adjacentes. Em vez disso, eles têm latência e taxa de transferência, que atuam como aceleradores para o processo de análise. A latência, taxa de transferência e facilidade de acesso geralmente exigem a duplicação dos dados, mesmo quando isso não é desejado. Configure as pessoas, os processos, as ferramentas e as tecnologias adequadamente de modo que você possa equilibrar esses requisitos com as políticas de dados da sua organização.
Os constructos de arquitetura regem a velocidade em que você pode processar os dados. Os constructos são viabilizados por meio de inovações em software, hardware e rede. Algumas considerações de arquitetura são:
- Configuração da distribuição de dados
- Particionamento
- Tecnologias de cache
- Processamento em lote versus streaming
- Balanceamento de back-end e processamento do lado do cliente
Definir a estratégia de dados
O uso de dados como vantagem competitiva para compilar produtos melhores e serviços de maior valor não é novidade. Mas o volume, a velocidade e a variedade de dados que a computação em nuvem permitiu são.
O design de uma plataforma de análise de dados moderna na nuvem consiste em segurança, governança, monitoramento, dimensionamento sob demanda, operações de dados e autoatendimento. Entender a interação entre essas facetas é o que distingue uma estratégia de dados excelente de uma adequada. Use ferramentas como a Cloud Adoption Framework para garantir a coesão, a integridade e as melhores práticas de arquitetura.
Para ser eficaz, a estratégia de dados deve conter provisões para governança de dados. O diagrama a seguir mostra os principais estágios de um ciclo de vida de dados, com foco na governança de dados:
As seções a seguir descrevem as considerações que você deve usar ao decidir sobre as camadas da estratégia de dados de princípios de design. Concentre-se em fornecer os resultados dos negócios e agregar valor a partir dos dados.
Ingestão de dados
Uma consideração importante para a ingestão de dados é a capacidade de compilar um pipeline de dados de maneira rápida, segura e compatível, desde os requisitos até a produção. Os elementos importantes incluem tecnologias controladas por metadados, autoatendimento e tecnologias de baixo código que hidratam o data lake.
Ao compilar os pipelines, considere o design e a capacidade de discutir dados, distribuir dados e dimensionar a computação. Você também deve garantir que tenha o suporte certo do DevOps para a integração e entrega contínuas do pipeline.
Ferramentas como o Azure Data Factory dão suporte a uma infinidade de fontes de dados locais, fontes de dados SaaS (software como serviço) e outras fontes de dados de outras nuvens públicas.
Armazenamento
Marque e organize os dados em camadas físicas e lógicas. Os data lakes fazem parte de todas as arquiteturas modernas de análise de dados. Sua organização deve aplicar os requisitos apropriados de privacidade, segurança e conformidade de dados que atendam à classificação de dados e os requisitos de conformidade do setor em que operam. A catalogação e o autoatendimento auxiliam na democratização de dados no nível da organização, que alimenta a inovação e, ao mesmo tempo, é guiada pelo controle de acesso apropriado.
Escolha o armazenamento certo para a carga de trabalho. Mesmo que você não obtenha o armazenamento exatamente correto na primeira vez, a nuvem permite que você faça failover rapidamente e reinicie o percurso. Use os requisitos do aplicativo para escolher o melhor banco de dados. Considere a capacidade de processar dados em lote e transmitir dados, à medida que você escolhe a plataforma de análise.
Processamento de dados
As necessidades de processamento de dados variam de acordo com cada carga de trabalho. A maioria do processamento de dados em grande escala contém elementos de processamento em tempo real e em lote. A maioria das empresas também tem elementos dos requisitos de processamento de série temporal e uma necessidade de processar texto de forma livre para recursos de pesquisa empresarial.
O OLTP (processamento de transações online) fornece os requisitos de processamento organizacional mais populares. Algumas cargas de trabalho precisam de processamento especializado, como HPC (computação de alto desempenho), às vezes, chamada de "grande computação". Essas cargas de trabalho resolvem tarefas matemáticas complexas usando muitos computadores baseados em CPU ou GPU.
Para determinadas cargas de trabalho especializadas, os clientes podem proteger ambientes de execução, como a computação confidencial do Azure, o que ajuda os usuários a proteger os dados, enquanto os dados estão em uso nas plataformas de nuvem pública. Esse estado é necessário para obter um processamento eficiente. Os dados são protegidos dentro de um TEE (ambiente de execução confiável), também conhecido como enclave. Um TEE protege o código e os dados contra exibições e modificações externas. Os TEEs permitem treinar modelos de IA, sem sacrificar a confidencialidade de dados, mesmo quando você usa fontes de dados de diferentes organizações.
Processamento analítico
O constructo de ETL (extração, transformação e carregamento) está relacionado às necessidades de OLAP (processamento analítico online) e data warehousing. Um modelo de dados alinhado aos negócios e um modelo semântico que permite que as organizações implementem regras de negócios e KPIs (Indicadores-Chave de Desempenho) geralmente são implementados como parte do processo analítico. Uma funcionalidade útil é a detecção automática de descompasso de esquema.
Resumo da estratégia de dados
Adotar uma abordagem com princípios para outras considerações, como governança de dados e IA responsável, paga os dividendos mais tarde.
Na Microsoft, seguimos quatro princípios fundamentais: imparcialidade, confiabilidade e segurança, privacidade e segurança e inclusão. Os dois princípios fundamentais de transparência e responsabilidade são subjacentes a esses princípios.
Colocamos em prática nossos princípios e IA responsável, desenvolvendo recursos e um sistema de governança. Algumas de nossas diretrizes visam a interação de seres humanos/IA, IA conversacional, incluindo o design, uma lista de verificação de imparcialidade de IA e uma folha de dados para conjuntos de dados.
Além disso, desenvolvemos um conjunto de ferramentas para ajudar outras pessoas a entender, proteger e controlar a IA em cada estágio da inovação. Essas ferramentas resultam de esforços de colaboração multidisciplinar para fortalecer e acelerar a IA responsável. A colaboração abrange engenharia e desenvolvimento de software, ciências sociais, pesquisa de usuários, leis e política.
Para melhorar a colaboração, disponibilizamos muitas ferramentas de código aberto, como InterpretML e Fairlearn. Outras pessoas podem contribuir e desenvolver com base nessas ferramentas de código aberto. Também democratizamos as ferramentas por meio do Azure Machine Learning.
O pivô para se tornar uma organização controlada por dados é fundamental para oferecer vantagem competitiva no novo normal. Queremos ajudar nossos clientes a mudarem de uma abordagem somente de aplicativos para uma abordagem orientada a aplicativos e dados. Uma abordagem com foco em aplicativos e dados ajuda a criar uma estratégia de dados de ponta a ponta, que garante a repetição e a escalabilidade entre os casos de uso atuais e futuros que afetam os resultados dos negócios.
Promover compromisso, comunicação e participação
Todas as principais funções envolvidas em elaborar uma estratégia de dados de sucesso devem entender claramente a abordagem adotada e os objetivos comerciais comuns. As principais funções podem incluir uma equipe de liderança (diretoria), unidades de negócios, TI, operações e equipes de entrega.
A comunicação é uma das partes mais importantes dessa estrutura. Sua organização deve planejar um processo de comunicação eficaz entre as funções. A comunicação ajuda a ser eficaz no contexto do projeto atual. Ela também estabelece um fórum que ajuda todos os envolvidos a permanecerem alinhados, atualizados e concentrados no objetivo geral de compilar uma estratégia de dados holística para o futuro.
A participação é essencial entre os dois grupos a seguir:
- Membros da equipe que criam e implementam a estratégia de dados
- Membros da equipe que contribuem, consomem e exploram os dados (como as unidades de negócios que tomarão decisões e criarão resultados com base nos dados)
Em outras palavras, as estratégias de dados e plataformas de dados associadas que são criadas sem os desafios de risco da participação do usuário na relevância e na adoção.
Dois processos estratégicos ajudaram a obter sucesso nessa estrutura:
- Formação de um centro de excelência
- Adoção de um método de entrega ágil
Para obter mais informações, confira Desenvolver um plano para análise de escala de nuvem.
Agregar valor
Quando você oferece produtos de dados de acordo com os critérios de sucesso de maneira padronizada e estruturada, essa entrega valida a estrutura iterativa. Além disso, usar o aprendizado para inovar continuamente ajuda a criar confiança nos negócios e ampliar as metas de estratégia de dados. Esse processo proporciona uma adoção mais clara e rápida em toda a organização.
O mesmo se aplica à plataforma de dados. Quando você tem uma configuração em que várias equipes operam de forma bastante autônoma, você deve conduzir em direção a uma malha. Chegar lá é um processo iterativo. Em muitos casos, requer alterações significativas na configuração organizacional, na preparação e no alinhamento dos negócios
Próximas etapas
Leia os seguintes artigos para encontrar diretrizes para o percurso de adoção da nuvem e fazer com que o cenário de adoção da nuvem seja bem-sucedido: