Integrar a análise em escala de nuvem à sua estratégia de adoção de nuvem

Crie uma estratégia única e centralizada de adoção de nuvem para sua organização usando a metodologia estratégia no Cloud Adoption Framework do Azure.

Este artigo contém considerações sobre cenários de análise em escala de nuvem que afetam sua estratégia mais ampla.

Antes de implementar a análise em escala de nuvem, tenha um plano em vigor para sua estratégia de dados. Você pode começar pequeno com um único caso de uso ou pode ter um conjunto maior de casos de uso que exigem priorização. Ter uma estratégia ajuda você a estabelecer seus processos e iniciar conversas iniciais sobre pilares nos quais você precisa se concentrar.

Priorizar os resultados dos negócios para sua estratégia de dados

Ter uma estratégia de dados bem-sucedida oferece uma vantagem competitiva. Você sempre deve alinhar sua estratégia de dados com os resultados de negócios desejados. A maioria dos resultados de negócios pode ser classificada em uma das quatro categorias a seguir:

• Capacite seus funcionários: Forneça à sua força de trabalho conhecimento em tempo real de clientes, dispositivos e computadores. Esse conhecimento os ajuda a colaborar com eficiência para atender às necessidades de clientes ou de negócios com agilidade.

• Envolva-se com os clientes: Forneça uma experiência rica, personalizada e conectada inspirada em sua marca. Aproveite o poder de dados e insights para impulsionar a fidelidade do cliente em cada etapa de uma jornada do cliente.

• Otimizar operações: Aumente o fluxo de informações em toda a sua organização. Sincronize seus processos de negócios e use uma abordagem controlada por dados para tornar cada interação valiosa.

• Transforme seus produtos e ciclo de vida de desenvolvimento: Colete dados de telemetria sobre seus serviços e ofertas. Use os dados de telemetria para priorizar uma versão ou criar um novo recurso e avaliar a eficácia e a adoção continuamente.

Depois de priorizar seus resultados de negócios, examine seus projetos atuais e iniciativas estratégicas de longo prazo e classifique-os adequadamente. Considere combinar as quatro categorias de resultados de negócios em um formato de matriz baseado em complexidade e impacto. Além disso, considere adicionar pilares arquitetônicos para ajudá-lo a se aprofundar em seu cenário.

Desbloquear valor estratégico

A criação de uma cultura controlada por dados que impulsiona os negócios para frente de maneira consistente, avançada, ágil e informada tem algumas complexidades inerentes e realidades básicas. Antes de entrar em sua fase de implantação, concentre os esforços para a formação de uma estratégia de dados coerente que possa ajudá-lo a alcançar os resultados de negócios desejados.

A análise em escala de nuvem está alinhada com motivações focadas em inovação. Os seguintes drivers comuns motivam os clientes a integrar esse cenário à estratégia de adoção da nuvem:

• Uma estrutura de análise escalonável, que permite criar uma plataforma de dados corporativa
• Autoatendimento, que capacita os usuários na exploração de dados, na criação de ativos de dados e no desenvolvimento de produtos
• Uma cultura liderada por dados com ativos de dados reutilizáveis, comunidades de dados, troca segura de terceiros e compartilhamento in-loco
• Compartilhar dados com confiança, usando políticas, identidade comum, confidencialidade e criptografia
• Experiências e participações do cliente aprimoradas
• Transformação de produtos ou serviços
• Desestabilização do mercado com novos produtos ou serviços

O diagrama a seguir contém os principais temas que ajudam você a perceber essas motivações em sua própria estratégia. Analise cuidadosamente esses temas e como eles contribuem para uma estratégia de dados coerente. Além disso, considere como eles podem desbloquear o valor estratégico de seus dados e habilitar um crescimento consistente dos negócios.

"Uma estratégia de dados é a base para usar dados como um ativo e impulsionar os negócios. Não é uma solução paliativa para problemas de dados. É um plano orientador de longo prazo que define as pessoas, os processos e a tecnologia a serem colocados em prática para resolver os desafios de dados.".

Criar sua estratégia é uma etapa. Executar sua estratégia em escala empresarial representa um grande desafio para a cultura, as pessoas, os processos e as escolhas de tecnologia existentes da sua organização. A execução requer compromisso e propriedade clara em todos os níveis da sua organização.

Aumentando a eficiência

A agilidade da nuvem exige que as organizações se adaptem rapidamente e tragam eficiências para todas as áreas de negócios. De acordo com o relatório sobre riscos emergentes da Gartner, apesar de as organizações continuarem a se concentrar e investir em iniciativas digitais, dois terços dessas organizações demonstram fraquezas empresariais e não conseguem cumprir as expectativas, embora continuem se concentrando e investindo em iniciativas digitais.

Operacionalizar o gerenciamento de dados

Muitas organizações têm descentralizado lentamente a TI central para habilitar a agilidade. As organizações desejam inovar rapidamente e ter acesso a dados unificados em toda a empresa de maneira autoatendida ajuda a atender aos requisitos de negócios desafiadores.

Há muitas razões pelas quais as empresas não conseguem explorar todo o potencial de seus dados. Pode ser porque as funções de negócios funcionam em silos, em que cada equipe está usando diferentes ferramentas e padrões para análise de dados. Ou pode ser devido a uma falha ao vincular os principais indicadores de desempenho às metas gerais de negócios.

A democratização de dados ajuda você a entregar valor de volta aos negócios e atingir metas de crescimento de negócios desafiadoras.

• Entenda e priorize as necessidades de LOBs.
• Distribua seus dados entre domínios para habilitar a propriedade e aproximar os dados dos usuários.
• Implante produtos de dados de autoatendimento para gerar insights e valor de negócios.

Para a governança de dados, você deve encontrar um equilíbrio adequado no mundo descentralizado da democratização de dados. Se você impor a governança muito estritamente, você pode sufocar a inovação. No entanto, se você não tiver pelo menos alguns princípios e processos fundamentais em vigor, é provável que você acabe com silos de dados. Esses silos podem prejudicar a reputação da sua organização e as receitas potenciais. Uma abordagem holística de governança de dados é fundamental para você desbloquear o valor estratégico de seus dados de maneira consistente.

A ausência de uma estratégia de dados bem pensada leva à necessidade de apenas "começar" e começar rapidamente a fornecer valor à sua organização. Resolva os problemas de negócios atuais agindo sobre os temas-chave mencionados anteriormente ou usando-os como princípios estratégicos em uma estrutura. O uso desses principais temas também pode ajudá-lo a criar uma estratégia de dados holística iterativa com validação, mas ainda fornece resultados oportunos. Os líderes empresariais e de tecnologia devem desenvolver as estratégias e a mentalidade necessárias para gerar valor a partir de dados e dimensionar rapidamente de maneira simplificada e estruturada.

Para obter mais informações, consulte o que é governança de dados?.

Desenvolver uma cultura controlada por dados

Para criar uma estratégia de dados bem-sucedida, você precisa de uma cultura controlada por dados. Desenvolva uma cultura que promova consistentemente uma participação aberta e colaborativa. Nesse tipo de cultura, toda a sua força de trabalho pode aprender, se comunicar e melhorar os resultados de negócios da organização. O desenvolvimento de uma cultura controlada por dados também melhora a capacidade de cada funcionário de gerar impacto ou influência apoiado por dados.

O ponto de partida do percurso depende da sua organização, do setor e da localização atual ao longo da curva de maturidade. O diagrama a seguir mostra um modelo de maturidade de exemplo que descreve os níveis de maturidade do uso de IA de uma organização:

Nível 0

Os dados não são explorados de forma programática e consistente. O foco de dados da organização é de uma perspectiva de desenvolvimento de aplicativos.

No Nível 0, a organização geralmente tem projetos de análise não planejados. Cada aplicativo é altamente especializado para dados exclusivos e necessidades de stakeholders. Cada aplicativo também tem bases de código significativas e equipes de engenharia, com muitas sendo desenvolvidas fora de TI. A viabilização de casos de uso e a análise são isoladas.

Nível 1

No Nível 1, as equipes estão sendo formadas e a estratégia está sendo criada, mas a análise permanece departamentalizada. A organização tende a ser boa em captura e análise de dados tradicionais. Ele pode ter algum nível de compromisso com uma abordagem de escala de nuvem. Por exemplo, ele já pode acessar dados da nuvem.

Nível 2

A plataforma de inovação da organização está quase pronta. Fluxos de trabalho estão em vigor para lidar com a qualidade dos dados. A organização pode responder a algumas perguntas "por quê".

No Nível 2, a organização está pesquisando ativamente uma estratégia de dados de ponta a ponta que usa armazenamentos de data lake controlados centralmente para controlar a expansão do armazenamento de dados e melhorar a descoberta de dados. A organização está prontas para aplicativos inteligentes que levam a computação para os data lakes controlados de maneira centralizada. Esses aplicativos inteligentes reduzem os riscos de privacidade, os custos de computação e a necessidade de cópias federadas de dados importantes.

Nesse nível, a organização também está pronta para usar serviços de dados compartilhados multilocatários, hospedados centralmente para tarefas comuns de computação de dados. Esses serviços de dados compartilhados permitem insights rápidos dos serviços de inteligência orientados à ciência de dados.

Nível 3

A organização usa uma abordagem de dados holística. Os projetos relacionados aos dados são integrados aos resultados dos negócios. A organização usa plataformas de análise para fazer previsões.

No Nível 3, a organização libera a inovação digital tanto do ponto de vista de sua infraestrutura de dados quanto do desenvolvimento de aplicativos. Os serviços de dados fundamentais estão em operação, incluindo lagos de dados (data lakes) e serviços de dados compartilhados.

Várias equipes em toda a organização entregam com êxito cargas de trabalho comerciais críticas, principais casos de uso de negócios e resultados mensuráveis. Novos serviços de dados compartilhados são identificados usando telemetria. A TI é um consultor confiável para equipes em toda a empresa, usando uma estratégia de dados de ponta a ponta confiável e conectada para ajudar a melhorar os processos comerciais críticos.

Nível 4

No Nível 4, toda a organização usa estruturas, padrões, empresas e uma cultura controlada por dados. A automação, os loops de feedback controlados por dados e os centros de excelência em análise ou automação podem ser observados em ação.

Desenvolver objetivos alinhados aos negócios

Identificar prioridades em consonância com a visão empresarial e manter uma ideologia "pense grande, comece pequeno e aja rapidamente" são chaves para o sucesso. Escolher o caso de uso certo nem sempre precisa ser um processo de avaliação longo e complicado. Pode ser um problema contínuo em qualquer unidade de negócios em que haja dados suficientes para validar seu retorno sobre o investimento, maior interesse e fácil adesão. As coisas podem se mover rapidamente, e é aí que a maioria das organizações pode estar enfrentando dificuldades para começar.

Entender atributos de dados

Para criar uma estratégia de dados forte, você precisa entender como os dados funcionam. Conhecer as principais características dos dados ajuda você a criar uma prática de princípios para lidar com dados.

Os dados viajam rápido, mas sua velocidade não pode desafiar as leis da física. Os dados devem estar em conformidade com as leis da terra e da indústria que a criou.

Os dados não mudam por conta própria, mas são propensos a alterações e perda acidental, a menos que você coloque medidas em prática para atenuar esses desafios. Coloque medidas anticorrupção para controles, bancos de dados e armazenamento em vigor para que você possa lidar com alterações imprevistas. Além disso, certifique-se de configurar o monitoramento, auditorias, alertas e processos downstream.

Por si só, os dados não produzem insights nem geram nenhum valor. Para obter insights ou extrair valor, você deve colocar a maioria ou todos os seus dados em quatro etapas discretas:

1. Ingestão
2. Armazenamento
3. Processamento
4. Análises de dados

Cada uma dessas quatro etapas tem seus próprios princípios, processos, ferramentas e tecnologias.

Reter seus ativos de dados e insights relacionados pode afetar decisões socioeconômicas, políticas, de pesquisa e de investimento. É fundamental que sua organização seja capaz de fornecer insights de maneira segura e responsável. Todos os dados gerados ou adquiridos devem passar por um exercício de classificação de dados, a menos que seja explicitamente declarado. A criptografia é o padrão ouro para lidar com dados confidenciais em repouso e em trânsito.

Dados, aplicativos e serviços têm suas próprias atrações gravitacionais, mas a atração gravitacional dos dados é a maior. Ao contrário da lendária maçã de Sir Isaac Newton, os dados não têm massa física que afete objetos ao redor. Em vez disso, ele tem latência e taxa de transferência, que atuam como aceleradores para o processo de análise. Latência, taxa de transferência e facilidade de acesso geralmente exigem que você duplique dados, mesmo quando isso não é desejável. Configure suas pessoas, processos, ferramentas e tecnologias adequadamente para que você possa equilibrar esses requisitos com as políticas de dados da sua organização.

As construções arquitetônicas regem a velocidade com que você pode processar dados. Os constructos são viabilizados por meio de inovações em software, hardware e rede. Algumas considerações de arquitetura são:

• Configurando a distribuição de dados
• Particionamento
• Tecnologias de cache
• Processamento em lote versus streaming
• Balanceamento do processamento de back-end e do lado do cliente

Definir sua estratégia de dados

Usar dados como uma vantagem competitiva para criar produtos melhores e serviços de maior valor não é um conceito novo. No entanto, o volume, a velocidade e a variedade de dados habilitados pela computação em nuvem são sem precedentes.

O design de uma plataforma moderna de análise de dados na nuvem consiste em segurança, governança, monitoramento, dimensionamento sob demanda, operações de dados e autoatendimento. Entender a interação entre essas facetas é o que distingue uma ótima estratégia de dados de uma boa. Use ferramentas como o Cloud Adoption Framework para garantir a coesão, a integridade e as práticas recomendadas da arquitetura.

Para ser eficaz, sua estratégia de dados deve conter provisionamentos para governança de dados. O diagrama a seguir mostra os principais estágios de um ciclo de vida de dados, com foco na governança de dados como foco:

As seções a seguir descrevem as considerações que você deve usar ao decidir sobre os princípios de design para as camadas da sua estratégia de dados. Concentre-se em fornecer resultados de negócios e valor de seus dados.

Ingestão de dados

Uma consideração fundamental para a ingestão de dados é a capacidade de criar um pipeline de dados rapidamente de maneira segura e em conformidade, desde os requisitos até a produção. Elementos importantes incluem tecnologias controladas por metadados, autoatendimento e de baixo código que hidratam seu data lake.

Ao compilar os pipelines, considere o design e a capacidade de discutir dados, distribuir dados e dimensionar a computação. Você também deve garantir que tenha o suporte adequado de DevOps para integração e entrega contínuas de sua linha de produção.

Ferramentas como o Azure Data Factory dão suporte a uma infinidade de fontes de dados locais, fontes de dados saaS (software como serviço) e outras fontes de dados de outras nuvens públicas.

Armazenamento

Marque e organize seus dados em camadas físicas e lógicas. Os data lakes fazem parte de todas as arquiteturas modernas de análise de dados. Sua organização deve aplicar os requisitos apropriados de privacidade, segurança e conformidade de dados que atendam a todos os requisitos de classificação de dados e conformidade do setor nos quais você opera. A catalogação e o autoatendimento contribuem para a democratização de dados no nível organizacional, o que alimenta sua inovação enquanto você é guiado pelo controle de acesso apropriado.

Escolha o armazenamento certo para sua carga de trabalho. Mesmo que você não obtenha o armazenamento exatamente correto na primeira vez, a nuvem permite que você faça failover rapidamente e reinicie seu percurso. Use os requisitos do aplicativo para escolher o melhor banco de dados. Considere sua capacidade de processar dados em lote e streaming à medida que você está escolhendo sua plataforma de análise.

Processamento de dados

Suas necessidades de processamento de dados variam com cada carga de trabalho. A maioria do processamento de dados em grande escala contém elementos de processamento em tempo real e em lote. A maioria das empresas também tem elementos de requisitos de processamento de série temporal e uma necessidade de processar texto de forma livre para recursos de pesquisa empresarial.

O OLTP (processamento de transações online) fornece os requisitos de processamento organizacional mais populares. Algumas cargas de trabalho precisam de processamento especializado, como HPC (computação de alto desempenho), às vezes chamada de "computação grande". Essas cargas de trabalho resolvem tarefas matemáticas complexas usando muitos computadores baseados em CPU ou GPU.

Para determinadas cargas de trabalho especializadas, os clientes podem proteger ambientes de execução, como a computação confidencial do Azure, que ajuda os usuários a proteger dados enquanto os dados estão em uso em plataformas de nuvem pública. Esse estado é necessário para processamento eficiente. Os dados são protegidos dentro de um TEE (ambiente de execução confiável), também conhecido como enclave. Um TEE protege o código e os dados contra qualquer exibição e modificação externas. Os TEEs permitem treinar modelos de IA sem sacrificar a confidencialidade de dados, mesmo quando você usa fontes de dados de diferentes organizações.

Processamento analítico

O constructo etl (extração, transformação, carga) está relacionado ao OLAP (processamento analítico online) e às necessidades de armazenamento de dados. Um modelo de dados alinhado aos negócios e um modelo semântico que permite que as organizações implementem regras de negócios e KPIs (Indicadores chave de desempenho) geralmente são implementados como parte do processo analítico. Uma funcionalidade útil é a detecção automática de desvio de esquema.

Resumo da estratégia de dados

Adotar uma abordagem de princípios para outras considerações, como governança de dados e IA responsável, paga dividendos posteriormente.

Na Microsoft, seguimos quatro princípios fundamentais: imparcialidade, confiabilidade e segurança, privacidade e segurança e inclusão. Os dois princípios fundamentais de transparência e prestação de contas sustentam todos os quatro princípios fundamentais.

Colocamos nossos princípios e IA responsável em prática desenvolvendo recursos e um sistema de governança. Algumas de nossas diretrizes abordam interação humana/IA, IA de conversa, design inclusivo, uma lista de verificação de imparcialidade da IA e uma folha de dados para conjuntos de dados.

Também desenvolvemos um conjunto de ferramentas para ajudar outras pessoas a entender, proteger e controlar a IA em todos os estágios da inovação. Essas ferramentas são resultado de esforços multidisciplinares de colaboração para fortalecer e acelerar a IA responsável. A colaboração abrangeu engenharia e desenvolvimento de software, ciências sociais, pesquisa de usuários, direito e política.

Para melhorar a colaboração, abrimos várias ferramentas, como InterpretML e Fairlearn. Outras pessoas podem contribuir e se basear nessas ferramentas de software livre. Também democratizamos ferramentas por meio do Azure Machine Learning.

A transição para se tornar uma organização orientada por dados é fundamental para oferecer vantagem competitiva no novo normal. Queremos ajudar nossos clientes a mudar de uma abordagem focada apenas em aplicativos para uma abordagem focada em aplicativos e dados. Uma abordagem focada em aplicativos e dados ajuda a criar uma estratégia de dados de ponta a ponta que garante a repetibilidade e a escalabilidade em casos de uso atuais e futuros que afetam os resultados dos negócios.

Promover compromisso, comunicação e engajamento

Todas as principais funções envolvidas em tornar sua estratégia de dados um sucesso devem entender claramente sua abordagem adotada e objetivos de negócios comuns. Suas principais funções podem incluir uma equipe de liderança (nível C), unidades de negócios, TI, operações e equipes de entrega.

A comunicação é uma das partes mais importantes dessa estrutura. Sua organização deve criar um processo de comunicação eficaz entre funções. A comunicação ajuda você a fornecer efetivamente no contexto do seu projeto atual. Ele também estabelece um fórum que ajuda todos os envolvidos a permanecerem alinhados, atualizados e focados no objetivo geral de criar uma estratégia de dados holística para seu futuro.

O envolvimento é essencial entre os dois grupos a seguir:

• Membros da equipe que projetam e implementam a estratégia de dados
• Membros da equipe que contribuem, consomem e exploram os dados (como unidades de negócios que tomam decisões e criam resultados com base nos dados)

Para colocar de outra forma, estratégias de dados e plataformas de dados associadas que são criadas sem o envolvimento dos usuários correm o risco de enfrentar desafios em termos de relevância e adoção.

Dois processos estratégicos ajudam você a entregar com êxito nesta estrutura:

• Formação de um centro de excelência
• Adoção de um método de entrega ágil

Para obter mais informações, consulte Desenvolver um plano para análise em escala de nuvem.

Entregar valor

Quando você entrega produtos de dados em relação aos critérios de êxito de forma padronizada e estruturada, essa entrega valida sua estrutura iterativa. Além disso, usar seu aprendizado para inovar continuamente ajuda você a criar confiança nos negócios e ampliar as metas de estratégia de dados. Esse processo fornece uma adoção mais clara e rápida em toda a sua organização.

O mesmo se aplica à plataforma de dados. Quando você tem uma configuração em que várias equipes operam de forma bastante autônoma, você deve dirigir em direção a uma malha. Chegar lá é um processo iterativo. Em muitos casos, isso requer alterações significativas na configuração organizacional, na preparação e no alinhamento dos negócios.

Próximas etapas

Leia os seguintes artigos para encontrar diretrizes para seu percurso de adoção da nuvem e fazer com que seu cenário de adoção de nuvem seja bem-sucedido:

• Desenvolver um plano para análise em escala de nuvem
• Examinar seu ambiente para as zonas de destino do Azure
• Governe a análise em escala de nuvem
• Análise segura em escala de nuvem