Introdução à análise em escala de nuvem para setores regulamentados
A análise de escala de nuvem se baseia nas zonas de destino do Azure para facilitar a implantação e governança. A principal finalidade da zona de destino do Azure é garantir que, quando um aplicativo ou carga de trabalho chegar ao Azure, a infraestrutura necessária já esteja estabelecida. Antes de implantar sua zona de destino de análise em escala de nuvem, você já deve ter trabalhado na estrutura de adoção da nuvem para implantar uma arquitetura de zona de destino do Azure com zonas de destino de plataforma.
Para cargas de trabalho soberanas, a Microsoft tem a Zona de Destino Soberana (SLZ) que é uma variante da Zona de Destino do Azure em escala empresarial, destinada a organizações que precisam de controles soberanos avançados. A análise em escala de nuvem pode ser implantada nessa variante da Zona de Destino do Azure.
A análise em escala de nuvem envolve a implantação em zonas de destino do aplicativo. Essas zonas normalmente residem no grupo de gerenciamento de zonas de destino, com políticas filtradas até os modelos de exemplo fornecidos pela Microsoft.
A Microsoft fornece modelos de exemplo para começar, os quais você pode usar para as implantações de malha de dados e data lakehouse.
Avaliação da análise de escala de nuvem
Muitas vezes, uma empresa busca clareza ou diretrizes prescritivas antes de começar a definir os detalhes técnicos para um caso de uso específico, projeto ou análise de escala de nuvem de ponta a ponta. À medida que uma empresa formula a estratégia geral de dados, pode ser um desafio garantir que ela considere todos os princípios estratégicos e necessários no escopo do uso atual.
Para acelerar a entrega desse percurso de insights de ponta a ponta, mantendo esses desafios em mente, a Microsoft desenvolveu um cenário prescritivo para análises de escala de nuvem. Ele está alinhado aos principais temas discutidos em Desenvolver um plano para análise de escala de nuvem.
A análise de escala de nuvem se baseia no Microsoft Cloud Adoption Framework, ao mesmo tempo em que aplica a lente do Microsoft Azure Well-Architected Framework. O Microsoft Cloud Adoption Framework fornece diretrizes prescritivas e melhores práticas em modelos operacionais em nuvem, arquitetura de referência e modelos de plataforma. Ele tem base em aprendizados do mundo real de alguns dos nossos ambientes mais desafiadores, sofisticados e complexos.
A análise de escala de nuvem abre o caminho para que os clientes criem e operacionalizem zonas de destino para hospedar e executar cargas de trabalho de análise. Você cria as zonas de destino com base em segurança, governança e conformidade. Elas são escalonáveis e modulares, dando suporte à autonomia e à inovação.
Histórico de arquitetura de dados
No final da década de 1980, foi introduzida a primeira geração do data warehouse, que combinava diferentes fontes de dados provenientes de toda a empresa. No final dos anos 2000, chegou o Gen2, com a introdução do ecossistema de Big Data, como o Hadoop e o data lake. Em meados de 2010, apresentamos a plataforma de dados de nuvem. Ela era semelhante às gerações anteriores, mas com a introdução da ingestão de dados de streaming, como arquiteturas de kappa ou lambda. No início de 2020, chegaram os conceitos de data lakehouse, malha de dados e padrões operacionais centrados em dados.
Apesar desses avanços, muitas organizações ainda usam a plataforma monolítica centralizada da primeira geração. Esse sistema funciona bem, até certo ponto. No entanto, gargalos podem ocorrer devido a processos interdependentes, componentes firmemente acoplados e equipes hiperespecializadas. Os trabalhos de ETL (extração, transformação e carregamento) podem se tornar linhas do tempo de entrega proeminentes e lentas.
O data warehouse e o data lake ainda são úteis e desempenham um papel importante na arquitetura geral. Na documentação a seguir, destacamos alguns dos desafios que podem ocorrer ao usar essas práticas tradicionais para escalar. Esses desafios são especialmente relevantes em uma organização complexa, em que as fontes de dados, os requisitos, as equipes e as saídas mudam.
Mudar para a análise de escala de nuvem
Sua arquitetura de dados analíticos e modelo operacional atuais podem incluir estruturas de data warehouse, data lake e data lakehouse ou malha de dados.
Cada modelo de dados tem seus próprios méritos e desafios. A análise de escala de nuvem ajuda você a trabalhar com a configuração atual, para mudar a abordagem para o gerenciamento de dados para que possa evoluir com a infraestrutura.
Você pode dar suporte a qualquer plataforma de dados e cenário para criar uma estrutura de análise de escala de nuvem de ponta a ponta que atua como base e permite a escala.
Plataforma de dados moderna e resultados desejados
Uma das primeiras áreas de foco é ativar a estratégia de dados para enfrentar os desafios, criando iterativamente uma plataforma de dados moderna escalonável e ágil.
Em vez de ficar sobrecarregado com tíquetes de serviço e tentar atender às necessidades de negócios conflitantes, uma plataforma de dados moderna permite que você tenha um papel mais consultivo, liberando o tempo para se concentrar em um trabalho mais útil. Você fornece linhas de negócios com a plataforma e os sistemas para autoatendimento de dados e necessidades de análise.
As áreas de foco inicial recomendadas são:
Melhorar a qualidade dos dados, facilitar a confiança e obter insights para tomar decisões de negócios controladas por dados.
Implementar dados holísticos, gerenciamento e análise de escala em toda a sua organização.
Estabelecer uma governança de dados robusta, que viabilize o autoatendimento e a flexibilidade para linhas de negócios.
Manter a segurança e a conformidade legal em um ambiente totalmente integrado.
Crie rapidamente a base para recursos de análise avançada, com uma solução pronta para uso de padrões modulares bem elaborados e repetíveis.
Administrar o patrimônio de análise
Uma segunda consideração é determinar como a organização implementa a governança de dados.
A governança de dados é como você garante que os dados usados nas operações, relatórios e análises de negócios sejam detectáveis, precisos, confiáveis e possam ser protegidos.
Para muitas empresas, a expectativa é que os dados e a IA gerem uma vantagem competitiva. Como resultado, os executivos estão ansiosos para patrocinar iniciativas de IA com base na decisão de se tornarem orientados por dados. No entanto, para que a IA se torne efetiva, os dados que ela usa devem ser confiáveis. Caso contrário, a precisão da decisão pode ser comprometida, as decisões podem ser atrasadas ou as ações podem ser perdidas, o que pode afetar o resultado final. As empresas não querem que a qualidade dos dados seja irrelevante. No início, pode parecer simples corrigir a qualidade dos dados, até que você veja o efeito que a transformação digital teve nos dados.
Com os dados distribuídos em uma multicloud híbrida e em um panorama de dados distribuídos, as organizações têm dificuldade para encontrar onde estão os dados e para governá-los. Os dados não controlados podem ter um efeito considerável sobre os negócios. A qualidade ruim dos dados afeta as operações de negócios, pois os erros de dados causam erros e atrasos no processo. A qualidade ruim dos dados também afeta a tomada de decisões de negócios e a capacidade de manter a conformidade. Garantir a qualidade dos dados na origem geralmente é preferível, pois corrigir problemas de qualidade no sistema analítico pode ser mais complexo e caro do que aplicar regras de qualidade de dados no início da fase de ingestão. Para ajudar a acompanhar e controlar a atividade dos dados, a governança de dados deve incluir:
- Descoberta de dados
- Qualidade dos dados
- Criação de política
- Compartilhamento de dados
- Metadados
Proteger o patrimônio de análise
Outro impulsionador principal para governança de dados é a proteção de dados. A proteção de dados pode ajudar a estar em conformidade com a legislação regulatória e pode evitar violações de dados. A privacidade de dados e o número crescente de violações de dados tornaram a proteção de dados uma prioridade mais alta na diretoria. Essas violações realçam o risco aos dados confidenciais, como dados de identificação pessoal de clientes. As consequências da violação de privacidade de dados ou de uma violação de segurança de dados são muitas e podem incluir:
- Perda ou danos sérios à imagem da marca
- Perda de confiança do cliente e de participação no mercado
- Queda no preço das ações, o que afeta o retorno sobre o investimento dos stakeholders e o salário executivo
- Penalidades financeiras importantes devido à falha de auditoria ou de conformidade
- Ação legal
- No efeito domino da violação, por exemplo, os clientes podem ser vítimas de roubo de identidade
Na maioria dos casos, as empresas públicas devem declarar essas violações. Se ocorrerem violações, provavelmente os clientes culparão a empresa primeiro, e não o hacker. O cliente pode boicotar a empresa por vários meses ou pode nunca retornar.
A falha na conformidade com a legislação regulatória sobre privacidade de dados pode resultar em penalidades financeiras consideráveis. Governar seus dados ajudará você a evitar esses riscos.
Modelo operacional e benefícios
A adoção de uma plataforma de estratégia de dados moderna não só altera a tecnologia que a organização usa, mas também sua forma de operação.
A análise de escala de nuvem fornece diretrizes prescritas para ajudar a considerar como organizar e capacitar as pessoas e equipes, incluindo:
- Definições de persona, função e responsabilidades
- Estruturas sugeridas para equipes ágeis, verticais e entre domínios
- Recursos de qualificação, incluindo dados do Azure e certificações de IA por meio do Microsoft Learn
Também é importante que os usuários finais participem durante todo o processo de modernização e à medida que você continua a desenvolver a plataforma e integrar novos casos de uso.
Arquiteturas
As zonas de destino do Azure representam o caminho de design estratégico e o estado técnico de destino para seu ambiente. Elas possibilitam facilitar a implantação e a governança para proporcionar maior agilidade e conformidade. As zonas de destino do Azure também garantem que, quando um novo aplicativo ou carga de trabalho chegar ao ambiente, a estrutura adequada já esteja estabelecida. As zonas de destino de dados e gerenciamento de dados do Azure, integradas às soluções de governança e análise de software como serviço da Microsoft, são projetadas com esses mesmos princípios fundamentais em mente e, quando combinados com outros elementos da análise em escala de nuvem, podem ajudar a permitir:
- Autoatendimento
- Escalabilidade
- Início rápido
- Segurança
- Privacidade
- Operações otimizadas
Zona de destino do gerenciamento de dados
A zona de destino de gerenciamento de dados fornece a base para a governança e o gerenciamento de dados centralizados da sua plataforma em toda a sua organização. Ela também facilita a comunicação para ingerir dados de toda a sua propriedade digital, incluindo infraestrutura híbrida e multicloud.
A zona de destino de gerenciamento de dados dá suporte a vários outros recursos de gerenciamento e governança de dados, como:
- Catálogo de dados
- Gerenciamento da qualidade dos dados
- Classificação de dados
- Linhagem de dados
- Repositório de modelagem de dados
- Catálogo de API
- Compartilhamento de dados e contratos
Dica
Se você estiver usando soluções de parceiros para recursos de catálogo de dados, gerenciamento de qualidade de dados ou linhagem de dados, elas deverão residir na zona de destino de gerenciamento de dados. Como alternativa, o Microsoft Purview pode ser implantado como uma solução de software como serviço, conectando-se à zona de destino de gerenciamento de dados e às zonas de destino de dados.
Zonas de destino de dados
As zonas de destino de dados aproximam os dados dos usuários e viabilizam o autoatendimento, mantendo o gerenciamento e a governança comuns por meio da conexão com a zona de destino de gerenciamento de dados.
Elas hospedam serviços padrão, como rede, monitoramento, processamento e ingestão de dados, bem como personalizações como produtos de dados e visualizações.
As zonas de destino de dados são fundamentais para viabilizar a escalabilidade da plataforma. Dependendo do tamanho e das necessidades da sua organização, você pode começar com uma ou várias zonas de destino.
À medida que você decide entre uma única zona de destino e várias, considere as dependências regionais e os requisitos de residência de dados. Por exemplo, existem leis ou regulamentos locais que exijam que os dados permaneçam em um local específico?
Independentemente de sua decisão inicial, você pode adicionar ou remover zonas de destino de dados conforme necessário. Se você estiver começando com uma única zona de destino, recomendamos que você planeje estender para várias zonas de destino para evitar necessidades de migração no futuro.
Observação
Quando o Microsoft Fabric foi implantado, a zona de destino de dados hospeda soluções que não são de software como serviço, como data lakes e outros serviços de dados do Azure.
Para obter mais informações sobre zonas de destino, confira Zonas de destino do Azure para análise de escala de nuvem.
Conclusão
Depois de ler este conjunto de documentação, em particular as seções de governança, segurança, operação e melhores práticas, recomendamos que você configure um ambiente de prova de conceito usando os modelos de implantação. Esses modelos, juntamente com as diretrizes de arquitetura, oferecem experiência prática com algumas das tecnologias de software como serviço do Azure e da Microsoft. Para obter mais informações, confira a Lista de verificação de introdução.