Dados em camadas para análise padrão

Esse padrão ilustra como usar o Azure Stack Hub e o Azure para preparar, analisar, processar, limpar e armazenar dados em vários locais locais e na nuvem.

Contexto e problema

Um dos problemas enfrentados pelas organizações empresariais no cenário tecnológico moderno diz respeito ao armazenamento, processamento e análise seguros de dados. As considerações incluem:

• conteúdo dos dados
• localização
• Requisitos de segurança e privacidade
• permissões de acesso
• manutenção
• armazenamento em armazém

O Azure, em combinação com o Azure Stack Hub, aborda questões de dados e oferece soluções de baixo custo. Esta solução é melhor expressa através de uma empresa de fabricação distribuída ou logística.

A solução baseia-se no seguinte cenário:

• Uma grande organização de manufatura com várias filiais.
• São necessários armazenamento, processamento e distribuição de dados rápidos e seguros entre locais remotos globais e sua sede central.
• Atividade de funcionários e máquinas, informações de instalações e dados de relatórios de negócios que devem permanecer seguros. Os dados devem ser distribuídos adequadamente e atender à política de conformidade regional e às regulamentações do setor.

Solução

O uso de ambientes de nuvem pública e local atende às demandas de empresas com várias instalações. O Azure Stack Hub oferece uma solução rápida, segura e flexível para coletar, processar, armazenar e distribuir dados locais e remotos. Esse padrão é especialmente útil quando segurança, confidencialidade, política corporativa e requisitos regulatórios podem diferir entre locais e usuários.

Componentes

Esse padrão usa os seguintes componentes:

Camada	Componente	Descrição
Azure	Armazenamento	Uma conta de Armazenamento do Azure fornece um ponto de extremidade seguro para consumo de dados. O Armazenamento do Azure é a solução de armazenamento em nuvem da Microsoft para cenários modernos de armazenamento de dados. O Armazenamento do Azure oferece um armazenamento de objetos massivamente escalável para objetos de dados e um serviço de sistema de arquivos para a nuvem. Ele também fornece um armazenamento de mensagens para mensagens confiáveis e um armazenamento NoSQL.
Azure Stack Hub	Armazenamento	Uma conta Azure Stack Hub de Armazenamento é usada para vários serviços: - Armazenamento de Blobs para armazenamento de dados brutos. O armazenamento de Blob pode conter qualquer tipo de texto ou dados binários, como um documento, arquivo de mídia ou instalador de aplicativo. Cada blob é organizado sob um contêiner. Os contêineres fornecem uma maneira útil de atribuir políticas de segurança a grupos de objetos. Uma conta de armazenamento pode conter qualquer número de contêineres e um contêiner pode conter qualquer número de blobs, até o limite de capacidade de 500 TB da conta de armazenamento. - Blob storage para arquivamento de dados. Há benefícios no armazenamento de baixo custo para arquivamento de dados frios. Exemplos de dados interessantes incluem backups, conteúdo de mídia, dados científicos, conformidade e dados de arquivamento. Em geral, todos os dados acessados com pouca frequência são considerados armazenamento frio. Hierarquização de dados com base em atributos como frequência de acesso e período de retenção. Os dados do cliente são acessados com pouca frequência, mas exigem latência e desempenho semelhantes aos dados quentes. - Armazenamento em fila para dados processados. O armazenamento em fila fornece mensagens na nuvem entre os componentes do aplicativo. Ao projetar aplicativos para escala, os componentes do aplicativo geralmente são dissociados para que possam ser dimensionados de forma independente. O armazenamento em filas fornece mensagens assíncronas para comunicação entre componentes de aplicativos, estejam eles em execução na nuvem, na área de trabalho, em um servidor local ou em um dispositivo móvel. O armazenamento em fila também oferece suporte ao gerenciamento de tarefas assíncronas e à criação de fluxos de trabalho do processo.
	Funções do Azure	O serviço Azure Functions é fornecido pelo provedor de recursos Serviço de Aplicativo do Azure no Azure Stack Hub. O Azure Functions permite executar seu código em um ambiente simples e sem servidor em resposta a vários eventos. O Azure Functions é dimensionado para atender à demanda sem precisar criar uma VM ou publicar um aplicativo Web, usando a linguagem de programação de sua escolha. As funções são utilizadas pela solução para: - Ingestão de dados - Esterilização de dados. As funções acionadas manualmente podem executar processamento, limpeza e arquivamento de dados agendados. Exemplos incluem limpezas noturnas da lista de clientes e processamento de relatórios mensais.

Questões e considerações

Considere os seguintes pontos ao decidir como implementar essa solução:

Escalabilidade

O Azure Functions e as soluções de armazenamento são dimensionados para atender ao volume de dados e às demandas de processamento. Para obter informações sobre escalabilidade e objetivos do Azure, consulte a documentação de escalabilidade do Armazenamento do Azure .

Disponibilidade

O armazenamento é a principal consideração de disponibilidade para esse padrão. A conexão via links rápidos é necessária para o processamento e distribuição de grandes volumes de dados.

Capacidade de gestão

A capacidade de gerenciamento dessa solução depende das ferramentas de criação em uso e do envolvimento do controle do código-fonte.

Próximos passos

Para saber mais sobre os tópicos introduzidos neste artigo:

• Consulte a documentação do Armazenamento do Azure e das Funções do Azure . Esse padrão faz uso intenso de contas de Armazenamento do Azure e do Azure Functions no Azure e no Azure Stack Hub.
• Consulte a família de produtos e soluções Azure Stack para saber mais sobre todo o portfólio de produtos e soluções.

Quando estiver pronto para testar o exemplo de solução, continue com o guia de implantação da solução Dados por Níveis para Análise. O guia de implantação fornece instruções passo a passo para implantar e testar seus componentes.