Dados em camadas para o padrão de análise

Esse padrão ilustra como usar o Azure Stack Hub e o Azure para preparar, analisar, processar, limpar e armazenar dados em vários locais e locais de nuvem.

Contexto e problema

Um dos problemas enfrentados pelas organizações empresariais no cenário de tecnologia moderno diz respeito ao armazenamento, processamento e análise de dados seguros. As considerações incluem:

• conteúdo de dados
• local
• requisitos de segurança e privacidade
• permissões de acesso
• manutenção
• armazenamento e estocagem

O Azure, em combinação com o Azure Stack Hub, aborda as preocupações de dados e oferece soluções de baixo custo. Essa solução é melhor expressa por meio de uma empresa de fabricação ou logística distribuída.

A solução se baseia no seguinte cenário:

• Uma grande organização de fabricação de várias filiais.
• Armazenamento de dados rápido e seguro, processamento e distribuição entre locais remotos globais e sua sede central são necessários.
• Atividade de funcionários e máquinas, informações de instalação e dados de relatórios empresariais que devem permanecer seguros. Os dados devem ser distribuídos adequadamente e atender às políticas de conformidade regionais e às regulamentações do setor.

Solução

O uso de ambientes locais e de nuvem pública atende às demandas das empresas de várias instalações. O Azure Stack Hub oferece uma solução rápida, segura e flexível para coletar, processar, armazenar e distribuir dados locais e remotos. Esse padrão é especialmente útil quando segurança, confidencialidade, política corporativa e requisitos regulatórios podem diferir entre locais e usuários.

Componentes

Esse padrão usa os seguintes componentes:

Camada	Componente	Descrição
Azul	Armazenamento	Uma conta do Armazenamento do Azure fornece um ponto de extremidade de consumo de dados estéril. O Armazenamento do Azure é a solução de armazenamento em nuvem da Microsoft para cenários modernos de armazenamento de dados. O Armazenamento do Azure oferece um repositório de objetos massivamente escalonável para objetos de dados e um serviço de sistema de arquivos para a nuvem. Ele também fornece um repositório de mensagens para mensagens confiáveis e um repositório NoSQL.
Azure Stack Hub	Armazenamento	Uma conta armazenamento do Azure Stack Hub é usada para vários serviços: - Armazenamento de Blobs para armazenamento de dados brutos. O armazenamento de blobs pode conter qualquer tipo de texto ou dados binários, como um documento, um arquivo de mídia ou um instalador de aplicativo. Cada blob é organizado em um contêiner. Os contêineres fornecem uma maneira útil de atribuir políticas de segurança a grupos de objetos. Uma conta de armazenamento pode conter qualquer número de contêineres e um contêiner pode conter qualquer número de blobs, até o limite de capacidade de 500 TB da conta de armazenamento. - Armazenamento de Blobs para os arquivos de dados. Há benefícios no armazenamento de baixo custo para arquivamento de dados frios. Exemplos de dados interessantes incluem backups, conteúdo de mídia, dados científicos, conformidade e dados de arquivamento. Quaisquer dados acessados com pouca frequência são considerados armazenamento frio em geral. Estratificação de dados com base em atributos como frequência de acesso e período de retenção. Os dados do cliente são acessados com pouca frequência, mas exigem latência e desempenho semelhantes aos dados de acesso frequente. - Armazenamento em fila para dados processados. O armazenamento de filas fornece mensagens na nuvem entre componentes do aplicativo. Ao projetar aplicativos para escala, os componentes do aplicativo geralmente são dissociados para que possam ser dimensionados de forma independente. O armazenamento de filas fornece mensagens assíncronas para comunicação entre componentes do aplicativo, seja eles em execução na nuvem, na área de trabalho, em um servidor local ou em um dispositivo móvel. O armazenamento de filas também dá suporte ao gerenciamento de tarefas assíncronas e à criação de fluxos de trabalho do processo.
	Azure Functions	O serviço Azure Functions é fornecido pelo provedor de recursos do Serviço de Aplicativo do Azure no Azure Stack Hub. O Azure Functions permite executar seu código em um ambiente simples e sem servidor em resposta a vários eventos. O Azure Functions escala para atender à demanda sem precisar criar uma VM ou publicar um aplicativo web, usando a linguagem de programação de sua escolha. As funções são usadas pela solução para: - Entrada de dados - Esterilização de dados. Funções disparadas manualmente podem executar processamento de dados agendado, limpeza e arquivamento. Exemplos podem incluir a limpeza noturna de listas de clientes e o processamento mensal de relatórios.

Problemas e considerações

Considere os seguintes pontos ao decidir como implementar esta solução:

Escalabilidade

As soluções de armazenamento e do Azure Functions são dimensionadas para atender às demandas de volume e processamento de dados. Para obter informações de escalabilidade e destinos do Azure, confira a documentação de escalabilidade do Armazenamento do Azure.

Disponibilidade

O armazenamento é a principal consideração de disponibilidade para esse padrão. A conexão por meio de links rápidos é necessária para processamento e distribuição de volume de dados grandes.

Gerenciamento

A capacidade de gerenciamento dessa solução depende das ferramentas de autoria em uso e do envolvimento do controle do código-fonte.

Próximas etapas

Para saber mais sobre os tópicos apresentados neste artigo:

• Confira a documentação do Armazenamento do Azure e do Azure Functions. Esse padrão faz uso intenso de contas de Armazenamento do Azure e do Azure Functions no Azure e no Azure Stack Hub.
• Consulte a família de produtos e soluções do Azure Stack para saber mais sobre todo o portfólio de produtos e soluções.

Quando estiver pronto para testar a solução de exemplo, acesse o Guia de implantação da solução de dados em camadas para análise. O guia de implantação fornece instruções passo a passo para implantar e testar seus componentes.