Contas de armazenamento de blobs de blocos Premium
As contas de armazenamento de blob de bloco premium disponibilizam dados através de hardware de alto desempenho. Os dados são armazenados em unidades de estado sólido (SSDs) que são otimizadas para baixa latência. As SSD proporcionam um débito mais elevado em comparação com as unidades de disco rígido tradicionais. A transferência de arquivos é muito mais rápida porque os dados são armazenados em chips de memória instantaneamente acessíveis. Todas as partes de uma unidade acessíveis ao mesmo tempo. Em contrapartida, o desempenho de uma unidade de disco rígido (HDD) depende da proximidade dos dados às cabeças de leitura/escrita.
Cargas de trabalho de alto desempenho
As contas de armazenamento de blob de bloco premium são ideais para cargas de trabalho que exigem tempos de resposta rápidos e consistentes e/ou têm um alto número de operações de entrada e saída por segundo (IOP). Exemplos de cargas de trabalho incluem:
Cargas de trabalho interativas. Aplicativos altamente interativos e em tempo real devem gravar dados rapidamente. Os aplicativos de e-commerce e mapeamento geralmente exigem atualizações instantâneas e feedback dos usuários. Por exemplo, em um aplicativo de comércio eletrônico, os itens visualizados com menos frequência provavelmente não são armazenados em cache. No entanto, eles devem ser exibidos instantaneamente para o cliente sob demanda. Edição interativa ou aplicativos de jogos online multijogador mantêm uma experiência de qualidade, fornecendo atualizações em tempo real.
IoT/análise de streaming. Em um cenário de IoT, muitas operações de gravação menores podem ser enviadas para a nuvem a cada segundo. Grandes quantidades de dados podem ser coletadas, agregadas para fins de análise e, em seguida, excluídas quase imediatamente. Os altos recursos de ingestão do armazenamento de blob de bloco premium o tornam eficiente para esse tipo de carga de trabalho.
Inteligência artificial/machine learning (IA/ML). A IA/ML lida com o consumo e processamento de diferentes tipos de dados, como visuais, fala e texto. Esse tipo de carga de trabalho de computação de alto desempenho lida com grandes quantidades de dados que exigem resposta rápida e tempos de ingestão eficientes para análise de dados.
Relação custo-eficácia
As contas de armazenamento de blob de bloco premium têm um custo de armazenamento mais alto, mas um custo de transação menor em comparação com as contas v2 de uso geral padrão. Se seus aplicativos e cargas de trabalho executarem um grande número de transações, o armazenamento premium de blob de bloco pode ser econômico, especialmente se a carga de trabalho for pesada em gravação.
Na maioria dos casos, cargas de trabalho que executam mais de 35 a 40 transações por segundo por terabyte (TPS/TB) são boas candidatas para esse tipo de conta. Por exemplo, se sua carga de trabalho executa 500 milhões de operações de leitura e 100 milhões de operações de gravação em um mês, você pode calcular o TPS/TB da seguinte maneira:
Gravar transações por segundo = 100.000.000 / (30 x 24 x 60 x 60) = 39 (arredondado para o número inteiro mais próximo)
Transações lidas por segundo = 500.000.000 / (30 x 24 x 60 x 60) = 193 (arredondado para o número inteiro mais próximo)
Total das operações por segundo = 193 + 39 = 232
Supondo que sua conta tivesse dados de 5 TB em média, então o TPS/TB seria de 230 / 5 = 46.
Nota
Os preços variam por operação e por região. Use a calculadora de preços do Azure para comparar preços entre as camadas de desempenho padrão e premium.
A tabela a seguir demonstra a relação custo-benefício das contas de armazenamento de blob de bloco premium. Os números nesta tabela são baseados em uma conta de armazenamento de blob de bloco premium habilitada para o Armazenamento do Azure Data Lake (também conhecida como a camada premium do Armazenamento do Azure Data Lake). Cada coluna representa o número de transações em um mês. Cada linha representa a porcentagem de transações que são transações lidas. Cada célula na tabela mostra a porcentagem de redução de custo associada a uma porcentagem de transação de leitura e o número de transações executadas.
Por exemplo, supondo que sua conta esteja na região Leste dos EUA 2, o número de transações com sua conta exceda 90 milhões e 70% dessas transações sejam transações de leitura, as contas de armazenamento de blob de bloco premium são mais econômicas.
Nota
Se preferir avaliar a relação custo-benefício com base no número de transações por segundo para cada TB de dados, você pode usar os cabeçalhos de coluna que aparecem na parte inferior da tabela.
Cenários Premium
Esta seção contém exemplos reais de como alguns de nossos parceiros de Armazenamento do Azure usam o armazenamento de blob de bloco premium. Alguns deles também habilitam o Armazenamento Azure Data Lake, que introduz uma estrutura de arquivos hierárquica que pode melhorar ainda mais o desempenho da transação em determinados cenários.
Gorjeta
Se você tiver um caso de uso de análise, é altamente recomendável usar o Armazenamento do Azure Data Lake junto com uma conta de armazenamento de blob de bloco premium.
Esta seção contém os seguintes exemplos:
- Contas de armazenamento de blobs de blocos Premium
Hidratação rápida dos dados
O armazenamento de blob de bloco premium pode ajudá-lo a hidratar ou melhorar o ambiente rapidamente. Em setores como o bancário, certos requisitos regulatórios podem exigir que as empresas destruam regularmente seus ambientes e, em seguida, os tragam de volta do zero. Os dados utilizados para hidratar o ambiente devem ser carregados rapidamente.
Alguns de nossos parceiros armazenam uma cópia de sua instância do MongoDB a cada semana em uma conta de armazenamento de blob de bloco premium. O sistema é então demolido. Para colocar o sistema novamente on-line rapidamente, a cópia mais recente da instância do MongoDB é lida e carregada. Para fins de auditoria, as cópias anteriores são mantidas no armazenamento em nuvem por um período de tempo.
Aplicações de edição interativas
Em aplicativos onde vários usuários editam o mesmo conteúdo, a velocidade das atualizações torna-se crítica para uma experiência de usuário suave.
Alguns dos nossos parceiros desenvolvem software de edição de vídeo. Qualquer atualização que um usuário faça em um vídeo é imediatamente visível para outros usuários. Os usuários podem se concentrar em suas tarefas em vez de esperar que as atualizações de conteúdo apareçam. As baixas latências associadas ao armazenamento de blob de bloco premium ajudam a criar essa experiência contínua e colaborativa.
Software de visualização de dados
Os usuários podem ser muito mais produtivos com o software de visualização de dados se o tempo de renderização for rápido.
Vimos empresas do setor de mapeamento usarem editores de mapeamento para detetar problemas com mapas. Esses editores usam dados gerados a partir de dados do Sistema de Posicionamento Global (GPS) do cliente. Para criar sobreposições de mapas, o software de edição renderiza pequenas seções de um mapa executando rapidamente pesquisas de chaves.
Em um caso, antes de usar o armazenamento de blob de bloco premium, um parceiro usou clusters HBase apoiados por armazenamento v2 padrão de uso geral. No entanto, tornou-se caro manter grandes clusters funcionando o tempo todo. Esse parceiro decidiu se afastar dessa arquitetura e, em vez disso, usou o armazenamento premium de blob de bloco para pesquisas rápidas de chaves. Para criar sobreposições, eles usaram APIs REST para renderizar blocos correspondentes a coordenadas GPS. A conta de armazenamento de blob de bloco premium forneceu uma solução econômica e as latências eram muito mais previsíveis.
Empresas de comércio eletrónico
Além de apoiar suas lojas voltadas para o cliente, as empresas de comércio eletrônico também podem fornecer soluções de armazenamento de dados e análise para equipes internas. Vimos parceiros usarem contas de armazenamento de blob de bloco premium para dar suporte aos requisitos de baixa latência dessas soluções de armazenamento de dados e análise. Em um caso, uma equipe de catálogo mantém um aplicativo de armazenamento de dados para dados relacionados a ofertas, preços, métodos de envio, fornecedores, estoque e logística. As informações são consultadas, digitalizadas, extraídas e extraídas para vários casos de uso. A equipe executa análises sobre esses dados para fornecer a várias equipes de merchandising insights e informações relevantes.
Análise interativa
Em quase todos os setores, há a necessidade de as empresas consultarem e analisarem seus dados de forma interativa.
Cientistas de dados, analistas e desenvolvedores podem obter insights sensíveis ao tempo mais rapidamente executando consultas em dados armazenados em uma conta de armazenamento de blob de bloco premium. Os executivos podem carregar seus painéis muito mais rapidamente quando os dados que aparecem nesses painéis vêm de uma conta de armazenamento de blob de bloco premium em vez de uma conta v2 padrão de uso geral.
Em um cenário, os analistas precisavam analisar dados de telemetria de milhões de dispositivos rapidamente para entender melhor como seus produtos são usados e tomar decisões de lançamento de produtos. Armazenar dados em bancos de dados SQL é caro. Para reduzir custos e aumentar a área de superfície consultável, eles usaram uma conta de armazenamento de blob de bloco premium habilitada para o Armazenamento do Azure Data Lake e realizaram cálculos no Presto e no Spark para produzir insights a partir de tabelas hive. Dessa forma, mesmo os dados raramente acessados têm o mesmo poder de computação que os dados acessados com frequência.
Para fechar a lacuna entre o desempenho de subsegundo do SQL e as operações de saída de entrada por segundo (IOPs) do Presto, o armazenamento externo, a consistência e a velocidade são críticas, especialmente ao lidar com pequenos arquivos colunares de linha otimizados (ORC). Uma conta de armazenamento de blob de bloco premium quando usada com o Data Lake Storage demonstrou repetidamente uma melhoria de desempenho de 3X em relação a uma conta v2 de uso geral padrão neste cenário. Consultas executadas com rapidez suficiente para parecerem locais para a máquina de computação.
Em outro caso, um parceiro armazena e consulta logs gerados a partir de sua solução de segurança. Os logs são gerados usando Databricks e, em seguida, armazenados em uma conta de armazenamento de blob de bloco premium habilitada para Data Lake Storage. Os usuários finais consultam e pesquisam esses dados usando o Azure Data Explorer. Eles escolheram este tipo de conta para aumentar a estabilidade e aumentar o desempenho das consultas interativas. Também definem a política de gestão do ciclo de Delete Action vida para alguns dias, o que ajuda a reduzir os custos. Esta política impede-os de manter os dados para sempre. Em vez disso, os dados são excluídos quando não são mais necessários.
Pipelines de processamento de dados
Em quase todos os setores, é necessário que as empresas processem dados. Os dados brutos de várias fontes precisam ser limpos e processados para que se tornem úteis para consumo downstream em ferramentas como painéis de dados que ajudam os usuários a tomar decisões.
Embora a velocidade de processamento nem sempre seja a principal preocupação ao processar dados, algumas indústrias exigem isso. Por exemplo, as empresas do setor dos serviços financeiros necessitam frequentemente de tratar os dados de forma fiável e o mais rapidamente possível. Para detetar fraudes, essas empresas devem processar insumos de várias fontes, identificar riscos para seus clientes e tomar medidas rápidas.
Em alguns casos, vimos parceiros usarem várias contas de armazenamento padrão para armazenar dados de várias fontes. Alguns desses dados são então movidos para uma conta de armazenamento de blob de bloco premium habilitada para Data Lake Storage, onde um aplicativo de processamento de dados lê frequentemente os dados recém-chegados. As chamadas de listagem de diretório nessa conta eram muito mais rápidas e executadas de forma muito mais consistente do que de outra forma executariam em uma conta v2 padrão de uso geral. A rapidez e a consistência oferecidas pela conta garantiram que novos dados fossem sempre disponibilizados aos sistemas de processamento a jusante o mais rapidamente possível. Isto ajudou-os a detetar e a agir rapidamente em relação a potenciais riscos de segurança.
Internet das Coisas (IoT)
A IoT tornou-se uma parte significativa do nosso quotidiano. A IoT é usada para rastrear os movimentos dos carros, controlar luzes e monitorar nossa saúde. Também tem aplicações industriais. Por exemplo, as empresas usam IoT para habilitar seus projetos de fábricas inteligentes, melhorar a produção agrícola e em plataformas de petróleo para manutenção preditiva. As contas de armazenamento de blob de bloco premium agregam valor significativo a esses cenários.
Temos parceiros na indústria mineira. Eles usam uma conta de armazenamento de blob de bloco premium do Data Lake Storage junto com o HDInsight (Hbase) para ingerir dados de sensores de séries temporais de vários tipos de equipamentos de mineração, com um perfil de carga muito desgastante. O armazenamento de blob de bloco premium ajudou a satisfazer sua necessidade de ingestão de alta taxa de amostragem. Também é econômico, porque o armazenamento de blob de bloco premium é otimizado para cargas de trabalho que executam um grande número de transações de gravação, e essa carga de trabalho gera um grande número de pequenas transações de gravação (em dezenas de milhares por segundo).
Machine Learning
Em muitos casos, muitos dados precisam ser processados para treinar um modelo de aprendizado de máquina. Para concluir esse processamento, as máquinas de computação devem ser executadas por um longo tempo. Em comparação com os custos de armazenamento, os custos de computação geralmente representam uma porcentagem muito maior da sua fatura, portanto, reduzir a quantidade de tempo que suas máquinas de computação executam pode levar a economias significativas. A baixa latência que você obtém usando o armazenamento de blob de bloco premium pode reduzir significativamente esse tempo e sua conta.
Temos parceiros que implantam pipelines de processamento de dados para gerar clusters onde executam treinamento e inferência de aprendizado de máquina. Eles armazenam tabelas de faísca (arquivos de parquet) e pontos de verificação para uma conta de armazenamento de blob de bloco premium. Os pontos de verificação do Spark podem criar um grande número de arquivos e pastas aninhados. Suas operações de listagem de diretórios são rápidas porque combinaram a baixa latência de uma conta de armazenamento de blob de bloco premium com a estrutura de dados hierárquica disponibilizada com o Data Lake Storage.
Também temos parceiros na indústria de semicondutores com casos de uso que cruzam IoT e aprendizado de máquina. Os dispositivos IoT ligados a máquinas na fábrica captam imagens de wafers semicondutores e enviam-nas para a sua conta. Usando inferência de aprendizagem profunda, o sistema pode informar as máquinas locais se houver um problema com a produção e se uma ação precisa ser tomada. Eles são capazes de carregar e processar imagens de forma rápida e confiável. Usar a conta de armazenamento de blob de bloco premium habilitada para Data Lake ajuda a tornar isso possível.
Análise de streaming em tempo real
Para suportar análises interativas quase em tempo real, um sistema deve ingerir e processar grandes quantidades de dados e, em seguida, disponibilizar esses dados para sistemas a jusante. Usar uma conta de armazenamento de blob de bloco premium habilitada para Data Lake Storage é perfeita para esses tipos de cenários.
As empresas do setor de mídia e entretenimento podem gerar um grande número de logs e dados de telemetria em um curto período de tempo enquanto transmitem um evento. Alguns de nossos parceiros contam com vários parceiros de rede de distribuição de conteúdo (CDN) para streaming. Eles devem tomar decisões quase em tempo real sobre quais parceiros CDN alocar tráfego. Portanto, os dados precisam estar disponíveis para consulta alguns segundos após serem ingeridos. Para facilitar essa tomada de decisão rápida, eles usam dados armazenados no armazenamento de blob de bloco premium e processam esses dados no Azure Data Explorer (ADX). Toda a telemetria que é carregada para o armazenamento é transformada no ADX, onde pode ser armazenada em um formato familiar que os operadores e executivos podem consultar de forma rápida e confiável.
Os dados são carregados em várias contas de armazenamento de Blob de desempenho premium. Cada conta é conectada a um recurso de Grade de Eventos e Hub de Eventos. O ADX recupera os dados do Armazenamento de Blobs, executa todas as transformações necessárias para normalizar os dados (por exemplo: descompactar arquivos zip ou converter de JSON para CSV). Em seguida, os dados são disponibilizados para consulta através do ADX e painéis exibidos no Grafana. Os painéis Grafana são usados por operadores, executivos e outros usuários. O cliente mantém seus logs originais no armazenamento de desempenho premium ou os copia para uma conta de armazenamento v2 de uso geral, onde podem ser armazenados no nível de acesso quente ou frio para retenção de longo prazo e análise futura.
Introdução ao prémio
Primeiro, verifique se seus recursos favoritos de armazenamento de Blob são compatíveis com contas de armazenamento de blob de bloco premium e, em seguida, crie a conta.
Nota
Não é possível converter uma conta de armazenamento v2 padrão de uso geral existente em uma conta de armazenamento de blob de bloco premium. Para migrar para uma conta de armazenamento de blob de bloco premium, você deve criar uma conta de armazenamento de blob de bloco premium e migrar os dados para a nova conta.
Verifique a compatibilidade do recurso de armazenamento de Blob
Alguns recursos de armazenamento de Blob ainda não são suportados ou têm suporte parcial em contas de armazenamento de blob de bloco premium. Antes de escolher premium, revise o artigo Suporte ao recurso de Armazenamento de Blob nas contas de Armazenamento do Azure para determinar se os recursos que você pretende usar são totalmente suportados em sua conta. O suporte a recursos está sempre em expansão, portanto, certifique-se de revisar periodicamente este artigo para atualizações.
Criar uma nova conta de Armazenamento
Para criar uma conta de armazenamento de blob de bloco premium, certifique-se de escolher a opção Desempenho Premium e o tipo de conta Bloquear blobs ao criar a conta.
Nota
Alguns recursos de armazenamento de Blob ainda não são suportados ou têm suporte parcial em contas de armazenamento de blob de bloco premium. Antes de escolher premium, revise o artigo Suporte ao recurso de Armazenamento de Blob nas contas de Armazenamento do Azure para determinar se os recursos que você pretende usar são totalmente suportados em sua conta. O suporte a recursos está sempre em expansão, portanto, certifique-se de revisar periodicamente este artigo para atualizações.
Se sua conta de armazenamento for usada para análises, é altamente recomendável que você use o Armazenamento Azure Data Lake junto com uma conta de armazenamento de blob de bloco premium. Para desbloquear os recursos do Armazenamento do Azure Data Lake, habilite a configuração de namespace hierárquico na guia Avançado da página Criar conta de armazenamento.
A imagem a seguir mostra essa configuração na página Criar conta de armazenamento.
Para obter orientações completas, consulte Criar uma conta de conta de armazenamento.