O que é o Azure Synapse Link para o Azure Cosmos DB?

  • Artigo
  • 11 minutos para ler

APLICA-SE A: NoSQL MongoDB Gremlin

Azure Synapse Link para o Azure Cosmos DB é uma capacidade de processamento analítico e transacional híbrido nativo da cloud (HTAP) que permite análises quase em tempo real sobre dados operacionais no Azure Cosmos DB. Azure Synapse Link cria uma integração totalmente integrada entre o Azure Cosmos DB e o Azure Synapse Analytics.

O arquivo analítico do Azure Cosmos DB, um arquivo de colunas totalmente isolado, pode ser utilizado com o Azure Synapse Link para ativar a análise extra-transformação de carga (ETL) no Azure Synapse Analytics em relação aos seus dados operacionais em escala. Os analistas de negócios, engenheiros de dados e cientistas de dados podem agora utilizar o Synapse Spark ou o Synapse SQL alternadamente para executar pipelines de business intelligence, análise e machine learning quase em tempo real. Pode analisar dados em tempo real sem afetar o desempenho das cargas de trabalho transacionais no Azure Cosmos DB.

A imagem seguinte mostra a integração do Azure Synapse Link com o Azure Cosmos DB e o Azure Synapse Analytics:

Diagrama de arquitetura para integração do Azure Synapse Analytics com o Azure Cosmos DB

Para analisar grandes conjuntos de dados operacionais ao mesmo tempo que minimiza quaisquer efeitos no desempenho de cargas de trabalho transacionais críticas para a missão, tradicionalmente o Azure Cosmos DB extrai e processa os dados operacionais. Estas operações são realizadas através de pipelines Extract-Transform-Load (ETL). Os pipelines ETL requerem muitas camadas de movimento de dados, resultando em muita complexidade operacional e efeitos de desempenho nas cargas de trabalho transacionais. Também aumenta a latência para analisar os dados operacionais a partir do momento da origem.

Quando comparado com as soluções tradicionais baseadas em ETL, o Azure Synapse Link para o Azure Cosmos DB oferece várias vantagens, tais como:

Complexidade reduzida sem tarefas ETL para gerir

Azure Synapse Link permite-lhe aceder diretamente ao arquivo analítico do Azure Cosmos DB com o Azure Synapse Analytics sem movimentos de dados complexos. Todas as atualizações efetuadas aos dados operacionais são visíveis no arquivo analítico em tempo quase real sem tarefas de ETL ou feed de alterações. Pode executar análises em grande escala no arquivo analítico, a partir do Azure Synapse Analytics, sem transformação de dados extra.

Informações quase em tempo real sobre os seus dados operacionais

Agora, pode obter informações avançadas sobre os seus dados operacionais quase em tempo real, com o Azure Synapse Link. Os sistemas baseados em ETL tendem a ter maior latência para analisar os seus dados operacionais, devido a muitas camadas necessárias para extrair, transformar e carregar os dados operacionais. Com a integração nativa do arquivo analítico do Azure Cosmos DB com o Azure Synapse Analytics, pode analisar dados operacionais em quase tempo real ao ativar novos cenários de negócio.

Sem compromissos de desempenho em cargas de trabalho operacionais

Com Azure Synapse Link, pode executar consultas analíticas num arquivo analítico do Azure Cosmos DB, uma representação do arquivo de colunas dos seus dados. Pode executar as consultas enquanto as operações transacionais são processadas com o débito aprovisionado para a carga de trabalho transacional, através do arquivo transacional baseado em linhas do Azure Cosmos DB. A carga de trabalho analítica é independente do tráfego de carga de trabalho transacional e não consome o débito que atribuiu aos seus dados operacionais.

Otimizado para cargas de trabalho de análise em grande escala

O arquivo analítico do Azure Cosmos DB está otimizado para proporcionar escalabilidade, elasticidade e desempenho para cargas de trabalho analíticas sem qualquer dependência nos tempos de execução de computação. A tecnologia de armazenamento é gerida automaticamente para otimizar as cargas de trabalho de análise. Com o suporte incorporado no Azure Synapse Analytics, aceder a esta camada de armazenamento proporciona simplicidade e elevado desempenho.

Económico

Com Azure Synapse Link, pode obter uma solução totalmente gerida e otimizada para custos para análise operacional. Elimina camadas adicionais de armazenamento e computação necessárias em pipelines ETL tradicionais para analisar dados operacionais.

O arquivo analítico do Azure Cosmos DB segue um modelo de preços baseado no consumo, que se baseia no armazenamento de dados e em operações analíticas de leitura/escrita e consultas executadas. Não requer que aloque qualquer débito, como faz hoje para as cargas de trabalho transacionais. Aceder aos seus dados com motores de computação altamente elásticos do Azure Synapse Analytics torna eficiente o custo global de execução do armazenamento e da computação.

Análise para escritas de várias regiões disponíveis localmente, distribuídas globalmente

Pode executar consultas analíticas de forma eficaz na cópia regional mais próxima dos dados no Azure Cosmos DB. O Azure Cosmos DB fornece a capacidade de última geração para executar as cargas de trabalho analíticas distribuídas globalmente, juntamente com cargas de trabalho transacionais de forma ativa e ativa.

Ativar cenários HTAP para os seus dados operacionais

Azure Synapse Link reúne o arquivo analítico do Azure Cosmos DB com suporte de runtime do Azure Synapse Analytics. Esta integração permite-lhe criar soluções HTAP nativas da cloud (processamento transacional/analítico híbrido) que geram informações com base em atualizações em tempo real para os seus dados operacionais através de grandes conjuntos de dados. Desbloqueia novos cenários empresariais para gerar alertas com base em tendências dinâmicas, criar dashboards quase em tempo real e experiências empresariais com base no comportamento dos utilizadores.

Arquivo analítico do Azure Cosmos DB

O arquivo analítico do Azure Cosmos DB é uma representação orientada para colunas dos seus dados operacionais no Azure Cosmos DB. Este arquivo analítico é adequado para consultas rápidas e económicas em grandes conjuntos de dados operacionais. Este arquivo pode consultar dados sem copiar dados e afetar o desempenho das cargas de trabalho transacionais.

O arquivo analítico recolhe automaticamente inserções, atualizações e eliminações de alta frequência nas cargas de trabalho transacionais em tempo quase real, como uma capacidade totalmente gerida ("sincronização automática") do Azure Cosmos DB. Não é necessário nenhum feed de alterações ou ETL.

Se tiver uma conta do Azure Cosmos DB distribuída globalmente, depois de ativar o arquivo analítico para um contentor, esta estará disponível em todas as regiões dessa conta. Para obter mais informações sobre o arquivo analítico, veja o artigo Descrição geral do arquivo analítico do Azure Cosmos DB .

Com o Azure Synapse Link, agora pode ligar-se diretamente aos contentores do Azure Cosmos DB a partir do Azure Synapse Analytics e aceder ao arquivo analítico sem conectores separados. Atualmente, o Azure Synapse Analytics suporta Azure Synapse Link com o Synapse Apache Spark e o conjunto de SQL sem servidor.

Pode consultar os dados do arquivo analítico do Azure Cosmos DB em simultâneo, com interopções em diferentes tempos de execução de análise suportados pelo Azure Synapse Analytics. Não são necessárias transformações de dados adicionais para analisar os dados operacionais. Pode consultar e analisar os dados do arquivo analítico com:

  • Synapse Apache Spark com suporte total para Scala, Python, SparkSQL e C#. O Synapse Spark é fundamental para cenários de engenharia de dados e ciência de dados

  • Conjunto de SQL sem servidor com linguagem T-SQL e suporte para ferramentas de BI familiares (por exemplo, Power BI Premium, etc.)

Nota

A partir do Azure Synapse Analytics, pode aceder a arquivos analíticos e transacionais no contentor do Azure Cosmos DB. No entanto, se quiser executar análises ou análises em grande escala nos seus dados operacionais, recomendamos que utilize o arquivo analítico para evitar o impacto no desempenho nas cargas de trabalho transacionais.

Nota

Pode executar análises com baixa latência numa região do Azure ao ligar o contentor do Azure Cosmos DB ao runtime do Synapse nessa região.

Esta integração permite os seguintes cenários HTAP para diferentes utilizadores:

  • Um Engenheiro de BI, que quer modelar e publicar um relatório do Power BI para aceder aos dados operacionais em direto no Azure Cosmos DB diretamente através do Synapse SQL.

  • Um Analistas de Dados, que quer obter informações dos dados operacionais num contentor do Azure Cosmos DB consultando-os com o Synapse SQL, leia os dados em escala e combine esses resultados com outras origens de dados.

  • Uma Cientistas de Dados, que quer utilizar o Synapse Spark para encontrar uma funcionalidade para melhorar o modelo e preparar esse modelo sem fazer engenharia de dados complexa. Também podem escrever os resultados da inferência pós-inferência do modelo no Azure Cosmos DB para classificação em tempo real nos dados através do Spark Synapse.

  • Uma Engenheiros de Dados, que quer tornar os dados acessíveis para os consumidores, ao criar tabelas SQL ou Spark através de contentores do Azure Cosmos DB, sem processos ETL manuais.

Para obter mais informações sobre o suporte de runtime do Azure Synapse Analytics para o Azure Cosmos DB, veja Azure Synapse Analytics for Azure Cosmos DB support (Suporte do Azure Synapse Analytics para o Azure Cosmos DB).

Azure Synapse Ligação é recomendado nos seguintes casos:

  • Se for um cliente do Azure Cosmos DB e quiser executar análises, BI e machine learning através dos seus dados operacionais. Nesses casos, Azure Synapse Link fornece uma experiência de análise mais integrada sem afetar o débito aprovisionado do arquivo transacional. Por exemplo:

    • Se estiver a executar análises ou BI nos seus dados operacionais do Azure Cosmos DB diretamente através de conectores separados atualmente, ou

    • Se estiver a executar processos ETL para extrair dados operacionais para um sistema de análise separado.

Nesses casos, Azure Synapse Link fornece uma experiência de análise mais integrada sem afetar o débito aprovisionado do arquivo transacional.

Azure Synapse Link não é recomendado se estiver à procura de requisitos tradicionais do armazém de dados. Estes requisitos podem incluir elevada simultaneidade, gestão de cargas de trabalho e persistência de agregados em várias origens de dados. Para obter mais informações, veja cenários comuns que podem ser alimentados com Azure Synapse Link para o Azure Cosmos DB.

Limitações

  • Azure Synapse Link para o Azure Cosmos DB não é suportado para Cassandra e APIs de Tabela. É suportado para a API para NoSQL e MongoDB. E está em pré-visualização para a API do Gremlin.

  • O acesso ao arquivo de análise do Azure Cosmos DB com Azure Synapse Conjunto de SQL Dedicado não é atualmente suportado.

  • A ativação do Azure Synapse Link em contentores existentes do Azure Cosmos DB só é suportada para a API para contas NoSQL. Azure Synapse Link pode ser ativado em novos contentores para a API para contas NoSQL e MongoDB.

  • Embora os dados do arquivo analítico não sejam cópias de segurança e, portanto, não possam ser restaurados, pode reconstruir o seu arquivo analítico ao reativar Azure Synapse Ligação no contentor restaurado. Consulte a documentação do arquivo analítico para obter mais informações.

  • Atualmente, Azure Synapse Link não é totalmente compatível com o modo de cópia de segurança contínua. Consulte a documentação do arquivo analítico para obter mais informações.

  • O controlo de acesso granular baseado em funções não é suportado ao consultar a partir do Synapse. Os utilizadores que têm acesso à sua área de trabalho do Synapse e têm acesso à conta do Azure Cosmos DB podem aceder a todos os contentores nessa conta. Atualmente, não suportamos acesso mais granular aos contentores.

  • Atualmente, Azure Synapse Áreas de Trabalho não suportam serviços ligados através Managed Identitydo . Utilize sempre a opção MasterKey .

Segurança

Azure Synapse Link permite-lhe executar análises quase em tempo real sobre os dados críticos da sua missão no Azure Cosmos DB. É fundamental garantir que os dados empresariais críticos são armazenados de forma segura em arquivos transacionais e analíticos. Azure Synapse Link para o Azure Cosmos DB foi concebido para ajudar a cumprir estes requisitos de segurança através das seguintes funcionalidades:

  • Isolamento de rede através de pontos finais privados – pode controlar o acesso de rede aos dados nos arquivos transacionais e analíticos de forma independente. O isolamento de rede é feito através de pontos finais privados geridos separados para cada loja, dentro de redes virtuais geridas em Azure Synapse áreas de trabalho. Para saber mais, veja o artigo Configurar pontos finais privados para arquivo analítico .

  • Encriptação de dados com chaves geridas pelo cliente – pode encriptar os dados de forma totalmente integrada em arquivos transacionais e analíticos com as mesmas chaves geridas pelo cliente de forma automática e transparente. Azure Synapse Link suporta apenas a configuração de chaves geridas pelo cliente com a identidade gerida da sua conta do Azure Cosmos DB. Tem de configurar a identidade gerida da sua conta na política de acesso do Azure Key Vault antes de ativar o Azure Synapse Link na sua conta. Para saber mais, veja o artigo Configurar chaves geridas pelo cliente com as identidades geridas das contas do Azure Cosmos DB .

  • Gestão segura de chaves – o acesso aos dados no arquivo analítico a partir do Synapse Spark e dos conjuntos de SQL sem servidor do Synapse requer a gestão de chaves do Azure Cosmos DB nas áreas de trabalho do Synapse Analytics. Em vez de utilizar as chaves de conta do Azure Cosmos DB inline em tarefas do Spark ou scripts SQL, o Azure Synapse Link fornece capacidades mais seguras:

Preços

O modelo de faturação do Azure Synapse Link inclui os custos incorridos com o arquivo analítico do Azure Cosmos DB e o runtime do Synapse. Para saber mais, veja os artigos preços do arquivo analítico do Azure Cosmos DB e preços do Azure Synapse Analytics.

Passos seguintes

Para saber mais, consulte os seguintes documentos: