Compartilhar via


Limitações em bancos de dados de espelhamento do Microsoft Fabric com dados do Google BigQuery

Este guia ajuda você a saber mais sobre as limitações existentes em seu BigQuery espelhado no Microsoft Fabric.

Importante

Atualmente, oferecemos suporte ao Espelhamento do Google BigQuery para o Gateway de Dados Local (OPDG). Utilizar a versão 3000.286.6 ou superior

Limitações no nível do banco de dados

Ao espelhar tabelas sem chaves primárias, você só pode realizar apenas inserções para garantir a precisão dos dados. Se as alterações não inseridas forem encontradas, a tabela será reativada automaticamente (a tabela será relançada inteiramente). Se várias alterações não inseridas ocorrerem após a ressemeadura inicial, o Espelhamento entrará em um estado de retrocesso por um tempo; o estado de retrocesso ajuda a reduzir os custos e limita a replicação desnecessária de tabelas inteiras. Após o período de atraso, a tabela retornará ao seu estado normal de espelhamento, com replicação contínua de dados.

Limitações de desempenho

Se você estiver alterando a maioria dos dados em uma tabela grande, será mais eficiente parar e reiniciar o Espelhamento. Inserir ou atualizar bilhões de registros pode levar muito tempo.

Os dados espelhados normalmente refletem alterações com um atraso de 10 a 15 minutos devido à arquitetura CDC (Change Data Capture) do BigQuery. Se nenhuma alteração for detectada, o mecanismo de replicação entrará em um modo de retirada, aumentando os intervalos de sondagem em até 1 hora.

Limitações das regiões suportadas

O espelhamento de banco de dados está disponível em todas as regiões do Microsoft Fabric. Para obter mais informações, confira Disponibilidade do Fabric por região.

Limitações de permissão

Entendemos que alguns clientes hesitam em habilitar permissões de edição para espelhamento no Google BigQuery. O espelhamento cria uma réplica de consumo ativa e editável dos dados do BigQuery no OneLake. Para dar suporte ao Espelhamento para Google BigQuery, o mecanismo de replicação deve:

  • Acessar e exportar dados de tabelas do BigQuery
  • Controlar alterações usando o CDC (Change Data Capture)
  • Criar conjuntos de dados temporários e trabalhos para replicação
  • Interagir com o Google Cloud Storage para preparo e ingestão

Limitações do re-semeio

A função CHANGES, que permite o controle de alterações em tabelas do BigQuery usando a tecnologia CDC do Google, está sujeita a várias limitações importantes de reseeding que os usuários devem considerar ao implementar soluções de espelhamento:

  • Limitação de viagem no tempo: a função CHANGES retorna apenas dados dentro da janela de viagem no tempo configurada da tabela. Para tabelas padrão, normalmente são sete dias, mas podem ser mais curtos se configurados de forma diferente. Todas as alterações fora dessa janela estão inacessíveis.
  • Limitação de Timestamp: o intervalo do histórico de alterações para CHANGES TVF excede o tempo máximo permitido. O intervalo máximo permitido entre start_timestamp e end_timestamp é um dia. Isso restringe o processamento em lote de janelas históricas mais longas e várias consultas podem ser necessárias para uma cobertura mais ampla.
    -Limitação do histórico de alterações: a função CHANGES requer que o controle do histórico de alterações seja habilitado para a tabela antes do uso. Se isso não estiver habilitado, as alterações delta não poderão ser consultadas.
  • Limitação de várias instruções: a função CHANGES não pode ser usada dentro de transações de várias instruções. Ele também não pode consultar tabelas que, na janela de tempo solicitada, tinham transações de múltiplas instruções confirmadas.

Para saber mais, consulte a documentação de limitação de alterações do BigQuery do Google.