Fragmentação para escalabilidade horizontal no Azure DocumentDB

O Azure DocumentDB suporta sharding para distribuir dados e tráfego horizontalmente. Os documentos dentro de uma coleção são divididos em blocos chamados fragmentos lógicos.

Abordagens à escalabilidade horizontal

O Azure DocumentDB fornece duas formas complementares de distribuir dados e tráfego entre os shards físicos de um cluster:

  • Fragmentar uma coleção com uma chave de fragmento: Distribua os documentos de uma única coleção entre os fragmentos físicos escolhendo uma chave de fragmento. Utilize esta abordagem quando o armazenamento ou o throughput de uma coleção exceder a capacidade de um único shard físico.
  • Coloque colecções em fragmentos: Mantenha colecções sem fragmentar e coloque-as ou posicione-as em fragmentos físicos específicos. Use esta abordagem quando coleções individuais cabem num único shard físico, mas quer controlar quais as coleções que partilham um shard. Por exemplo, pode isolar uma coleção sensível à cache no seu próprio shard.

Estas abordagens complementam-se mutuamente. Coleções fragmentadas e não fragmentadas coexistem no mesmo cluster, por isso pode fragmentar as coleções que ultrapassam um único fragmento físico e colocar as restantes coleções não fragmentadas pelo cluster.

Fragmentos lógicos

Defina o sharding individualmente para cada coleção, utilizando uma chave de fragmentação designada da estrutura do documento da coleção. Agrupar os dados em blocos, em que cada bloco corresponde a uma partição lógica. Os documentos para cada valor único da propriedade da chave do fragmento residem no mesmo fragmento lógico.

Para cada documento que inserir numa coleção fragmentada, calcule o hash do valor da propriedade shard key para calcular o fragmento lógico designado. O serviço abstrai e gere completamente a colocação do shard lógico e a distribuição de todos os shards lógicos dentro do cluster.

Todos os documentos que contêm o mesmo valor para a chave do fragmento pertencem ao mesmo fragmento lógico.

Por exemplo, vamos considerar uma coleção chamada Employees com a estrutura do documento abaixo.

Esta tabela mostra um mapeamento dos valores das chaves do fragmento para partições lógicas.

ID do documento Valor da Chave do Fragmento Fragmento Lógico
"12345" "Steve Smith" Fragmento 1
"23456" "Jane Doe" Fragmento 2
"34567" "Steve Smith" Fragmento 1
"45678" "Michael Smith" Fragmento 3
"56789" "Jane Doe" Fragmento 2
  • Não há limites para o número de fragmentos lógicos de uma coleção. Uma coleção pode ter tantas partições lógicas quantos documentos com um valor único para a chave de partição em cada documento.

  • Também não há limites para o tamanho de um único fragmento lógico.

  • Além disso, o serviço não limita as transações ao âmbito de um shard lógico. O Azure DocumentDB suporta transações de leitura e escrita aplicáveis entre múltiplos shards lógicos e múltiplos shards físicos no cluster.

Fragmentos físicos

Os fragmentos físicos são as máquinas e discos subjacentes responsáveis por persistir os dados e cumprir transações na base de dados. Ao contrário dos fragmentos lógicos, o serviço gere fragmentos físicos em segundo plano.

O número de fragmentos físicos é definido quando um cluster é criado e pode ser aumentado se o tamanho da base de dados crescer ao longo do tempo. Clusters de shard único têm um shard físico (nó) que é inteiramente responsável pelo armazenamento e pelas transações de banco de dados do cluster. Os clusters multishard distribuem os dados e o volume de transações entre os shards físicos do cluster.

Mapear fragmentos lógicos para fragmentos físicos

Quando novos shards lógicos são adicionados, o cluster atualiza de forma fluida o mapeamento dos shards lógicos para físicos. De forma semelhante, a atribuição do espaço de endereçamento a cada shard físico é alterada à medida que novos shards físicos são adicionados ao cluster, após o que os shards lógicos são reequilibrados em todo o cluster.

O intervalo de hash usado para mapear fragmentos lógicos e físicos está distribuido uniformemente entre os fragmentos físicos do cluster. Cada fragmento físico possui um balde de tamanho uniforme da gama de hash. Para cada documento escrito, o valor da propriedade da chave do shard é transformado em hash, e o valor desse hash determina como o documento é associado ao shard físico subjacente. Internamente, vários fragmentos lógicos são mapeados em um único fragmento físico. Além disso, os fragmentos lógicos nunca são divididos entre fragmentos físicos e todos os documentos de um fragmento lógico correspondem apenas a um fragmento físico.

Baseando-se no exemplo anterior usando um cluster com dois fragmentos físicos, esta tabela mostra um exemplo de mapeamento de documentos para fragmentos físicos.

ID do documento Valor da Chave do Fragmento Fragmento Lógico Fragmento Físico
"12345" "Steve Smith" Fragmento 1 Fragmento Físico 1
"23456" "Jane Doe" Fragmento 2 Fragmento Físico 2
"34567" "Steve Smith" Fragmento 1 Fragmento Físico 1
"45678" "Michael Smith" Fragmento 3 Fragmento Físico 1
"56789" "Jane Doe" Fragmento 2 Fragmento Físico 2

Capacidade dos fragmentos físicos

O nível de cluster selecionado quando o cluster é provisionado determina a capacidade de CPU e memória de um shard físico. De forma semelhante, o SKU de armazenamento determina a capacidade de armazenamento e IOPS de um shard físico. Níveis de cluster maiores fornecem mais poder de computação e memória maior, enquanto discos de armazenamento maiores fornecem mais armazenamento e IOPS. Cargas de trabalho pesadas em leitura beneficiam de um nível de cluster maior, enquanto cargas de trabalho pesadas em escrita beneficiam de um SKU de armazenamento maior. A camada do cluster pode ser escalada para cima e para baixo após a criação do cluster, consoante as necessidades em constante mudança da aplicação.

Num cluster multifragmentos, a capacidade de cada fragmento físico é a mesma. Escalar o cluster tier ou o SKU de armazenamento não altera a colocação dos shards lógicos nos shards físicos. Após uma operação de escalonamento, o número de fragmentos físicos mantém-se o mesmo, evitando assim a necessidade de reequilibrar os dados no cluster.

A capacidade de computação, memória, armazenamento e IOPS do shard físico determinam os recursos disponíveis para os shards lógicos. Chaves de shard que não têm uma distribuição uniforme dos volumes de armazenamento e pedidos podem causar um armazenamento e consumo de throughput desiguais dentro do cluster. As partições quentes podem fazer com que os shards físicos sejam utilizados de forma desigual, resultando em taxa de transferência e desempenho imprevisíveis. Assim, os clusters fragmentados requerem um planeamento cuidadoso desde o início para garantir que o desempenho se mantém consistente à medida que os requisitos da aplicação mudam ao longo do tempo.

Conjuntos de réplicas

Cada fragmento físico é composto por um conjunto de réplicas, também conhecido como conjunto de réplicas. Cada réplica hospeda uma instância do mecanismo de banco de dados. Um conjunto de réplicas torna o armazenamento de dados dentro do fragmento físico durável, altamente disponível e consistente. Cada réplica que compõe o fragmento físico herda a capacidade de armazenamento e computação do fragmento físico. O Azure DocumentDB gere automaticamente conjuntos de réplicas.

Como fragmentar uma coleção

Note

Não inclua qualquer informação pessoal, sensível ou confidencial nos nomes dos recursos (por exemplo, nome da tabela, nome da base de dados) e nas etiquetas de recursos. Os dados que insere nestes campos não são considerados dados do cliente.

Considere o seguinte documento dentro da base de dados 'cosmicworks' e da coleção 'employee'

{
    "firstName": "Steve",
    "lastName": "Smith",
    "companyName": "Microsoft",
    "division": "Azure",
    "subDivision": "Data & AI",
    "timeInOrgInYears": 7
}

O exemplo seguinte fragmenta a coleção de colaboradores da base de dados cosmicworks com base na propriedade firstName.

use cosmicworks;
sh.shardCollection("cosmicworks.employee", {"firstName": "hashed"})

A coleção também pode ser fragmentada usando um comando admin:

use cosmicworks;
db.adminCommand({
  "shardCollection": "cosmicworks.employee",
  "key": {"firstName": "hashed"}
})

Embora não seja ideal alterar a chave de partição depois de a coleção ter aumentado significativamente o volume de armazenamento, o comando reshardCollection pode ser usado para modificar a chave de partição.

use cosmicworks;
sh.reshardCollection("cosmicworks.employee", {"lastName": "hashed"})

A coleção também pode ser resfragmentada usando um comando de administrador:

use cosmicworks;
db.adminCommand({
  "reshardCollection": "cosmicworks.employee",
  "key": {"lastName": "hashed"}
})

Como boa prática, deve ser criado um índice sobre a propriedade da chave do fragmento.

use cosmicworks;
db.runCommand({
  createIndexes: "employee",
  indexes: [{"key":{"firstName":1}, "name":"firstName_1", "enableLargeIndexKeys": true}],
  blocking: true
})

Colocação da coleção entre shards físicos

Por predefinição, o serviço coloca automaticamente cada coleção num shard físico e distribui coleções pelo cluster para utilizar de forma equilibrada computação e armazenamento. Não precisas de gerir a colocação na maioria das cargas de trabalho.

Em alguns casos, pretende controlo explícito sobre onde uma coleção reside. Por exemplo, uma coleção que serve consultas find() não filtradas tem bom desempenho apenas quando permanece totalmente na memória. Quando uma coleção deste tipo partilha um fragmento físico com outras coleções de alta velocidade, estas competem pelo mesmo cache em memória. As expulsões de cache acrescentam então latência à coleção que menos a pode suportar. Pode isolar estas coleções num shard físico dedicado, ou colocar coleções relacionadas no mesmo shard, sem introduzir uma chave de shard ou alterar a forma como a aplicação consulta os dados.

A colocação da coleção aplica-se a coleções não fragmentadas. Uma coleção fragmentada já está distribuída pelo cluster pela sua chave de fragmento.

Mover uma coleção para um shard específico

Use o moveCollection comando admin para mover uma coleção não fragmentada para um shard físico específico. A operação de mover não converte a coleção numa coleção fragmentada e não altera a forma como a aplicação a consulta.

use cosmicworks;
db.adminCommand({
  "moveCollection": "cosmicworks.employee",
  "toShard": "shard_0"
})

Considere os seguintes comportamentos ao mover uma coleção:

  • A coleção não deve ser fragmentada. Não podes fixar uma coleção fragmentada a um único shard.
  • Se a coleção já estiver no fragmento alvo, o comando é um no-op.
  • Mover uma coleção depois de esta ser criada. Se executar o comando imediatamente após criar a coleção, poderá devolver um erro transitório. Espere brevemente e depois tente novamente o comando.

Para colocar várias coleções no mesmo shard, itere sobre a lista de coleções e execute um moveCollection comando para cada namespace.

use cosmicworks;
const toShard = "shard_0";
const collections = ["employee", "department", "project"];
for (const coll of collections) {
  db.adminCommand({ "moveCollection": `cosmicworks.${coll}`, "toShard": toShard });
}

Ver colocação da coleção

Para listar os shards físicos no cluster, consulte a shards coleção na config base de dados. Cada valor de _id é um identificador de shard que pode passar ao parâmetro toShard.

db.getSiblingDB("config").shards.find({}, { "_id": 1 })

Para ver que shard contém cada coleção, agregue a coleção chunks na base de dados config e agrupe por shard. O resultado contém uma entrada por shard com a lista de namespaces de coleção nesse shard.

db.getSiblingDB("config").chunks.aggregate([
  { "$group": { "_id": "$shard", "collections": { "$addToSet": "$ns" } } },
  { "$sort": { "_id": 1 } }
])

Boas práticas para a partição de dados

  • Não precisa de fragmentar dados no Azure DocumentDB a menos que o armazenamento e os volumes de transações da coleção possam exceder a capacidade de um único shard físico. Por exemplo, o serviço fornece discos de 32 TB por fragmento. Se uma coleção requer mais de 32 TB, fragmente-a.

  • Não precisas de fragmentar todas as coleções de um cluster com múltiplos shards físicos. Coleções fragmentadas e não fragmentadas podem coexistir no mesmo agrupamento. O serviço distribui de forma otimizada as coleções dentro do cluster para utilizar de forma equilibrada os recursos de computação e armazenamento do cluster.

  • Para aplicações de leitura intensiva, selecione a chave shard com base nos padrões de consulta mais frequentes. Escolha o filtro de consulta mais utilizado para uma coleção como chave de fragmento para otimizar a maior percentagem de transações na base de dados, localizando a pesquisa para um único fragmento físico.

  • Para aplicações com grande escrita, que privilegiam o desempenho de escrita em detrimento das leituras, escolha uma chave de fragmento que distribua os dados de forma uniforme entre os fragmentos físicos. As chaves de fragmento com a maior cardinalidade proporcionam a melhor oportunidade para distribuir os dados de forma uniforme.

  • Para um desempenho ótimo, mantenha o tamanho de armazenamento de um fragmento lógico inferior a 4 TB.

  • Para um desempenho ótimo, distribua os fragmentos lógicos de forma uniforme em termos de armazenamento e de volume de pedidos pelos fragmentos físicos do cluster.

  • Uma coleção não precisa de uma chave de fragmento para ser colocada num fragmento físico específico. Pode isolar uma coleção sensível à latência, sem fragmentação, num shard dedicado para que esta não concorra pela cache em memória com outras coleções. Para mais informações, consulte Colocação de coleções entre shards físicos.

Passos seguintes