Sharding voor horizontale schaalbaarheid in Azure DocumentDB

Azure DocumentDB biedt ondersteuning voor sharding om gegevens en verkeer horizontaal te distribueren. De documenten in een verzameling zijn onderverdeeld in segmenten die logische shards worden genoemd.

Benaderingen voor horizontale schaalbaarheid

Azure DocumentDB biedt twee complementaire manieren om gegevens en verkeer over de fysieke shards in een cluster te distribueren:

  • Shard een verzameling met een shardsleutel: Distribueer de documenten van één verzameling over de fysieke shards door een shardsleutel te kiezen. Gebruik deze methode wanneer de opslag of doorvoer van een verzameling de capaciteit van één fysieke shard overschrijdt.
  • Verzamelingen over shards plaatsen: houd verzamelingen niet geshard en plaats of co-lokaliseer ze op specifieke fysieke shards. Gebruik deze methode wanneer afzonderlijke verzamelingen op één fysieke shard passen, maar u wilt bepalen welke verzamelingen een shard delen. U kunt bijvoorbeeld een cachegevoelige verzameling isoleren op een eigen shard.

Deze benaderingen vullen elkaar aan. Gesharde en niet-gesharde collecties bestaan naast elkaar in hetzelfde cluster, zodat u de collecties kunt sharden die een enkele fysieke shard ontgroeien en de resterende niet-gesharde collecties over het cluster kunt plaatsen.

Logische fragmenten

Definieer sharding afzonderlijk voor elke verzameling met behulp van een toegewezen shardsleutel uit de documentstructuur van de verzameling. Verdeel gegevens in segmenten, waarbij elk segment overeenkomt met een logische partitie. Documenten voor elke unieke waarde van de shard-sleuteleigenschap bevinden zich in dezelfde logische shard.

Voor elk document dat u invoegt in een shardverzameling, hasht u de waarde van de eigenschap shardsleutel om de aangewezen logische shard te berekenen. De service abstraheert en beheert de plaatsing van de logische shard en de distributie van alle logische shards binnen het cluster volledig.

Alle documenten met dezelfde waarde voor de shardsleutel behoren tot dezelfde logische shard.

Laten we bijvoorbeeld een verzameling met de naam Werknemers overwegen met de onderstaande documentstructuur.

In deze tabel ziet u een koppeling van shard-sleutelwaarden aan logische partities.

Document-ID Shard-sleutelwaarde Logische shard
"12345" "Steve Smith" Shard 1
"23456" "Jane Doe" Shard 2
"34567" "Steve Smith" Shard 1
"45678" "Michael Smith" Shard 3
"56789" "Jane Doe" Shard 2
  • Er gelden geen limieten voor het aantal logische shards voor een verzameling. Een verzameling kan zoveel logische shards hebben als documenten met een unieke waarde voor de eigenschap shard-sleutel, in elk document.

  • Er zijn ook geen limieten voor de grootte van één logische shard.

  • Bovendien beperkt de service transacties niet tot het bereik van een logische shard. Azure DocumentDB ondersteunt lees- en schrijftransacties die van toepassing zijn op meerdere logische shards en op meerdere fysieke shards in het cluster.

Fysieke fragmenten

Fysieke shards zijn de onderliggende machines en schijven die verantwoordelijk zijn voor het persistent maken van de gegevens en het uitvoeren van databasetransacties. In tegenstelling tot logische shards beheert de service fysieke shards achter de schermen.

Het aantal fysieke shards wordt gedefinieerd wanneer een cluster wordt gemaakt en kan worden verhoogd als de database in de loop van de tijd toeneemt. Enkele shardclusters hebben één fysieke shard (knooppunt) die volledig verantwoordelijk is voor de opslag- en databasetransacties van het cluster. Multishardclusters verdelen de gegevens en het transactievolume over de fysieke shards in het cluster.

Logische shards koppelen aan fysieke shards

Wanneer er nieuwe logische shards worden toegevoegd, werkt het cluster naadloos de toewijzing van logische naar fysieke shards bij. Op dezelfde manier wordt de toewijzing van de adresruimte aan elke fysieke shard gewijzigd omdat nieuwe fysieke shards worden toegevoegd aan het cluster, waarna logische shards opnieuw worden verdeeld over het cluster.

Het hashbereik dat wordt gebruikt om logische en fysieke shards in kaart te brengen, is gelijkmatig verdeeld over de fysieke shards in het cluster. Elke fysieke shard is eigenaar van een bucket met een gelijkmatig formaat van het hash-bereik. Voor elk document dat is geschreven, wordt de waarde van de eigenschap van de shard sleutel gehasht en bepaalt de hashwaarde de toewijzing van het document aan de onderliggende fysieke shard. Intern worden verschillende logische shards samengevoegd tot één fysieke shard. Bovendien worden logische shards nooit verdeeld over fysieke shards en alle documenten voor een logische shard worden alleen toegewezen aan één fysieke shard.

Voortbouwend op het vorige voorbeeld van een cluster met twee fysieke shards, toont deze tabel een voorbeeldtoewijzing van documenten aan fysieke shards.

Document-ID Shard-sleutelwaarde Logische shard Fysieke partitie
"12345" "Steve Smith" Shard 1 Fysieke shard 1
"23456" "Jane Doe" Shard 2 Fysiek fragment 2
"34567" "Steve Smith" Shard 1 Fysieke shard 1
"45678" "Michael Smith" Shard 3 Fysieke shard 1
"56789" "Jane Doe" Shard 2 Fysiek fragment 2

Capaciteit van fysieke shards

De clusterlaag die wordt geselecteerd wanneer het cluster wordt ingericht, bepaalt de CPU- en geheugencapaciteit van een fysieke shard. Op dezelfde manier bepaalt de opslag-SKU de opslag- en IOPS-capaciteit van een fysieke shard. Grotere clusterlagen bieden meer rekenkracht en groter geheugen, terwijl grotere opslagschijven meer opslag en IOPS bieden. Leesintensieve workloads profiteren van een grotere clusterlaag terwijl schrijfintensieve workloads profiteren van een grotere opslag-SKU. De clusterlaag kan omhoog en omlaag worden geschaald nadat het cluster is gemaakt op basis van de veranderende behoeften van de toepassing.

In een multishardcluster is de capaciteit van elke fysieke shard hetzelfde. Het omhoog schalen van de clusterlaag of de opslag-SKU wijzigt de plaatsing van logische shards op de fysieke shards niet. Na een opschaalbewerking blijft het aantal fysieke shards hetzelfde, waardoor de noodzaak om de gegevens in het cluster opnieuw te verdelen vervalt.

De reken-, geheugen-, opslag- en IOPS-capaciteit van de fysieke shard bepalen welke resources beschikbaar zijn voor de logische shards. Shardsleutels die geen gelijkmatige distributie van opslag- en aanvraagvolumes hebben, kunnen leiden tot ongelijk opslag- en doorvoerverbruik binnen het cluster. Hete partities kunnen ervoor zorgen dat fysieke shards oneven worden gebruikt, wat leidt tot onvoorspelbare doorvoer en prestaties. Shard-clusters vereisen dus zorgvuldige planning vooraf om ervoor te zorgen dat de prestaties consistent blijven wanneer de vereisten van de toepassing na verloop van tijd veranderen.

Replicasets

Elke fysieke shard bestaat uit een set replica's, ook wel een replicaset genoemd. Elke replica fungeert als host voor een exemplaar van de database-engine. Een replicaset maakt het gegevensarchief in de fysieke shard duurzaam, maximaal beschikbaar en consistent. Elke replica waaruit de fysieke shard bestaat, neemt de opslag- en rekencapaciteit van de fysieke shard over. Met Azure DocumentDB worden replicasets automatisch beheerd.

Een verzameling in stukken delen

Note

Voeg geen persoonlijke, gevoelige of vertrouwelijke informatie toe aan resourcenamen (bijvoorbeeld tabelnaam, databasenaam) en resource tags. De gegevens die je in deze velden invoert worden niet als klantgegevens beschouwd.

Bekijk het volgende document in de 'cosmicworks'-database en de 'employee'-collectie.

{
    "firstName": "Steve",
    "lastName": "Smith",
    "companyName": "Microsoft",
    "division": "Azure",
    "subDivision": "Data & AI",
    "timeInOrgInYears": 7
}

In het volgende voorbeeld wordt de werknemersverzameling in de cosmicworks-database geshard op de eigenschap "firstName".

use cosmicworks;
sh.shardCollection("cosmicworks.employee", {"firstName": "hashed"})

De verzameling kan ook worden geshard met behulp van een beheeropdracht.

use cosmicworks;
db.adminCommand({
  "shardCollection": "cosmicworks.employee",
  "key": {"firstName": "hashed"}
})

Hoewel het niet ideaal is om de shardsleutel te wijzigen nadat de verzameling aanzienlijk in opslagvolume is gegroeid, kan de opdracht reshardCollection worden gebruikt om de shardsleutel te wijzigen.

use cosmicworks;
sh.reshardCollection("cosmicworks.employee", {"lastName": "hashed"})

De verzameling kan ook opnieuw worden gehard met behulp van een beheeropdracht:

use cosmicworks;
db.adminCommand({
  "reshardCollection": "cosmicworks.employee",
  "key": {"lastName": "hashed"}
})

Als best practice moet er een index worden gemaakt op de eigenschap shardsleutel.

use cosmicworks;
db.runCommand({
  createIndexes: "employee",
  indexes: [{"key":{"firstName":1}, "name":"firstName_1", "enableLargeIndexKeys": true}],
  blocking: true
})

Plaatsing van verzamelingen in fysieke shards

De service plaatst standaard elke verzameling automatisch op een fysieke shard en distribueert verzamelingen over het cluster om rekenkracht en opslag gelijkmatig te gebruiken. U hoeft de plaatsing voor de meeste workloads niet te beheren.

In sommige gevallen wilt u expliciete controle over waar een verzameling zich bevindt. Een verzameling die niet-gefilterde find() query's verwerkt, presteert bijvoorbeeld alleen goed wanneer deze volledig in het geheugen blijft. Wanneer een dergelijke verzameling een fysieke shard deelt met andere verzamelingen met hoge doorvoer, concurreren ze voor dezelfde cache in het geheugen. Cache-uitzettingen voegen vervolgens latentie toe aan de verzameling die dit het minst kan hebben. U kunt deze verzamelingen isoleren op een toegewezen fysieke shard of gerelateerde verzamelingen op dezelfde shard plaatsen, zonder dat u een shardsleutel hoeft in te voeren of de manier waarop de toepassing de gegevens opvraagt hoeft te veranderen.

Plaatsing van verzamelingen is van toepassing op niet-gesharde verzamelingen. Een gesharde verzameling wordt al over het cluster verdeeld door de shard key.

Een verzameling verplaatsen naar een specifieke shard

Gebruik de moveCollection beheeropdracht om een niet-gesharde verzameling te verplaatsen naar een specifieke fysieke shard. De verplaatsingsbewerking converteert de verzameling niet naar een shard-verzameling en verandert niet hoe de toepassing deze opvraagt.

use cosmicworks;
db.adminCommand({
  "moveCollection": "cosmicworks.employee",
  "toShard": "shard_0"
})

Houd rekening met het volgende gedrag wanneer u een verzameling verplaatst:

  • De verzameling moet niet-geshard zijn. U kunt een gesharde verzameling niet vastmaken aan één shard.
  • Als de verzameling zich al op de doelshard bevindt, is de opdracht een no-op.
  • Een verzameling verplaatsen nadat deze is gemaakt. Als u de opdracht direct uitvoert nadat u de verzameling hebt gemaakt, kan deze een tijdelijke fout retourneren. Wacht kort en voer de opdracht opnieuw uit.

Als u meerdere verzamelingen samen op dezelfde shard wilt plaatsen, doorloopt u de lijst met verzamelingen en voert u één moveCollection opdracht uit voor elke naamruimte.

use cosmicworks;
const toShard = "shard_0";
const collections = ["employee", "department", "project"];
for (const coll of collections) {
  db.adminCommand({ "moveCollection": `cosmicworks.${coll}`, "toShard": toShard });
}

Plaatsing van de collectie weergeven

Als u de fysieke shards in het cluster wilt weergeven, voert u een query uit op de shards verzameling in de config database. Elke _id waarde is een shard-id die u kunt doorgeven aan de toShard parameter.

db.getSiblingDB("config").shards.find({}, { "_id": 1 })

Als u wilt zien welke shard elke verzameling bevat, aggregeert u de chunks-verzameling in de config-database en groepeert u op shard. Het resultaat bevat één vermelding per shard met de lijst met verzamelingsnaamruimten op die shard.

db.getSiblingDB("config").chunks.aggregate([
  { "$group": { "_id": "$shard", "collections": { "$addToSet": "$ns" } } },
  { "$sort": { "_id": 1 } }
])

Aanbevolen procedures voor het sharden van gegevens

  • U hoeft geen shardgegevens in Azure DocumentDB te maken, tenzij de opslag- en transactievolumes van de verzameling de capaciteit van één fysieke shard kunnen overschrijden. De service biedt bijvoorbeeld 32 TB schijven per shard. Als voor een verzameling meer dan 32 TB is vereist, kunt u deze sharden.

  • U hoeft niet elke verzameling in een cluster met meerdere fysieke shards te sharden. Shard-verzamelingen en ongesharde verzamelingen kunnen naast elkaar bestaan in hetzelfde cluster. De service distribueert de collecties binnen het cluster optimaal om de reken- en opslagresources van het cluster gelijkmatig te gebruiken.

  • Voor leesintensieve toepassingen selecteert u de shardsleutel op basis van de meest voorkomende querypatronen. Kies het meest gebruikte queryfilter voor een verzameling als de shardsleutel om het hoogste percentage databasetransacties te optimaliseren door de zoekopdracht te lokaliseren in één fysieke shard.

  • Voor schrijfintensieve toepassingen die de voorkeur geven aan schrijfprestaties ten opzichte van leesbewerkingen, kiest u een shardsleutel waarmee gegevens gelijkmatig over de fysieke shards worden gedistribueerd. Shardsleutels met de hoogste kardinaliteit bieden de beste mogelijkheid om gegevens uniform te distribueren.

  • Houd voor optimale prestaties de opslaggrootte van een logische shard kleiner dan 4 TB.

  • Voor optimale prestaties distribueert u logische shards gelijkmatig in opslag en aanvraagvolume over de fysieke shards van het cluster.

  • Een verzameling heeft geen shardsleutel nodig om op een specifieke fysieke shard te worden geplaatst. U kunt een latentiegevoelige, niet-geharde verzameling isoleren op een toegewezen shard, zodat deze niet concurreert voor cache in het geheugen met andere verzamelingen. Zie Plaatsing van verzamelingen in fysieke shards voor meer informatie.

Volgende stappen