Aflevering
Hoe we Azure Database for PostgreSQL vrij van bloat houden om schijfruimte te maximaliseren | Citus Con 2023
wordt uitgevoerd met Bob Wuisman, Eleni Siampali
Video-opname van een conferentie over Postgres table bloat gegeven op Citus Con: An Event for Postgres 2023, door Bob Wuisman en Eleni Siampali van Ebiquity. Het team bij Ebiquity ondervindt een probleem waarbij bloat niet effectief wordt verwijderd, wat resulteert in slechte database- en serverprestaties. Nu worden de instellingen voor automatischevacuum elke week automatisch bijgewerkt op hun flexibele Azure Database for PostgreSQL-servers.
Elke week voegen Bob en Eleni nieuwe clientdatabaseservers toe aan ons Azure Database for PostgreSQL Flexible Server-abonnement. Elke database is verschillend in grootte en activiteit. Sommige zijn >300 GB met dagelijkse invoeg-, update- en verwijderactiviteiten; sommige zijn <10 GB met weinig frequente wijzigingen; en dan hebben we alles ertussenin. Dit verandert ook per tabel in de databases.
De automatisering van Autovacuum van Bob en Eleni heeft de prestaties van Postgres-query's aanzienlijk verbeterd en gestabiliseerd en heeft consistent meer dan één TB aan serverschijfruimte bespaard.
De wekelijkse automatische updates van de volgende autovacuum-parameters op basis van het segmenteren van de databasetabellen in verschillende clusters:
- Autovacuum_vacuum_cost_limit (toename)
- Autovacuum_vacuum_cost_delay (reductie)
- Ze bespreken de 7 stappen van hun werkstroom:
- De oplossing ontwerpen
- Databasestatistieken verzamelen
- De databasetabellen segmenteren
- De autovacuumingsfactoren bepalen
- De factoren voor elke tabel automatisch bijwerken
- Diskspace terugsturen naar de server
- Resultaten analyseren en waar nodig aanpassen
Bob Wuisman heeft business intelligence-omgevingen in verschillende bedrijven gebouwd. Met een holistische visie en procesgestuurde mindset bloeit Bob op het bouwen van teams en duurzaam groeiende gegevensgestuurde bewerkingen..
Eleni Siampali is een Data-engineer die jaren ervaring heeft met het automatiseren van gegevensprocessen en het uitvoeren van data science-projecten. Ze bloeit in het oplossen van complexe projecten en het uitproberen van nieuwe toepassingen door verschillende technologieën te combineren en te integreren. Bij Ebiquity heeft Eleni veel processen geautomatiseerd en geautomatiseerde querytaken ingeschakeld voor meerdere Postgres-databases.
Aanbevolen informatiebronnen
- Bekijk meer Citus Con 2023-gesprekken
- Alles wat u moet weten over Citus Con: Een gebeurtenis voor Postgres 2023
- Star the GitHub repo for the Citus database extension, to show your support of Citus open source
Verbinden
- Citus Con An-gebeurtenis voor Postgres | Twitter: @CitusCon
Video-opname van een conferentie over Postgres table bloat gegeven op Citus Con: An Event for Postgres 2023, door Bob Wuisman en Eleni Siampali van Ebiquity. Het team bij Ebiquity ondervindt een probleem waarbij bloat niet effectief wordt verwijderd, wat resulteert in slechte database- en serverprestaties. Nu worden de instellingen voor automatischevacuum elke week automatisch bijgewerkt op hun flexibele Azure Database for PostgreSQL-servers.
Elke week voegen Bob en Eleni nieuwe clientdatabaseservers toe aan ons Azure Database for PostgreSQL Flexible Server-abonnement. Elke database is verschillend in grootte en activiteit. Sommige zijn >300 GB met dagelijkse invoeg-, update- en verwijderactiviteiten; sommige zijn <10 GB met weinig frequente wijzigingen; en dan hebben we alles ertussenin. Dit verandert ook per tabel in de databases.
De automatisering van Autovacuum van Bob en Eleni heeft de prestaties van Postgres-query's aanzienlijk verbeterd en gestabiliseerd en heeft consistent meer dan één TB aan serverschijfruimte bespaard.
De wekelijkse automatische updates van de volgende autovacuum-parameters op basis van het segmenteren van de databasetabellen in verschillende clusters:
- Autovacuum_vacuum_cost_limit (toename)
- Autovacuum_vacuum_cost_delay (reductie)
- Ze bespreken de 7 stappen van hun werkstroom:
- De oplossing ontwerpen
- Databasestatistieken verzamelen
- De databasetabellen segmenteren
- De autovacuumingsfactoren bepalen
- De factoren voor elke tabel automatisch bijwerken
- Diskspace terugsturen naar de server
- Resultaten analyseren en waar nodig aanpassen
Bob Wuisman heeft business intelligence-omgevingen in verschillende bedrijven gebouwd. Met een holistische visie en procesgestuurde mindset bloeit Bob op het bouwen van teams en duurzaam groeiende gegevensgestuurde bewerkingen..
Eleni Siampali is een Data-engineer die jaren ervaring heeft met het automatiseren van gegevensprocessen en het uitvoeren van data science-projecten. Ze bloeit in het oplossen van complexe projecten en het uitproberen van nieuwe toepassingen door verschillende technologieën te combineren en te integreren. Bij Ebiquity heeft Eleni veel processen geautomatiseerd en geautomatiseerde querytaken ingeschakeld voor meerdere Postgres-databases.
Aanbevolen informatiebronnen
- Bekijk meer Citus Con 2023-gesprekken
- Alles wat u moet weten over Citus Con: Een gebeurtenis voor Postgres 2023
- Star the GitHub repo for the Citus database extension, to show your support of Citus open source
Verbinden
- Citus Con An-gebeurtenis voor Postgres | Twitter: @CitusCon
Wilt u feedback geven? Dien hier een probleem in.