Schemadrift verwerken in Gegevensstroom Gen2
Schemadrift wordt gedefinieerd als elke wijziging die optreedt in de structuur van de gegevens, zoals wanneer een nieuwe kolom wordt toegevoegd of een kolom wordt verwijderd. Met gegevensstromen kunt u schemadriftbeheer op verschillende manieren beheren. Het gebruik van typedetectie om de bestemming te wijzigen volgens het bronschema is mogelijk. Doelschemabeheer bij publiceren is ook beschikbaar. Elk van deze methoden is specifiek voor gegevensstromen.
Laten we eens kijken hoe dit wordt bereikt.
Methode voor globale opties
Gegevensstroom Gen2 biedt een typedetectiemechanisme. U kunt deze instellen in het menu Opties voor Power Query.
Een tabel automatisch bijwerken
Wanneer u in een nieuwe tabel laadt, zijn de automatische instellingen standaard ingeschakeld. Als u de automatische instellingen gebruikt, beheert Dataflow Gen2 de toewijzing voor u. De automatische instellingen bieden het volgende gedrag:
Vervangen: gegevens worden vervangen bij elke vernieuwing van de gegevensstroom. Alle gegevens in de bestemming worden verwijderd. De gegevens in de bestemming worden vervangen door de uitvoergegevens van de gegevensstroom.
Beheerde toewijzing: Toewijzing wordt voor u beheerd. Wanneer u wijzigingen wilt aanbrengen in uw gegevens/query om een andere kolom toe te voegen of een gegevenstype te wijzigen, wordt de toewijzing automatisch aangepast voor deze wijziging wanneer u de gegevensstroom opnieuw publiceert. U hoeft niet elke keer dat u wijzigingen aanbrengt in uw gegevensstroom in te gaan, zodat u eenvoudig schemawijzigingen kunt doorvoeren wanneer u de gegevensstroom opnieuw publiceert.
Tabel verwijderen en opnieuw maken: als u deze schemawijzigingen wilt toestaan, wordt de tabel verwijderd en opnieuw gemaakt bij elke gegevensstroomvernieuwing. Het vernieuwen van de gegevensstroom kan ertoe leiden dat relaties of metingen die eerder aan de tabel zijn toegevoegd, worden verwijderd. Op dit moment worden automatische instellingen alleen ondersteund voor Lakehouse en Azure SQL-database als de gegevensbestemming.
Een tabel handmatig bijwerken
Als u automatische instellingen wilt gebruiken, krijgt u volledige controle over het laden van uw gegevens in de gegevensbestemming. U kunt eventuele wijzigingen aanbrengen in de kolomtoewijzing door het brontype te wijzigen of een kolom uit te sluiten die u niet nodig hebt in uw gegevensbestemming.
De meeste bestemmingen ondersteunen zowel toevoegen als vervangen als updatemethoden. Fabric KQL-databases en Azure Data Explorer bieden echter geen ondersteuning voor vervanging als updatemethode.
Vervangen: Bij elke gegevensstroomvernieuwing worden uw gegevens verwijderd van het doel en vervangen door de uitvoergegevens van de gegevensstroom.
Toevoegen: Bij elke gegevensstroomvernieuwing worden de uitvoergegevens van de gegevensstroom toegevoegd aan de bestaande gegevens in de gegevensbestemmingstabel.
Schemaopties gebruiken voor publiceren
Schemaopties voor publiceren zijn alleen van toepassing wanneer de updatemethode wordt vervangen. Wanneer u gegevens toevoegt, zijn wijzigingen in het schema niet mogelijk.
Dynamisch schema: bij het kiezen van een dynamisch schema kunt u schemawijzigingen in de gegevensbestemming toestaan wanneer u de gegevensstroom opnieuw publiceert. Omdat u geen beheerde toewijzing gebruikt, moet u de kolomtoewijzing in de doelstroom van de gegevensstroom bijwerken wanneer u wijzigingen aanbrengt in uw query. Wanneer de gegevensstroom wordt vernieuwd, wordt de tabel verwijderd en opnieuw gemaakt. Het vernieuwen van de gegevensstroom kan ertoe leiden dat relaties of metingen die eerder aan de tabel zijn toegevoegd, worden verwijderd.
Vast schema: wanneer u een vast schema kiest, zijn schemawijzigingen niet mogelijk. Wanneer de gegevensstroom wordt vernieuwd, worden alleen de rijen in de tabel verwijderd en vervangen door de uitvoergegevens van de gegevensstroom. Alle relaties of metingen in de tabel blijven intact. Als u wijzigingen aanbrengt in uw query in de gegevensstroom, mislukt de publicatie van de gegevensstroom als wordt gedetecteerd dat het queryschema niet overeenkomt met het doelschema van de gegevens. Gebruik deze instelling wanneer u niet van plan bent om het schema te wijzigen en relaties of metingen toe te voegen aan uw doeltabel.
U ziet selectievakjes of vervolgkeuzelijsten, afhankelijk van het type schema-update (bijvoorbeeld voor 'Vast') en als de tabel al is gemaakt. Als de tabel al is gemaakt, krijgt u vervolgkeuzelijsten. Als u een nieuwe tabel maakt, worden er selectievakjes weergegeven omdat de doeltabel niet bestaat. Met Dataflow Gen2 kunt u uw schema dus bijwerken voordat u een tabel maakt.
Notitie
Bij het laden van gegevens in het magazijn wordt alleen een vast schema ondersteund. Als een kolom niet aanwezig is in uw eerste instellingen en u handmatig toevoegt, wordt (geen) weergegeven.
