Gegevensstroom

van toepassing op:SQL Server SSIS Integration Runtime in Azure Data Factory

SQL Server Integration Services biedt drie verschillende typen onderdelen voor gegevensstromen: bronnen, transformaties en bestemmingen. Bronnen extraheren gegevens uit gegevensarchieven, zoals tabellen en weergaven in relationele databases, bestanden en Analysis Services-databases. Transformaties wijzigen, vatten samen en schonen gegevens op. Bestemmingen laden gegevens in gegevensarchieven of maken gegevenssets in het geheugen.

Opmerking

Wanneer u aangepaste providers gebruikt, moet u het ProviderDescriptors.xml-bestand bijwerken met de kolomwaarden voor metagegevens.

Daarnaast biedt Integration Services paden waarmee de uitvoer van het ene onderdeel wordt verbonden met de invoer van een ander onderdeel. Paden definiëren de volgorde van onderdelen en u kunt aantekeningen toevoegen aan de gegevensstroom of de bron van de kolom weergeven.

U verbindt gegevensstroomonderdelen door de uitvoer van bronnen en bestemmingen te verbinden met de invoer van transformaties en bestemmingen. Wanneer u een gegevensstroom maakt, verbindt u doorgaans de tweede en volgende onderdelen wanneer u deze toevoegt aan de gegevensstroom. Nadat u het onderdeel hebt verbonden, zijn de invoerkolommen beschikbaar voor gebruik bij het configureren van het onderdeel. Wanneer er geen invoerkolommen beschikbaar zijn, moet u de configuratie van het onderdeel voltooien nadat het is verbonden met de gegevensstroom. Zie Integration Services-paden en onderdelen verbinden met paden voor meer informatie.

In het volgende diagram ziet u een gegevensstroom met een bron, een transformatie met één invoer en één uitvoer en een bestemming. Het diagram bevat de invoer, uitvoer en foutuitvoer, evenals de invoer-, uitvoer- en externe kolommen.

Implementatie van gegevensstromen

Het toevoegen van een gegevensstroomtaak aan de controlestroom van een pakket is de eerste stap bij het implementeren van een gegevensstroom in een pakket. Een pakket kan meerdere gegevensstroomtaken bevatten, elk met een eigen gegevensstroom. Als een pakket bijvoorbeeld vereist dat gegevensstromen in een opgegeven volgorde worden uitgevoerd of dat andere taken tussen de gegevensstromen worden uitgevoerd, moet u voor elke gegevensstroom een afzonderlijke gegevensstroomtaak gebruiken.

Nadat de controlestroom een gegevensstroomtaak bevat, kunt u beginnen met het bouwen van de gegevensstroom die door een pakket wordt gebruikt. Zie De gegevensstroomtaak voor meer informatie.

Het maken van een gegevensstroom omvat de volgende stappen:

• Voeg een of meer bronnen toe om gegevens uit bestanden en databases te extraheren en voeg verbindingsbeheerders toe om verbinding te maken met de bronnen.

• Voeg de transformaties toe die voldoen aan de bedrijfsvereisten van het pakket. Een gegevensstroom is niet vereist om transformaties op te nemen.

  Voor sommige transformaties is een verbindingsbeheer vereist. De opzoektransformatie maakt bijvoorbeeld gebruik van een verbindingsbeheer om verbinding te maken met de database die de opzoekgegevens bevat.

• Gegevensstroomonderdelen verbinden door de uitvoer van bronnen en transformaties te verbinden met de invoer van transformaties en bestemmingen.

• Een of meer bestemmingen toevoegen om gegevens te laden in gegevensarchieven, zoals bestanden en databases, en verbindingsbeheerders toevoegen om verbinding te maken met de gegevensbronnen.

• Foutuitvoer configureren voor onderdelen om problemen op te lossen.

  Tijdens runtime kunnen fouten op rijniveau optreden wanneer gegevensstroomonderdelen gegevens converteren, een opzoekactie uitvoeren of expressies evalueren. Een gegevenskolom met een tekenreekswaarde kan bijvoorbeeld niet worden geconverteerd naar een geheel getal of een expressie probeert te delen door nul. Beide bewerkingen veroorzaken fouten en de rijen die de fouten bevatten, kunnen afzonderlijk worden verwerkt met behulp van een foutstroom. Zie Foutafhandeling in Gegevens voor meer informatie over het gebruik van foutstromen in pakketgegevensstroom.

• Voeg aantekeningen toe om de gegevensstroom zelfdocumenterend te maken. Zie Aantekeningen gebruiken in Pakketten voor meer informatie.

Opmerking

Wanneer u een nieuw pakket maakt, kunt u ook een wizard gebruiken om verbindingsbeheerders, bronnen en bestemmingen correct te configureren. Zie Pakketten maken in SQL Server Data Tools voor meer informatie.

Wanneer het tabblad Gegevensstroom actief is, bevat de werkset de bronnen, transformaties en bestemmingen die u aan de gegevensstroom kunt toevoegen.

Expressions

Een aantal van de gegevensstroomcomponenten - bronnen, transformaties en bestemmingen - ondersteunen het gebruik van eigenschapsexpressies in bepaalde eigenschappen. Een eigenschapsexpressie is een expressie die de waarde van de eigenschap vervangt wanneer het pakket wordt geladen. Tijdens runtime gebruikt het pakket de bijgewerkte eigenschapswaarden. De expressies worden gebouwd met behulp van de syntaxis van de Integration Services-expressie en kunnen integratieservicesfuncties, operators, id's en variabelen bevatten. Raadpleeg Integration Services (SSIS) Expressies, Integration Services (SSIS) Expressies en Gebruik van eigenschapsexpressies in pakketten voor meer informatie.

Als u een pakket maakt in SQL Server Data Tools (SSDT), worden de eigenschappen van gegevensstroomonderdelen die ondersteuning bieden voor eigenschapsexpressies weergegeven op de gegevensstroomtaak waartoe ze behoren. Als u de eigenschapsexpressies van gegevensstroomonderdelen wilt toevoegen, wijzigen en verwijderen, klikt u op de gegevensstroomtaak en gebruikt u vervolgens het venster Eigenschappen of de editor voor de taak om eigenschapsexpressies toe te voegen, te wijzigen of te verwijderen. Eigenschapsexpressies voor de gegevensstroomtaak zelf worden beheerd in het venster Eigenschappen.

Als de gegevensstroom onderdelen bevat die expressies gebruiken, worden de expressies ook weergegeven in het venster Eigenschappen. Als u expressies wilt weergeven, selecteert u de gegevensstroomtaak waartoe het onderdeel behoort. U kunt eigenschappen weergeven op categorieën of in alfabetische volgorde. Als u de gecategoriseerde weergave in het venster Eigenschappen gebruikt, worden expressies die niet worden gebruikt in een specifieke eigenschap weergegeven in de categorie Misc . Als u de alfabetische weergave gebruikt, worden expressies weergegeven in de volgorde van de naam van het gegevensstroomonderdeel.

Bronnen

In Integration Services is een bron het gegevensstroomonderdeel dat gegevens uit verschillende externe gegevensbronnen beschikbaar maakt voor de andere onderdelen in de gegevensstroom. U kunt gegevens extraheren uit platte bestanden, XML-bestanden, Microsoft Excel-werkmappen en bestanden die onbewerkte gegevens bevatten. U kunt ook gegevens extraheren door toegang te krijgen tot tabellen en weergaven in databases en door query's uit te voeren.

Een gegevensstroom kan één bron of meerdere bronnen bevatten.

De bron voor een gegevensstroom heeft doorgaans één normale uitvoer. De reguliere uitvoer bevat uitvoerkolommen, die kolommen zijn die door de bron worden toegevoegd aan de gegevensstroom.

De standaard uitvoer verwijst naar externe kolommen. Een externe kolom is een kolom in de bron. De kolom MadeFlag in de tabel Product van de AdventureWorks-database is bijvoorbeeld een externe kolom die kan worden toegevoegd aan de normale uitvoer. Metagegevens voor externe kolommen bevatten informatie zoals de naam, het gegevenstype en de lengte van de bronkolom.

Een foutuitvoer voor een bron bevat dezelfde kolommen als de reguliere uitvoer en bevat ook twee extra kolommen die informatie over fouten bieden. Het objectmodel Integration Services beperkt niet het aantal reguliere uitvoer en foutuitvoer die bronnen kunnen hebben. De meeste bronnen die Integration Services bevat, met uitzondering van het scriptonderdeel, hebben één reguliere uitvoer en veel van de bronnen hebben één foutuitvoer. Aangepaste bronnen kunnen worden gecodeerd om meerdere reguliere uitvoer en foutuitvoer te implementeren.

Alle uitvoerkolommen zijn beschikbaar als invoerkolommen voor het volgende gegevensstroomonderdeel in de gegevensstroom.

U kunt ook aangepaste bronnen schrijven. Zie Een aangepast gegevensstroomonderdeel ontwikkelen en specifieke typen gegevensstroomonderdelen ontwikkelen voor meer informatie.

De volgende bronnen hebben eigenschappen die kunnen worden bijgewerkt door eigenschapsexpressies:

• ADO NET-bron

• XML-bron

Beschikbare bronnen voor downloaden

De volgende tabel bevat aanvullende bronnen die u kunt downloaden van de Microsoft-website.

Bron	Description
Oracle-bron	De Oracle-bron is het brononderdeel van de Microsoft Connector voor Oracle by Attunity. De Microsoft Connector voor Oracle by Attunity bevat ook een verbindingsbeheerder en een bestemming. Zie de downloadpagina, Microsoft Connectors voor Oracle en Teradata van Attunity voor meer informatie.
SAP BI-bron	De SAP BI-bron is het brononderdeel van de Microsoft Connector voor SAP BI. De Microsoft Connector voor SAP BI bevat ook een verbindingsbeheer en een bestemming. Zie de downloadpagina, Microsoft SQL Server Feature Pack voor meer informatie.
Teradata-bron	De Teradata-bron is het brononderdeel van de Microsoft Connector for Teradata by Attunity. De Microsoft Connector voor Teradata by Attunity bevat ook een verbindingsbeheerder en een bestemming. Zie de downloadpagina, Microsoft Connectors voor Oracle en Teradata van Attunity voor meer informatie.

Zie Performance of Microsoft Connector for Oracle by Attunity (SQL Server Video) voor een demonstratie over hoe u de prestatieverbeteringen van de Microsoft Connector voor Oracle by Attunity (SQL Server Video) kunt benutten.

Transformations

De mogelijkheden van transformaties variëren breed. Transformaties kunnen taken uitvoeren, zoals bijwerken, samenvatten, opschonen, samenvoegen en distribueren van gegevens. U kunt waarden in kolommen wijzigen, waarden opzoeken in tabellen, gegevens opschonen en kolomwaarden aggregeren.

De invoer en uitvoer van een transformatie definiëren de kolommen van binnenkomende en uitgaande gegevens. Afhankelijk van de bewerking die op de gegevens wordt uitgevoerd, hebben sommige transformaties één invoer en meerdere uitvoer, terwijl andere transformaties meerdere invoer en één uitvoer hebben. Transformaties kunnen ook foutuitvoer bevatten, die informatie bieden over de fout die is opgetreden, samen met de gegevens die zijn mislukt: bijvoorbeeld tekenreeksgegevens die niet kunnen worden geconverteerd naar een gegevenstype geheel getal. Het Objectmodel van Integration Services beperkt niet het aantal invoer, reguliere uitvoer en foutuitvoer die transformaties kunnen bevatten. U kunt aangepaste transformaties maken die elke combinatie van meerdere invoer, normale uitvoer en foutuitvoer implementeren.

De invoer van een transformatie wordt gedefinieerd als een of meer invoerkolommen. Sommige Integration Services-transformaties kunnen ook verwijzen naar externe kolommen als invoer. De invoer voor de OLE DB-opdrachttransformatie bevat bijvoorbeeld externe kolommen. Een uitvoerkolom is een kolom die door de transformatie wordt toegevoegd aan de gegevensstroom. Zowel normale uitvoer als foutuitvoer bevatten uitvoerkolommen. Deze uitvoerkolommen fungeren op hun beurt als invoerkolommen voor het volgende onderdeel in de gegevensstroom, ofwel een andere transformatie of een bestemming.

De volgende transformaties hebben eigenschappen die kunnen worden bijgewerkt door eigenschapsexpressies:

• Transformatie van voorwaardelijke splitsing

• Afgeleide kolomtransformatie

• Fuzzy groeperingstransformatie

• Fuzzy Lookup-transformatie

• OLE DB-opdrachttransformatie

• Percentagesamplingtransformatie

• Pivot-transformatie

• Rijsteekproeven Transformatie

• Sorteertransformatie

• Unpivot-transformatie

Zie Integration Services-transformaties voor meer informatie.

Bestemmingen

Een bestemming is het gegevensstroomonderdeel dat de gegevens van een gegevensstroom naar een specifiek gegevensarchief schrijft of een in-memory gegevensset maakt. U kunt gegevens laden in platte bestanden, analyseobjecten verwerken en gegevens verstrekken aan andere processen. U kunt ook gegevens laden door toegang te krijgen tot tabellen en weergaven in databases en door query's uit te voeren.

Een gegevensstroom kan meerdere bestemmingen bevatten die gegevens laden in verschillende gegevensarchieven.

Een Integration Services-bestemming moet ten minste één invoer hebben. De invoer bevat invoerkolommen die afkomstig zijn van een ander gegevensstroomonderdeel. De invoerkolommen worden toegewezen aan kolommen in het doel.

Veel bestemmingen hebben ook één foutmelding. De foutuitvoer voor een bestemming bevat uitvoerkolommen, die doorgaans informatie bevatten over fouten die optreden bij het schrijven van gegevens naar het doelgegevensarchief. Er treden om verschillende redenen fouten op. Een kolom kan bijvoorbeeld een null-waarde bevatten, terwijl de doelkolom niet kan worden ingesteld op null.

Het Objectmodel van Integration Services beperkt niet het aantal reguliere invoer- en foutuitvoer dat bestemmingen kunnen hebben en u kunt aangepaste bestemmingen maken die meerdere invoer- en foutuitvoer implementeren.

U kunt ook aangepaste bestemmingen schrijven. Zie Een aangepast gegevensstroomonderdeel ontwikkelen en specifieke typen gegevensstroomonderdelen ontwikkelen voor meer informatie.

De volgende bestemmingen hebben eigenschappen die kunnen worden bijgewerkt door eigenschapsexpressies:

• Bestemming voor plat bestand

• Doel van SQL Server Compact Edition

Bestemmingen die beschikbaar zijn om te downloaden

De volgende tabel bevat aanvullende bestemmingen die u kunt downloaden van de Microsoft-website.

Bron	Description
Oracle-bestemming	De Oracle-bestemming is het bestemmingscomponent van de Microsoft Connector voor Oracle van Attunity. De Microsoft Connector voor Oracle by Attunity bevat ook een verbindingsbeheerder en een bron. Zie de downloadpagina, Microsoft Connectors voor Oracle en Teradata van Attunity voor meer informatie.
SAP BI-bestemming	De SAP BI-bestemming is het doelonderdeel van de Microsoft Connector voor SAP BI. De Microsoft Connector voor SAP BI bevat ook een verbindingsbeheer en een bron. Zie de downloadpagina, Microsoft SQL Server Feature Pack voor meer informatie.
Teradata-bestemming	De Teradata-bestemming is het bestemmingsonderdeel van de Microsoft Connector voor Teradata van Attunity. De Microsoft Connector voor Teradata by Attunity bevat ook een verbindingsbeheerder en een bron. Zie de downloadpagina, Microsoft Connectors voor Oracle en Teradata van Attunity voor meer informatie.

Zie Performance of Microsoft Connector for Oracle by Attunity (SQL Server Video) voor een demonstratie over hoe u de prestatieverbeteringen van de Microsoft Connector voor Oracle by Attunity (SQL Server Video) kunt benutten.

Verbindingsbeheerders

Veel gegevensstroomonderdelen maken verbinding met gegevensbronnen en u moet de verbindingsbeheerders toevoegen die de onderdelen nodig hebben voor het pakket voordat het onderdeel correct kan worden geconfigureerd. U kunt de verbindingsbeheerders toevoegen tijdens het maken van de gegevensstroom of voordat u begint met het maken van de gegevensstroom. Zie SSIS-verbindingen (Integration Services) en Verbindingsmanagers maken voor meer informatie.

Externe metagegevens

Wanneer u een gegevensstroom in een pakket maakt met behulp van SSIS Designer, worden de metagegevens van de bronnen en bestemmingen gekopieerd naar de externe kolommen op bronnen en bestemmingen, die fungeren als een momentopname van het schema. Wanneer Integration Services het pakket valideert, vergelijkt SSIS Designer deze momentopname met het schema van de bron of bestemming en worden fouten en waarschuwingen geplaatst, afhankelijk van de wijzigingen.

Het Integration Services-project biedt een offlinemodus. Wanneer u offline werkt, worden er geen verbindingen gemaakt met de bronnen of bestemmingen die door het pakket worden gebruikt en worden de metagegevens van externe kolommen niet bijgewerkt.

Invoer en uitvoer

Bronnen hebben uitvoer, bestemmingen hebben invoer en transformaties hebben zowel invoer als uitvoer. Daarnaast kunnen veel onderdelen van de gegevensstroom worden geconfigureerd voor het gebruik van een foutuitvoer.

Invoer

Bestemmingen en transformaties hebben invoer. Een invoer bevat een of meer invoerkolommen, die kunnen verwijzen naar externe kolommen als het gegevensstroomonderdeel is geconfigureerd om deze te gebruiken. Invoer kan worden geconfigureerd voor het bewaken en beheren van de gegevensstroom: u kunt bijvoorbeeld opgeven of het onderdeel moet mislukken als reactie op een fout, fouten negeren of rijen omleiden naar de foutuitvoer. U kunt ook een beschrijving toewijzen aan de invoer of de invoernaam bijwerken. In SSIS Designer worden invoer geconfigureerd met behulp van het dialoogvenster Geavanceerde editor . Zie De gebruikersinterface van Integration Services voor meer informatie over de geavanceerde editor.

Uitgangen

Bronnen en transformaties hebben altijd uitvoer. Een uitvoer bevat een of meer uitvoerkolommen, die kunnen verwijzen naar externe kolommen als het gegevensstroomonderdeel is geconfigureerd om deze te gebruiken. Uitvoer kan worden geconfigureerd om informatie te bieden die nuttig is voor downstreamverwerking van de gegevens. U kunt bijvoorbeeld aangeven of de uitvoer is gesorteerd. U kunt ook een beschrijving opgeven voor de uitvoer of de uitvoernaam bijwerken. In SSIS Designer worden uitvoer geconfigureerd met behulp van het dialoogvenster Geavanceerde editor .

Foutuitvoer

Bronnen, bestemmingen en transformaties kunnen foutuitvoer bevatten. U kunt opgeven hoe het gegevensstroomonderdeel reageert op fouten in elke invoer of kolom met behulp van het dialoogvenster Foutuitvoer configureren . Als er een fout of afkapping van gegevens optreedt tijdens runtime en het gegevensstroomonderdeel is geconfigureerd om rijen om te leiden, worden de gegevensrijen met de fout verzonden naar de foutuitvoer. De foutuitvoer kan worden verbonden met transformaties die aanvullende transformaties toepassen of gegevens naar een andere bestemming leiden. Standaard bevat een foutuitvoer de uitvoerkolommen en twee foutkolommen: ErrorCode en ErrorColumn. De uitvoerkolommen bevatten de gegevens uit de rij die is mislukt, ErrorCode levert de foutcode en ErrorColumn identificeert de mislukte kolom.

Zie Foutafhandeling in Gegevens voor meer informatie.

Columns

Invoer, uitvoer en foutuitvoer zijn verzamelingen kolommen. Elke kolom kan worden geconfigureerd en afhankelijk van de invoer, uitvoer of externe kolom biedt Integration Services verschillende eigenschappen voor de kolom. Integration Services biedt drie verschillende manieren om kolomeigenschappen in te stellen: programmatisch, met behulp van onderdeelspecifieke dialoogvensters of met behulp van het dialoogvenster Geavanceerde editor .

Paths

Paden verbinden onderdelen van gegevensstromen. In SSIS Designer kunt u de padeigenschappen weergeven en wijzigen, de uitvoermetagegevens voor het beginpunt van het pad bekijken en gegevensviewers aan een pad koppelen.

Zie Integration Services-paden en foutopsporingsgegevensstroom voor meer informatie.

Configuratie van gegevensstroomonderdelen

Onderdelen van gegevensstromen kunnen worden geconfigureerd op onderdeelniveau; op de invoer-, uitvoer- en foutuitvoerniveaus; en op kolomniveau.

• Op onderdeelniveau stelt u eigenschappen in die gemeenschappelijk zijn voor alle onderdelen en stelt u de aangepaste eigenschappen van het onderdeel in.

• Op de invoer-, uitvoer- en foutuitvoerniveaus stelt u de algemene eigenschappen van invoer, uitvoer en de foutuitvoer in. Als het onderdeel meerdere uitvoer ondersteunt, kunt u uitvoer toevoegen.

• Op kolomniveau stelt u de eigenschappen in die gemeenschappelijk zijn voor alle kolommen, naast eventuele aangepaste eigenschappen die het onderdeel biedt voor kolommen. Als het onderdeel ondersteuning biedt voor het toevoegen van uitvoerkolommen, kunt u kolommen toevoegen aan uitvoer.

U kunt eigenschappen instellen via SSIS Designer of programmatisch. In SSIS Designer kunt u elementeigenschappen instellen met behulp van de aangepaste dialoogvensters voor elk elementtype, of met behulp van het venster Eigenschappen of het dialoogvenster Geavanceerde editor .

Zie Eigenschappen van een gegevensstroomonderdeel instellen voor meer informatie over het instellen van eigenschappen met behulp van SSIS Designer.

Gerelateerde taken

Een onderdeel toevoegen aan of verwijderen uit een gegevensstroom

Onderdelen in een gegevensstroom verbinden

Verwante inhoud

Video, prestaties van Microsoft Connector voor Oracle by Attunity (SQL Server Video), op technet.microsoft.com.