Jegyzet
Az oldalhoz való hozzáférés engedélyezést igényel. Próbálhatod be jelentkezni vagy könyvtárat váltani.
Az oldalhoz való hozzáférés engedélyezést igényel. Megpróbálhatod a könyvtár váltását.
A következőkre vonatkozik:
SQL Server SSIS integrációs futtatókörnyezet az Azure Data Factory-ban
A Microsoft Integration Services és az SSIS Designer olyan funkciókat és eszközöket tartalmaz, amelyekkel elháríthatja az integrációs szolgáltatások csomagjában lévő adatfolyamokat.
Az SSIS Designer adatmegjelenítőket biztosít.
Az SSIS Designer és az Integration Services átalakítások sorszámozást biztosítanak.
Az SSIS Designer futásidőben biztosítja a folyamatjelentést.
Adatmegjelenítők
Az adatmegjelenítők az adatfolyam két összetevője között jelenítik meg az adatokat. Az adatmegjelenítők akkor jeleníthetik meg az adatokat, amikor az adatokat kinyerik egy adatforrásból, és először belépnek egy adatfolyamba, az átalakítás előtt és után frissítik az adatokat, majd betöltik az adatokat a célhelyre.
Az adatok megtekintéséhez csatolja az adatmegjelenítőket a két adatfolyam-összetevőt összekötő útvonalhoz. Az adatfolyam-összetevők közötti adatok megtekintésének lehetősége megkönnyíti a váratlan adatértékek azonosítását, az oszlopértékek módosításának módját, valamint az átalakítás meghiúsulásának okát. Előfordulhat például, hogy egy referenciatáblában lévő keresés meghiúsul, és ennek kijavításához érdemes lehet olyan átalakítást hozzáadni, amely alapértelmezett adatokat biztosít az üres oszlopokhoz.
Az adatmegjelenítők megjeleníthetik az adatokat egy rácson. Rács használatával kiválaszthatja a megjelenítendő oszlopokat. A kijelölt oszlopok értékei táblázatos formátumban jelennek meg.
Egy útvonalon több adatmegjelenítő is szerepelhet. Ugyanazokat az adatokat különböző formátumokban jelenítheti meg, például létrehozhat diagramnézetet és az adatok rácsnézetét, vagy különböző adatmegjelenítőket hozhat létre különböző adatoszlopokhoz.
Amikor adatmegjelenítőt ad hozzá egy elérési úthoz, az SSIS Designer egy adatmegjelenítő ikont ad hozzá az Adatfolyam lap tervezési felületéhez az elérési út mellett. Az olyan átalakítások, amelyek több kimenettel is rendelkezhetnek, például a feltételes felosztású átalakítás, minden útvonalon tartalmazhatnak adatmegjelenítőt.
Futásidőben megnyílik egy Adatmegjelenítő ablak, amely megjeleníti az adatmegjelenítő formátum által megadott adatokat. A rácsformátumot használó adatmegjelenítők például a kijelölt oszlopok adatait, az adatfolyam-összetevőnek átadott kimeneti sorok számát és a megjelenített sorok számát jelenítik meg. Az információk puffer alapján jelenítik meg a puffert, és az adatfolyam sorainak szélességétől függően a puffer több vagy kevesebb sort tartalmazhat.
Az Adatmegjelenítő párbeszédpanelen átmásolhatja az adatokat a vágólapra, törölheti az összes adatot a táblából, újrakonfigurálhatja az adatmegjelenítőt, folytathatja az adatáramlást, és leválaszthatja vagy csatolhatja az adatmegjelenítőt.
Adatmegjelenítő hozzáadása
Sorok számlálója
Az útvonalon áthaladó sorok száma megjelenik az SSIS Designer Adatfolyam lapjának tervezőfelületén az elérési út mellett. A szám rendszeres időközönként frissül, miközben az adatok végighaladnak az útvonalon.
A sorok számának átalakítását is hozzáadhatja az adatfolyamhoz, hogy rögzítse a végső sorszámot egy változóban. További információ: Sorszám átalakítás.
Állapotjelentés
Csomag futtatásakor az SSIS Designer az Adatfolyam lap tervezőfelületén ábrázolja az előrehaladást az egyes adatfolyam-összetevők állapotot jelző színnel való megjelenítésével. Amikor minden összetevő elkezdi elvégezni a munkáját, színtelenről sárgára változik, és ha sikeresen befejezi, zöldre vált. A piros szín azt jelzi, hogy az összetevő meghibásodott.
Az alábbi táblázat a színkódolást ismerteti.
| Szín | Description |
|---|---|
| Nincs szín | Várakozás az adatfolyam-motor meghívására. |
| Yellow | Átalakítás, adatok kinyerése vagy adatok betöltése. |
| Green | Sikeresen lefutott. |
| piros | Hiba történt. |
Adatfolyam elemzése
A catalog.execution_data_statisticsSSISDB-adatbázisnézet használatával elemezheti a csomagok adatfolyamát. Ez a nézet minden alkalommal megjelenít egy sort, amikor egy adatfolyam-összetevő adatokat küld egy alsóbb rétegbeli összetevőnek. Az információk segítségével részletesebben megismerheti az egyes összetevőknek küldött sorokat.
Megjegyzés:
A naplózási szintet részletesre kell állítani ahhoz, hogy a catalog.execution_data_statistics nézettel rögzíthesse az adatokat.
Az alábbi példa a csomag összetevői között küldött sorok számát jeleníti meg.
use SSISDB
select package_name, task_name, source_component_name, destination_component_name, rows_sent
from catalog.execution_data_statistics
where execution_id = 132
order by source_component_name, destination_component_name
Az alábbi példa kiszámítja az egyes összetevők által adott végrehajtáshoz küldött sorok ezredmásodpercenkénti számát. A számított értékek a következők:
total_rows – az összetevő által küldött összes sor összege
wall_clock_time_ms – az egyes összetevők teljes végrehajtási ideje ezredmásodpercben
num_rows_per_millisecond – az egyes összetevők által küldött sorok száma ezredmásodpercenként
A HAVING záradék használatával megelőzhető a nullával való osztási hiba a számításokban.
use SSISDB
select source_component_name, destination_component_name,
sum(rows_sent) as total_rows,
DATEDIFF(ms,min(created_time),max(created_time)) as wall_clock_time_ms,
((0.0+sum(rows_sent)) / (datediff(ms,min(created_time),max(created_time)))) as [num_rows_per_millisecond]
from [catalog].[execution_data_statistics]
where execution_id = 132
group by source_component_name, destination_component_name
having (datediff(ms,min(created_time),max(created_time))) > 0
order by source_component_name desc
Hibakimenet konfigurálása adatfolyam-összetevőben
Számos adatfolyam-összetevő támogatja a hibakimeneteket, és az összetevőtől függően az SSIS Designer különböző módszereket kínál a hibakimenet konfigurálására. A hibakimenet konfigurálása mellett a hibakimenet oszlopait is konfigurálhatja. Ez magában foglalja az összetevő által hozzáadott ErrorCode és ErrorColumn oszlopok konfigurálását is.
Hibakimenet konfigurálása
A hibakimenet konfigurálásához két lehetősége van:
Használja a Hibakimenet konfigurálása párbeszédpanelt. Ezen a párbeszédpanelen hibakimenetet konfigurálhat bármely olyan adatfolyam-összetevőn, amely támogatja a hibakimenetet.
Használja az összetevő szerkesztő párbeszédpaneljét. Egyes összetevők lehetővé teszik a hibakimenetek konfigurálását közvetlenül a szerkesztő párbeszédpaneljén. Azonban az ADO NET-forrás, az Importálás átalakítás, az OLE DB parancs átalakítás vagy az SQL Server Compact célhely szerkesztői párbeszédpaneljének hibakimenetei nem konfigurálhatók.
Az alábbi eljárások leírják, hogyan lehet ezekkel a párbeszédpanelekkel konfigurálni a hibakimeneteket.
Hibakimenet konfigurálása a "Hibakimenet konfigurálása" párbeszédpanelen keresztül
Az SQL Server Data Tools (SSDT) alkalmazásban nyissa meg a kívánt csomagot tartalmazó Integration Services-projektet.
A Megoldáskezelőben kattintson duplán a csomagra a megnyitásához.
Az SSIS Designerben kattintson az Adatfolyam fülre.
Húzza a hibakimenetet a piros nyíllal jelölve a hibák forrásaként szolgáló összetevőről az adatfolyam egy másik összetevőjére.
A Hibakimenet konfigurálása párbeszédpanelen válasszon ki egy műveletet a Hiba és Csonkolás oszlopokban az összetevő bemenetének minden oszlopához.
A frissített csomag mentéséhez kattintson a Fájl menü Kijelölt elemek mentése parancsára.
Hibakimenet hozzáadása az összetevő szerkesztői párbeszédpanel használatával
Az SQL Server Data Tools (SSDT) alkalmazásban nyissa meg a kívánt csomagot tartalmazó Integration Services-projektet.
A Megoldáskezelőben kattintson duplán a csomagra a megnyitásához.
Az SSIS Designerben kattintson az Adatfolyam fülre.
Kattintson duplán azokra az adatfolyam-összetevőkre, amelyekben hibakimenetet szeretne konfigurálni, és az összetevőtől függően hajtsa végre az alábbi lépések egyikét:
Kattintson a Hibakimenet konfigurálása gombra.
Kattintson a Hibakimenet gombra.
Adja meg az egyes oszlopok hibabeállítását .
Állítsa be az egyes oszlopok csonkítási beállítását.
Kattintson az OK gombra.
A frissített csomag mentéséhez kattintson a Fájl menü Kijelölt elemek mentése parancsára.
Hibakimeneti oszlopok konfigurálása
A hibakimeneti oszlopok konfigurálásához a Speciális szerkesztő párbeszédpanel Bemenet és kimenet tulajdonságai lapját kell használnia .
Hibakimeneti oszlopok konfigurálása
Az SQL Server Data Tools (SSDT) alkalmazásban nyissa meg a kívánt csomagot tartalmazó Integration Services-projektet.
A Megoldáskezelőben kattintson duplán a csomagra a megnyitásához.
Az SSIS Designerben kattintson az Adatfolyam fülre.
Kattintson a jobb gombbal arra az összetevőre, amelynek a hibakimeneti oszlopait konfigurálni szeretné, és kattintson a Speciális szerkesztő megjelenítése parancsra.
Kattintson a Bemeneti és kimeneti tulajdonságok fülre, bontsa ki <az összetevő nevét> Hibakimenet , majd bontsa ki a Kimeneti oszlopok elemet.
Kattintson egy oszlopra, és frissítse a tulajdonságait.
Megjegyzés:
Az oszlopok listája tartalmazza az összetevő bemenetének oszlopait, a korábbi hibakimenetek által hozzáadott ErrorCode és ErrorColumn oszlopokat, valamint az összetevő által hozzáadott ErrorCode és ErrorColumn oszlopokat.
Kattintson az OK gombra.
A frissített csomag mentéséhez kattintson a Fájl menü Kijelölt elemek mentése parancsára.
Adatmegjelenítő hozzáadása adatfolyamhoz
Ez a témakör azt ismerteti, hogyan vehet fel és konfigurálhat adatmegjelenítőt egy adatfolyamban. Az adatmegjelenítő két adatfolyam-összetevő között mozgó adatokat jelenít meg. Az adatmegjelenítők megjeleníthetik például az adatforrásból kinyert adatokat, mielőtt az adatfolyam átalakításával módosítanák az adatokat.
Az elérési út az adatfolyam összetevőit úgy köti össze, hogy az egyik adatfolyam-összetevő kimenetét egy másik összetevő bemenetéhez csatlakoztatja.
Mielőtt adatmegjelenítőket vehet fel egy csomagba, a csomagnak tartalmaznia kell egy adatfolyam-feladatot és legalább két csatlakoztatott adatfolyam-összetevőt.
Adjon hozzá egy adatmegjelenítőt egy hibakimenethez a hiba leírásának és annak az oszlopnak a nevének megtekintéséhez, amelyben a hiba történt. A hibakimenet alapértelmezés szerint csak a hiba és az oszlop numerikus azonosítóit tartalmazza.
Adatmegjelenítő hozzáadása adatfolyamhoz
Az SQL Server Data Tools (SSDT) alkalmazásban nyissa meg a kívánt csomagot tartalmazó Integration Services-projektet.
A Megoldáskezelőben kattintson duplán a csomagra a megnyitásához.
Ha még nem aktív, kattintson a Control Flow fülre.
Kattintson arra az adatfolyam-tevékenységre, amelyhez adatmegjelenítőt szeretne csatolni, majd kattintson az Adatfolyam fülre.
Kattintson a jobb gombbal egy elérési útra két adatfolyam-összetevő között, és kattintson a Szerkesztés parancsra.
Az Általános lapon megtekintheti és szerkesztheti az elérési út tulajdonságait. A PathAnnotation legördülő listában például kiválaszthatja az elérési út mellett megjelenő széljegyzetet.
A Metaadatok lapon megtekintheti az oszlop metaadatait, és átmásolhatja a metaadatokat a vágólapra.
Az Adatmegjelenítő lapon kattintson az Adatmegjelenítő engedélyezése elemre.
A megjelenítendő oszlopok területen jelölje ki az adatmegjelenítőben megjeleníteni kívánt oszlopokat. Alapértelmezés szerint az összes elérhető oszlop ki van jelölve, és megjelenik a Megjelenített oszlopok listában. Jelölje ki azokat az oszlopokat, amelyeket nem szeretne használni a nem használt oszlopok listájára, jelölje ki őket, majd kattintson a balra mutató nyílra.
Megjegyzés:
A rácsban a DT_DATE, DT_DBTIME2, DT_FILETIME, DT_DBTIMESTAMP, DT_DBTIMESTAMP2 és DT_DBTIMESTAMPOFFSET adattípusokat ábrázoló értékek ISO 8601 formátumú sztringekként jelennek meg, a szóközelválasztó pedig a T-elválasztó helyett. A DT_DATE és DT_FILETIME adattípusokat ábrázoló értékek a tört másodpercben hét számjegyet tartalmaznak. Mivel a DT_FILETIME adattípus csak három számjegyet tárol tört másodpercben, a rács a fennmaradó négy számjegy nulláit jeleníti meg. Az DT_DBTIMESTAMP adattípust képviselő értékek három számjegyet tartalmaznak tört másodpercig. A DT_DBTIME2, DT_DBTIMESTAMP2 és DT_DBTIMESTAMPOFFSET adattípust képviselő értékeknél a tört másodpercben megadott számjegyek száma az oszlop adattípusához megadott méretaránynak felel meg. További információ az ISO 8601 formátumokról: Dátum- és időformátumok. Az adattípusokról további információt az Integration Services adattípusai című témakörben talál.
Kattintson az OK gombra.
Adatfolyam-koppintások
Futtatókörnyezetben hozzáadhat egy adatcsapolót egy csomag adatátviteli útvonalához, és átirányíthatja a kimenetet az adatcsapolóból egy külső fájlba. A funkció használatához telepítenie kell az SSIS-projektet a projekttelepítési modell használatával egy SSIS-kiszolgálón. Miután telepítette a csomagot a kiszolgálón, T-SQL-szkripteket kell végrehajtania az SSISDB-adatbázison az adat koppintások hozzáadásához a csomag végrehajtása előtt. Íme egy példaforgatókönyv:
Hozzon létre egy csomag végrehajtási példányát a catalog.create_execution (SSISDB Database) tárolt eljárásával.
Adatkoppintás hozzáadása catalog.add_data_tap vagy catalog.add_data_tap_by_guid tárolt eljárással.
Indítsa el a csomag végrehajtási példányát a catalog.start_execution (SSISDB Database) használatával.
Íme egy sql-példaszkript, amely a fenti forgatókönyvben leírt lépéseket hajtja végre:
Declare @execid bigint
EXEC [SSISDB].[catalog].[create_execution] @folder_name=N'ETL Folder', @project_name=N'ETL Project', @package_name=N'Package.dtsx', @execution_id=@execid OUTPUT
EXEC [SSISDB].[catalog].add_data_tap @execution_id = @execid, @task_package_path = '\Package\Data Flow Task', @dataflow_path_id_string = 'Paths[Flat File Source.Flat File Source Output]', @data_filename = 'output.txt'
EXEC [SSISDB].[catalog].[start_execution] @execid
Az create_execution tárolt eljárás mappaneve, projektneve és csomagnév paraméterei megfelelnek az Integration Services katalógusában található mappa-, projekt- és csomagneveknek. Az SQL Server Management Studióból lekérheti a create_execution hívásban használni kívánt mappát, projektet és csomagneveket az alábbi képen látható módon. Ha nem látja itt az SSIS-projektet, lehet, hogy még nem telepítette a projektet az SSIS-kiszolgálón. Kattintson a jobb gombbal az SSIS-projektre a Visual Studióban, majd a Telepítés parancsra kattintva telepítse a projektet a várt SSIS-kiszolgálón.
Az SQL-utasítások beírása helyett az alábbi lépések végrehajtásával hozhatja létre a csomagvégrehozási szkriptet:
Kattintson a jobb gombbal a Package.dtsx elemre, és kattintson a Végrehajtás parancsra.
Kattintson a Szkript eszköztár gombra a szkript létrehozásához.
Most adja hozzá a add_data_tap utasítást a start_execution hívás előtt.
A add_data_tap tárolt eljárás task_package_path paramétere megfelel a Visual Studióban lévő adatfolyam-feladat PackagePath tulajdonságának. A Visual Studióban kattintson a jobb gombbal az adatfolyam-feladatra, majd a Tulajdonságok parancsra a Tulajdonságok ablak elindításához. Jegyezze fel a PackagePath tulajdonság értékét, hogy a task_package_path paraméter értékeként használja add_data_tap tárolt eljáráshíváshoz.
A add_data_tap tárolt eljárás dataflow_path_id_string paramétere annak az adatfolyam-útvonalnak az IdentificationString tulajdonságának felel meg, amelyhez adat koppintást szeretne hozzáadni. A dataflow_path_id_string lekéréséhez kattintson az adatfolyam elérési útjára (az adatfolyam tevékenységei közötti nyílra), és jegyezze fel az IdentificationString tulajdonság értékét a Tulajdonságok ablakban.
A szkript végrehajtásakor a kimeneti fájl a Program Files<\Microsoft SQL Server\110\DTS\DataDumps fájlban >lesz tárolva. Ha már létezik ilyen nevű fájl, létrejön egy új fájl utótaggal (például: output[1].txt) .
Ahogy korábban említettük, catalog.add_data_tap_by_guid tárolt eljárást is használhat add_data_tap tárolt eljárás használata helyett. Ez a tárolt eljárás az adatfolyam-feladat azonosítóját veszi paraméterként task_package_path helyett. Az adatfolyam-feladat azonosítóját a Visual Studio tulajdonságok ablakából szerezheti be.
Adatkoppintás eltávolítása
A végrehajtás megkezdése előtt az catalog.remove_data_tap tárolt eljárás segítségével eltávolíthat egy adatleágazást. Ez a tárolt eljárás paraméterként használja az adatkoppintás azonosítóját, amelyet a add_data_tap tárolt eljárás kimeneteként kaphat.
DECLARE @tap_id bigint
EXEC [SSISDB].[catalog].add_data_tap @execution_id = @execid, @task_package_path = '\Package\Data Flow Task', @dataflow_path_id_string = 'Paths[Flat File Source.Flat File Source Output]', @data_filename = 'output.txt' @data_tap_id=@tap_id OUTPUT
EXEC [SSISDB].[catalog].remove_data_tap @tap_id
Az összes adatkapcsolat listázása
Az összes adatcsapot a catalog.execution_data_taps nézet használatával is listázhatja. Az alábbi példa adatkoppintást nyer ki egy specifikáció végrehajtási példányához (azonosító: 54).
select * from [SSISDB].[catalog].execution_data_taps where execution_id=@execid
Teljesítménnyel kapcsolatos észrevételek
A részletes naplózási szint engedélyezése és az adatcsapok hozzáadása növeli az adatintegrációs megoldás által végrehajtott I/O-műveletek számát. Ezért azt javasoljuk, hogy csak hibaelhárítási célból adjon hozzá adatkoppintást
Video
Ez a TechNet-videó bemutatja, hogyan adhat hozzá/használhat adatcsapokat az SQL Server 2012 SSISDB katalógusában, amelyek segítenek a csomagok programozott hibakeresésében és a részleges eredmények futásidőben történő rögzítésében. Azt is ismerteti, hogyan listázhatja vagy távolíthatja el ezeket az adat koppintásokat, és ajánlott eljárásokat az adat koppintások SSIS-csomagokban való használatához.