Megosztás a következőn keresztül:

U-SQL-feladatok ütemezése SQL Server Integration Services (SSIS) használatával

  • Cikk

Ebben a dokumentumban megtudhatja, hogyan vezényelhet és hozhat létre U-SQL-feladatokat SQL Server Integration Service (SSIS) használatával.

Fontos

Az Azure Data Lake Analytics 2024. február 29-én megszűnt. További információ ezzel a bejelentéssel.

Az adatelemzéshez a szervezet használhatja a Azure Synapse Analyticset vagy a Microsoft Fabricet.

Előfeltételek

Az Azure Feature Pack for Integration Services biztosítja az Azure Data Lake Analytics feladatot és az Azure Data Lake Analytics Csatlakozáskezelő, amely segít csatlakozni az Azure Data Lake Analytics szolgáltatáshoz. A feladat használatához győződjön meg arról, hogy telepíti a következőt:

Azure Data Lake Analytics feladat

Az Azure Data Lake Analytics feladat lehetővé teszi, hogy a felhasználók U-SQL-feladatokat küldjenek az Azure Data Lake Analytics-fiókba.

Megtudhatja, hogyan konfigurálhatja az Azure Data Lake Analytics feladatot.

Azure Data Lake Analytics-feladat az SSIS-ben

Az U-SQL-szkriptet különböző helyekről szerezheti be az SSIS beépített függvényeivel és feladataival. Az alábbi forgatókönyvek bemutatják, hogyan konfigurálhatja az U-SQL-szkripteket a különböző felhasználói esetekhez.

1. forgatókönyv – Beágyazott szkript hívása tvf-ek és tárolt procs használatával

Az Azure Data Lake Analytics Task Szerkesztő konfigurálja a SourceType-tDirectInputként, és helyezze az U-SQL-utasításokat a USQLStatement szolgáltatásba.

A könnyű karbantartás és a kódkezelés érdekében csak a rövid U-SQL-szkripteket helyezze beágyazott szkriptek közé, például meghívhatja a meglévő táblaértékű függvényeket és tárolt eljárásokat az U-SQL-adatbázisokban.

Beágyazott U-SQL-szkript szerkesztése az SSIS-feladatban

Kapcsolódó cikk: Paraméter továbbítása tárolt eljárásoknak

2. forgatókönyv – U-SQL-fájlok használata az Azure Data Lake Store-ban

U-SQL-fájlokat is használhat az Azure Data Lake Store-ban az Azure Data Lake Store fájlrendszer-feladatával az Azure Feature Packben. Ez a megközelítés lehetővé teszi a felhőben tárolt szkriptek használatát.

Kövesse az alábbi lépéseket az Azure Data Lake Store fájlrendszer-feladat és az Azure Data Lake Analytics-feladat közötti kapcsolat beállításához.

Feladatvezérlési folyamat beállítása

SSIS-csomagtervező nézetben adjon hozzá egy Azure Data Lake Store fájlrendszerfeladatot, egy Foreach Loop-tárolót és egy Azure Data Lake Analytics-feladatot a Foreach huroktárolóban. Az Azure Data Lake Store fájlrendszer-feladat segít az ADLS-fiók U-SQL-fájljainak egy ideiglenes mappába való letöltésében. A Foreach Loop-tároló és az Azure Data Lake Analytics-feladat segítségével az ideiglenes mappa alatt lévő összes U-SQL-fájlt U-SQL-feladatként elküldhet az Azure Data Lake Analytics-fiókba.

Egy Foreach-huroktárolóhoz hozzáadott Azure Data Lake Store fájlrendszerfeladatot ábrázoló ábra.

Az Azure Data Lake Store fájlrendszerfeladatának konfigurálása

  1. Állítsa a műveletetCopyFromADLS értékre.
  2. Az AzureDataLakeConnection beállítása, további információ az Azure Data Lake Store Csatlakozáskezelő.
  3. Az AzureDataLakeDirectory beállítása. Mutasson arra a mappára, amely az U-SQL-szkripteket tárolja. Használjon relatív elérési utat, amely az Azure Data Lake Store-fiók gyökérmappához képest van.
  4. Állítsa a Cél elemet egy olyan mappára, amely gyorsítótárazza a letöltött U-SQL-szkripteket. Ez a mappa elérési útja a Foreach loop tárolóban lesz használva az U-SQL-feladatküldéshez.

Az Azure Data Lake Store fájlrendszerfeladatának konfigurálása

További információ az Azure Data Lake Store fájlrendszer-feladatáról.

Foreach huroktároló konfigurálása

  1. A Gyűjtemény lapon állítsa az Enumerator értékét Foreach File Enumerator értékre.

  2. Az Enumerator konfigurációs csoportban állítsa a Mappát a letöltött U-SQL-szkripteket tartalmazó ideiglenes mappára.

  3. Állítsa a Fájlok beállítást az Enumerator konfigurációja*.usql alatt úgy, hogy a huroktároló csak a következő végződésű .usqlfájlokat kapja meg: .

    Képernyőkép a Foreach-hurok Szerkesztő a

  4. A Változóleképezések lapon adjon hozzá egy felhasználó által definiált változót az egyes U-SQL-fájlok fájlnevének lekéréséhez. Állítsa az indexet 0 értékre a fájlnév lekéréséhez. Ebben a példában definiáljon egy nevű változót User::FileName. Ezzel a változóval dinamikusan lekérheti az U-SQL-szkriptfájl-kapcsolatot, és beállíthatja az U-SQL-feladat nevét az Azure Data Lake Analytics Feladatban.

    A Foreach huroktároló konfigurálása a fájlnév lekéréséhez

Azure Data Lake Analytics-feladat konfigurálása

  1. Állítsa a SourceType értékét a FileConnection értékre.

  2. Állítsa a FileConnection beállítást arra a fájlkapcsolatra, amely a Foreach huroktárolóból visszaadott fájlobjektumokra mutat.

    A fájlkapcsolat létrehozása:

    1. Válassza az <Új kapcsolat...> lehetőséget a FileConnection beállításban.

    2. Állítsa a Használat típusa beállítást a Meglévő fájl értékre, és állítsa a Fájlt bármely meglévő fájl elérési útjára.

      Képernyőkép a Fájl Csatlakozáskezelő Szerkesztő a

    3. Kapcsolatkezelők nézetben kattintson a jobb gombbal a létrehozott fájlkapcsolatra, és válassza a Tulajdonságok parancsot.

    4. A Tulajdonságok ablakban bontsa ki a Kifejezések elemet, és állítsa a ConnectionString elemet a Foreach Huroktárolóban definiált változóra, például @[User::FileName]: .

      Foreach huroktároló konfigurálása

  3. Állítsa be az AzureDataLakeAnalyticsConnectiont ahhoz az Azure Data Lake Analytics fiókhoz, amelyhez feladatokat szeretne küldeni. További információ az Azure Data Lake Analytics Csatlakozáskezelő.

  4. Egyéb feladatkonfigurációk beállítása. További információk.

  5. A Kifejezések használatával dinamikusan állíthatja be az U-SQL-feladat nevét:

    1. A Kifejezések lapon adjon hozzá egy új kifejezéskulcs-érték párot a JobName elemhez.

    2. Állítsa a JobName értékét a Foreach Huroktárolóban definiált változóra, például @[User::FileName]: .

      SSIS-kifejezés konfigurálása U-SQL-feladatnévhez

3. forgatókönyv – U-SQL-fájlok használata Azure Blob Storage

Az U-SQL-fájlokat Azure Blob Storage az Azure-beli Blob letöltési feladatával használhatja az Azure Feature Packben. Ez a megközelítés lehetővé teszi a szkriptek használatát a felhőben.

A lépések hasonlóak a 2. forgatókönyvhöz: U-SQL-fájlok használata az Azure Data Lake Store-ban. Módosítsa az Azure Data Lake Store fájlrendszer-feladatát Azure Blob letöltési feladatra. További információ az Azure Blob letöltési feladatáról.

A vezérlőfolyamat a következőhöz hasonló:

U-SQL-fájlok használata az Azure Data Lake Store-ban

4. forgatókönyv – U-SQL-fájlok használata a helyi gépen

A felhőben tárolt U-SQL-fájlok használata mellett a helyi gépen vagy az SSIS-csomagokkal üzembe helyezett fájlokat is használhatja.

  1. Kattintson a jobb gombbal a Kapcsolatkezelők elemre az SSIS-projektben, és válassza az Új Csatlakozáskezelő lehetőséget.

  2. Válassza a Fájltípus , majd a Hozzáadás... lehetőséget.

  3. Állítsa a Használat típusa beállítást a Meglévő fájl értékre, és állítsa a Fájlt a helyi gépen lévő fájlra.

    Fájlkapcsolat hozzáadása a helyi fájlhoz

  4. Azure Data Lake Analytics-feladat hozzáadása és:

    1. Állítsa a SourceType értékét a FileConnection értékre.
    2. Állítsa a FileConnection beállítást a létrehozott fájlkapcsolatra.

  5. Fejezze be az Azure Data Lake Analytics-feladat egyéb konfigurációit.

5. forgatókönyv – U-SQL utasítás használata az SSIS-változóban

Bizonyos esetekben előfordulhat, hogy dinamikusan kell létrehoznia az U-SQL-utasításokat. Az SSIS-változóthasználhatja az SSIS-kifejezéssel és más SSIS-feladatokkal, például a Szkriptfeladattal, hogy segítsen az U-SQL-utasítás dinamikus létrehozásában.

  1. Nyissa meg a Változók eszközablakot az SSIS-változók > felső szintű menüjében.

  2. Adjon hozzá egy SSIS-változót, és állítsa be az értéket közvetlenül, vagy használja az Expression függvényt az érték létrehozásához.

  3. Azure Data Lake Analytics-feladat hozzáadása és:

    1. Állítsa a SourceType értékétváltozóra.
    2. Állítsa a SourceVariable értéket a most létrehozott SSIS-változóra.

  4. Fejezze be az Azure Data Lake Analytics-feladat egyéb konfigurációit.

6. forgatókönyv – Paraméterek továbbítása U-SQL-szkriptbe

Bizonyos esetekben érdemes lehet dinamikusan beállítani az U-SQL változó értékét az U-SQL-szkriptben. Az Azure Data Lake Analytics Task paraméterleképezési funkciója segít ebben a forgatókönyvben. Általában két tipikus felhasználói eset létezik:

  • Állítsa be a bemeneti és kimeneti fájl elérési útvonalának változóit dinamikusan az aktuális dátum és idő alapján.
  • Állítsa be a tárolt eljárások paraméterét.

További információ az U-SQL-szkript paramétereinek beállításáról.

Következő lépések