A következőkre vonatkozik:
Azure Data Factory 
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk választ ad az Azure Data Factoryval kapcsolatos gyakori kérdésekre.
Mi az az Azure Data Factory?
A Data Factory egy teljes mértékben felügyelt, felhőalapú adatintegrációs ETL-szolgáltatás, amely automatizálja az adatok áthelyezését és átalakítását. Egy olyan gyárhoz hasonlóan, amely berendezéseket futtat a nyersanyagok készáruvá alakításához, az Azure Data Factory vezénylik a meglévő szolgáltatásokat, amelyek nyers adatokat gyűjtenek, és használatra kész információkká alakítják őket.
Az Azure Data Factory használatával adatvezérelt munkafolyamatokat hozhat létre az adatok helyszíni és felhőbeli adattárak közötti áthelyezéséhez. Az adatokat Adatfolyam is feldolgozhatja és átalakíthatja. Az ADF támogatja a külső számítási motorokat a kézzel kódolt átalakításokhoz olyan számítási szolgáltatások használatával, mint az Azure HDInsight, az Azure Databricks és az SQL Server Integration Services (SSIS) integrációs modulja.
A Data Factoryvel az adatfeldolgozást azure-alapú felhőszolgáltatásban vagy saját, saját üzemeltetésű számítási környezetben, például SSIS-ben, SQL Serveren vagy Oracle-ben hajthatja végre. Miután létrehozott egy folyamatot, amely végrehajtja a szükséges műveletet, ütemezheti, hogy rendszeresen fusson (például óránként, naponta vagy hetente), időablak-ütemezést, vagy eseményeseményből aktiválja a folyamatot. További információkért lásd: Az Azure Data Factory bemutatása.
Megfelelőségi és biztonsági szempontok
Az Azure Data Factory számos megfelelőségi tanúsítvánnyal rendelkezik, például SOC 1, 2, 3, HIPAA BAA és HITRUST. A minősítések teljes és növekvő listája itt található. Az auditjelentések és megfelelőségi tanúsítványok digitális másolatai megtalálhatók a Service Trust Centerben
Folyamatok és skálázás szabályozása
A modern adattárházban a különböző integrációs folyamatok és minták támogatása érdekében a Data Factory rugalmas adatfolyam-modellezést tesz lehetővé. Ez magában foglalja a teljes vezérlési folyamat programozási paradigmáit, amelyek magukban foglalják a feltételes végrehajtást, az adatfolyamokban való elágaztatást, valamint a paraméterek explicit átadásának lehetőségét ezen folyamatokon belül és között. A vezérlési folyamat magában foglalja az adatok külső végrehajtási motorokba történő tevékenységküldésen keresztüli átalakítását, valamint az adatfolyam-képességeket, beleértve a nagy léptékű adatáthelyezést is, a Copy tevékenység keresztül.
A Data Factory szabadon modellezheti az adatintegrációhoz szükséges folyamatstílusokat, amelyek igény szerint vagy ismétlődően, ütemezés szerint küldhetők el. Néhány gyakori folyamat, amelyet ez a modell engedélyez:
- Folyamatok vezérlése:
- A tevékenységek egy folyamaton belüli sorozatban összefűzhetők.
- A tevékenységek elágazhatnak egy folyamaton belül.
- Paraméterek:
- A paraméterek a folyamat szintjén határozhatók meg, és az argumentumok átadhatók a folyamat igény szerinti vagy eseményindítóból történő meghívása során.
- A tevékenységek képesek a folyamat számára továbbított argumentumok feldolgozására.
- Egyéni állapot átadása:
- A tevékenységkimeneteket , beleértve az állapotot is, a folyamat későbbi tevékenységei használhatják fel.
- Tárolók hurkolása:
- A foreach-tevékenység egy ciklusban lévő tevékenységek meghatározott gyűjteményén fog iterálni.
- Triggeralapú folyamatok:
- A folyamatok igény szerint, fali órajel alapján vagy az Event Grid-témakörökre reagálva aktiválhatók
- Delta-folyamatok:
- A paraméterekkel meghatározhatja a magas vízjelet a deltamásoláshoz, miközben dimenziókat vagy referenciatáblákat helyez át egy relációs tárolóból, akár a helyszínen, akár a felhőben, az adatok a tóba való betöltéséhez.
További információ: Oktatóanyag: Folyamatok szabályozása.
Nagy léptékű adatátalakítás kódmentes folyamatokkal
Az új böngészőalapú eszközhasználat kód nélküli folyamatkészítést és üzembe helyezést biztosít modern, interaktív webes felülettel.
Vizualizációs adatfejlesztők és adatmérnökök számára a Data Factory webes felhasználói felülete az a kód nélküli tervezési környezet, amelyet folyamatok létrehozásához fog használni. Teljes mértékben integrálva van a Visual Studio Codespace Gittel, és integrációt biztosít a CI/CD és az iteratív fejlesztéshez hibakeresési lehetőségekkel.
Gazdag platformfüggetlen SDK-k speciális felhasználók számára
A Data Factory V2 számos olyan SDK-t biztosít, amelyek segítségével a kedvenc IDE használatával hozhat létre, kezelhet és monitorozhat folyamatokat, többek között az alábbiakat:
- Python SDK
- PowerShell parancssori felület
- C# SDK
A felhasználók a dokumentált REST API-k használatával is csatlakozhatnak a Data Factory V2-hez.
Iteratív fejlesztés és hibakeresés vizuális eszközökkel
Az Azure Data Factory vizuális eszközei lehetővé teszik az iteratív fejlesztést és a hibakeresést. Létrehozhatja a folyamatokat, és futtathat teszteket a folyamatvászon hibakeresési funkciójának használatával anélkül, hogy egyetlen kódsort írna. A tesztfuttatások eredményeit a folyamatvászon Kimeneti ablakában tekintheti meg. Miután a tesztfuttatás sikeres volt, további tevékenységeket adhat hozzá a folyamathoz, és iteratív módon folytathatja a hibakeresést. A tesztfuttatásokat a folyamatban lévő tesztek után is megszakíthatja.
A hibakeresés kiválasztása előtt nem kell közzétennie a módosításokat a data factory szolgáltatásban. Ez olyan helyzetekben hasznos, amikor meg szeretné győződni arról, hogy az új kiegészítések vagy módosítások a várt módon fognak működni, mielőtt frissítené az adat-előállító munkafolyamatait fejlesztési, tesztelési vagy éles környezetekben.
SSIS-csomagok üzembe helyezése az Azure-ban
Ha át szeretné helyezni az SSIS-számítási feladatokat, létrehozhat egy Data Factoryt, és üzembe helyezhet egy Azure-SSIS integrációs modult. Az Azure-SSIS integrációs modul az Azure-beli virtuális gépek (csomópontok) teljes körűen felügyelt fürtje, amely az SSIS-csomagok felhőben való futtatására van dedikáltan. Részletes útmutatásért tekintse meg az SSIS-csomagok Üzembe helyezése az Azure-ban című oktatóanyagot.
SDK-k
Ha Ön fejlett felhasználó, és programozott felületet keres, a Data Factory számos olyan SDK-t biztosít, amelyekkel a kedvenc IDE-jét használva hozhat létre, kezelhet vagy figyelhet folyamatokat. A nyelvi támogatás tartalmazza a .NET, a PowerShell, a Python és a REST nyelvet.
Figyelés
Az adat-előállítók a PowerShell, az SDK vagy a vizualizációmonitorozási eszközök segítségével figyelhetők a böngésző felhasználói felületén. Az igény szerinti, triggeralapú és óraalapú egyéni folyamatokat hatékonyan és hatékonyan figyelheti és kezelheti. A meglévő feladatok megszakítása, a hibák áttekintése, a részletes hibaüzenetek lekérése és a hibák hibakeresése egyetlen üvegablakból, a környezetváltás vagy a képernyők közötti navigálás nélkül.
Az SSIS új funkciói a Data Factoryben
A 2017-es első nyilvános előzetes kiadás óta a Data Factory a következő funkciókat adta hozzá az SSIS-hez:
- Az Azure SQL Database három további konfigurációjának/változatának támogatása projektek/csomagok SSIS-adatbázisának (SSISDB) üzemeltetéséhez:
- SQL Database virtuális hálózati szolgáltatásvégpontokkal
- SQL Managed Instance
- Rugalmas készlet
- Az Azure Resource Manager virtuális hálózatának támogatása egy klasszikus virtuális hálózaton felül, amely a jövőben elavulttá vált, így az Azure-SSIS integrációs modult egy SQL Database-hez konfigurált virtuális hálózatba injektálhatja vagy csatlakoztathatja virtuális hálózati szolgáltatásvégpontokkal/MI/helyszíni adathozzáféréssel. További információ: Csatlakozás Azure-SSIS integrációs modulhoz virtuális hálózathoz.
- A Microsoft Entra-hitelesítés és az SQL-hitelesítés támogatása az SSISDB-hez való csatlakozáshoz, lehetővé téve a Microsoft Entra-hitelesítést a Data Factory által felügyelt identitással az Azure-erőforrásokhoz
- Támogatás a meglévő SQL Server-licenc létrehozásához, hogy jelentős költségmegtakarítást érjen el az Azure Hybrid Benefit lehetőséggel
- Az Azure-SSIS integrációs modul Enterprise kiadás támogatása, amely lehetővé teszi a speciális/prémium funkciók használatát, az egyéni telepítőfelületet további összetevők/bővítmények telepítéséhez, valamint egy partneri ökoszisztémát. További információ: Enterprise kiadás, egyéni beállítás és külső bővíthetőség az SSIS-hez az ADF-ben.
- Az SSIS mélyebb integrációja a Data Factoryben, amely lehetővé teszi, hogy első osztályú SSIS-csomagtevékenységeket hívhat meg vagy aktiválhat Data Factory-folyamatokban, és ütemezheti őket az SSMS-en keresztül. További információ: ETL-/ELT-munkafolyamatok modernizálása és kiterjesztése SSIS-tevékenységekkel az ADF-folyamatokban.
Mi az integrációs modul?
Az integrációs modul az Azure Data Factory által a következő adatintegrációs képességek biztosításához használt számítási infrastruktúra különböző hálózati környezetekben:
- Adatáthelyezés: Az adatáthelyezéshez az integrációs modul áthelyezi az adatokat a forrás- és céladattárak között, miközben támogatja a beépített összekötőket, a formátumátalakítást, az oszlopleképezést, valamint a teljesítményalapú és skálázható adatátvitelt.
- Adatfolyam: Adatfolyam esetén hajt végre egy Adatfolyam felügyelt Azure számítási környezetben.
- Kézbesítési tevékenységek: Az átalakításhoz az integrációs modul Natív SSIS-csomagok végrehajtására képes.
- SSIS-csomagok végrehajtása: Az integrációs modul natív módon hajtja végre az SSIS-csomagokat egy felügyelt Azure számítási környezetben. Az integrációs modul támogatja a különböző számítási szolgáltatásokon, például az Azure HDInsighton, az Azure Machine Learningen, az SQL Database-en és az SQL Serveren futó átalakítási tevékenységeket is.
Az adatok áthelyezéséhez és átalakításához szükség szerint üzembe helyezheti az integrációs modul egy vagy több példányát. Az integrációs modul futtatható azure-beli nyilvános hálózaton vagy magánhálózaton (helyszíni, Azure Virtual Network vagy Amazon Web Services virtuális magánfelhő [VPC]). A Data Factoryban a végrehajtandó műveletet egy tevékenység határozza meg. A társított szolgáltatások a céladattárat vagy a számítási szolgáltatást határozzák meg. Az integrációs modulok hídként szolgálnak a tevékenység és a társított szolgáltatások között. A társított szolgáltatás vagy tevékenység hivatkozik rá, és azt a számítási környezetet biztosítja, ahol a tevékenység fut, vagy onnan lesz elküldve. Ily módon a tevékenység végrehajtható a céladattárhoz vagy számítási szolgáltatáshoz lehető legközelebb eső régióban, a lehető leghatékonyabban, a biztonsági és megfelelőségi igényeknek is megfelelően.
Az integrációs futtatókörnyezetek az Azure Data Factory UX-ben hozhatók létre a felügyeleti központon keresztül, valamint minden olyan tevékenységen, adatkészleten vagy adatfolyamon keresztül, amely hivatkozik rájuk. További információkért lásd: Integrációs modul az Azure Data Factoryban.
Mi az integrációs futtatókörnyezetek számának korlátja?
Az integrációs futtatókörnyezeti példányok száma nincs korlátozva egy adat-előállítóban. Az integrációs modul előfizetésenként használható virtuálisgép-magjainak száma azonban korlátozott az SSIS-csomagok végrehajtásához. További információkért lásd a Data Factory korlátait.
Mik az Azure Data Factory legfelső szintű fogalmai?
Az Azure-előfizetések több Azure Data Factory-példányt (más néven adat-előállítókat) is tartalmazhatnak. Az Azure Data Factory négy kulcsfontosságú összetevőt tartalmaz, amelyek platformként működnek együtt, amelyeken adatvezérelt munkafolyamatokat írhat az adatok áthelyezésének és átalakításának lépéseivel.
Pipelines
A data factory egy vagy több folyamattal rendelkezhet. A folyamat tevékenységek logikai csoportosítása egy munkaegység végrehajtásához. A folyamatban lévő tevékenységek együtt egy feladatot hajtanak végre. A folyamatok tartalmazhatnak például olyan tevékenységeket, amelyek adatokat dolgoznak fel egy Azure-blobból, majd hive-lekérdezést futtatnak egy HDInsight-fürtön az adatok particionálásához. Ennek az az előnye, hogy egy folyamat segítségével halmazként kezelheti a tevékenységeket ahelyett, hogy külön-külön kellene kezelnie az egyes tevékenységeket. A folyamat tevékenységeit egymás után, egymástól függetlenül, párhuzamosan is futtathatja.
Adatfolyamok
Az adatfolyamok olyan objektumok, amelyeket vizuálisan hoz létre a Data Factoryben, amelyek nagy léptékben alakítják át az adatokat a háttérbeli Spark-szolgáltatásokon. Nem kell ismernie a programozást vagy a Spark belső elemeit. Egyszerűen tervezzen meg adatátalakítási szándékot gráfok (leképezések) vagy számolótáblák (Power Query-tevékenység) használatával.
Tevékenységek
Egy folyamatban a tevékenységek a feldolgozási lépéseket jelentik. Egy Copy tevékenység például adatokat másolhat az egyik adattárból egy másik adattárba. Hasonlóképpen használhat hive-tevékenységet is, amely Hive-lekérdezést futtat egy Azure HDInsight-fürtön az adatok átalakításához vagy elemzéséhez. A Data Factory három típusú tevékenységet támogat: az adattovábbítási tevékenységeket, az adat-átalakítási tevékenységeket és a vezérlési tevékenységeket.
Adathalmazok
Az adatkészletek adatstruktúrákat jelölnek az adattárakon belül, amelyek egyszerűen rámutatnak vagy meghivatkozzák az adatokat, amelyeket a tevékenységekben be- vagy kimenetként használni szeretne.
Társított szolgáltatások
A társított szolgáltatások nagyon hasonlóak a kapcsolati sztringekhoz, amelyek meghatározzák azokat a kapcsolati információkat, amelyeket a Data Factory a külső erőforrásokhoz történő csatlakozáshoz igényel. Gondoljon rá így: A társított szolgáltatás határozza meg az adatforráshoz való kapcsolatot, az adathalmaz pedig az adatok struktúráját. Egy Azure Storage társított szolgáltatás például megadja az Azure Storage-fiókhoz való csatlakozáshoz szükséges kapcsolati sztring. Az Azure Blob-adatkészlet pedig meghatározza a blobtárolót és az adatokat tartalmazó mappát.
A társított szolgáltatásoknak két célja van a Data Factoryben:
- Sql Server-példányt, Oracle-adatbázispéldányt, fájlmegosztást vagy Azure Blob Storage-fiókot tartalmazó adattárat jelöl. A támogatott adattárak listáját lásd: Másolási tevékenység az Azure Data Factoryben.
- Olyan számítási erőforrás jelölésére, amelyen végrehajtható a tevékenység. A HDInsight Hive-tevékenység például egy HDInsight Hadoop-fürtön fut. Az átalakítási tevékenységek és a támogatott számítási környezetek listáját az Adatok átalakítása az Azure Data Factoryben című témakörben találja.
Triggerek
Az eseményindítók olyan feldolgozási egységeket jelölnek, amelyek meghatározzák, hogy mikor indul el a folyamat végrehajtása. A különböző típusú eseményekhez eltérő típusú eseményindítók tartoznak.
Folyamatfuttatások
A folyamatfuttatás a folyamat végrehajtásának egy példánya. Általában úgy példányosít egy folyamatfuttatást, hogy argumentumokat ad át a folyamatban definiált paramétereknek. Az argumentumokat manuálisan vagy az eseményindító-definíción belül is átadhatja.
Paraméterek
A paraméterek kulcs-érték párok írásvédett konfigurációban. Egy folyamat paramétereit definiálja, és a futtatási környezetből való végrehajtás során átadja a megadott paraméterek argumentumait. A futtatási környezetet egy eseményindító vagy egy manuálisan végrehajtott folyamat hozza létre. A folyamatok tevékenységei a paraméterértékeket dolgozzák fel.
Az adathalmaz egy erősen gépelt paraméter és egy entitás, amelyet újra felhasználhat vagy hivatkozhat. Egy tevékenység hivatkozhat adathalmazokra, és felhasználhatja az adathalmaz definíciójában meghatározott tulajdonságokat.
A társított szolgáltatás egy erősen gépelt paraméter is, amely egy adattárhoz vagy számítási környezethez való kapcsolódási adatokat tartalmaz. Emellett egy entitás, amelyet újra felhasználhat vagy hivatkozhat rá.
Vezérlőfolyamatok
A folyamatok vezérlése olyan folyamattevékenységeket vezényel, amelyek láncolási tevékenységeket tartalmaznak egy sorozatban, elágaztatást, a folyamat szintjén definiált paramétereket, valamint azokat az argumentumokat, amelyeket a folyamat igény szerinti vagy eseményindítóból való meghívása során ad át. A vezérlési folyamatok magukban foglalják az egyéni állapotátadást és a hurkoló tárolókat (azaz a foreach iteratorokat).
A Data Factory alapelveivel kapcsolatban további információkat a következő cikkekben talál:
Mi a Data Factory díjszabási modellje?
Az Azure Data Factory díjszabási részleteiért lásd a Data Factory díjszabási adatait.
Hogyan lehet naprakészen tartani a Data Factoryvel kapcsolatos információkat?
Az Azure Data Factory szolgáltatással kapcsolatos legfrissebb információkért látogasson el a következő webhelyekre:
Technikai mélyrepülés
Hány Azure Data Factory-példányt kell használnom?
A kérdésre adott válasz a szervezet által elfogadott biztonsági modelltől függ. A Data Factory minden példányát a legkevésbé kiemelt hozzáférés figyelembevételével kell hatókörbe helyezni. Ez olyan helyzet lehet, amikor a Data Factory egyik példánya támogatja az összes HR-számítási feladatot, a másik pedig az összes pénzügyi adatot. A Data Factory minden példánya különböző társított szolgáltatásokhoz rendelkezik hozzáféréssel, és mindegyik példányt különböző fejlesztői csapatok támogathatják. Nincs további költség, mert számítási növekményekkel számlázunk, így a Data Factory 1 példányában lévő 100 folyamat ugyanazzal a költséggel jár, mint 10 folyamat a Data Factory 10 példányában.
Hogyan ütemezhetek folyamatokat?
A folyamat ütemezéséhez használhatja az ütemező eseményindítóját vagy az időablak-eseményindítót. Az eseményindító egy falióra naptárütemezést használ, amely rendszeres időközönként vagy naptáralapú ismétlődő mintákkal ütemezheti a folyamatokat (például hétfőn 18:00-kor és csütörtökön 21:00-kor). További információ: Folyamat-végrehajtás és eseményindítók.
Átadhatok paramétereket egy folyamatfuttatásnak?
Igen, a paraméterek a Data Factory első osztályú, legfelső szintű koncepciói. Paramétereket a folyamat szintjén definiálhat, és argumentumokat adhat át a folyamat igény szerinti futtatásakor vagy egy eseményindító használatával.
Definiálhatok alapértelmezett értékeket a folyamatparaméterekhez?
Igen. A folyamatok paramétereihez megadhat alapértelmezett értékeket.
A folyamatok tevékenységei használhatják a folyamatfuttatásnak átadott argumentumokat?
Igen. A folyamat minden egyes tevékenysége felhasználhatja a folyamatnak átadott paraméterértéket, és futtathatja a @parameter szerkezettel.
Használható egy tevékenység kimeneti tulajdonsága egy másik tevékenységben?
Igen. A tevékenység kimenete felhasználható egy későbbi tevékenységben a @activity szerkezettel.
Hogyan kecsesen kezeli a null értékeket egy tevékenységkimenetben?
A kifejezésekben szereplő szerkezettel @coalesce a null értékeket kecsesen kezelheti.
Hány folyamattevékenység hajtható végre egyszerre?
Legfeljebb 50 egyidejű folyamattevékenység engedélyezett. Az 51. folyamattevékenység várólistára kerül, amíg meg nem nyílik egy szabad pont. Legfeljebb 800 egyidejű külső tevékenység engedélyezett, amely után azokat ugyanúgy lesznek várólistára állítva.
Adatfolyamok leképezése
Segítségre van szükségem az adatfolyam-logika hibaelhárításához. Milyen információkat kell megadnom a segítségkéréshez?
Ha a Microsoft segítséget vagy hibaelhárítást nyújt az adatfolyamokkal kapcsolatban, adja meg az ADF-folyamat támogatási fájljait. Ez a Zip-fájl tartalmazza az adatfolyam-grafikon kód mögötti szkriptét. Az ADF felhasználói felületén válassza a folyamat melletti ... lehetőséget, majd válassza a Támogatási fájlok letöltése lehetőséget.
Hogyan elérni az adatokat a Data Factory többi 90 adathalmaztípusával?
A leképezési adatfolyam-funkció jelenleg lehetővé teszi az Azure SQL Database, az Azure Synapse Analytics, az Azure Blob Storage-ból vagy az Azure Data Lake Storage Gen2-ből származó tagolt szövegfájlok, valamint a Blob Storage-ból vagy a Data Lake Storage Gen2-ből natív módon származó parquet-fájlokat a forrás és fogadó számára.
A Copy tevékenység segítségével bármely más összekötőből származó adatokat hozhat létre, majd végrehajthat egy Adatfolyam tevékenységet az adatok átalakításához a előkészítés után. A folyamat például először a Blob Storage-ba másolja, majd egy Adatfolyam tevékenység egy adatforrásban lévő adatkészletet használ az adatok átalakításához.
Elérhető a saját üzemeltetésű integrációs modul az adatfolyamokhoz?
A saját üzemeltetésű integrációs modul egy ADF-folyamatszerkezet, amellyel a másolási tevékenységgel adatokat szerezhet be vagy helyezhet át helyszíni vagy virtuálisgép-alapú adatforrásokból és fogadókból. A saját üzemeltetésű integrációs modulhoz használt virtuális gépek ugyanabban a VNET-ben is elhelyezhetők, mint a védett adattárak, hogy hozzáférjenek ezekhez az adattárakhoz az ADF-ből. Az adatfolyamok esetében ezeket a végeredményeket az Azure IR és a felügyelt VNET használatával érheti el.
Az adatfolyam számítási motorja több bérlőt is kiszolgál?
A fürtök soha nem lesznek megosztva. Garantáljuk az éles futtatásokban futtatott feladatok elkülönítését. Hibakeresési forgatókönyv esetén egy személy kap egy fürtöt, és az összes hibakeresés az adott felhasználó által kezdeményezett fürtre kerül.
Van mód attribútumok írására a Cosmos DB-ben az ADF-adatfolyam fogadójában megadott sorrendben?
A Cosmos DB esetében az egyes dokumentumok alapjául szolgáló formátum egy JSON-objektum, amely név-érték párok rendezetlen készlete, így a sorrend nem foglalható le.
Miért nem tudja a felhasználó használni az adatelőnézetet az adatfolyamokban?
Ellenőrizze az egyéni szerepkör engedélyeit. Az adatfolyam-előnézetben több művelet is szerepel. Először ellenőrizze a hálózati forgalmat a böngészőben végzett hibakeresés során. A részletekért tekintse meg az erőforrás-szolgáltatót.
Az ADF-ben ki tudom számítani egy új oszlop értékét a meglévő oszlopból a leképezésből?
Az adatfolyam leképezése során származtatott átalakítással létrehozhat egy új oszlopot a kívánt logikán. Származtatott oszlop létrehozásakor létrehozhat egy új oszlopot, vagy frissíthet egy meglévőt. Az Oszlop szövegmezőbe írja be a létrehozott oszlopot. A séma egy meglévő oszlopának felülbírálásához használhatja az oszlop legördülő menüt. A származtatott oszlop kifejezésének létrehozásához válassza ki az Enter kifejezés szövegmezőjét. Elkezdheti gépelni a kifejezést, vagy megnyithatja a kifejezésszerkesztőt a logika létrehozásához.
Miért hiúsul meg az adatfolyam előnézetének leképezése az átjáró időtúllépésével?
Próbáljon meg nagyobb fürtöt használni, és a hibakeresési beállítások sorkorlátait használva csökkentse a hibakeresési kimenet méretét.
Hogyan paraméterezhetők az oszlopnevek az adatfolyamban?
Az oszlopnév más tulajdonságokhoz hasonlóan paraméterezhető. A származtatott oszlophoz hasonlóan az ügyfél is használhatja $ColumnNameParam = toString(byName($myColumnNameParamInData)). Ezek a paraméterek a folyamatvégrehajtástól az adatfolyamokig továbbíthatók.
A TTL-ről és a költségekről szóló adatfolyam-tanácsadás
Ez a hibaelhárítási dokumentum segíthet megoldani a következő problémákat: Az adatfolyamok teljesítményének leképezése és a hangolási útmutató az élettartamra.
Power Query-adatok átrendezése
Melyek az adatátszervezés támogatott régiói?
A Data Factory a következő régiókban érhető el. A Power Query szolgáltatás minden adatfolyam-régióban elérhető. Ha a szolgáltatás nem érhető el az Ön régiójában, forduljon a támogatási szolgálathoz.
Mi a különbség az adatfolyam leképezése és a Power Query-tevékenység (adatkonvergálás) között?
A leképezési adatfolyamok lehetővé teszik az adatok nagy léptékű átalakítását anélkül, hogy kódolásra van szükség. Az adatfolyam-vásznon egy adatátalakítási feladatot úgy tervezhet meg, hogy több átalakítást hoz létre. Kezdje tetszőleges számú forrásátalakítással, majd az adatátalakítási lépésekkel. Fejezze be az adatfolyamot egy fogadóval, hogy az eredményeket célként adja meg. A leképezési adatfolyam nagyszerűen megfelelteti és átalakítja az adatokat ismert és ismeretlen sémákkal a fogadókban és forrásokban.
A Power Query Data Wrangling lehetővé teszi az agilis adatelőkészítést és -feltárást a Power Query Online összefésülési szerkesztőjével nagy léptékben, spark-végrehajtással. A data lake-k növekedésével néha csak egy adatkészletet kell feltárnia, vagy létre kell hoznia egy adathalmazt a tóban. Nem egy ismert célhoz van megfeleltetve.
Támogatott SQL-típusok
A Power Query Data Wrangling az alábbi adattípusokat támogatja az SQL-ben. A nem támogatott adattípus használatakor érvényesítési hiba jelenik meg.
- rövid
- double
- valós szám
- float
- bejárónő
- nchar
- varchar
- nvarchar
- egész szám
- egész
- bit
- Logikai
- smallint
- tinyint
- bigint
- hosszú
- text
- dátum:
- dátum/idő
- datetime2
- smalldatetime
- időbélyeg
- uniqueidentifier
- xml
Kapcsolódó tartalom
Az adat-előállító létrehozásához szükséges részletes útmutatásért tekintse meg az alábbi oktatóanyagokat: