Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
A következőre vonatkozik:✅ Warehouse a Microsoft Fabricben
A Microsoft Fabric-beli warehouse beépített adatbetöltési eszközöket biztosít. Ezekkel az eszközökkel kód nélküli vagy kódban gazdag szolgáltatások használatával nagy léptékben betölthet adatokat a raktárakba.
Adatbetöltési eszköz kiválasztása
Válasszon egy adatbetöltési lehetőséget a következő feltételek alapján:
- A kódban gazdag adatbetöltési műveletekhez használja a COPY (Transact-SQL) utasítást. Ez biztosítja a legmagasabb adatbetöltési átviteli sebességet. Akkor használja, ha adatbetöltést kell hozzáadnia a Transact-SQL logikája részeként.
- Első lépésként tekintse meg az Adatok betöltése a COPY utasítással című témakört.
- A Warehouse támogatja a kompatibilitásra vonatkozó hagyományos
BULK INSERTutasítást is. A Fabric Data Warehouse-ben ez az utasítás a klasszikus betöltési beállítások mellettiCOPY INTOviselkedésnek felel meg. - A
COPYWarehouse utasítása támogatja az Azure Storage-fiókokból és a OneLake lakehouse-mappákból származó adatforrásokat. - Adja meg a(z)
Workspace Identityelemet a(z)CREDENTIALzáradékban, hogy a forrás elérésekor megszemélyesítse a Fabric-munkaterület identitását. Például:CREDENTIAL = (IDENTITY = 'Workspace Identity'). A kijelentés továbbra is fut a jelenlegi felhasználó SQL biztonsági kontextusában.
- A BCP API (előzetes verzió) használata közvetlen ügyféloldali betöltéshez, ha az adatok az alkalmazásszinten találhatók, és nem tudja először a fájlokat szakaszba rendezni.
- Első lépésként tekintse meg az adatok betöltése a BCP API-val (előzetes verzió) című témakört.
- A BCP API támogatja bcp.exe szkripteket és alkalmazás API-kat, például c#
SqlBulkCopyés JavaSQLServerBulkCopy. - A legnagyobb átviteli sebességet biztosító fájlalapú adatbetöltéshez az
COPY INTOhasználatát érdemes előnyben részesíteni, amikor az átmeneti tárolás lehetséges.
-
Folyamatokat használjon kód nélküli vagy alacsony kódszámú, robusztus adatbetöltési munkafolyamatokhoz, amelyek ismétlődően, ütemezés szerint futnak, vagy amelyek nagy mennyiségű adatot foglalnak magukban.
- A kezdéshez lásd: Adatok betöltése az adattárházba adatcsatornák használatával.
- A pipelinek használatával robusztus munkafolyamatokat vezényelhet a teljes kinyerés, átalakítás és betöltés (ETL) tapasztalatért. Ez a felület olyan tevékenységeket tartalmaz, amelyek segítenek előkészíteni a célkörnyezetet, egyéni Transact-SQL utasításokat futtatni, kereséseket végezni, vagy adatokat másolni egy forrásból egy célhelyre.
- Használjon adatfolyamokat kód nélküli felhasználói élményhez, amely lehetővé teszi az egyéni átalakításokat az adatok forrásának betöltését megelőzően.
- Első lépésként tekintse meg az adatok adatfolyam használatával történő betöltését ismertető témakört.
- Ezek az átalakítások magukban foglalják (de nem kizárólag) az adattípusok módosítását, oszlopok hozzáadását vagy eltávolítását, vagy függvények használatát számított oszlopok létrehozásához.
- A T-SQL-betöltéssel kódban gazdag szolgáltatásokat használhat új táblák létrehozásához vagy meglévők frissítéséhez forrásadatokkal ugyanazon a munkaterületen vagy külső tárolón belül.
- Első lépésként tekintse meg a Transact-SQL használatával történő adatbetöltést a raktárba.
- Olyan Transact-SQL funkciók, mint például a
INSERT...SELECT,SELECT INTOvagyCREATE TABLE AS SELECT (CTAS)olyan táblák adatainak olvasásához, amelyek ugyanazon a munkaterületen belül más raktárakra, tóházakra vagy tükrözött adatbázisokra hivatkoznak. Ezekkel a funkciókkal adatokat is olvashat aOPENROWSETfüggvényből, amely külső Azure tárfiókokban lévő fájlokra hivatkozik. - Emellett adatbázisközi lekérdezéseket is írhat a Fabric munkaterület különböző raktárai között.
Támogatott adatformátumok és források
A Warehouse adatbeolvasás a Microsoft Fabric számos adatformátumot és forrást támogat. A cikkben ismertetett minden beállítás tartalmazza a támogatott adatösszekötő-típusok és adatformátumok saját listáját.
A T-SQL-betöltési táblaadatforrásoknak ugyanabban a Microsoft Fabric munkaterületen kell lenniük, a fájladatforrásoknak pedig Azure Data Lake vagy Azure Blob Storage-ban kell lenniük. Az adatokat háromrészes elnevezéssel vagy a OPENROWSET forrásadatok függvényével kérdezheti le. A táblaadatforrások hivatkozhatnak Delta Lake-adatkészletekre, míg OPENROWSET hivatkozhatnak Parquet-, CSV- vagy JSONL-fájlokra Azure Data Lake vagy Azure Blob Storage-ban.
Tegyük fel például, hogy egy munkaterületen két raktár van elnevezve Inventory és Sales. Az alábbihoz hasonló lekérdezések létrehoznak egy új táblát a Inventory raktárban, amelyben a raktárban Inventory lévő tábla tartalma egy táblához van csatlakoztatva a Sales raktárban, valamint az ügyféladatokat tartalmazó külső fájlokkal:
CREATE TABLE Inventory.dbo.RegionalSalesOrders
AS
SELECT
s.SalesOrders,
i.ProductName,
c.CustomerName
FROM Sales.dbo.SalesOrders s
JOIN Inventory.dbo.Products i
ON s.ProductID = i.ProductID
JOIN OPENROWSET( BULK 'abfss://<container>@<storage>.dfs.core.windows.net/<customer-file>.csv' ) AS c
ON s.CustomerID = c.CustomerID
WHERE s.Region = 'West region';
Note
Az adatok OPENROWSET használatával történő beolvasása lassabb lehet, mint a táblából történő adatlekérdezés. Ha ugyanazt a külső adatot szeretné ismételten elérni, érdemes lehet egy dedikált táblába betöltést végrehajtani a teljesítmény és a lekérdezési hatékonyság javítása érdekében.
A COPY (Transact-SQL) utasítás támogatja a CSV, JSONL és PARQUET fájlformátumokat. A támogatott adatforrások közé tartozik az Azure Data Lake Storage (ADLS) Gen2, Azure Blob Storage és OneLake.
Közvetlen ügyféloldali betöltési forgatókönyvek esetén a BCP API (előzetes verzió) támogatja az olyan eszközöket és API-kat, mint a bcp.exe, a C# SqlBulkCopyés a Java SQLServerBulkCopy az SQL-kapcsolatokon anélkül, hogy először fájlokat hoz létre.
A folyamatok és adatfolyamok számos adatforrást és adatformátumot támogatnak. További információ: Folyamatok és adatfolyamok.
Használd a Workspace Identity használatát COPY INTO opcióval
Használd a Workspace Identity -t COPY INTO arra, hogy elválasszd a forrásadathoz való hozzáférést a cél raktártáblába való írási engedélytől. A Workspace Identity támogatott Azure Blob Storage, ADLS Gen2 és OneLake források esetén. Az utasítás a jelenlegi felhasználó SQL biztonsági kontextusában fut. A WITH (CREDENTIAL = (IDENTITY = 'Workspace Identity')) kikötés csak akkor teszi lehetővé COPY INTO számára a munkaterület identitásának megszemélyesítését, amikor hozzáfér a forráshoz. Minden SQL jogosultság és audit attribuutia továbbra is a végrehajtó felhasználóhoz kötött.
Workspace Identity nélkül az a felhasználó, aki elemmegosztás révén hozzáférést kap a raktárhoz, legalább az elemre vonatkozó Olvasási engedéllyel és a szükséges SQL-jogosultságokkal futtathatja a(z) COPY INTO műveletet.
A következő beállítást teljesítsd a Workspace Identity futtatása COPY INTO előtt:
- Konfigurálj egy munkaterület identitását annak a munkaterületnek, amely tartalmazza a célraktárt.
- Biztosítsuk a munkaterület identitásának hozzáférését a forráshoz:
- Azure Blob Storage és ADLS Gen2 esetén keresse meg a munkaterület identitását a munkaterület neve mellett, és rendelje be a Storage Blob Data Reader szerepet a tárolófiókon vagy konténeren. ADLS Gen2 könyvtár szintű hozzáféréshez adjuk meg a szükséges ACL jogosultságokat. Rendelj jogosultságokat a munkaterület identitásának, ahogy egy Microsoft Entra felhasználónak is.
- A OneLake esetében keresse meg a munkaterület identitását a munkaterület neve alapján, adja hozzá ahhoz a munkaterülethez, amely a forrásadatokat tartalmazza, és rendeljen hozzá legalább Közreműködő munkaterületi szerepkört.
- A végrehajtó felhasználónak legalább a Néző szerepet rendelje meg azon a munkaterületen, amely tartalmazza a célraktárt. Az elemszintű jogosultságok önmagukban nem jogosítják fel a felhasználót arra, hogy megszemélyesítse a munkaterület identitását. A munkaterület-szerep követelménye csak akkor érvényes, ha a felhasználó megadja a Workspace Identity-t.
- Adj engedélyt a végrehajtó felhasználónak
INSERTa céltáblán. Ha a Workspace Identity a jogosultság,ADMINISTER DATABASE BULK OPERATIONSakkor nem szükséges engedély.
Az alábbi példa egy CSV-fájlt tölt be a OneLake-ből a Workspace Identity megszemélyesítésével a forrás eléréséhez:
COPY INTO dbo.SalesOrders
FROM 'https://onelake.dfs.fabric.microsoft.com/<workspace-id>/<item-id>/Files/orders/*.csv'
WITH (
FILE_TYPE = 'CSV',
FIRSTROW = 2,
CREDENTIAL = (IDENTITY = 'Workspace Identity')
);
Important
Az érzékenységi címkék szabályzatai szervezetenként változnak.
COPY INTO meghibásíthat, ha a célpontnak van érzékenységi címkéje korlátozásokkal, amelyek megakadályozzák a műveletet. Ha egy érzékenységi címke okozza a hibát, távolítsa el a címkét a célállomásról, mielőtt újra próbálkoznánk a parancsra.
Ajánlott eljárások
A COPY Microsoft Fabric Warehouse parancsa egyszerű, rugalmas és gyors felületet biztosít az Azure Storage és OneLake SQL munkaterhelések nagy áteresztőképességű adatfelvételéhez.
A T-SQL nyelv használatával is létrehozhat egy új táblát, majd beszúrhatja azt, majd frissítheti és törölheti az adatsorokat. Adatbázisközi lekérdezések használatával bármilyen adatbázisból beszúrhat adatokat a Microsoft Fabric munkaterületen. Ha egy Lakehouse-ból egy raktárba szeretne adatokat beszedni, ezt adatbázisközi lekérdezéssel teheti meg. Például:
INSERT INTO MyWarehouseTable
SELECT * FROM MyLakehouse.dbo.MyLakehouseTable;
- Kerülje az adatok egyszeri
INSERTutasítások használatával történő betöltését, mivel ez a megközelítés gyenge teljesítményt okoz a lekérdezéseken és frissítéseken. Ha az adatbetöltéshez egymást követő egyszeriINSERTutasításokat használ, hozzon létre egy új táblát aCREATE TABLE AS SELECT (CTAS)vagyINSERT...SELECTminták használatával, dobja el az eredeti táblát, majd hozza létre újra a táblát aCREATE TABLE AS SELECT (CTAS)használatával létrehozott táblából.- A meglévő tábla elvetése hatással van a szemantikai modellre, beleértve a szemantikai modell egyéni mértékeit vagy testreszabásait is.
- Ha külső adatokkal dolgozik a fájlokon, győződjön meg arról, hogy a fájlok mérete legalább 4 MB.
- Nagyméretű tömörített CSV-fájlok esetén fontolja meg a fájl több fájlra való felosztását.
- Az Azure Data Lake Storage (ADLS) Gen2 jobb teljesítményt nyújt, mint az Azure Blob Storage (örökölt). Amikor csak lehetséges, fontolja meg egy ADLS Gen2-fiók használatát.
- A gyakran futó folyamatok esetében fontolja meg az Azure Storage-fiók elkülönítését más olyan szolgáltatásoktól, amelyek egyszerre férhetnek hozzá ugyanazokhoz a fájlokhoz.
- Az explicit tranzakciók lehetővé teszik több adatmódosítás csoportosítását, hogy azok csak egy vagy több tábla olvasásakor legyenek láthatók, ha a tranzakció teljes véglegesítése folyamatban van. Ha bármelyik módosítás meghiúsul, visszaállíthatja a tranzakciót.
- Ha egy
SELECTtranzakción belül van, és adatbeszúrások előzték meg, az automatikusan létrehozott statisztikák pontatlanok lehetnek a visszaállítás után. A pontatlan statisztikák nem optimális lekérdezési tervekhez és végrehajtási időkhöz vezethetnek. Ha egy nagySELECTméretű tranzakció után visszaállít egy tranzakciót s-velINSERT, frissítse a statisztikát a benneSELECTemlített oszlopokra vonatkozóan.
Note
Függetlenül attól, hogy hogyan történik az adatok betöltése a raktárakba, az adatbetöltési feladat a V-Order írásoptimalizálással optimalizálja az általa létrehozott parquet-fájlokat. A V-Order optimalizálja a parquet-fájlokat, hogy villámgyors olvasást tegye lehetővé a Microsoft Fabric számítási motorjai, például a Power BI, az SQL, a Spark és mások alatt. A raktári lekérdezések általában gyorsabb olvasási időt élveznek az optimalizálással rendelkező lekérdezések esetében, miközben a parquet-fájlok 100% megfelelnek a nyílt forráskódú specifikációjuknak. Ne tiltsa le a V-Order funkciót, mert az befolyásolhatja az olvasási teljesítményt. A V-Order szolgáltatással kapcsolatos további információkért lásd a V-Order for Warehouse ismertetése és kezelése című témakört.
Gyakori kérdések a Fabric Data Warehouse adatbetöltéséről
Mi a tömörített CSV-fájlok betöltésére szolgáló COPY parancs fájlmegosztási útmutatója?
Fontolja meg a nagy CSV-fájlok felosztását, különösen akkor, ha a fájlok száma kicsi, de a jobb teljesítmény érdekében tartsa a fájlokat legalább 4 MB-nál.
Mi az a fájlfelosztási útmutató a Parquet-fájlok betöltésére szolgáló COPY parancshoz?
Fontolja meg a nagy Parquet-fájlok felosztását, különösen akkor, ha a fájlok száma kicsi.
Vannak korlátozások a fájlok számára vagy méretére?
A fájlok száma és mérete nincs korlátozva. A legjobb teljesítmény érdekében azonban legalább 4 MB méretű fájlokat használjon.
Melyik hitelesítést használja a COPY parancs, ha nem jelölek meg egyet?
Alapértelmezés COPY INTO szerint a végrehajtó felhasználó Microsoft Entra identitását használja a forráshozzáféréshez.