Adatok betöltése a raktárba

A következőre vonatkozik:✅ Warehouse a Microsoft Fabricben

A Microsoft Fabric-beli warehouse beépített adatbetöltési eszközöket biztosít. Ezekkel az eszközökkel kód nélküli vagy kódban gazdag szolgáltatások használatával nagy léptékben betölthet adatokat a raktárakba.

Adatbetöltési eszköz kiválasztása

Válasszon egy adatbetöltési lehetőséget a következő feltételek alapján:

  • A kódban gazdag adatbetöltési műveletekhez használja a COPY (Transact-SQL) utasítást. Ez biztosítja a legmagasabb adatbetöltési átviteli sebességet. Akkor használja, ha adatbetöltést kell hozzáadnia a Transact-SQL logikája részeként.
    • Első lépésként tekintse meg az Adatok betöltése a COPY utasítással című témakört.
    • A Warehouse támogatja a kompatibilitásra vonatkozó hagyományos BULK INSERT utasítást is. A Fabric Data Warehouse-ben ez az utasítás a klasszikus betöltési beállítások melletti COPY INTO viselkedésnek felel meg.
    • A COPY Warehouse utasítása támogatja az Azure Storage-fiókokból és a OneLake lakehouse-mappákból származó adatforrásokat.
    • Adja meg a(z) Workspace Identity elemet a(z) CREDENTIAL záradékban, hogy a forrás elérésekor megszemélyesítse a Fabric-munkaterület identitását. Például: CREDENTIAL = (IDENTITY = 'Workspace Identity'). A kijelentés továbbra is fut a jelenlegi felhasználó SQL biztonsági kontextusában.
  • A BCP API (előzetes verzió) használata közvetlen ügyféloldali betöltéshez, ha az adatok az alkalmazásszinten találhatók, és nem tudja először a fájlokat szakaszba rendezni.
    • Első lépésként tekintse meg az adatok betöltése a BCP API-val (előzetes verzió) című témakört.
    • A BCP API támogatja bcp.exe szkripteket és alkalmazás API-kat, például c# SqlBulkCopy és JavaSQLServerBulkCopy.
    • A legnagyobb átviteli sebességet biztosító fájlalapú adatbetöltéshez az COPY INTO használatát érdemes előnyben részesíteni, amikor az átmeneti tárolás lehetséges.
  • Folyamatokat használjon kód nélküli vagy alacsony kódszámú, robusztus adatbetöltési munkafolyamatokhoz, amelyek ismétlődően, ütemezés szerint futnak, vagy amelyek nagy mennyiségű adatot foglalnak magukban.
    • A kezdéshez lásd: Adatok betöltése az adattárházba adatcsatornák használatával.
    • A pipelinek használatával robusztus munkafolyamatokat vezényelhet a teljes kinyerés, átalakítás és betöltés (ETL) tapasztalatért. Ez a felület olyan tevékenységeket tartalmaz, amelyek segítenek előkészíteni a célkörnyezetet, egyéni Transact-SQL utasításokat futtatni, kereséseket végezni, vagy adatokat másolni egy forrásból egy célhelyre.
  • Használjon adatfolyamokat kód nélküli felhasználói élményhez, amely lehetővé teszi az egyéni átalakításokat az adatok forrásának betöltését megelőzően.
  • A T-SQL-betöltéssel kódban gazdag szolgáltatásokat használhat új táblák létrehozásához vagy meglévők frissítéséhez forrásadatokkal ugyanazon a munkaterületen vagy külső tárolón belül.
    • Első lépésként tekintse meg a Transact-SQL használatával történő adatbetöltést a raktárba.
    • Olyan Transact-SQL funkciók, mint például a INSERT...SELECT, SELECT INTO vagy CREATE TABLE AS SELECT (CTAS) olyan táblák adatainak olvasásához, amelyek ugyanazon a munkaterületen belül más raktárakra, tóházakra vagy tükrözött adatbázisokra hivatkoznak. Ezekkel a funkciókkal adatokat is olvashat a OPENROWSET függvényből, amely külső Azure tárfiókokban lévő fájlokra hivatkozik.
    • Emellett adatbázisközi lekérdezéseket is írhat a Fabric munkaterület különböző raktárai között.

Támogatott adatformátumok és források

A Warehouse adatbeolvasás a Microsoft Fabric számos adatformátumot és forrást támogat. A cikkben ismertetett minden beállítás tartalmazza a támogatott adatösszekötő-típusok és adatformátumok saját listáját.

A T-SQL-betöltési táblaadatforrásoknak ugyanabban a Microsoft Fabric munkaterületen kell lenniük, a fájladatforrásoknak pedig Azure Data Lake vagy Azure Blob Storage-ban kell lenniük. Az adatokat háromrészes elnevezéssel vagy a OPENROWSET forrásadatok függvényével kérdezheti le. A táblaadatforrások hivatkozhatnak Delta Lake-adatkészletekre, míg OPENROWSET hivatkozhatnak Parquet-, CSV- vagy JSONL-fájlokra Azure Data Lake vagy Azure Blob Storage-ban.

Tegyük fel például, hogy egy munkaterületen két raktár van elnevezve Inventory és Sales. Az alábbihoz hasonló lekérdezések létrehoznak egy új táblát a Inventory raktárban, amelyben a raktárban Inventory lévő tábla tartalma egy táblához van csatlakoztatva a Sales raktárban, valamint az ügyféladatokat tartalmazó külső fájlokkal:

CREATE TABLE Inventory.dbo.RegionalSalesOrders
AS
SELECT 
    s.SalesOrders,
    i.ProductName,
    c.CustomerName
FROM Sales.dbo.SalesOrders s
JOIN Inventory.dbo.Products i
    ON s.ProductID = i.ProductID
JOIN OPENROWSET( BULK 'abfss://<container>@<storage>.dfs.core.windows.net/<customer-file>.csv' ) AS c
    ON s.CustomerID = c.CustomerID
WHERE s.Region = 'West region';

Note

Az adatok OPENROWSET használatával történő beolvasása lassabb lehet, mint a táblából történő adatlekérdezés. Ha ugyanazt a külső adatot szeretné ismételten elérni, érdemes lehet egy dedikált táblába betöltést végrehajtani a teljesítmény és a lekérdezési hatékonyság javítása érdekében.

A COPY (Transact-SQL) utasítás támogatja a CSV, JSONL és PARQUET fájlformátumokat. A támogatott adatforrások közé tartozik az Azure Data Lake Storage (ADLS) Gen2, Azure Blob Storage és OneLake.

Közvetlen ügyféloldali betöltési forgatókönyvek esetén a BCP API (előzetes verzió) támogatja az olyan eszközöket és API-kat, mint a bcp.exe, a C# SqlBulkCopyés a Java SQLServerBulkCopy az SQL-kapcsolatokon anélkül, hogy először fájlokat hoz létre.

A folyamatok és adatfolyamok számos adatforrást és adatformátumot támogatnak. További információ: Folyamatok és adatfolyamok.

Használd a Workspace Identity használatát COPY INTO opcióval

Használd a Workspace Identity -t COPY INTO arra, hogy elválasszd a forrásadathoz való hozzáférést a cél raktártáblába való írási engedélytől. A Workspace Identity támogatott Azure Blob Storage, ADLS Gen2 és OneLake források esetén. Az utasítás a jelenlegi felhasználó SQL biztonsági kontextusában fut. A WITH (CREDENTIAL = (IDENTITY = 'Workspace Identity')) kikötés csak akkor teszi lehetővé COPY INTO számára a munkaterület identitásának megszemélyesítését, amikor hozzáfér a forráshoz. Minden SQL jogosultság és audit attribuutia továbbra is a végrehajtó felhasználóhoz kötött.

Workspace Identity nélkül az a felhasználó, aki elemmegosztás révén hozzáférést kap a raktárhoz, legalább az elemre vonatkozó Olvasási engedéllyel és a szükséges SQL-jogosultságokkal futtathatja a(z) COPY INTO műveletet.

A következő beállítást teljesítsd a Workspace Identity futtatása COPY INTO előtt:

  1. Konfigurálj egy munkaterület identitását annak a munkaterületnek, amely tartalmazza a célraktárt.
  2. Biztosítsuk a munkaterület identitásának hozzáférését a forráshoz:
    • Azure Blob Storage és ADLS Gen2 esetén keresse meg a munkaterület identitását a munkaterület neve mellett, és rendelje be a Storage Blob Data Reader szerepet a tárolófiókon vagy konténeren. ADLS Gen2 könyvtár szintű hozzáféréshez adjuk meg a szükséges ACL jogosultságokat. Rendelj jogosultságokat a munkaterület identitásának, ahogy egy Microsoft Entra felhasználónak is.
    • A OneLake esetében keresse meg a munkaterület identitását a munkaterület neve alapján, adja hozzá ahhoz a munkaterülethez, amely a forrásadatokat tartalmazza, és rendeljen hozzá legalább Közreműködő munkaterületi szerepkört.
  3. A végrehajtó felhasználónak legalább a Néző szerepet rendelje meg azon a munkaterületen, amely tartalmazza a célraktárt. Az elemszintű jogosultságok önmagukban nem jogosítják fel a felhasználót arra, hogy megszemélyesítse a munkaterület identitását. A munkaterület-szerep követelménye csak akkor érvényes, ha a felhasználó megadja a Workspace Identity-t.
  4. Adj engedélyt a végrehajtó felhasználónak INSERT a céltáblán. Ha a Workspace Identity a jogosultság, ADMINISTER DATABASE BULK OPERATIONS akkor nem szükséges engedély.

Az alábbi példa egy CSV-fájlt tölt be a OneLake-ből a Workspace Identity megszemélyesítésével a forrás eléréséhez:

COPY INTO dbo.SalesOrders
FROM 'https://onelake.dfs.fabric.microsoft.com/<workspace-id>/<item-id>/Files/orders/*.csv'
WITH (
    FILE_TYPE = 'CSV',
    FIRSTROW = 2,
    CREDENTIAL = (IDENTITY = 'Workspace Identity')
);

Important

Az érzékenységi címkék szabályzatai szervezetenként változnak. COPY INTO meghibásíthat, ha a célpontnak van érzékenységi címkéje korlátozásokkal, amelyek megakadályozzák a műveletet. Ha egy érzékenységi címke okozza a hibát, távolítsa el a címkét a célállomásról, mielőtt újra próbálkoznánk a parancsra.

Ajánlott eljárások

A COPY Microsoft Fabric Warehouse parancsa egyszerű, rugalmas és gyors felületet biztosít az Azure Storage és OneLake SQL munkaterhelések nagy áteresztőképességű adatfelvételéhez.

A T-SQL nyelv használatával is létrehozhat egy új táblát, majd beszúrhatja azt, majd frissítheti és törölheti az adatsorokat. Adatbázisközi lekérdezések használatával bármilyen adatbázisból beszúrhat adatokat a Microsoft Fabric munkaterületen. Ha egy Lakehouse-ból egy raktárba szeretne adatokat beszedni, ezt adatbázisközi lekérdezéssel teheti meg. Például:

INSERT INTO MyWarehouseTable
SELECT * FROM MyLakehouse.dbo.MyLakehouseTable;
  • Kerülje az adatok egyszeri INSERT utasítások használatával történő betöltését, mivel ez a megközelítés gyenge teljesítményt okoz a lekérdezéseken és frissítéseken. Ha az adatbetöltéshez egymást követő egyszeri INSERT utasításokat használ, hozzon létre egy új táblát a CREATE TABLE AS SELECT (CTAS) vagy INSERT...SELECT minták használatával, dobja el az eredeti táblát, majd hozza létre újra a táblát a CREATE TABLE AS SELECT (CTAS) használatával létrehozott táblából.
    • A meglévő tábla elvetése hatással van a szemantikai modellre, beleértve a szemantikai modell egyéni mértékeit vagy testreszabásait is.
  • Ha külső adatokkal dolgozik a fájlokon, győződjön meg arról, hogy a fájlok mérete legalább 4 MB.
  • Nagyméretű tömörített CSV-fájlok esetén fontolja meg a fájl több fájlra való felosztását.
  • Az Azure Data Lake Storage (ADLS) Gen2 jobb teljesítményt nyújt, mint az Azure Blob Storage (örökölt). Amikor csak lehetséges, fontolja meg egy ADLS Gen2-fiók használatát.
  • A gyakran futó folyamatok esetében fontolja meg az Azure Storage-fiók elkülönítését más olyan szolgáltatásoktól, amelyek egyszerre férhetnek hozzá ugyanazokhoz a fájlokhoz.
  • Az explicit tranzakciók lehetővé teszik több adatmódosítás csoportosítását, hogy azok csak egy vagy több tábla olvasásakor legyenek láthatók, ha a tranzakció teljes véglegesítése folyamatban van. Ha bármelyik módosítás meghiúsul, visszaállíthatja a tranzakciót.
  • Ha egy SELECT tranzakción belül van, és adatbeszúrások előzték meg, az automatikusan létrehozott statisztikák pontatlanok lehetnek a visszaállítás után. A pontatlan statisztikák nem optimális lekérdezési tervekhez és végrehajtási időkhöz vezethetnek. Ha egy nagy SELECTméretű tranzakció után visszaállít egy tranzakciót s-velINSERT, frissítse a statisztikát a benne SELECTemlített oszlopokra vonatkozóan.

Note

Függetlenül attól, hogy hogyan történik az adatok betöltése a raktárakba, az adatbetöltési feladat a V-Order írásoptimalizálással optimalizálja az általa létrehozott parquet-fájlokat. A V-Order optimalizálja a parquet-fájlokat, hogy villámgyors olvasást tegye lehetővé a Microsoft Fabric számítási motorjai, például a Power BI, az SQL, a Spark és mások alatt. A raktári lekérdezések általában gyorsabb olvasási időt élveznek az optimalizálással rendelkező lekérdezések esetében, miközben a parquet-fájlok 100% megfelelnek a nyílt forráskódú specifikációjuknak. Ne tiltsa le a V-Order funkciót, mert az befolyásolhatja az olvasási teljesítményt. A V-Order szolgáltatással kapcsolatos további információkért lásd a V-Order for Warehouse ismertetése és kezelése című témakört.

Gyakori kérdések a Fabric Data Warehouse adatbetöltéséről

Mi a tömörített CSV-fájlok betöltésére szolgáló COPY parancs fájlmegosztási útmutatója?

Fontolja meg a nagy CSV-fájlok felosztását, különösen akkor, ha a fájlok száma kicsi, de a jobb teljesítmény érdekében tartsa a fájlokat legalább 4 MB-nál.

Mi az a fájlfelosztási útmutató a Parquet-fájlok betöltésére szolgáló COPY parancshoz?

Fontolja meg a nagy Parquet-fájlok felosztását, különösen akkor, ha a fájlok száma kicsi.

Vannak korlátozások a fájlok számára vagy méretére?

A fájlok száma és mérete nincs korlátozva. A legjobb teljesítmény érdekében azonban legalább 4 MB méretű fájlokat használjon.

Melyik hitelesítést használja a COPY parancs, ha nem jelölek meg egyet?

Alapértelmezés COPY INTO szerint a végrehajtó felhasználó Microsoft Entra identitását használja a forráshozzáféréshez.