Az Apache Spark for Azure Synapse külső tábladefinícióinak szinkronizálása kiszolgáló nélküli SQL-készletben

Tip

Microsoft Fabric Data Warehouse egy nagyvállalati szintű relációs raktár egy Data Lake-alaprendszeren, jövőre kész architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik adattárházzal, kezdje a Fabric Data Warehouse. A meglévő dedikált SQL-készlet számítási feladatai frissíthetők Fabric az adatelemzés, a valós idejű elemzés és a jelentéskészítés új képességeinek eléréséhez.

• A Fabric ingyenes próbaverzió indítása.
• Migration Assistant Fabric Data Warehouse.

A kiszolgáló nélküli SQL-készlet képes automatikusan szinkronizálni a metaadatokat az Apache Sparkból. A kiszolgáló nélküli Apache Spark-készletekben meglévő összes adatbázishoz kiszolgáló nélküli SQL-készlet-adatbázis jön létre.

Minden Parquet- vagy CSV-alapú Spark-külső tábla esetében, amely az Azure Storage-ban található, egy külső tábla jön létre egy kiszolgáló nélküli SQL-készlet adatbázisában. Leállíthatja tehát a Spark-készleteket, és továbbra is lekérdezheti a külső Spark-táblákat a kiszolgáló nélküli SQL-készletből.

Ha egy táblát particionált a Sparkban, a tárolóban lévő fájlok mappák szerint vannak rendszerezve. A kiszolgáló nélküli SQL-készlet partíció metaadatokat használ, és csak a lekérdezéshez kapcsolódó mappákat és fájlokat célozza meg.

A metaadatok szinkronizálása automatikusan konfigurálva lesz az Azure Synapse-munkaterületen kiépített minden kiszolgáló nélküli Apache Spark-készlethez. Azonnal megkezdheti a Spark külső táblák lekérdezését.

Az Azure Storage-ban található összes Spark Parquet- vagy CSV-külső tábla egy külső táblával jelenik meg egy kiszolgáló nélküli SQL-készlet adatbázisának megfelelő dbo-sémában.

Külső Spark-tábla lekérdezéseihez futtasson egy külső [spark_table] lekérdezést. A következő példa futtatása előtt győződjön meg arról, hogy megfelelő hozzáféréssel rendelkezik ahhoz a tárfiókhoz , ahol a fájlok találhatók.

SELECT * FROM [db].dbo.[spark_table]

Apache Spark-adattípusok SQL-adattípusok leképezése

Az Apache Spark-adattípusok SQL-adattípusokra való leképezéséről további információt az Azure Synapse Analytics megosztott metaadattábláiban talál.

Következő lépések

A tárterület-hozzáférés-vezérléssel kapcsolatos további információkért lépjen a Tárhozzáférés-vezérlés című cikkre.