Az Apache Spark szinkronizálása Azure Synapse külső tábladefiníciókhoz kiszolgáló nélküli SQL-készletben

A kiszolgáló nélküli SQL-készlet képes automatikusan szinkronizálni a metaadatokat az Apache Sparkból. A kiszolgáló nélküli Apache Spark-készletekben meglévő összes adatbázishoz létrejön egy kiszolgáló nélküli SQL-készlet adatbázisa.

Minden Parquet- vagy CSV-alapú Spark-külső tábla esetében, amely az Azure Storage-ban található, egy külső tábla jön létre egy kiszolgáló nélküli SQL-készlet adatbázisában. Így leállíthatja a Spark-készleteket, és továbbra is lekérdezheti a Külső Spark-táblákat a kiszolgáló nélküli SQL-készletből.

Ha egy tábla particionálása a Sparkban történik, a tárolóban lévő fájlok mappák szerint vannak rendszerezve. A kiszolgáló nélküli SQL-készlet partíció metaadatait fogja használni, és csak a lekérdezés releváns mappáit és fájljait célozza meg.

A metaadatok szinkronizálása automatikusan konfigurálva lesz a Azure Synapse munkaterületen kiépített összes kiszolgáló nélküli Apache Spark-készlethez. A Spark külső tábláinak lekérdezését azonnal megkezdheti.

Az Azure Storage-ban található összes Spark Parquet- vagy CSV-külső tábla külső táblával van ábrázolva egy kiszolgáló nélküli SQL-készlet adatbázisának megfelelő dbo-sémában.

Külső Spark-tábla lekérdezései esetén futtasson egy külső [spark_table] típusú lekérdezést. A következő példa futtatása előtt győződjön meg arról, hogy megfelelő hozzáféréssel rendelkezik ahhoz a tárfiókhoz , ahol a fájlok találhatók.

SELECT * FROM [db].dbo.[spark_table]

Apache Spark-adattípusok és SQL-adattípusok leképezése

Az Apache Spark-adattípusok SQL-adattípusokhoz való leképezéséről az Azure Synapse Analytics megosztott metaadat-táblázatai című témakörben talál további információt.

Következő lépések

Lépjen tovább a Storage Access Control cikkre, és tudjon meg többet a tárhozzáférés-vezérlésről.