Adatok és folyamatok migrálása az Azure Synapse-ból a Microsoft Fabricbe
Az adatok és folyamatok migrálásának első lépése az, hogy azonosítsa a OneLake-ben elérhetővé tenni kívánt adatokat és az áthelyezni kívánt folyamatokat.
Az adatmigrálásnak két lehetősége van:
- 1. lehetőség: Az Azure Data Lake Storage (ADLS) Gen2 alapértelmezett tárolóként. Ha jelenleg az ADLS Gen2-t használja, és el szeretné kerülni az adatmásolást, fontolja meg a OneLake-billentyűparancsok használatát.
- 2. lehetőség: OneLake alapértelmezett tárolóként. Ha tárolórétegként szeretne áttérni az ADLS Gen2-ről a OneLake-ra, fontolja meg a jegyzetfüzetek és Spark-feladatok definícióinak olvasását/írását a OneLake-ből/a OneLake-be.
Adatok áttelepítése
1. lehetőség: ADLS Gen2 tárolóként (billentyűparancsok)
Ha az ADLS Gen2-vel kommunikál, és el szeretné kerülni az adatok duplikálását, létrehozhat egy parancsikont az ADLS Gen2 forrásútvonalához a OneLake-ben. A Hálóban található lakehouse Fájlok és táblázatok szakaszában az alábbi szempontokat figyelembe véve hozhat létre billentyűparancsokat:
- A Fájlok szakasz a tó nem felügyelt területe. Ha az adatok CSV, JSON vagy Parquet formátumban vannak, javasoljuk, hogy hozzon létre egy parancsikont erre a területre.
- A Táblák szakasz a tó felügyelt területe. Itt regisztrálja az összes táblát, a Spark által felügyelt és a nem felügyelt táblákat is. Ha az adatok Delta formátumúak, létrehozhat egy parancsikont ezen a területen, és az automatikus felderítési folyamat automatikusan regisztrálja ezeket a Delta-táblákat a Lakehouse metaadattárában.
További információ az ADLS Gen2 parancsikon létrehozásáról.
2. lehetőség: OneLake tárolóként
Ha a OneLake-t tárolórétegként szeretné használni, és adatokat szeretne áthelyezni az ADLS Gen2-ből, először az Azure Synapse Sparkhoz kapcsolódó elemeket a OneLake-be kell mutatnia, majd át kell vinnie a meglévő adatokat a OneLake-be. Az előbbiek esetében lásd a OneLake és az Azure Synapse Spark integrálását.
A meglévő adatok OneLake-be való áthelyezéséhez több lehetősége is van:
- mssparkutils fastcp: Az mssparkutils kódtár egy fastcp API-t biztosít, amellyel adatokat másolhat az ADLS Gen2-ből a OneLake-be.
- AzCopy: AzCopy parancssori segédprogrammal adatokat másolhat az ADLS Gen2-ből a OneLake-be.
- Azure Data Factory, Azure Synapse és Data Factory in Fabric: Másolási tevékenység használatával másolhat adatokat a lakehouse-ba.
- Billentyűparancsok használata: Parancsikonokkal engedélyezheti az ADLS Gen2 előzményadatait a OneLake-ben. Nincs szükség adatmásolásra.
- Azure Storage Explorer: Az Azure Storage Explorerrel áthelyezheti a fájlokat az ADLS Gen2 helyről a OneLake-be. Megtudhatja , hogyan integrálható a OneLake az Azure Storage Explorerrel.
Folyamatok migrálása (Sparkhoz kapcsolódó tevékenységek)
Ha az Azure Synapse-adatfolyamok jegyzetfüzet- és/vagy Spark-feladatdefiníciós tevékenységeket tartalmaznak, ezeket a folyamatokat át kell helyeznie az Azure Synapse-ból a Data Factory data pipelines in Fabricbe, és hivatkoznia kell a céljegyzetfüzetekre. A jegyzetfüzet-tevékenység a Data Factory-adatfolyamokban érhető el. Itt megtekintheti az összes támogatott adatfolyam-tevékenységet a Fabricben.
- A Spark-tal kapcsolatos adatfolyam-tevékenységekre vonatkozó szempontokat az Azure Synapse Spark és a Fabric közötti különbségekben tekinthet meg.
- A jegyzetfüzetek migrálásáról az Azure Synapse-ból a Fabricbe migrálhatja a jegyzetfüzeteket.
- Az adatfolyam migrálását lásd : Migrálás a Data Factorybe a Fabricben.