Az Azure Synapse Analytics gyakori kérdések

Az Azure Synapse számos szerepkört és hatókört vezet be, amelyekhez hozzárendelheti őket, így egyszerűbbé válik a munkaterület biztonságossá tétele.

Synapse RBAC-szerepkörök:

• Synapse-rendszergazda
• Synapse SQL Rendszergazda istrator
• Synapse Spark Rendszergazda istrator
• Synapse-közreműködő
• Synapse Artifact Publisher
• Synapse-összetevő felhasználója
• Synapse Compute Operator
• Synapse hitelesítő adatok felhasználója
• Synapse Linked Data Manager
• Synapse-felhasználó

A Synapse-munkaterület biztonságossá tételéhez rendelje hozzá az RBAC-szerepköröket az alábbi RBAC-hatókörökhöz:

• Workspaces
• Spark-készletek
• Integrációs futtatókörnyezetek
• Társított szolgáltatások
• Hitelesítő adatok

Emellett dedikált SQL-készletekkel ugyanazokat a biztonsági funkciókat használhatja, amelyeket ismer és szeret.

Kiindulópontként az Azure Synapse az Azure-előfizetés szintjén elérhető beépített költségelemzéssel és költségriasztásokkal működik együtt.

• Dedikált SQL-készletek – közvetlen betekintést kaphat a költségekbe, és szabályozhatja a költségeket, mivel létrehozhatja és megadhatja a dedikált SQL-készletek méretét. Tovább szabályozhatja, hogy mely felhasználók hozhatnak létre vagy skálázhatnak dedikált SQL-készleteket Azure RBAC-szerepkörökkel.

• Kiszolgáló nélküli SQL-készletek – olyan figyelési és költségkezelési vezérlőkkel rendelkezik, amelyekkel napi, heti és havi szinten is lekorlátozza a kiadásokat. További információt a kiszolgáló nélküli SQL-készlet költségkezelésében talál.

• Kiszolgáló nélküli Spark-készletek – Korlátozhatja, hogy ki hozhat létre Spark-készleteket Synapse RBAC-szerepkörökkel.

A Synapse-munkaterületek támogatják a felhasználó által definiált mappákat.

Igen, 2021. június 10-től a Synapse Studio mostantól lehetővé teszi több Power BI-munkaterület hozzáadását egyetlen Azure Synapse-munkaterülethez.

Az Azure Synapse Analytics jelenleg támogatja az Azure Synapse Linket az Azure Cosmos DB-től a Synapse Apache Sparkig és a kiszolgáló nélküli SQL-készletig. Az Apache Sparkhoz készült Azure Synapse Link ga. A kiszolgáló nélküli SQL-készlethez készült Synapse Link előzetes verzióban érhető el. További információt az Azure Cosmos DB-hez készült Azure Synapse Linkben talál.

Az SQL-hez készült Azure Synapse Link általánosan elérhető az SQL Server 2022-ben és az Azure SQL Database-ben is. További információ: Mi az Azure Synapse Link az SQL-hez?

Igen! Minden folyamatösszetevő, jegyzetfüzet, SQL-szkript és Spark-feladatdefiníció a Gitben található. A készletdefiníciók a Gitben lesznek tárolva Azure Resource Manager- (ARM-) sablonokként. A dedikált SQL-készletobjektumok (sémák, táblák, nézetek stb.) ci/CD-támogatással rendelkező adatbázisprojektekkel lesznek felügyelve. További információkért tekintse meg ezt a CI- és CD-útmutatót.

A képességek és a követelmények eltérőek a két készlettípus között. A különbségek közé tartoznak az adatbázis-objektumok, a lekérdezési nyelvi képességek, a biztonság, az eszközök, az adathozzáférés és az adatformátum. Az SQL-készletek és a kiszolgáló nélküli készletek részletes összehasonlításához látogasson el a Készletek összehasonlítása webhelyre. A készlet bármelyik típusának használatakor ajánlott eljárásokért tekintse meg a dedikált SQL-készlet ajánlott eljárásait és a kiszolgáló nélküli SQL-készlet ajánlott eljárásait.

A Lakehouse nyílt, közvetlen hozzáférésű adatformátumokon alapul, például az Apache Parqueten. Első osztályú támogatást nyújt a gépi tanuláshoz és az adatelemzéshez. A Delta-tábla egy Delta Lake-ben található adatok nézete, amely támogatja az Apache Spark DataFrame olvasási és írási API-k által biztosított legtöbb lehetőséget. A Lakehouse-k segíthetnek az adattárházakkal kapcsolatos jelentős kihívásokban, például az adatok elavultságában, megbízhatóságában, teljes bekerülési költségében és az adatzárolásban. Delta-táblákon olyan optimalizálások érhetők el, mint az automatikus tömörítés és az adaptív lekérdezési tervek. A Delta Lake részletes útmutatója: Delta Lake Guide.

Az automatikus tömörítés az automatikus optimalizálás deltatáblákhoz való két kiegészítő funkciója közé tartozik. Miután egy táblába való írás sikeres volt, az Automatikus tömörítés tovább tömörítheti a fájlokat olyan partíciókhoz, amelyeken a legtöbb kis fájl található. Az automatikus tömörítés engedélyezése olyan streamelési használati esetekben ajánlott, ahol elfogadható a percek késésének hozzáadása, és ha nem rendelkezik rendszeres OPTIMIZE-hívásokkal a táblán. Az automatikus optimalizálással és az automatikus tömörítéssel kapcsolatos további információkért tekintse meg ezt az automatikus optimalizálási útmutatót.

A Synapse-folyamat minden egyes tevékenysége a társított szolgáltatásban megadott hitelesítő adatok használatával lesz végrehajtva.

Jelenleg nem.

Néhány különbség például a globális paraméterek támogatása, a Spark-feladatok monitorozása Adatfolyam és az integrációs modul megosztása. További információ: adatintegráció – Synapse vs ADF.

Jelenleg manuálisan kell létrehoznia az Azure Data Factory-folyamatokat és a kapcsolódó összetevőket úgy, hogy exportálja a JSON-t az eredeti folyamatból, és importálja azt a Synapse-munkaterületre.

Tekintse meg ezt a rövid útmutatót.

A használati esetnek két lehetősége van. Az egyik lehetőség, hogy megtartja a folyamatokat az ADF-ben, és be kell csomagolnia egy webes tevékenységet. A beállítással kapcsolatos további információkért tekintse meg ezt a webes tevékenység útmutatót. A másik lehetőség a folyamatok synapse-ba való migrálása. A második lehetőséggel kapcsolatos további információkért tekintse meg ezt a migrálási kódmintát.

Az Apache Spark for Synapse az Apache Spark, amely támogatja az integrációt más szolgáltatásokkal (Microsoft Entra ID, AzureML stb.), valamint további kódtárakkal (mssparktuils, Hummingbird) és előre hangolt teljesítménykonfigurációkkal.

Az Apache Sparkon jelenleg futó számítási feladatok módosítás nélkül futnak az Azure Synapse-hez készült Apache Sparkon.

2023 szeptemberétől az Azure Synapse Apache Spark teljes mértékben támogatja a Spark 3.3-at. Az alapvető összetevők és a jelenleg támogatott verziók teljes listájáért tekintse meg az Apache Spark verziótámogatását.

Igen, az Azure Synapse Apache Spark biztosítja az mssparkutils könyvtárat . A segédprogram teljes dokumentációját a Microsoft Spark segédprogramok bemutatása című témakörben találja.

A munkamenet paramétereinek beállításához használja a %%configure magic available parancsot. A paraméterek érvénybe lépéséhez munkamenet-újraindítás szükséges.

A fürtszintű paraméterek beállításához megadhat egy spark.conf fájlt a Spark-készlethez. Ez a készlet ezután tiszteletben tartja a konfigurációs fájlban lévő paramétereket.

Az Azure Synapse célalapú motorokat biztosít adott használati esetekhez. Az Apache Spark for Synapse feladatszolgáltatásként és nem fürtmodellként lett kialakítva. Két olyan eset van, amikor a felhasználók többfelhasználós fürtmodellt kérnek.

1. forgatókönyv: Sok felhasználó fér hozzá egy fürthöz az adatok BI-célokra való kiszolgálásához.

Ennek a feladatnak a legegyszerűbb módja az, ha a Spark segítségével készíti el az adatokat, majd kihasználja a Synapse SQL kiszolgálói képességeit, amelyekkel csatlakoztathatják a Power BI-t ezekhez az adathalmazokhoz.

2. forgatókönyv: Több fejlesztő használata egyetlen fürtön, hogy pénzt takarítson meg.

Ennek a forgatókönyvnek a kielégítése érdekében minden fejlesztőnek adjon egy kiszolgáló nélküli Spark-készletet, amely kis számú Spark-erőforrás használatára van beállítva. Mivel a kiszolgáló nélküli Spark-készletek nem kerülnek semmibe, amíg aktívan nem használják őket, minimalizálja a költségeket, ha több fejlesztő van. A készletek metaadatokat (Spark-táblákat) osztanak meg, hogy könnyen együttműködhessenek egymással.

Külső csomagokat telepíthet egy requirements.txt fájllal a Spark-készlet létrehozásakor, a synapse-munkaterületről vagy az Azure Portalról. Lásd: Apache Spark-kódtárak kezelése az Azure Synapse Analyticsben.

Az MSSparkUtils a Synapse Sparkon számos segédprogramot kínál a felhasználói élmény fokozása és a más eszközökkel és szolgáltatásokkal való integráció megkönnyítése érdekében. A fájlrendszerek használata, a környezeti változók lekérése, a jegyzetfüzetek összekapcsolása és a titkos kódok használata minimális manuális lépésekkel. A teljes dokumentációért látogasson el a Microsoft Spark Utilities webhelyére.

A dedikált SQL-készletek (korábbi nevén SQL DW) egy Azure Platform as-a-Service (PaaS) vállalati adattárházplatform. Lekérdezheti a meglévő dedikált SQL-készleteket (korábban SQL DW), és új dedikált SQL-készleteket is létrehozhat az Azure Synapse-munkaterületen. Az Azure Synapse-munkaterületeken található dedikált SQL-készlet nem minden funkciója vonatkozik önálló dedikált SQL-készletre (korábban SQL DW), és fordítva. További információ: Mi a különbség az Azure Synapse dedikált SQL-készletei (korábban SQL DW) és az Azure Synapse Analytics-munkaterület dedikált SQL-készletei között? Ha engedélyezni szeretné az Azure Synapse-munkaterület funkcióit egy meglévő dedikált SQL-készlethez (korábban SQL DW-hez), tekintse meg a munkaterület engedélyezését a dedikált SQL-készlethez (korábbi nevén SQL DW).

A Synapse SQL T-SQL-funkcióbeli különbségeinek teljes listáját megtalálja.

Nincs szükség "áthelyezésre" vagy "migrálásra". Dönthet úgy, hogy engedélyezi az új munkaterületi funkciókat a meglévő készleteken. Ha mégis, nincsenek kompatibilitástörő változások, ehelyett olyan új funkciókat használhat, mint a Synapse Studio, a Spark és a kiszolgáló nélküli SQL-készletek. Az Azure Synapse-munkaterületeken a dedikált SQL-készlet nem minden funkciója vonatkozik a dedikált SQL-készletre (korábban SQL DW), és fordítva. Ha egy meglévő dedikált SQL-készlet (korábbi nevén SQL DW) munkaterület-funkcióit szeretné engedélyezni, olvassa el a Munkaterület engedélyezése dedikált SQL-készlethez (korábbi nevén SQL DW) című témakört.

Alapértelmezés szerint az összes új dedikált SQL-készlet üzembe lesz helyezve egy munkaterületen; azonban, ha szükséges, akkor is létrehozhat egy dedikált SQL-készletet (korábbi nevén SQL DW) önálló formában.

Felügyelt virtuális hálózattal vagy anélkül is csatlakozhat a munkaterülethez nyilvános hálózatokról. További információ: Csatlakozás ivity Gépház. A nyilvános hálózatokról való hozzáférés szabályozható a nyilvános hálózat hozzáférési funkciójának vagy a munkaterület tűzfalának engedélyezésével. Másik lehetőségként egy felügyelt privát végpont és privát kapcsolat használatával is csatlakozhat a munkaterülethez. Az Azure Synapse Analytics felügyelt virtuális hálózat nélküli Synapse-munkaterületek nem tudnak felügyelt privát végpontokon keresztül csatlakozni.

Következő lépések

• Az Azure Synapse Analytics használatának első lépései
• Munkaterület létrehozása
• Kiszolgáló nélküli SQL-készlet használata
• Azure Synapse Analytics – ismert problémák
• Az Azure Synapse Analytics újdonságai