Adatalkalmazások (forráshoz igazított)
Ha úgy döntött, hogy nem implementál egy adatelemzési motort az adatok egyszeri betöltéséhez az operatív forrásokból, vagy ha az adatelemzési motor nem teszi lehetővé az összetett kapcsolatokat, hozzon létre egy forráshoz igazított adatalkalmazást. Az adatelemzési motornak ugyanazt a folyamatot kell követnie, mint a külső adatforrásokból történő adatbetöltéskor.
Áttekintés
Az alkalmazás erőforráscsoportja csak külső forrásokból, például telemetriából, pénzügyből vagy CRM-ből származó adatbetöltésért és -bővítésért felelős. Ez a réteg valós időben, kötegben és mikrokötegben is működhet.
Ez a szakasz az adat-célzónán belül az egyes adatalkalmazásokhoz (forráshoz igazított) erőforráscsoporthoz üzembe helyezett infrastruktúrát ismerteti.
Tipp
Az adatháló esetében választhat, hogy forrásonként vagy tartományonként egy ilyent helyez üzembe. Az adatszabványozás, az adatminőség és az adatsorrend alapelveit továbbra is követni kell. Az adatplatform-ops csapatok szabványos kódrészleteket fejleszthetnek, és felhívhatják őket ennek elérésére.
Az adat-kezdőzónában minden adatalkalmazáshoz (forráshoz igazított) erőforráscsoporthoz létre kell hoznia a következőt:
- Azure-Key Vault
- Egy Azure Data Factory, amely fejlett mérnöki folyamatokat futtat, amelyek nyersről gazdagítottra alakítják át az adatokat
- Az adatalkalmazás által használt (forráshoz igazított) szolgáltatásnév a betöltési feladatok Azure Databricksben való üzembe helyezéséhez (csak az Azure Databricks használata esetén)
Más szolgáltatások példányait is létrehozhatja, például Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics és Azure Machine Learning.
Megjegyzés
A Delta Lake szabvány érvényesítéséhez sparkmotort kell használnia, például Azure Synapse Sparkot vagy Azure Databrickset.
Ha az Azure Databricks használata mellett dönt, javasoljuk, hogy Azure Synapse Analytics-munkaterület helyett helyezzen üzembe Azure Data Factory, hogy a felület csak a szükséges funkciókra csökkenjen.
Ha azonban egy teljes körű fejlesztési területre van szüksége folyamatokkal és sparkokkal, használja a Azure Synapse Analyticset. Alkalmazzon egy szabályzatot, hogy csak sparkok és folyamatok használatát engedélyezze, így elkerülheti a silók létrehozását egy Azure Synapse SQL-készletben.
Azure Key Vault
Amikor csak lehetséges, az Azure Key Vault funkcióval titkos kódokat tárolhat az Azure-ban.
Minden adatalkalmazás (forráshoz igazított) erőforráscsoport vagy adattartomány (ha mesh) rendelkezik Azure-Key Vault. Ez biztosítja, hogy a titkosítási kulcs, a titkos kód és a tanúsítvány származtatása megfeleljen a környezet követelményeinek. Ez lehetővé teszi az adminisztratív feladatok jobb elkülönítését, és csökkenti a kulcsok, az integrációk és a különböző besorolások titkos kulcsainak keveredésének kockázatát.
Az adatalkalmazáshoz kapcsolódó (forráshoz igazított) kulcsokat az Azure Key Vault kell tartalmaznia.
Fontos
Az adatalkalmazások (forráshoz igazított) kulcstartóinak a minimális jogosultsági modellt kell követnie, és kerülnie kell a tranzakcióméretkorlátokat és a titkos kulcsmegosztást a környezetekben.
Azure Data Factory
Helyezzen üzembe egy Azure Data Factory, amely lehetővé teszi, hogy az adatalkalmazás csapata által írt folyamatok nyersről bővített folyamatokkal fogadják az adatokat. A leképezési adatfolyamok használatával átalakításokat hajthat végre, és az Azure Databricks (betöltési) munkaterület vagy a Spark Azure Synapse összetett átalakításokhoz való használatát használhatja.
Csatlakoztatnia kell Azure Data Factory az adatalkalmazás (forráshoz igazított) adattár DevOps-példányához. Ez a kapcsolat lehetővé teszi a CI/CD-példányok telepítését.
Event Hubs
Ha az adatalkalmazás (forráshoz igazított) követelménye az adatok streamelése, üzembe helyezheti az alsóbb rétegbeli Event Hubsot az adatalkalmazásban (forráshoz igazított) erőforráscsoportban.