Ez a cikk egy biztonságos kutatási környezetet ír le, amely lehetővé teszi a kutatók számára, hogy magas szintű ellenőrzés és védelem alatt álló bizalmas adatokhoz férjenek hozzá. Ez a cikk olyan szervezetekre vonatkozik, amelyeknek be kell tartaniuk a jogszabályi megfelelőséget vagy más szigorú biztonsági követelményeket.
Töltse le az architektúra Visio-fájlját.
Az alábbi vagy adatfolyam a fenti diagramnak felel meg:
Az adattulajdonosok adathalmazokat töltenek fel egy nyilvános blobtároló-fiókba. A Microsoft által felügyelt kulcsokkal titkosítják az adatokat.
Az Azure Data Factory egy eseményindítót használ, amely elkezdi másolni a feltöltött adathalmazt egy adott helyre vagy importálási útvonalra egy másik, biztonsági vezérlőkkel rendelkező tárfiókon. A tárfiókot csak privát végponton keresztül érheti el. A korlátozott engedélyekkel rendelkező szolgáltatásnév is hozzáférhet a fiókhoz. A Data Factory törli az eredeti másolatot, így az adathalmaz nem módosítható.
A kutatók egy streamelési alkalmazáson keresztül érik el a biztonságos környezetet az Azure Virtual Desktop kiemelt jump boxként való használatával.
A biztonságos tárfiókban lévő adathalmaz azoknak az adatelemzési virtuális gépeknek (virtuális gépeknek) jelenik meg, amelyeket biztonságos hálózati környezetben hoz létre a kutatómunkához. Az adatok előkészítésének nagy része ezeken a virtuális gépeken történik.
A biztonságos környezethez tartozik az Azure Machine Learning és az Azure Synapse Analytics, amelyek privát végponton keresztül férhetnek hozzá az adathalmazhoz. Ezekkel a platformokkal gépi tanulási modelleket taníthat be, helyezhet üzembe, automatizálhat és kezelhet, vagy használhatja az Azure Synapse Analyticset. Ezen a ponton olyan modelleket hozhat létre, amelyek megfelelnek a szabályozási irányelveknek. Az összes modelladat azonosítása a személyes adatok eltávolításával.
A modelleket vagy az azonosított adatokat a rendszer a biztonságos tároló vagy az exportálási útvonal egy külön helyére menti. Amikor új adatokat ad hozzá az exportálási útvonalhoz, elindít egy logikai alkalmazást. Ebben az architektúrában a logikai alkalmazás kívül esik a biztonságos környezeten, mert a rendszer nem küld adatokat a logikai alkalmazásnak. Egyetlen funkciója az értesítések küldése és a manuális jóváhagyási folyamat elindítása.
A logikai alkalmazás jóváhagyási folyamatot indít el az exportálandó várólistán lévő adatok áttekintésének kérésével. A manuális véleményezők gondoskodnak arról, hogy a bizalmas adatok ne legyenek exportálva. A felülvizsgálati folyamat után az adatok jóváhagyásra vagy elutasításra kerülnek.
Megjegyzés
Ha nincs szükség jóváhagyási lépésre a kiszivárgáskor, kihagyhatja a logikai alkalmazás lépését.
Ha az azonosított adatok jóváhagyásra kerülnek, a rendszer elküldi őket a Data Factory-példánynak.
A Data Factory egy külön tárolóban helyezi át az adatokat a nyilvános tárfiókba, hogy a külső kutatók hozzáférhessenek az exportált adatokhoz és modellekhez. Másik lehetőségként egy másik tárfiókot is kiépítheti alacsonyabb biztonsági környezetben.
Ez az architektúra több Azure-szolgáltatásból áll, amelyek az igényeknek megfelelően méretezik az erőforrásokat. A következő szakaszok ezeket a szolgáltatásokat és szerepköreiket ismertetik. A termékdokumentációra mutató hivatkozásokért tekintse meg a következő lépéseket.
Az alábbiakban a kutatási adatok áthelyezését és feldolgozását szolgáló alapvető összetevőket találja.
Az Azure-beli adatelemzési virtuális gépek olyan virtuális gépek, amelyeket adatelemzési és gépi tanulási eszközökkel konfigurál. Az adatelemzési virtuális gépet akkor használja, ha adott csomagokra vagy eszközökre , például MATLAB-ra vagy SAS-ra van szüksége, amelyek szolgáltatásként (PaaS- ) környezetként nem támogathatók. A biztonság és a könnyű használat érdekében válassza a Machine Learning és más PaaS-beállításokat, ha támogatottak.
A Machine Learning egy szolgáltatás, amellyel gépi tanulási modelleket taníthat be, helyezhet üzembe, automatizálhat és kezelhet. A gépi tanulási számítási erőforrások lefoglalásának és használatának kezelésére is használható. A Machine Learning a jupyter notebookok fejlesztési célú eszköze.
A Machine Learning Compute egy csomópontfürt, amellyel gépi tanulási és AI-modelleket taníthat be és tesztelhet. A számítás igény szerint van lefoglalva egy automatikus skálázási lehetőség alapján. A Visual Studio Code -ot (VS Code) streamelési alkalmazásként helyezheti üzembe a Virtual Desktopból, és csatlakoztathatja a Machine Learning-számításhoz egy alternatív fejlesztési környezethez.
Az Azure Blob Storage két példányból áll. A nyilvános példány ideiglenesen tárolja azokat az adatokat, amelyeket az adattulajdonosok feltöltenek. A nyilvános példány azt követően is tárolja az azonosított adatokat, hogy az adatokat egy külön tárolóban modellozza. A második példány privát. Megkapja a betanítási és tesztelési adatkészleteket a Machine Learningből, amelyeket a betanítási szkriptek használnak. A tároló virtuális meghajtóként van csatlakoztatva egy Machine Learning számítási fürt minden csomópontjára.
A Data Factory automatikusan áthelyezi az adatokat különböző biztonsági szintű tárfiókok között a feladatok elkülönítésének biztosítása érdekében.
Az Azure Synapse Analytics egy elemzési eszköz big data- és folyamatokhoz adatintegrációhoz, valamint számítási feladatok kinyeréhez, átalakításához és betöltéséhez. Az Azure Synapse Analytics is előnyben részesített szolgáltatás az Apache Spark-számítási feladatok futtatásához.
A Virtual Desktop egy szolgáltatás, amelyet jump boxként használhat a biztonságos környezet erőforrásainak eléréséhez streamelési alkalmazásokkal és szükség szerint teljes asztallal. Másik lehetőségként használhatja az Azure Bastiont, de tisztában kell lennie a két lehetőség közötti biztonsági vezérlési különbségekkel. A Virtual Desktopnak van néhány előnye, például:
- A VS Code-hoz hasonló alkalmazások streamelésének lehetősége jegyzetfüzetek futtatására a gépi tanulási számítási erőforrásokon.
- A másolás, beillesztés és képernyőfelvételek korlátozásának lehetősége.
- Microsoft Entra-hitelesítés támogatása adatelemzési virtuális gépeken.
Az Azure Logic Apps automatizált, alacsony kódszámú munkafolyamatokat biztosít a manuális jóváhagyási folyamat eseményindítóinak és kiadási részeinek fejlesztéséhez.
Ezek az összetevők folyamatosan figyelik a számítási feladat és a környezet állapotát. A céljuk a kockázatok felderítése és csökkentése, amint felfedezik őket.
Felhőhöz készült Microsoft Defender egy szolgáltatás, amellyel kiértékelheti a megvalósítás általános biztonsági helyzetét, és igazolási mechanizmust biztosít a jogszabályi megfelelőséghez. A problémákat korán felfedezheti ahelyett, hogy auditokat vagy értékeléseket végez. Olyan funkciókkal követheti nyomon az előrehaladást, mint a biztonságos pontszám és a megfelelőségi pontszám. Ezek a pontszámok fontos eszközök, amelyek segítenek ellenőrizni a megfelelőséget.
A Microsoft Sentinel egy biztonsági információ- és eseménykezelési megoldás, valamint egy biztonsági vezénylési, automatizálási és válaszmegoldás. Központilag megtekintheti a különböző forrásokból származó naplókat és riasztásokat, és kihasználhatja a fejlett AI- és biztonsági elemzések előnyeit a fenyegetések észleléséhez, kereséséhez, megelőzéséhez és elhárításához. Ez a képesség értékes biztonsági elemzéseket biztosít annak biztosításához, hogy a forgalom és a munkaterülethez kapcsolódó tevékenységek megfeleljenek az elvárásainak.
Az Azure Monitor a teljes környezetben megfigyelhető. A legtöbb Azure-erőforrás metrikáit, tevékenységnaplóit és diagnosztikai naplóit további konfiguráció nélkül tekintheti meg. A felügyeleti eszközök, például a Felhőhöz készült Defender, naplóadatokat is leküldnek az Azure Monitorba.
- Az Azure Policy segít a szervezeti szabványok betartatásában és a megfelelőség nagy méretekben történő értékelésében.
- Ez a megoldás a Data Factory használatával helyezi át az adatokat a nyilvános tárfiókba egy külön tárolóban, hogy a külső kutatók hozzáférhessenek az exportált adatokhoz és modellekhez. Másik lehetőségként egy másik tárfiókot is kiépítheti alacsonyabb biztonsági környezetben.
- Ez a megoldás a Virtual Desktopot használja jump boxként a biztonságos környezet erőforrásaihoz való hozzáféréshez streamelési alkalmazásokkal és teljes asztallal. Másik lehetőségként használhatja az Azure Bastiont, de a Virtual Desktopnak van néhány előnye. Ezek az előnyök közé tartozik az alkalmazások streamelése, a másolás/beillesztés és a képernyőrögzítések korlátozása, valamint a Microsoft Entra-hitelesítés támogatása. A pont–hely VPN-t helyileg is konfigurálhatja offline betanításhoz. Ez a VPN segít csökkenteni a munkaállomások több virtuális gépének költségeit is.
- Az inaktív adatok védelme érdekében ez a megoldás erős titkosítással titkosítja az összes Azure Storage-fiókot Microsoft által felügyelt kulcsokkal. Másik lehetőségként használhatja az ügyfél által felügyelt kulcsokat. A kulcsokat egy felügyelt kulcstárolóban kell tárolnia.
Ez a forgatókönyv olyan szabályozott és privát adatokat kombinál, amelyekhez az egyéneknek hozzá kell férniük, de nem tárolhatnak vagy továbbíthatnak.
- A szervezeten kívüli adatszakértőknek teljes hozzáférésre van szükségük az adatokhoz a modellek betanítása és exportálása érdekében anélkül, hogy bármilyen védett vagy védett adat elhagyná a környezetet.
- El kell különítenie a hozzáférést. Még az adattulajdonosok és a letétkezelők sem férhetnek hozzá az adatokhoz a környezetbe való feltöltés után.
- A környezetből átvitt exportálások naplózási nyomvonalát kell megkövetelnie annak biztosításához, hogy csak a modellek legyenek exportálva.
Ez az architektúra eredetileg a felsőoktatási kutatóintézetek számára készült, egészségügyi biztosítás hordozhatóságáról és elszámoltathatóságáról szóló törvény (HIPAA) követelményeivel. Ezt a kialakítást azonban bármely olyan iparágban használhatja, amely megköveteli az adatok elkülönítését kutatási célokra. Néhány példa:
- A nemzeti szabványügyi és technológiai intézet (NIST) követelményei szerint szabályozott adatokat feldolgozó iparágak.
- Olyan orvosi központok, amelyek belső vagy külső kutatókkal működnek együtt.
- Banki és pénzügyi iparágak.
A cikkben található útmutatást követve teljes mértékben felügyelheti kutatási adatait, elkülönítheti a feladatokat, és megfelelhet a szigorú jogszabályi megfelelőségi szabványoknak. Ez a megközelítés elősegíti a kutatás-orientált környezet kulcsfontosságú szerepkörei, például az adattulajdonosok, a kutatók és a jóváhagyók együttműködését is.
Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.
A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfelek felé vállalt kötelezettségeknek. További információkért tekintse meg a Megbízhatósági terv felülvizsgálati ellenőrzőlistát.
A legtöbb kutatási megoldás ideiglenes számítási feladat, és nem kell hosszabb ideig rendelkezésre állnia. Ez az architektúra rendelkezésre állási zónákkal rendelkező, egyrégiós üzemelő példányként lett kialakítva. Ha az üzleti követelmények magasabb rendelkezésre állást igényelnek, replikálja ezt az architektúrát több régióban. Más összetevőkre, például globális terheléselosztóra és forgalmazóra van szükség a forgalom ezen régiókhoz való átirányításához. A helyreállítási stratégia részeként az Azure VM Image Builder használatával rögzítse és hozza létre a testreszabott alaprendszerkép másolatát.
A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információkért lásd a Biztonsági terv felülvizsgálati ellenőrzőlistát.
Ennek az architektúrának a fő célja egy biztonságos és megbízható kutatási környezet biztosítása, amely szigorúan korlátozza az adatok kiszivárgását a biztonságos területről.
Olyan Azure-erőforrások kiépítése, amelyek a kutatási adathalmazok biztonságos környezetben való tárolására, tesztelésére és betanítésére szolgálnak. Ez a környezet egy Azure-beli virtuális hálózat, amely hálózati biztonsági csoportokkal rendelkezik a hozzáférés korlátozására. Ezek a szabályok a következőkre vonatkoznak:
Bejövő és kimenő hozzáférés a nyilvános internethez és a virtuális hálózathoz.
Hozzáférés adott szolgáltatásokhoz és portokhoz. Ez az architektúra például blokkolja az összes porttartományt, kivéve az Azure-szolgáltatásokhoz, például az Azure Monitorhoz szükségesket. A szolgáltatáscímkék és a kapcsolódó szolgáltatások teljes listájáért tekintse meg a virtuális hálózati szolgáltatások címkéinek listáját.
A Virtual Desktopot tartalmazó virtuális hálózat hozzáférése adott portokon engedélyezett hozzáférési módszerekre korlátozódik, de minden más forgalom megtagadva. Ehhez a környezethez képest a virtual desktopot tartalmazó másik virtuális hálózat viszonylag nyitott.
A biztonságos környezetben a fő blobtároló a nyilvános interneten kívül található. Csak a virtuális hálózaton belül férhet hozzá privát végpontkapcsolatokon és Storage-tűzfalakon keresztül. Ezzel korlátozhatja azokat a hálózatokat, amelyekről az ügyfelek kapcsolódhatnak az Azure Files fájlmegosztásaihoz.
Ez az architektúra hitelesítő adatokon alapuló hitelesítést használ a biztonságos környezetben található fő adattárhoz. Ebben az esetben a kapcsolati adatok, például az előfizetés azonosítója és a jogkivonat engedélyezése egy kulcstartóban lesznek tárolva. Egy másik lehetőség az identitásalapú adathozzáférés létrehozása, ahol az Azure-fiókjával ellenőrizheti, hogy rendelkezik-e hozzáféréssel a Storage-hoz. Identitásalapú adathozzáférési forgatókönyv esetén a rendszer nem menti a hitelesítési hitelesítő adatokat. További információ: Adattárak létrehozása.
A számítási fürt csak a virtuális hálózaton belül tud kommunikálni az Azure Private Link ökoszisztémájának és szolgáltatásának vagy privát végpontjainak használatával a nyilvános IP-címek használata helyett. Győződjön meg arról, hogy nem engedélyezi a nyilvános IP-címet. A jelenleg előzetes verzióban elérhető funkcióval kapcsolatos további információkért lásd : Számítási példány/fürt vagy kiszolgáló nélküli, nyilvános IP-cím nélküli számítás.
A biztonságos környezet a Machine Learning compute használatával fér hozzá az adathalmazhoz egy privát végponton keresztül. Az Azure Firewallt úgy is konfigurálhatja, hogy szabályozza a machine learning-munkaterületen található Machine Learning-számításhoz való hozzáférést. Az Azure Firewall használatával szabályozhatja a Machine Learning-számításból érkező kimenő hozzáférést. További információ: Bejövő és kimenő hálózati forgalom konfigurálása.
A Machine Learning-környezetek biztonságossá tételének egyik módjáról a Secure Machine Learning service environment című blogbejegyzésben olvashat.
Az Olyan Azure-szolgáltatások esetében, amelyek nem konfigurálhatók hatékonyan privát végpontokkal, vagy állapotalapú csomagvizsgálatot biztosítanak, fontolja meg az Azure Firewall vagy egy nem Microsoft hálózati virtuális berendezés használatát.
A blobtároló elérése azure-beli szerepköralapú hozzáférés-vezérlőkkel.
A Virtual Desktop támogatja a Microsoft Entra-hitelesítést adatelemzési virtuális gépeken.
A Data Factory felügyelt identitással fér hozzá a blobtárolóból származó adatokhoz. Az adatelemzési virtuális gépek felügyelt identitást is használnak a szervizelési feladatokhoz.
Az inaktív adatok védelme érdekében minden Storage-fiók titkosítva van a Microsoft által felügyelt kulcsokkal, amelyek erős titkosítást használnak.
Másik lehetőségként használhatja az ügyfél által felügyelt kulcsokat. A kulcsokat egy felügyelt kulcstárolóban kell tárolnia. Ebben az architektúrában az Azure Key Vaultot biztonságos környezetben helyezi üzembe, hogy titkos kulcsokat, például titkosítási kulcsokat és tanúsítványokat tároljon. A biztonságos virtuális hálózat erőforrásai privát végponton keresztül férnek hozzá a Key Vaulthoz.
Engedélyezze az Azure Policy számára a szabványok kikényszerítését és az automatizált szervizelést, hogy az erőforrások megfeleljenek az egyes szabályzatoknak. A szabályzatokat alkalmazhatja egy projekt-előfizetésre vagy felügyeleti csoport szintjén, akár egyetlen szabályzatként, akár egy szabályozási kezdeményezés részeként.
Ebben az architektúrában például az Azure-beli gépkonfiguráció az összes hatókörön belüli virtuális gépre vonatkozik. A szabályzat képes az adatelemzési virtuális gépek operációs rendszereinek és gépkonfigurációjának naplózására.
Az adatelemzési virtuális gépek testreszabott alaprendszerképeket futtatnak. Az alaprendszerkép létrehozásához használjon olyan technológiákat, mint a VM Image Builder. A VM Image Builder használatával létrehozhat egy megismételhető rendszerképet, amelyet szükség esetén üzembe helyezhet.
Előfordulhat, hogy az alaprendszerképnek frissítésekre, például további bináris fájlokra van szüksége. Ezeket a bináris fájlokat fel kell töltenie a nyilvános blobtárolóba. A biztonságos környezetben kell haladniuk, hasonlóan az adattulajdonosok az adathalmazok feltöltéséhez.
A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információt a Költségoptimalizálás tervezési felülvizsgálati ellenőrzőlistájában talál.
Az adatelemzési virtuális gépek költsége a mögöttes virtuálisgép-sorozat kiválasztásától függ. Mivel a számítási feladat ideiglenes, javasoljuk a logikai alkalmazás erőforrásának használati tervét. Az Azure díjkalkulátorával megbecsülheti a költségeket a szükséges erőforrások becsült méretezése alapján. Győződjön meg arról, hogy leállítja a környezetet, ha nincs használatban a költségek optimalizálása és a biztonság javítása érdekében.
A teljesítményhatékonyság az a képesség, hogy a számítási feladatok skálázhatók, hogy hatékonyan megfeleljenek a felhasználók által támasztott követelményeknek. További információt a Teljesítményhatékonyság tervezési felülvizsgálati ellenőrzőlistájában talál.
Az adatelemzési virtuális gépek méretének és típusának meg kell felelnie az általuk végzett munkastílusnak. Ez az architektúra egyetlen kutatási projekt támogatására szolgál. A méretezhetőséget a virtuális gépek méretének és típusának módosításával, valamint a Machine Learning számára elérhető számítási erőforrások kiválasztásával érheti el.
Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.
Fő szerző:
- Clayton Barlow | Vezető Azure-szakember
- Mi az adatelemzési virtuális gép Linuxhoz és Windowshoz?
- Mi az a Machine Learning?
- Mik azok a számítási célok a Machine Learningben?
- A Blob Storage bemutatása
- A Data Factory bemutatása
- Mi az a Virtual Desktop?
- Felhőhöz készült Defender dokumentációja
- Mi az a Microsoft Sentinel?
- Azure Monitor – áttekintés
- Mi az az Azure Policy?
- Az Azure-gépek konfigurációjának ismertetése