Megosztott készlet létrehozása Adattudomány virtuális gépekből
Ebből a cikkből megtudhatja, hogyan hozhat létre megosztott Adattudomány virtuális gépeket (DSVM-eket) egy csapat számára. A megosztott készlet használata fontos előnyöket kínál:
- Jobb erőforrás-felhasználás
- Egyszerűbb megosztás és együttműködés
- A DSVM-erőforrások hatékonyabb kezelése
A DSVM-k készletének létrehozásához számos módszer és technológia használható. Ez a cikk az interaktív virtuális gépek készleteivel foglalkozik. Egy alternatív felügyelt számítási infrastruktúra magában foglalja az Azure Machine Learning Compute-t. További információ: Számítási fürt létrehozása.
Interaktív virtuálisgép-készlet
A teljes AI/adatelemzési csapat által megosztott interaktív virtuális gépek készlete lehetővé teszi a felhasználóknak, hogy az egyes felhasználók számára dedikált példány helyett egy elérhető DSVM-példányba jelentkezzenek be. Ez a megközelítés jobb rendelkezésre állást és hatékonyabb erőforrás-kihasználtságot biztosít.
Interaktív virtuálisgép-készlet létrehozásához használja az Azure virtuálisgép-méretezési csoportok technológiáját. Méretezési csoportok használatával azonos, elosztott terhelésű és automatikus skálázású virtuális gépek egy csoportját hozhatja létre és kezelheti.
A felhasználó bejelentkezik a fő készlet IP- vagy DNS-címére. A méretezési csoport automatikusan átirányítja a munkamenetet a méretezési csoportban elérhető DSVM-hez. Mivel a felhasználók konzisztens és ismerős környezetet szeretnének, függetlenül attól, hogy milyen virtuális gépre jelentkeznek be, a méretezési csoportban lévő virtuális gép összes példánya egy megosztott hálózati meghajtót csatlakoztat. Ez hasonló egy Azure Files-megosztáshoz vagy egy hálózati fájlrendszerbeli (NFS-) megosztáshoz. A felhasználó megosztott munkaterülete általában az egyes példányokra csatlakoztatott megosztott fájltárolóban marad.
Találhat egy minta Azure Resource Manager-sablont, amely méretezési csoportot hoz létre Ubuntu DSVM-példányokkal a GitHubon. Ugyanezen a helyen található az Azure Resource Manager-sablon paraméterfájljának mintája.
Adja meg a paraméterfájl értékeit az Azure CLI-ben, és hozza létre a méretezési csoportot az Azure Resource Manager-sablonból:
az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group [[NAME OF RESOURCE GROUP ABOVE]] --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]
Ezek a parancsok a következőket feltételezik:
- A paraméterfájl másolata a méretezési csoport példányához megadott értékekkel
- A virtuálisgép-példányok száma
- Az Azure Files-megosztás mutatói
- Az egyes virtuális gépekre csatlakoztatni kívánt tárfiók hitelesítő adatai
A parancsok helyileg hivatkoznak a paraméterfájlra. A paramétereket beágyazottan is átadhatja, vagy kérheti őket a szkriptben.
Az előző sablon lehetővé teszi az SSH-t és a JupyterHub-portot az előtér-méretezési csoporttól az Ubuntu DSVM-ek háttérkészletig. Felhasználóként normál módon jelentkezne be a virtuális gépre egy Biztonságos rendszerhéjon (SSH) vagy a JupyterHubon. Mivel a virtuálisgép-példányok dinamikusan fel- vagy leskálázhatók, minden állapotot menteni kell a csatlakoztatott Azure Files-megosztásban. Ugyanezzel a módszerrel hozhat létre Windows DSVM-készletet.
Az Azure Files-megosztást csatlakoztató szkript a GitHub Azure DataScienceVM-adattárában is elérhető. A szkript csatlakoztatja az Azure Files-megosztást a paraméterfájl megadott csatlakoztatási pontján. A szkript a csatlakoztatott meghajtóra mutató helyreállítható hivatkozásokat is létrehoz a kezdeti felhasználó kezdőkönyvtárában. Az Azure Files-megosztás felhasználóspecifikus jegyzetfüzet-címtára helyreállíthatóan kapcsolódik a címtárhoz, így a $HOME/notebooks/remote felhasználók hozzáférhetnek, futtathatják és menthetik Jupyter-jegyzetfüzeteiket. Ugyanezzel a konvencióval több felhasználót hozhat létre a virtuális gépen, így az egyes felhasználók Jupyter-munkaterületét az Azure Files-megosztásra irányíthatja.
A virtuálisgép-méretezési csoportok támogatják az automatikus skálázást. Megadhatja, hogy mikor hozzon létre több példányt, és mikor skálázza le a példányokat. Leskálázhatja például a nulla példányra a felhőalapú hardverhasználati költségek megtakarításához, ha a virtuális gépeket egyáltalán nem használják. A virtuálisgép-méretezési csoportok dokumentációs oldalai részletes lépéseket nyújtanak az automatikus skálázáshoz.