Delen via

Een gedeelde pool van Datawetenschap virtuele machines maken

  • Artikel

In dit artikel leert u hoe u een gedeelde pool van Datawetenschap virtuele machines (DSVM's) voor een team maakt. Het gebruik van een gedeelde pool biedt belangrijke voordelen:

  • Beter gebruik van resources
  • Eenvoudiger delen en samenwerken
  • Effectiever beheer van DSVM-resources

U kunt veel methoden en technologieën gebruiken om een pool met DSVM's te maken. Dit artikel is gericht op pools voor interactieve virtuele machines (VM's). Een alternatieve beheerde rekeninfrastructuur omvat Azure Machine Learning Compute. Ga naar Een rekencluster maken voor meer informatie.

Interactieve VM-pool

Een pool met interactieve VM's, gedeeld door een volledig AI/data science-team, biedt gebruikers een manier om zich aan te melden bij een beschikbaar DSVM-exemplaar in plaats van een toegewezen instantie voor elke set gebruikers te hebben. Deze benadering biedt een betere beschikbaarheid en effectiever resourcegebruik.

Gebruik de technologie van virtuele-machineschaalsets van Azure om een interactieve VM-pool te maken. Gebruik schaalsets om een groep identieke vm's met gelijke taakverdeling en automatische schaalaanpassing te maken en te beheren.

De gebruiker meldt zich aan bij het IP- of DNS-adres van de hoofdgroep. De schaalset stuurt de sessie automatisch naar een beschikbare DSVM in de schaalset. Omdat gebruikers een consistente en vertrouwde omgeving willen, ongeacht de VM waarop ze zich aanmelden, koppelen alle exemplaren van de VIRTUELE machine in de schaalset een gedeeld netwerkstation. Dit is vergelijkbaar met een Azure Files-share of een NFS-share (Network File System). De gedeelde werkruimte van de gebruiker wordt normaal gesproken bewaard in het gedeelde bestandsarchief dat is gekoppeld aan elk van de exemplaren.

U vindt een azure Resource Manager-voorbeeldsjabloon waarmee een schaalset wordt gemaakt met Ubuntu DSVM-exemplaren op GitHub. Dezelfde locatie fungeert als host voor een voorbeeld van het parameterbestand voor de Azure Resource Manager-sjabloon.

Geef waarden op voor het parameterbestand in de Azure CLI om de schaalset te maken op basis van de Azure Resource Manager-sjabloon:

az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group  [[NAME OF RESOURCE GROUP ABOVE]]  --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]

Bij deze opdrachten wordt ervan uitgegaan dat u het volgende hebt:

  • Een kopie van het parameterbestand met de waarden die zijn opgegeven voor uw exemplaar van de schaalset
  • Het aantal VM-exemplaren
  • Aanwijzers naar de Azure Files-share
  • Referenties voor het opslagaccount dat op elke VIRTUELE machine wordt gekoppeld

De opdrachten verwijzen lokaal naar het parameterbestand. U kunt parameters ook inline doorgeven of vragen om parameters in uw script.

Met de voorgaande sjabloon kunnen de SSH en de JupyterHub-poort van de front-endschaalset naar de back-endpool van Ubuntu-DSVM's worden ingeschakeld. Als gebruiker zou u zich op de normale manier aanmelden bij de virtuele machine op een Secure Shell (SSH) of op JupyterHub. Omdat de VM-exemplaren dynamisch omhoog of omlaag kunnen worden geschaald, moet elke status worden opgeslagen in de gekoppelde Azure Files-share. U kunt dezelfde methode gebruiken om een pool met Windows-DSVM's te maken.

Het script dat de Azure Files-share koppelt, is ook beschikbaar in de Azure DataScienceVM-opslagplaats in GitHub. Het script koppelt de Azure Files-share op het opgegeven koppelpunt in het parameterbestand. Het script maakt ook zachte koppelingen naar het gekoppelde station in de basismap van de eerste gebruiker. Een gebruikersspecifieke notebookmap in de Azure Files-share is voorlopig gekoppeld aan de $HOME/notebooks/remote map, zodat gebruikers hun Jupyter-notebooks kunnen openen, uitvoeren en opslaan. U kunt dezelfde conventie gebruiken wanneer u meer gebruikers op de virtuele machine maakt om de Jupyter-werkruimte van elke gebruiker naar de Azure Files-share te laten verwijzen.

Schaalsets voor virtuele machines ondersteunen automatisch schalen. U kunt regels instellen voor het maken van meer exemplaren en wanneer u instanties omlaag wilt schalen. U kunt bijvoorbeeld omlaag schalen naar nul exemplaren om kosten voor cloudhardwaregebruik te besparen wanneer de VM's helemaal niet worden gebruikt. De documentatiepagina's voor virtuele-machineschaalsets bevatten gedetailleerde stappen voor automatisch schalen.

Volgende stappen