Wat is een Azure Machine Learning-rekeninstantie?
Een Azure Machine Learning-rekenproces is een beheerd cloudwerkstation voor gegevenswetenschappers. Elk rekenproces heeft slechts één eigenaar, hoewel u bestanden kunt delen tussen meerdere rekeninstanties.
Rekeninstanties maken het eenvoudig om aan de slag te gaan met Azure Machine Learning-ontwikkeling en bieden beheer- en bedrijfsgereedheidsmogelijkheden voor IT-beheerders.
Gebruik een rekenproces als uw volledig geconfigureerde en beheerde ontwikkelomgeving in de cloud voor machine learning. Ze kunnen ook worden gebruikt als rekendoel voor training en deductie voor ontwikkelings- en testdoeleinden.
Zorg ervoor dat de Jupyter-functionaliteit van het rekenproces werkt, zodat de websocketcommunicatie niet is uitgeschakeld. Zorg ervoor dat uw netwerk websocket-verbindingen toestaat naar *.instances.azureml.net en *.instances.azureml.ms.
Belangrijk
Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. De preview-versie wordt aangeboden zonder Service Level Agreement en wordt niet aanbevolen voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews voor meer informatie.
Waarom een rekenproces gebruiken?
Een rekenproces is een volledig beheerd cloudwerkstation dat is geoptimaliseerd voor uw machine learning-ontwikkelomgeving. Het biedt de volgende voordelen:
| Belangrijkste voordelen | Beschrijving |
|---|---|
| Productiviteit | U kunt modellen bouwen en implementeren met behulp van geïntegreerde notebooks en de volgende hulpprogramma's in Azure Machine Learning-studio: - Jupyter - JupyterLab - VS Code (preview) Het rekenproces is volledig geïntegreerd met azure Machine Learning-werkruimte en -studio. U kunt notebooks en gegevens delen met andere gegevenswetenschappers in de werkruimte. |
| Beheerd en beveiligd | Verminder uw beveiligingsvoetafdruk en voeg naleving toe aan de beveiligingsvereisten voor ondernemingen. Rekeninstanties bieden robuust beheerbeleid en beveiligde netwerkconfiguraties, zoals: - Automatisch inrichten vanuit Resource Manager-sjablonen of Azure Machine Learning SDK - Azure RBAC (op rollen gebaseerd toegangsbeheer van Azure) - Ondersteuning voor virtuele netwerken - Azure Policy om SSH-toegang uit te schakelen - Azure-beleid voor het afdwingen van het maken in een virtueel netwerk - Automatisch afsluiten/automatisch starten op basis van schema - TLS 1.2 ingeschakeld |
| Vooraf geconfigureerd voor ML | Bespaar tijd bij het instellen van taken met vooraf geconfigureerde en bijgewerkte ML-pakketten, deep learning-frameworks, GPU-stuurprogramma's. |
| Volledig aanpasbaar | Brede ondersteuning voor Azure VM-typen, waaronder GPU's en permanente aanpassingen op laag niveau, zoals het installeren van pakketten en stuurprogramma's, maakt geavanceerde scenario's een fluitje van een cent. U kunt ook installatiescripts gebruiken om aanpassingen te automatiseren |
- Beveilig uw rekenproces zonder openbaar IP-adres.
- Het rekenproces is ook een beveiligd trainingsrekendoel dat vergelijkbaar is met rekenclusters, maar het is één knooppunt.
- U kunt zelf een rekenproces maken of een beheerder kan namens u een rekenproces maken.
- U kunt ook een installatiescript gebruiken voor een geautomatiseerde manier om het rekenproces aan te passen en te configureren op basis van uw behoeften.
- Als u kosten wilt besparen, maakt u een planning om het rekenproces automatisch te starten en te stoppen, of schakelt u inactief afsluiten in
Hulpprogramma's en omgevingen
Met azure Machine Learning-rekenproces kunt u modellen ontwerpen, trainen en implementeren in een volledig geïntegreerde notebookervaring in uw werkruimte.
U kunt notebooks uitvoeren vanuit uw Azure Machine Learning-werkruimte, Jupyter, JupyterLab of Visual Studio Code. VS Code Desktop kan worden geconfigureerd voor toegang tot uw rekenproces. Of gebruik VS Code voor het web, rechtstreeks vanuit de browser en zonder vereiste installaties of afhankelijkheden.
We raden u aan VS Code voor het web te proberen om te profiteren van de eenvoudige integratie en uitgebreide ontwikkelomgeving die het biedt. VS Code voor het web biedt u veel van de functies van VS Code Desktop die u leuk vindt, inclusief zoek- en syntaxismarkeringen tijdens het bladeren en bewerken. Zie Visual Studio Code integreren met Azure Machine Learning (preview) en werken in VS Code op afstand verbonden met een rekenproces (preview) voor meer informatie over het gebruik van VS Code Desktop en VS Code voor het web.
U kunt pakketten installeren en kernels toevoegen aan uw rekenproces.
De volgende hulpprogramma's en omgevingen zijn al geïnstalleerd op het rekenproces:
| Algemene hulpprogramma's en omgevingen | DETAILS |
|---|---|
| Stuurprogramma's | CUDAcuDNNNVIDIABlob FUSE |
| Intel MPI-bibliotheek | |
| Azure-CLI | |
| Voorbeelden van Azure Machine Learning | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| R-hulpprogramma's en omgevingen | DETAILS |
|---|---|
| R-kernel |
U kunt RStudio of Posit Workbench (voorheen RStudio Workbench) toevoegen wanneer u het exemplaar maakt.
| Python-hulpprogramma's en -omgevingen | DETAILS |
|---|---|
| Anaconda Python | |
| Jupyter en extensies | |
| Jupyterlab en extensies | |
| Azure Machine Learning SDK voor Python van PyPI |
Bevat azure-ai-ml en veel algemene Azure-extra pakketten. Als u de volledige lijst wilt bekijken, een terminalvenster openen op uw rekenproces en uitvoeren conda list -n azureml_py310_sdkv2 ^azure |
| Andere PyPI-pakketten | jupytexttensorboardnbconvertnotebookPillow |
| Conda-pakketten | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejs |
| Deep Learning-pakketten | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| ONNX-pakketten | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Voorbeelden van Azure Machine Learning Python |
Het rekenproces heeft Ubuntu als basis besturingssysteem.
Toegang tot bestanden
Notebooks en Python-scripts worden opgeslagen in het standaardopslagaccount van uw werkruimte in de Azure-bestandsshare. Deze bestanden bevinden zich in de map 'Gebruikersbestanden'. Met deze opslag kunt u eenvoudig notebooks delen tussen rekeninstanties. Met het opslagaccount blijven uw notebooks ook veilig bewaard wanneer u een rekenproces stopt of verwijdert.
Het Azure-bestandsshareaccount van uw werkruimte wordt gekoppeld als een station op het rekenproces. Dit station is de standaardwerkmap voor Jupyter, Jupyter Labs, RStudio en Posit Workbench. Dit betekent dat de notebooks en andere bestanden die u maakt in Jupyter, JupyterLab, VS Code for Web, RStudio of Posit automatisch worden opgeslagen op de bestandsshare en ook beschikbaar zijn voor gebruik in andere rekenprocessen.
De bestanden in de bestandsshare zijn toegankelijk vanuit alle rekenprocessen in dezelfde werkruimte. Wijzigingen in deze bestanden op het rekenproces worden op betrouwbare wijze teruggezet naar de bestandsshare.
U kunt ook de meest recente Azure Machine Learning-voorbeelden klonen naar uw map in de map met gebruikersbestanden in de bestandsshare van de werkruimte.
Het schrijven van kleine bestanden kan langzamer zijn op netwerkstations dan schrijven naar de lokale schijf van het rekenproces zelf. Als u veel kleine bestanden schrijft, gebruikt u een map rechtstreeks in het rekenproces, zoals een /tmp map. Houd er rekening mee dat deze bestanden niet toegankelijk zijn vanuit andere rekeninstanties.
Sla geen trainingsgegevens op de bestandsshare van notebooks op. Zie Access-gegevens in een taak voor informatie over de verschillende opties voor het opslaan van gegevens.
U kunt de map /tmp op het rekenproces gebruiken voor uw tijdelijke gegevens. Schrijf echter geen grote bestanden met gegevens op de besturingssysteemschijf van het rekenproces. De besturingssysteemschijf op het rekenproces heeft capaciteit van 120 GB. U kunt ook tijdelijke trainingsgegevens opslaan op een tijdelijke schijf die is gekoppeld op /mnt. De tijdelijke schijfgrootte is gebaseerd op de gekozen VM-grootte en kan grotere hoeveelheden gegevens opslaan als er een grotere VM wordt gekozen. Softwarepakketten die u installeert, worden opgeslagen op de besturingssysteemschijf van het rekenproces. Houd er rekening mee dat door de klant beheerde sleutelversleuteling momenteel niet wordt ondersteund voor de besturingssysteemschijf. De besturingssysteemschijf voor het rekenproces is versleuteld met door Microsoft beheerde sleutels.
U kunt ook gegevensarchieven en gegevenssets koppelen.
Maken
Volg de stappen in Resources maken die u nodig hebt om een eenvoudig rekenproces te maken.
Zie Een nieuw rekenproces maken voor meer opties.
Als beheerder kunt u een rekenproces maken voor anderen in de werkruimte. Eenmalige aanmelding moet worden uitgeschakeld voor een dergelijk rekenproces.
U kunt ook een installatiescript gebruiken voor een geautomatiseerde manier om het rekenproces aan te passen en te configureren.
Andere manieren om een rekenproces te maken:
- Rechtstreeks vanuit de geïntegreerde notebooks-ervaring.
- Vanuit een Azure Resource Manager-sjabloon. Zie de sjabloon Een Azure Machine Learning-rekeninstantie maken voor een voorbeeldsjabloon.
- Met Azure Machine Learning SDK
- Vanuit de CLI-extensie voor Azure Machine Learning
De toegewezen kernen per regio per vm-familiequotum en het totale regionale quotum, dat van toepassing is op het maken van rekenprocessen, wordt geïntegreerd en gedeeld met het rekenclusterquotum van Azure Machine Learning-training. Als u het rekenproces stopt, wordt er geen quotum uitgebracht om ervoor te zorgen dat u het rekenproces opnieuw kunt starten. Stop het rekenproces niet via de besturingssysteemterminal door een sudo-afsluiting uit te voeren.
Het rekenproces wordt geleverd met een P10-besturingssysteemschijf. Tijdelijk schijftype is afhankelijk van de gekozen VM-grootte. Het is momenteel niet mogelijk om het type besturingssysteemschijf te wijzigen.
Rekendoel
Rekeninstanties kunnen worden gebruikt als een trainingsrekendoel dat vergelijkbaar is met Azure Machine Learning-rekentrainingsclusters. Maar een rekenproces heeft slechts één knooppunt, terwijl een rekencluster meer knooppunten kan hebben.
Een rekenproces:
- Heeft een taakwachtrij.
- Voert taken veilig uit in een virtuele netwerkomgeving, zonder dat ondernemingen SSH-poort hoeven te openen. De taak wordt uitgevoerd in een containeromgeving en verpakt uw modelafhankelijkheden in een Docker-container.
- Kan meerdere kleine taken parallel uitvoeren. Eén taak per vCPU kan parallel worden uitgevoerd terwijl de rest van de taken in de wachtrij worden geplaatst.
- Ondersteunt gedistribueerde trainingstaken met één knooppunt met meerdere GPU's
U kunt een rekenproces gebruiken als een lokaal implementatiedoel voor deductie voor test-/foutopsporingsscenario's.
Tip
Het reken-exemplaar heeft een besturingssysteemschijf van 120 GB. Als u onvoldoende schijfruimte hebt en een onbruikbare status krijgt, wist u ten minste 5 GB schijfruimte op de besturingssysteemschijf (gekoppeld aan /) via de terminal van het rekenproces door bestanden/mappen te verwijderen en dit vervolgens te doen sudo reboot. Tijdelijke schijf wordt vrijgemaakt na het opnieuw opstarten; u hoeft geen ruimte op tijdelijke schijf handmatig te wissen. Als u toegang wilt krijgen tot de terminal, gaat u naar de pagina met details van de rekenlijst of de detailpagina van het rekenproces en klikt u op terminalkoppeling . U kunt beschikbare schijfruimte controleren door df -h uit te voeren op de terminal. Maak ten minste 5 GB ruimte vrij voordat u sudo reboot doet. Stop of start het rekenproces niet opnieuw via Studio totdat de schijfruimte van 5 GB is gewist. Automatisch afsluiten, inclusief gepland starten of stoppen en niet-actieve afsluitingen, werken niet als de CI-schijf vol is.
Volgende stappen
- Maak resources die u nodig hebt om aan de slag te gaan.
- Zelfstudie: Uw eerste ML-model trainen laat zien hoe u een rekenproces gebruikt met een geïntegreerd notebook.