Co je výpočetní instance služby Azure Machine Learning?
Výpočetní instance Azure Machine Learning je spravovaná cloudová pracovní stanice pro datové vědce. Každá výpočetní instance má pouze jednoho vlastníka, i když můžete sdílet soubory mezi několika výpočetními instancemi.
Výpočetní instance usnadňují začátky vývoje ve službě Azure Machine Learning a poskytují možnosti správy a připravenosti pro podnikové organizace pro správce IT.
Jako plně nakonfigurované a spravované vývojové prostředí v cloudu pro strojové učení použijte výpočetní instanci. Dají se také použít jako cílový výpočetní objekt pro trénování a odvozování pro účely vývoje a testování.
Aby funkce Jupyter výpočetní instance fungovala, ujistěte se, že komunikace s webovým soketem není zakázaná. Ujistěte se, že vaše síť umožňuje připojení přes protokol WebSocket k doménám *.instances.azureml.net a *.instances.azureml.ms.
Důležité
Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučuje se pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Proč používat výpočetní instanci?
Výpočetní instance je plně spravovaná cloudová pracovní stanice optimalizovaná pro vývojové prostředí strojového učení. Přináší to tyto výhody:
| Klíčové výhody | Popis |
|---|---|
| Produktivita | Modely můžete vytvářet a nasazovat pomocí integrovaných poznámkových bloků a následujících nástrojů v studio Azure Machine Learning: - Jupyter - JupyterLab – VS Code (Preview) Výpočetní instance je plně integrovaná s pracovním prostorem a sadou Azure Machine Learning. Poznámkové bloky a data můžete sdílet s dalšími datovými vědci v pracovním prostoru. |
| Spravované a zabezpečené | Snižte nároky na zabezpečení a přidejte dodržování předpisů s podnikovými požadavky na zabezpečení. Výpočetní instance poskytují robustní zásady správy a zabezpečené síťové konfigurace, jako jsou: – Automatické zřizování ze šablon Resource Manageru nebo sady Azure Machine Learning SDK - Řízení přístupu na základě role v Azure (Azure RBAC) - Podpora virtuální sítě – Zásady Azure pro zakázání přístupu SSH – Zásady Azure pro vynucení vytváření ve virtuální síti - Automatické vypnutí/automatické spuštění na základě plánu – Povolený protokol TLS 1.2 |
| Předkonfigurováno pro ML | Ušetřete čas na úlohách nastavení pomocí předem nakonfigurovaných a aktuálních balíčků ML, architektur hlubokého učení, ovladačů GPU. |
| Plně přizpůsobitelné | Široká podpora typů virtuálních počítačů Azure, včetně GRAFICKÝch procesorů a trvalých přizpůsobení nízké úrovně, jako je instalace balíčků a ovladačů, usnadňuje pokročilé scénáře. K automatizaci přizpůsobení můžete použít také instalační skripty. |
- Zabezpečte výpočetní instanci bez veřejné IP adresy.
- Výpočetní instance je také zabezpečený trénovací výpočetní cíl podobný výpočetním clusterům, ale je to jeden uzel.
- Výpočetní instanci můžete vytvořit sami nebo správce může vytvořit výpočetní instanci vaším jménem.
- Můžete také použít instalační skript pro automatizovaný způsob přizpůsobení a konfigurace výpočetní instance podle vašich potřeb.
- Pokud chcete ušetřit náklady, vytvořte plán pro automatické spuštění a zastavení výpočetní instance nebo povolení nečinnosti vypnutí.
Nástroje a prostředí
Výpočetní instance Azure Machine Learning umožňuje vytvářet, trénovat a nasazovat modely v plně integrovaném prostředí poznámkového bloku ve vašem pracovním prostoru.
Poznámkové bloky můžete spouštět z pracovního prostoru Azure Machine Learning, Jupyteru, JupyterLabu nebo editoru Visual Studio Code. VS Code Desktop je možné nakonfigurovat pro přístup k výpočetní instanci. Nebo použijte VS Code pro web přímo z prohlížeče a bez požadovaných instalací nebo závislostí.
Doporučujeme vyzkoušet VS Code pro web, abyste mohli využít výhod snadné integrace a bohatého vývojového prostředí, které poskytuje. VS Code pro web nabízí řadu funkcí VS Code Desktopu, které máte rádi, včetně vyhledávání a zvýrazňování syntaxe při procházení a úpravách. Další informace o používání VS Code Desktop a VS Code pro web najdete v tématu Spuštění editoru Visual Studio Code integrovaného se službou Azure Machine Learning (Preview) a práci ve VS Code vzdáleně připojené k výpočetní instanci (Preview).
Do výpočetní instance můžete nainstalovat balíčky a přidat jádra.
V výpočetní instanci jsou už nainstalované následující nástroje a prostředí:
| Obecné nástroje a prostředí | Detaily |
|---|---|
| Ovladače | CUDAcuDNNNVIDIABlob FUSE |
| Knihovna Intel MPI | |
| Azure CLI | |
| Ukázky služby Azure Machine Learning | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| Nástroje R a prostředí | Detaily |
|---|---|
| Jádro R |
Při vytváření instance můžete přidat RStudio nebo Posit Workbench (dříve RStudio Workbench ).
| Nástroje a prostředí PYTHONu | Detaily |
|---|---|
| Anaconda Python | |
| Jupyter a rozšíření | |
| Jupyterlab a rozšíření | |
| Azure Machine Learning SDK pro Python z PyPI |
Zahrnuje azure-ai-ml a řadu běžných balíčků azure navíc. Úplný seznam zobrazíte tak, že Otevření okna terminálu ve výpočetní instanci a spuštění conda list -n azureml_py310_sdkv2 ^azure |
| Další balíčky PyPI | jupytexttensorboardnbconvertnotebookPillow |
| Balíčky Conda | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejs |
| Balíčky hlubokého učení | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| Balíčky ONNX | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Ukázky Pythonu pro Azure Machine Learning |
Výpočetní instance má jako základní operační systém Ubuntu.
Přístup k souborům
Poznámkové bloky a skripty Pythonu se ukládají do výchozího účtu úložiště vašeho pracovního prostoru ve sdílené složce Azure. Tyto soubory se nacházejí v adresáři User Files (Uživatelské soubory). Toto úložiště usnadňuje sdílení poznámkových bloků mezi výpočetními instancemi. Účet úložiště také udržuje poznámkové bloky bezpečně zachované při zastavení nebo odstranění výpočetní instance.
Účet sdílené složky Azure vašeho pracovního prostoru se připojí jako jednotka ve výpočetní instanci. Tato jednotka je výchozím pracovním adresářem pro Jupyter, Jupyter Labs, RStudio a Posit Workbench. To znamená, že poznámkové bloky a další soubory, které vytvoříte v Jupyteru, JupyterLabu, VS Code pro web, RStudio nebo Posit, se automaticky ukládají do sdílené složky a jsou k dispozici i v jiných výpočetních instancích.
Soubory ve sdílené složce jsou přístupné ze všech výpočetních instancí ve stejném pracovním prostoru. Všechny změny těchto souborů ve výpočetní instanci budou spolehlivě zachovány zpět do sdílené složky.
Nejnovější ukázky služby Azure Machine Learning můžete také naklonovat do složky v adresáři uživatelských souborů ve sdílené složce pracovního prostoru.
Zápis malých souborů může být na síťových jednotkách pomalejší než zápis na samotný místní disk výpočetní instance. Pokud píšete mnoho malých souborů, zkuste použít adresář přímo na výpočetní instanci, například /tmp adresář. Mějte na paměti, že tyto soubory nebudou přístupné z jiných výpočetních instancí.
Neukládejte trénovací data ve sdílené složce poznámkových bloků. Informace o různých možnostech ukládání dat najdete v tématu Access data v úloze.
Pro dočasná data můžete použít adresář /tmp ve výpočetní instanci. Na disk operačního systému výpočetní instance ale nezapisujte velké soubory dat. Disk s operačním systémem na výpočetní instanci má kapacitu 120 GB. Dočasné trénovací data můžete uložit také na dočasném disku připojeném na /mnt. Velikost dočasného disku je závislá na zvolené velikosti virtuálního počítače a umožňuje ukládat větší množství dat, pokud je zvolena větší velikost virtuálního počítače. Všechny softwarové balíčky, které nainstalujete, se uloží na disk výpočetní instance s operačním systémem. Poznámka: Šifrování klíče spravovaného zákazníkem se v současné době nepodporuje pro disk s operačním systémem. Disk s operačním systémem pro výpočetní instanci je šifrovaný pomocí klíčů spravovaných Microsoftem.
Můžete také připojit úložiště dat a datové sady.
Vytvoření
Postupujte podle kroků v tématu Vytvoření prostředků, které potřebujete, abyste mohli začít vytvářet základní výpočetní instanci.
Další možnosti najdete v tématu Vytvoření nové výpočetní instance.
Jako správce můžete vytvořit výpočetní instanci pro ostatní uživatele v pracovním prostoru. Jednotné přihlašování musí být pro takovou výpočetní instanci zakázané.
Můžete také použít instalační skript pro automatizovaný způsob přizpůsobení a konfigurace výpočetní instance.
Další způsoby vytvoření výpočetní instance:
- Přímo z integrovaného prostředí poznámkových bloků.
- Ze šablony Azure Resource Manageru. Příklad šablony najdete v šabloně vytvoření výpočetní instance služby Azure Machine Learning.
- S využitím sady Azure Machine Learning SDK
- Z rozšíření CLI pro Azure Machine Learning
Vyhrazená jádra pro každou oblast na řadu virtuálních počítačů a celková kvóta pro oblast, která se vztahuje na vytvoření výpočetní instance, je jednotná a sdílená s kvótou výpočetního clusteru pro trénování ve službě Azure Machine Learning. Zastavení výpočetní instance nevyvolá kvótu, abyste měli jistotu, že výpočetní instanci budete moct restartovat. Nevystavujte výpočetní instanci prostřednictvím terminálu operačního systému vypnutím sudo.
Výpočetní instance se dodává s diskem s operačním systémem P10. Typ dočasného disku závisí na zvolené velikosti virtuálního počítače. V současné době není možné měnit typ disku s operačním systémem.
Cílový výpočetní objekt
Výpočetní instance se dají použít jako trénovací cílový výpočetní objekt podobný výpočetním clusterům Azure Machine Learning. Výpočetní instance má ale jenom jeden uzel, zatímco výpočetní cluster může mít více uzlů.
Výpočetní instance:
- Má frontu úloh.
- Spouští úlohy bezpečně v prostředí virtuální sítě, aniž by podniky musely otevírat port SSH. Úloha se spustí v kontejnerizovaném prostředí a zabalí závislosti modelu do kontejneru Dockeru.
- Může paralelně spouštět několik malých úloh. Jedna úloha na vCPU se může spustit paralelně, zatímco ostatní úlohy se zařadí do fronty.
- Podporuje distribuované trénovací úlohy s více uzly s více uzly
Výpočetní instanci můžete použít jako místní cíl odvozování nasazení pro scénáře testování/ladění.
Tip
Výpočetní instance má 120GB disk s operačním systémem. Pokud vám dojde místo na disku a dostanete se do nepoužitelného stavu, vymažte alespoň 5 GB místa na disku s operačním systémem (připojeném na /) prostřednictvím terminálu výpočetní instance odebráním souborů nebo složek a pak proveďte sudo reboot. Po restartování se uvolní dočasný disk; Nemusíte ručně vymazat místo na dočasném disku. Pokud chcete získat přístup k terminálu, přejděte na stránku se seznamem výpočetních prostředků nebo na stránku podrobností výpočetní instance a klikněte na odkaz Terminál . Spuštěním příkazu df -h v terminálu můžete zkontrolovat dostupné místo na disku. Před provedením sudo reboot vymažte alespoň 5 GB místa. Nezastavujte ani nerestartujte výpočetní instanci prostřednictvím studia, dokud se nevyčisí 5 GB místa na disku. Automatická vypnutí, včetně plánovaného spuštění nebo zastavení a vypnutí při nečinnosti nebudou fungovat, pokud je disk CI plný.
Další kroky
- Vytvořte prostředky, které potřebujete, abyste mohli začít.
- Kurz: Trénování prvního modelu ML ukazuje, jak používat výpočetní instanci s integrovaným poznámkovým blokem.