Aracılığıyla paylaş

Paylaşılan bir Veri Bilimi Sanal Makinesi havuzu oluşturma

  • Makale

Bu makalede, bir ekip için paylaşılan bir Veri Bilimi Sanal Makinesi havuzu (DSVM) oluşturmayı öğreneceksiniz. Paylaşılan havuzun kullanımı önemli avantajlar sunar:

  • Daha iyi kaynak kullanımı
  • Daha kolay paylaşım ve işbirliği
  • DSVM kaynaklarının daha etkili yönetimi

DSVM havuzu oluşturmak için birçok yöntem ve teknoloji kullanabilirsiniz. Bu makalede etkileşimli sanal makineler (VM) için havuzlar ele alınır. Alternatif bir yönetilen işlem altyapısı, Azure Machine Learning İşlem'i içerir. Daha fazla bilgi için İşlem kümesi oluşturma'yı ziyaret edin.

Etkileşimli VM havuzu

Yapay zeka/veri bilimi ekibinin tamamı tarafından paylaşılan etkileşimli VM havuzu, kullanıcılara her kullanıcı kümesi için ayrılmış bir örnek yerine kullanılabilir bir DSVM örneğinde oturum açmanın bir yolunu sunar. Bu yaklaşım daha iyi kullanılabilirlik ve daha etkili kaynak kullanımı sağlar.

Etkileşimli bir VM havuzu oluşturmak için Azure sanal makine ölçek kümeleri teknolojisini kullanın. Aynı, yük dengeli ve otomatik ölçeklendirme VM'lerinden oluşan bir grup oluşturmak ve yönetmek için ölçek kümelerini kullanın.

Kullanıcı, ana havuzun IP veya DNS adresinde oturum açar. Ölçek kümesi, oturumu otomatik olarak ölçek kümesindeki kullanılabilir bir DSVM'ye yönlendirir. Kullanıcılar, oturum açtıkları VM'ye bakılmaksızın tutarlı ve tanıdık bir ortam istediklerinden, ölçek kümesindeki vm'nin tüm örnekleri paylaşılan bir ağ sürücüsü bağlar. Bu, Azure Dosyalar paylaşımına veya Ağ Dosya Sistemi (NFS) paylaşımına benzer. Kullanıcının paylaşılan çalışma alanı normalde her örneğe bağlı paylaşılan dosya deposunda tutulur.

GitHub'da Ubuntu DSVM örnekleriyle ölçek kümesi oluşturan örnek bir Azure Resource Manager şablonu bulabilirsiniz. Aynı konum, Azure Resource Manager şablonu için parametre dosyasının bir örneğini barındırıyor.

Ölçek kümesini Azure Resource Manager şablonundan oluşturmak için Azure CLI'daki parametre dosyasının değerlerini belirtin:

az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group  [[NAME OF RESOURCE GROUP ABOVE]]  --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]

Bu komutlar aşağıdakilere sahip olduğunuzu varsayar:

  • Ölçek kümesinin örneği için belirtilen değerleri içeren parametre dosyasının bir kopyası
  • VM örneklerinin sayısı
  • Azure Dosyalar paylaşımının işaretçileri
  • Her VM'ye bağlanacak depolama hesabının kimlik bilgileri

Komutlar parametre dosyasına yerel olarak başvurur. Ayrıca parametreleri satır içinde geçirebilir veya betiğinizde sorabilirsiniz.

Yukarıdaki şablon, ön uç ölçek kümesinden Ubuntu DSVM'lerin arka uç havuzuna SSH ve JupyterHub bağlantı noktasını etkinleştirir. Kullanıcı olarak Vm'de Secure Shell'de (SSH) veya JupyterHub'da normal şekilde oturum açarsınız. VM örneklerinin ölçeği dinamik olarak artırılabildiği veya azaltılabildiği için, tüm durumların bağlı Azure Dosyalar paylaşımına kaydedilmesi gerekir. Windows DSVM'lerinden oluşan bir havuz oluşturmak için de aynı yaklaşımı kullanabilirsiniz.

Azure Dosyalar paylaşımını bağlayan betik, GitHub'daki Azure DataScienceVM deposunda da kullanılabilir. Betik, parametre dosyasında belirtilen bağlama noktasına Azure Dosyalar paylaşımını bağlar. Betik ayrıca ilk kullanıcının giriş dizininde bağlı sürücüye geçici bağlantılar oluşturur. Azure Dosyalar paylaşımındaki kullanıcıya özgü bir not defteri dizini, kullanıcıların Jupyter not defterlerine erişebilmesi, bu not defterlerini çalıştırabilmesi ve kaydedebilmesi için $HOME/notebooks/remote bu dizine geçici olarak bağlıdır. Vm'de daha fazla kullanıcı oluşturduğunuzda, her kullanıcının Jupyter çalışma alanını Azure Dosyalar paylaşımına işaret etmek için aynı kuralı kullanabilirsiniz.

Sanal makine ölçek kümeleri otomatik ölçeklendirmeyi destekler. Daha fazla örneğin ne zaman oluşturulacağı ve örneklerin ne zaman ölçeklendirilebileceği hakkında kurallar ayarlayabilirsiniz. Örneğin, VM'ler hiç kullanılmadığında bulut donanımı kullanım maliyetlerinden tasarruf etmek için ölçeği sıfıra düşürebilirsiniz. Sanal makine ölçek kümeleri belge sayfaları, otomatik ölçeklendirme için ayrıntılı adımlar sağlar.

Sonraki adımlar