Yeniden başlatma veya yeniden görüntüleme sırasında toplu düğüm oluşturma gecikmelerini çözme

Bu makalede, bir düğümü yeniden başlattığınızda veya yeniden görüntülendiğinde toplu düğüm oluşturma gecikmelerinin nasıl çözüleceğini açıklar. Microsoft Azure Batch'te büyük Python çalışma zamanı ve Python paketlerinin yüklenmesinden kaynaklanan sorunlardan kaçının. Bu yükleme, toplu iş düğümü bir toplu iş havuzuna ilk kez eklendiğinde veya düğüm yeniden başlatıldığında veya yeniden başlatıldığında uzun gecikmelere ve olası beklenmeyen hatalara neden olur.

Belirtiler

Bir toplu iş havuzu oluşturduğunuzda ve havuza bir düğüm eklediğinizde veya düğümü yeniden başlattığınızda veya yeniden başlattığınızda, uygulama yüklemesinin tamamlanması çok uzun sürer veya uzun bir yükleme süresinden sonra başarısız olur.

Neden

Bu sorun, bir Python paketinin başlangıç görevi olarak kullanamayacak kadar büyük olması nedeniyle oluşur.

Azure Batch'te bir toplu iş havuzu oluşturduğunuzda ve bir toplu iş düğümü eklediğinizde, önerilen işlem işletim ortamını hazırlamak için bir başlangıç görevi kullanmaktır. Bu başlangıç görevi aşağıdakileri yapabilir:

• Görevlerinizin çalıştırdığını uygulamaları yükleyin.

• Toplu iş düğümü havuza ilk eklendiğinde veya düğüm yeniden başlatıldığında veya yeniden oluşturulduğunda arka plan işlemlerini başlatın.

Ancak Python dil çalışma zamanı ve Python'ın çalışmasını gerektiren uygulamalar için paket o kadar büyük olabilir ki, başlangıç görevinin yüklenmesi uzun sürebilir. Yüklemenin çoğu gerçekleştikten sonra bile beklenmeyen bir sorun nedeniyle yükleme başarısız olabilir.

Çözüm

Bu sorunu çözmek için, bir 1. Nesil görüntüsü yakalamadan önce sanal makine (VM) ve toplu iş hesabı konumları ile işletim sistemi sürümlerini eşleştirin ve Python'ı ve paketlerini önceden yükleyin.

Toplu iş düğümlerini ayırmak için önceden paketlenmiş bir özel görüntü kullanın. Bu işlem hakkında genel bilgi için bkz . Özel görüntü havuzu oluşturmak için yönetilen görüntü kullanma.

Uzun yükleme sürelerini önlemek ve yükleme hatasını önlemeye yardımcı olmak için şu genel uygulamaları izleyin:

• Toplu iş hesabını oluştururken ve VM toplu iş düğümünü oluştururken kullanılacak konum veya bölgeyi belirtin.

• Adında Windows Server 2019 Datacenter - 1. Nesil (Windows düğümü) veya Ubuntu Server 18.04 LTS - 1. Nesil (Linux düğümü) gibi 1. Nesil bulunan bir görüntü seçin. Bazı VM aileleri 2. Nesil görüntülerini desteklemediğinden 1. Nesil görüntüsü gereklidir.

• Azure portalında bir düğüm havuzu oluşturduğunuzda, İşletim sistemi bölümündeki Sku listesinin belirttiğiniz sistem sürümünü içerdiğinden emin olun.

• Python yüklemenizi görüntüye önceden yüklenip tüm kullanıcılar için çalışacak şekilde özelleştirin.

Sisteme özgü yordamlar

Aşağıdaki sekmeli bölümlerde, Bir Windows toplu iş düğümü veya Linux toplu iş düğümü için gerçekleştirmeniz gereken adımlar açıklanmaktadır.

Windows

Windows düğümü: C sürücüsüne gerekli Python sürümünü yükleyin ve sistem yolunu el ile ekleyin

Yordam özeti

VM'yi oluşturup başlattıktan sonra Uzak Masaüstü Protokolü'nü (RDP) kullanarak VM'ye bağlanın. Ardından, Gerekli Python çalışma zamanı sürümü (örneğin, Python 3.10.4) dahil olmak üzere VM'ye ihtiyacınız olan her şeyi yükleyin ve sistem yolunu düzenleyin. Son olarak, VM görüntüsünü yakalayın, VM görüntüsünü kullanan bir toplu iş havuzuna dağıtın, yeni toplu iş havuzu düğümüne bağlanın ve ardından önceden yüklenmiş Python çalışma zamanının ve paketlerinin düzgün çalıştığından emin olmak için bunu test edin.

Yordam adımları

1. Aşağıdaki ayarları belirterek Azure portalında bir Windows VM oluşturun.

   Ayar adı	Ayar değeri
   Bölge	Toplu iş hesabınıza atanan bölge
   Görsel	Adında 1. Nesil (2. Nesil değil) bulunan ve batch hizmeti tarafından desteklenen bir Windows görüntüsü

2. RDP kullanarak VM'ye bağlanın.

3. Python Kurulum sihirbazını çalıştırın ve yüklemeyi özelleştir seçeneğini belirleyin. Ardından Gelişmiş Seçenekler sayfasında Yükleme konumunu özelleştir kutusuna gidin ve C sürücüsünde bir yol belirtin.

4. için sistem ortam değişkenini, Python yükleme yolunu (C:\Python\gibi) ve Python yüklü paketlerin yolunu (C:\Python\ScriptsPathdüzenleyin.

   Not

   Python Kurulum sihirbazı bu yolları yalnızca için kullanıcıPathekler. Bu nedenle, yolları ilgili sistem ortamı değişkenine eklemeniz gerekir. Aksi takdirde, VM görüntüsünü yakaladığınızda Python ayarları ve kullanıcının yüklediği ek yazılım paketleri görüntüden silinir.

   Bu yolları sistem ortam değişkenine eklemek için şu adımları izleyin:

   1. Başlat'ı seçin ve ardından Ayarlar'ı arayıp seçin.

   2. Ayarlar uygulamasında Sistem Hakkında>>.

   3. Sistem Özellikleri iletişim kutusunda Gelişmiş sekmesini ve ardından Ortam değişkenleri'ni seçin.

   4. Ortam Değişkenleri iletişim kutusunda Sistem değişkenleri bölümüne gidin, Yol değişkenini seçin ve ardından Düzenle'yi seçin.

   5. Ortam değişkenini düzenle iletişim kutusunda Yeni'yi seçin ve Python yüklü paketlerin yolunu girin. Ardından Python çalışma zamanının yolunu girmek için bu adımı yineleyin.

   6. Üç iletişim kutusundaki değişiklikleri uygulamak için Üç kez Tamam'ı seçin.

5. Konsolda Python yüklemesini test edin.

   Örneğin, yüklediğiniz Python sürümünü doğrulamak için komutunu çalıştırdıktan python --version sonra, henüz yüklenmemiş bir paketi (örneğin numpy) içeri aktarmayı denemek için Python yorumlayıcısını çalıştırabilirsiniz. Beklenen ModuleNotFoundError özel durumu aldıktan sonra, paketi yüklemek için komutunu çalıştırın pip install <package-name> ve ardından python yorumlayıcısını yeniden çalıştırarak paketi içeri aktarın. İçeri aktarma komutu artık başarılı olmalıdır.

6. Portalda VM görüntüsü oluşturma sayfasındaki adımları izleyerek VM görüntüsünü yakalayın, ancak Görüntü oluşturma sayfasında yalnızca aşağıdaki ayarları uygulayın.

   Ayar adı	Ayar değeri
   Kaynak grubu	Kaynak grupları listesinden öğesini seçin veya kaynak grubu oluşturmak için Yeni oluştur'u seçin.
   Hedef Azure işlem galerisi	Azure işlem galerileri listesinden öğesini seçin veya Azure işlem galerisi oluşturmak için Yeni oluştur'u seçin.
   Hedef VM görüntü tanımı	Yeni oluştur’u seçin. VM görüntü tanımı oluştur sayfasında, yalnızca görüntüye vermek istediğiniz VM görüntü tanımı adını girin. (Sayfa otomatik olarakPublisher, Teklif ve SKU ayarları.)
   Sürüm numarası	VM görüntüsüne vermek istediğiniz sürüm numarasını girin.

7. VM görüntü ayarlarını uyguladıktan sonra, ayarları doğrulamak için Gözden geçir + oluştur'u seçin ve ardından oluştur'u seçerek görüntüyü oluşturun. Bu adım aşağıdaki üç kaynak türünü oluşturur:

   • Azure Compute Gallery
   • Özel Görüntü Tanımı
   • Özel Görüntü Tanımı Sürümü

8. Üç kaynak oluşturulduktan sonra, VM görüntüsünü kullanan yeni bir toplu iş havuzu oluşturmak için şu adımları izleyin:

   1. Azure portalında Batch hesapları'nı arayın ve seçin.

   2. Toplu iş hesapları listesinde hesabınızı seçin.

   3. Toplu iş hesabınızın menü bölmesinde Havuzlar'ı ve ardından Ekle'yi seçerek toplu iş havuzu oluşturun.

   4. Havuz ekle sayfasında aşağıdaki ayarları yapın ve tamam'ı seçin.

      Ayar adı	Ayar değeri
      Havuz Kimliği	Havuzunuzun yeni adı
      Görüntü Türü	Özel görüntü - Paylaşılan Görüntü Galerisi *
      Paylaşılan resim galerisi	VM görüntüsünü oluştururken belirttiğiniz hedef Azure işlem galerisinin adı
      Görsel	VM görüntüsünü oluştururken belirttiğiniz VM görüntü tanımı adı
      Sürüm	VM görüntüsünü oluştururken belirttiğiniz sürüm numarası
      İşletim sistemi	Windows
      İşletim sistemi dağıtımı	windowsserver
      İşletim sistemi sku'su	Seçtiğiniz işletim sistemi sürümünün ürün kodu (örneğin, microsoftwindowsserver-2019-datacenter)

      * Paylaşılan Görüntü Galerisi, Azure İşlem Galerisi'nin başka bir adıdır. Bu, VM görüntü oluşturma işlemi sırasında oluşturulan kaynaklardan biridir.

9. Toplu iş havuzu düğümü ayrıldıktan sonra toplu iş havuzu düğümü sayfasına gidin ve başlık menüsünde Bağlan'ı seçin.

10. Bağlan bölmesinde Kullanıcı oluştur seçeneğini belirleyin, Rastgele kullanıcı oluştur düğmesini ve ardından RDP dosyasını indir'i seçin.

11. Yeni toplu iş düğümüne bağlanmak için indirilen RDP dosyasını çalıştırın.

12. Önceden yüklenmiş sürümün düzgün çalıştığından emin olmak için Python yüklemesini yeniden test edin.

Linux

Linux düğümü: Python 3.8 ve dış paketlerini yüklemek için sudo çalıştırın

Yordam özeti

VM'yi oluşturup başlattıktan sonra Secure Shell (SSH) kullanarak VM'ye bağlanın. Ardından, Python çalışma zamanının 3.8 sürümü (varsayılan 3.6 sürümünün sonraki sürümü) dahil olmak üzere ihtiyacınız olan her şeyi VM'ye yükleyin. Bunu yapmak için komutunu kullanarak sudo Python 3.8 ve paketlerini tüm kullanıcıların kullanımına açın. Son olarak, VM görüntüsünü yakalayın, VM görüntüsünü kullanan bir toplu iş havuzuna dağıtın, yeni toplu iş havuzu düğümüne bağlanın ve ardından önceden yüklenmiş Python 3.8 çalışma zamanının ve paketlerinin doğru çalıştığından emin olmak için bunu test edin.

Yordam adımları

1. Aşağıdaki ayarları belirterek Azure portalında bir Linux VM oluşturun.

   Ayar adı	Ayar değeri
   Bölge	Toplu iş hesabınıza atanan bölge
   Görsel	Adında 1. Nesil (2. Nesil değil) bulunan ve batch hizmeti tarafından desteklenen bir Linux görüntüsü

2. SSH kullanarak Linux VM'sine bağlanın.

3. Python 3.8'i ve paket yükleme aracını (pip) yüklemek için aşağıdaki komutları çalıştırın:

   sudo apt-get update
   sudo apt install -y python3.8
   sudo apt-get -y install python3-pip
   sudo python3.8 -m pip install --upgrade pip
   

4. Python sürümünü doğrulamak ve dış paketi yüklemek requests için aşağıdaki Python 3.8 komutlarını çalıştırın.

   python3.8 --version
   sudo python3.8 -m pip install requests
   

   Not

   • Söz dizimini sudo python3.8 -m pip install <package-name> kullanarak Python paketlerini yüklemeniz gerekir. veya sudo pip install <package-name>kullanarak sudo pip3 install <package-name> bir Python paketi yüklemeye çalışırsanız, paket varsayılan Python 3.6 sürümüne yüklenmiş olabilir. Bunu yaptığınızda paket Python 3.8 gerektiren uygulamalarda kullanılamaz hale gelir.

   • Paketleri yüklerken komutunu kullanmanız sudo gerekir. eklemezseniz sudo, yüklenen paket diğer kullanıcılar tarafından tanınmaz.

5. python3.8 Etkileşimli modda komutunu çalıştırın ve ardından paketin import requests başarıyla yüklendiğini ve Python 3.8'e aktarılabildiğini doğrulamak için girinrequests.

6. Aşağıdaki komutu çalıştırarak Linux VM'sinin sağlamasını kaldırın:

   sudo waagent -deprovision+user
   

   Uyarı

   • Bu adımı atlarsanız Batch düğümleri kullanılamaz duruma gelebilir.

   • VM sağlamasını kaldırma komutunu çalıştırdıktan sonra bu VM'ye bağlanamazsınız.

7. Portalda VM görüntüsü oluşturma sayfasındaki adımları izleyerek VM görüntüsünü yakalayın, ancak Görüntü oluşturma sayfasında yalnızca aşağıdaki ayarları uygulayın.

   Ayar adı	Ayar değeri
   Kaynak grubu	Kaynak grupları listesinden öğesini seçin veya kaynak grubu oluşturmak için Yeni oluştur'u seçin.
   Hedef Azure işlem galerisi	Azure işlem galerileri listesinden öğesini seçin veya Azure işlem galerisi oluşturmak için Yeni oluştur'u seçin.
   Hedef VM görüntü tanımı	Yeni oluştur’u seçin. Ardından, VM görüntü tanımı oluştur sayfasında yalnızca görüntüye vermek istediğiniz VM görüntü tanımı adını girin. (Sayfa otomatik olarakPublisher, Teklif ve SKU ayarları.)
   Sürüm numarası	VM görüntüsüne atanacak sürüm numarasını girin.

8. VM görüntü ayarlarını uyguladıktan sonra, ayarları doğrulamak için Gözden geçir + oluştur'u seçin ve ardından oluştur'u seçerek görüntüyü oluşturun. Bu adım aşağıdaki üç kaynak türünü oluşturur:

   • Azure Compute Gallery
   • Özel Görüntü Tanımı
   • Özel Görüntü Tanımı Sürümü

9. Üç kaynak oluşturulduktan sonra, VM görüntüsünü kullanan yeni bir toplu iş havuzu oluşturmak için şu adımları izleyin:

   1. Azure portalında Batch hesapları'nı arayın ve seçin.

   2. Toplu iş hesapları listesinde hesabınızı seçin.

   3. Toplu iş hesabınızın menü bölmesinde Havuzlar'ı seçin. Ardından, toplu iş havuzu oluşturmak için Ekle'yi seçin.

   4. Havuz ekle sayfasında aşağıdaki ayarları yapın ve tamam'ı seçin:

      Ayar adı	Ayar değeri
      Havuz Kimliği	Havuzunuzun yeni adı
      Görüntü Türü	Özel görüntü - Paylaşılan Görüntü Galerisi *
      Paylaşılan resim galerisi	VM görüntüsünü oluştururken belirttiğiniz hedef Azure işlem galerisinin adı
      Görsel	VM görüntüsünü oluştururken belirttiğiniz VM görüntü tanımı adı
      Sürüm	VM görüntüsünü oluştururken belirttiğiniz sürüm numarası
      İşletim sistemi	Linux
      İşletim sistemi dağıtımı	Linux dağıtım adlarından biri
      İşletim sistemi sku'su	Seçtiğiniz işletim sistemi sürümünün ürün kodu

      * Paylaşılan Görüntü Galerisi, Azure İşlem Galerisi'nin başka bir adıdır. Bu, VM görüntü oluşturma işlemi sırasında oluşturulan kaynaklardan biridir.

10. Toplu iş havuzu düğümü ayrıldıktan sonra SSH kullanarak düğüme bağlanın.

11. Önceden yüklenmiş sürümün düzgün çalıştığından emin olmak için Python 3.8 yüklemesini yeniden test edin.

Başvurular

• Azure portalında ilk toplu işleminizi çalıştırma

Yardım için bize ulaşın

Sorularınız varsa Azure topluluk desteğine sorabilirsiniz. Ürün geri bildirimini Azure geri bildirim topluluğuna da gönderebilirsiniz.