Yeniden başlatma veya yeniden boyutlandırma sırasında toplu düğüm oluşturma gecikmelerini çözme

Bu makalede, bir düğümü yeniden başlattığınızda veya yeniden oluştururken toplu düğüm oluşturma gecikmelerinin nasıl çözüleceğini açıklar. Microsoft Azure Batch'da büyük Python çalışma zamanı ve Python paketlerinin yüklenmesinden kaynaklanan sorunlardan kaçının. Bu yükleme, toplu iş düğümü bir toplu iş havuzuna ilk kez eklendiğinde veya düğüm yeniden başlatıldığında veya yeniden başlatıldığında uzun gecikmelere ve olası beklenmeyen hatalara neden olur.

Belirtiler

Bir toplu iş havuzu oluşturduğunuzda ve havuza bir düğüm eklediğinizde veya düğümü yeniden başlattığınızda veya yeniden başlattığınızda, uygulama yüklemesinin tamamlanması çok uzun sürer veya uzun bir yükleme süresinden sonra başarısız olur.

Neden

Bu sorun, python paketinin başlangıç görevi olarak kullanamayacak kadar büyük olması nedeniyle oluşur.

Azure Batch bir toplu iş havuzu oluşturduğunuzda ve bir toplu iş düğümü eklediğinizde, önerilen işlem işletim ortamını hazırlamak için bir başlangıç görevi kullanmaktır. Bu başlangıç görevi aşağıdakileri yapabilir:

• Görevlerinizin çalıştırdığını uygulamaları yükleyin.

• Toplu iş düğümü havuza ilk kez eklendiğinde veya düğüm yeniden başlatıldığında veya yeniden başlatıldığında arka plan işlemlerini başlatın.

Ancak Python dil çalışma zamanı ve Python'ın çalışmasını gerektiren uygulamalar için paket o kadar büyük olabilir ki, başlangıç görevinin yüklenmesi uzun sürebilir. Yüklemenin çoğu gerçekleştikten sonra bile beklenmeyen bir sorun nedeniyle yükleme başarısız olabilir.

Çözüm

Bu sorunu çözmek için, bir 1. Nesil görüntüsü yakalamadan önce sanal makine (VM) ve toplu iş hesabı konumlarıyla işletim sistemi sürümlerini eşleştirin ve Python ve paketlerini önceden yükleyin.

Toplu iş düğümlerini ayırmak için önceden paketlenmiş bir özel görüntü kullanın. Bu işlem hakkında genel bilgi için bkz. Özel görüntü havuzu oluşturmak için yönetilen görüntü kullanma.

Uzun yükleme sürelerini önlemek ve yükleme hatasını önlemeye yardımcı olmak için şu genel uygulamaları izleyin:

• Batch hesabını oluştururken ve VM toplu iş düğümünü oluştururken kullanılacak konumu veya bölgeyi belirtin.

• Adında Windows Server 2019 Datacenter - 1. Nesil (Windows düğümü) veya Ubuntu Server 18.04 LTS - 1. Nesil (Linux düğümü) gibi 1. Nesil bulunan bir görüntü seçin. Bazı VM aileleri 2. Nesil görüntülerini desteklemediğinden 1 . Nesil görüntüsü gereklidir.

• Azure portal bir düğüm havuzu oluşturduğunuzda, İşletim sistemi bölümündeki Sku listesinin belirttiğiniz sistem sürümünü içerdiğinden emin olun.

• Python yüklemenizi görüntüye önceden yüklenip tüm kullanıcılar için çalışacak şekilde özelleştirin.

Sisteme özgü yordamlar

Aşağıdaki sekmeli bölümlerde Windows toplu düğümü veya Linux toplu iş düğümü için gerçekleştirmeniz gereken adımlar açıklanmaktadır.

Windows

Windows düğümü: C sürücüsüne gerekli Python sürümünü yükleyin ve sistem yolunu el ile ekleyin

Yordam özeti

VM'yi oluşturup başlattıktan sonra Uzak Masaüstü Protokolü'nü (RDP) kullanarak VM'ye bağlanın. Ardından, Python çalışma zamanının gerekli sürümü (örneğin, Python 3.10.4) dahil olmak üzere ihtiyacınız olan her şeyi VM'ye yükleyin ve sistem yolunu düzenleyin. Son olarak, VM görüntüsünü yakalayın, VM görüntüsünü kullanan bir toplu iş havuzuna dağıtın, yeni toplu iş havuzu düğümüne bağlanın ve ardından önceden yüklenmiş Python çalışma zamanının ve paketlerinin düzgün çalıştığından emin olmak için bunu test edin.

Yordam adımları

1. Aşağıdaki ayarları belirterek Azure portal bir Windows VM oluşturun.

   Ayar adı	Ayar değeri
   Bölge	Batch hesabınıza atanan bölge
   Görüntü	Adında 1. Nesil ( 2. Nesil değil) bulunan ve batch hizmeti tarafından desteklenen bir Windows görüntüsü

2. RDP kullanarak VM'ye bağlanın.

3. Python Kurulum sihirbazını çalıştırın ve yüklemeyi özelleştir seçeneğini belirleyin. Ardından Gelişmiş Seçenekler sayfasında Yükleme konumunu özelleştir kutusuna gidin ve C sürücüsünde bir yol belirtin.

4. için sistem ortam değişkeniniPath, Python yükleme yolunu (C:\Python\gibi) ve Python yüklü paketlerin yolunu (C:\Python\Scripts\ gibi) içerecek şekilde düzenleyin.

   Not

   Python Kurulum sihirbazı bu yolları yalnızca için Pathkullanıcı ortam değişkenine ekler. Bu nedenle, ilgili sistem ortamı değişkenine yolları eklemeniz gerekir. Aksi takdirde, VM görüntüsünü yakaladığınızda Python ayarları ve kullanıcının yüklediği ek yazılım paketleri görüntüden silinir.

   Bu yolları sistem ortamı değişkenine eklemek için şu adımları izleyin:

   1. Başlat'ı seçin ve ardından Ayarlar'ı arayıp seçin.

   2. Ayarlar uygulamasında Sistem>Hakkında>Gelişmiş sistem ayarları'nı seçin.

   3. Sistem Özellikleri iletişim kutusunda Gelişmiş sekmesini ve ardından Ortam değişkenleri'ni seçin.

   4. Ortam Değişkenleri iletişim kutusunda Sistem değişkenleri bölümüne gidin, Yol değişkenini seçin ve ardından Düzenle'yi seçin.

   5. Ortam değişkenini düzenle iletişim kutusunda Yeni'yi seçin ve Python yüklü paketlerin yolunu girin. Ardından Python çalışma zamanının yolunu girmek için bu adımı yineleyin.

   6. Üç iletişim kutusundaki değişiklikleri uygulamak için Üç kez Tamam'ı seçin.

5. Konsolda Python yüklemesini test edin.

   Örneğin, yüklediğiniz Python sürümünü doğrulamak için komutunu çalıştırdıktan python --version sonra Python yorumlayıcısını çalıştırarak henüz yüklenmemiş bir paketi (gibi numpy) içeri aktarmayı deneyebilirsiniz. Beklenen ModuleNotFoundError özel durumu aldıktan sonra komutunu çalıştırarak pip install <package-name> paketi yükleyin ve ardından python yorumlayıcısını yeniden çalıştırarak paketi içeri aktarın. İçeri aktarma komutu artık başarılı olmalıdır.

6. Portalda VM görüntüsü oluşturma sayfasındaki adımları izleyerek VM görüntüsünü yakalayın, ancak Görüntü oluştur sayfasında yalnızca aşağıdaki ayarları uygulayın.

   Ayar adı	Ayar değeri
   Kaynak grubu	Kaynak grupları listesinden seçim yapın veya kaynak grubu oluşturmak için Yeni oluştur'u seçin.
   Hedef Azure işlem galerisi	Azure işlem galerileri listesinden seçim yapın veya Azure işlem galerisi oluşturmak için Yeni oluştur'u seçin.
   Hedef VM görüntü tanımı	Yeni oluştur'u seçin. VM görüntüsü tanımı oluştur sayfasında, yalnızca görüntüye vermek istediğiniz VM görüntü tanımı adını girin. (Sayfa otomatik olarak Yayımcı, Teklif ve SKU ayarlarını sağlar.)
   Sürüm numarası	VM görüntüsüne vermek istediğiniz sürüm numarasını girin.

7. VM görüntü ayarlarını uyguladıktan sonra ayarları doğrulamak için Gözden Geçir + oluştur'u ve ardından oluştur'u seçerek görüntüyü oluşturun. Bu adım aşağıdaki üç kaynak türünü oluşturur:

   • Azure İşlem Galerisi
   • Özel Görüntü Tanımı
   • Özel Görüntü Tanımı Sürümü

8. Üç kaynak oluşturulduktan sonra, VM görüntüsünü kullanan yeni bir toplu iş havuzu oluşturmak için şu adımları izleyin:

   1. Azure portalBatch hesapları'nı arayın ve seçin.

   2. Toplu iş hesapları listesinde hesabınızı seçin.

   3. Toplu iş hesabınızın menü bölmesinde Havuzlar'ı ve ardından Ekle'yi seçerek bir toplu iş havuzu oluşturun.

   4. Havuz ekle sayfasında aşağıdaki ayarları yapın ve tamam'ı seçin.

      Ayar adı	Ayar değeri
      Havuz Kimliği	Havuzunuzun yeni adı
      Görüntü Türü	Özel görüntü - Paylaşılan Görüntü Galerisi *
      Paylaşılan görüntü galerisi	VM görüntüsünü oluştururken belirttiğiniz hedef Azure işlem galerisinin adı
      Görüntü	VM görüntüsünü oluştururken belirttiğiniz VM görüntü tanımı adı
      Sürüm	VM görüntüsünü oluştururken belirttiğiniz sürüm numarası
      İşletim sistemi	Windows
      İşletim sistemi dağıtımı	windowsserver
      İşletim sistemi sku'su	Seçtiğiniz işletim sistemi sürümünün ürün kodu (örneğin, microsoftwindowsserver-2019-datacenter)

      * Paylaşılan Görüntü Galerisi, Azure İşlem Galerisi'nin başka bir adıdır. Bu, VM görüntü oluşturma işlemi sırasında oluşturulan kaynaklardan biridir.

9. Toplu iş havuzu düğümü ayrıldıktan sonra toplu iş havuzu düğümü sayfasına gidin ve başlık menüsünde Bağlan'ı seçin.

10. Bağlan bölmesinde Kullanıcı oluştur seçeneğini belirleyin, Rastgele kullanıcı oluştur düğmesini ve ardından RDP dosyasını indir'i seçin.

11. Yeni toplu iş düğümüne bağlanmak için indirilen RDP dosyasını çalıştırın.

12. Önceden yüklenmiş sürümün düzgün çalıştığından emin olmak için Python yüklemesini yeniden test edin.

Linux

Linux düğümü: Python 3.8 ve dış paketlerini yüklemek için sudo çalıştırın

Yordam özeti

VM'yi oluşturup başlattıktan sonra Secure Shell (SSH) kullanarak VM'ye bağlanın. Ardından, Python çalışma zamanının 3.8 sürümü (varsayılan 3.6 sürümünün sonraki sürümü) dahil olmak üzere ihtiyacınız olan her şeyi VM'ye yükleyin. Bunu yapmak için komutunu kullanarak sudo Python 3.8 ve paketlerini tüm kullanıcıların kullanımına açın. Son olarak, VM görüntüsünü yakalayın, VM görüntüsünü kullanan bir toplu iş havuzuna dağıtın, yeni toplu iş havuzu düğümüne bağlanın ve ardından önceden yüklenmiş Python 3.8 çalışma zamanının ve paketlerinin düzgün çalıştığından emin olmak için bunu test edin.

Yordam adımları

1. Aşağıdaki ayarları belirterek Azure portal bir Linux VM oluşturun.

   Ayar adı	Ayar değeri
   Bölge	Batch hesabınıza atanan bölge
   Görüntü	Adında 1. Nesil ( 2. Nesil değil) bulunan ve batch hizmeti tarafından desteklenen bir Linux görüntüsü

2. SSH kullanarak Linux VM'sine bağlanın.

3. Python 3.8'i ve paket yükleme aracını (pip) yüklemek için aşağıdaki komutları çalıştırın:

   sudo apt-get update
   sudo apt install -y python3.8
   sudo apt-get -y install python3-pip
   sudo python3.8 -m pip install --upgrade pip
   

4. Python sürümünü doğrulamak ve dış paketi yüklemek requests için aşağıdaki Python 3.8 komutlarını çalıştırın.

   python3.8 --version
   sudo python3.8 -m pip install requests
   

   Not

   • Söz dizimini sudo python3.8 -m pip install <package-name> kullanarak Python paketlerini yüklemeniz gerekir. veya sudo pip3 install <package-name>kullanarak sudo pip install <package-name> bir Python paketi yüklemeye çalışırsanız, paket varsayılan Python 3.6 sürümüne yüklenmiş olabilir. Bunu yaptığınızda paket Python 3.8 gerektiren uygulamalarda kullanılamaz duruma gelir.

   • Paketleri yüklerken komutunu kullanmanız sudo gerekir. eklemezseniz sudo, yüklü paket diğer kullanıcılar tarafından tanınmaz.

5. python3.8 Etkileşimli modda komutunu çalıştırın ve ardından paketin requests başarıyla yüklendiğini ve Python 3.8'e aktarılabildiğini doğrulamak için girinimport requests.

6. Aşağıdaki komutu çalıştırarak Linux VM'sinin sağlamasını kaldırın:

   sudo waagent -deprovision+user
   

   Uyarı

   • Bu adımı atlarsanız Batch düğümleri kullanılamaz duruma gelebilir.

   • VM sağlamayı kaldırma komutunu çalıştırdıktan sonra artık bu VM'ye bağlanamazsınız.

7. Portalda VM görüntüsü oluşturma sayfasındaki adımları izleyerek VM görüntüsünü yakalayın, ancak Görüntü oluştur sayfasında yalnızca aşağıdaki ayarları uygulayın.

   Ayar adı	Ayar değeri
   Kaynak grubu	Kaynak grupları listesinden seçim yapın veya kaynak grubu oluşturmak için Yeni oluştur'u seçin.
   Hedef Azure işlem galerisi	Azure işlem galerileri listesinden seçim yapın veya Azure işlem galerisi oluşturmak için Yeni oluştur'u seçin.
   Hedef VM görüntü tanımı	Yeni oluştur'u seçin. Ardından, VM görüntüsü tanımı oluştur sayfasında yalnızca resme vermek istediğiniz VM resim tanımı adını girin. (Sayfa otomatik olarak Yayımcı, Teklif ve SKU ayarlarını sağlar.)
   Sürüm numarası	VM görüntüsüne atanacak sürüm numarasını girin.

8. VM görüntü ayarlarını uyguladıktan sonra ayarları doğrulamak için Gözden Geçir + oluştur'u ve ardından oluştur'u seçerek görüntüyü oluşturun. Bu adım aşağıdaki üç kaynak türünü oluşturur:

   • Azure İşlem Galerisi
   • Özel Görüntü Tanımı
   • Özel Görüntü Tanımı Sürümü

9. Üç kaynak oluşturulduktan sonra, VM görüntüsünü kullanan yeni bir toplu iş havuzu oluşturmak için şu adımları izleyin:

   1. Azure portalBatch hesapları'nı arayın ve seçin.

   2. Toplu iş hesapları listesinde hesabınızı seçin.

   3. Toplu iş hesabınızın menü bölmesinde Havuzlar'ı seçin. Ardından, toplu iş havuzu oluşturmak için Ekle'yi seçin.

   4. Havuz ekle sayfasında aşağıdaki ayarları yapın ve tamam'ı seçin:

      Ayar adı	Ayar değeri
      Havuz Kimliği	Havuzunuzun yeni adı
      Görüntü Türü	Özel görüntü - Paylaşılan Görüntü Galerisi *
      Paylaşılan görüntü galerisi	VM görüntüsünü oluştururken belirttiğiniz hedef Azure işlem galerisinin adı
      Görüntü	VM görüntüsünü oluştururken belirttiğiniz VM görüntü tanımı adı
      Sürüm	VM görüntüsünü oluştururken belirttiğiniz sürüm numarası
      İşletim sistemi	Linux
      İşletim sistemi dağıtımı	Linux dağıtım adlarından biri
      İşletim sistemi sku'su	Seçtiğiniz işletim sistemi sürümünün ürün kodu

      * Paylaşılan Görüntü Galerisi, Azure İşlem Galerisi'nin başka bir adıdır. Bu, VM görüntü oluşturma işlemi sırasında oluşturulan kaynaklardan biridir.

10. Toplu iş havuzu düğümü ayrıldıktan sonra, SSH kullanarak düğüme bağlanın.

11. Önceden yüklenmiş sürümün düzgün çalıştığından emin olmak için Python 3.8 yüklemesini yeniden test edin.

Başvurular

• Azure portal ilk toplu işleminizi çalıştırma

Yardım için bize ulaşın

Sorularınız veya yardıma ihtiyacınız varsa bir destek isteği oluşturun veya Azure topluluk desteği isteyin. Ürün geri bildirimini Azure geri bildirim topluluğuna da gönderebilirsiniz.