Azure altyapısında yapay zeka için depolama

Bu makalede, Azure altyapısında yapay zeka iş yükleri çalıştıran kuruluşlar için depolama önerileri sağlanır. Azure altyapısındaki yapay zeka iş yükleri için bir depolama çözümü, yapay zeka modeli eğitimi ve çıkarımının doğasında bulunan veri depolama, erişim ve aktarım taleplerini yönetmelidir.

Yapay zeka iş yükleri, verimli veri alma ve işleme için yüksek aktarım hızı ve düşük gecikme süresi gerektirir. Ayrıca dağıtılmış ortamlarda doğru ve yeniden üretilebilir sonuçlar elde etmek için veri sürümü oluşturma ve tutarlılık mekanizmalarına da ihtiyaç duyarlar. Uygun depolama çözümünü seçerken veri aktarım süreleri, gecikme süresi, performans gereksinimleri ve mevcut sistemlerle uyumluluk gibi faktörleri göz önünde bulundurun.

• Etkin veriler için bir dosya sistemi kullanın. Yapay zeka işleri tarafından etkin olarak kullanılan veya oluşturulan "işe özgü/sık erişimli" verileri depolamak için bir dosya sistemi uygulayın. Bu çözüm, düşük gecikme süresi ve yüksek aktarım hızı özellikleri nedeniyle gerçek zamanlı veri işleme için idealdir. Bu özellikler, yapay zeka iş akışlarının performansını iyileştirmek için kritik öneme sahiptir. Azure, Azure altyapıda yapay zeka modellerini eğitmeye ve çıkarıma yönelik üç temel dosya sistemi çözümüne sahiptir. Doğru dosya sistemini seçmek için şu önerileri izleyin:

  • En düşük veri aktarım süreleri ve en düşük gecikme süresi için Azure Managed Lustre kullanın. Azure Managed Lustre paralel dosya sistemi özellikleriyle yüksek performans sağlar ve Azure tümleştirmesi ile yönetimi basitleştirir. Depolama maliyetleri kullanım bazlı olduğu için ekonomik olup, veri işleme süreçlerini optimize ederek Blob Depolama'den seçmeli veri içe aktarmaya olanak tanır.

  • Yapay zeka iş yükleri için kurumsal düzeyde özelliklere ve performansa ihtiyacınız olduğunda Azure NetApp Files kullanın. Azure NetApp Files, görev açısından kritik iş yükleri için ideal olan yüksek güvenilirlik ve performans sunar. NetApp altyapısında mevcut yatırımlarınız varsa Azure NetApp Files yararlıdır. Hibrit bulut özellikleri ve depolama yapılandırmalarını özelleştirmeniz ve hassas ayarlamalar yapmanız gerektiğinde yararlıdır.

  • Performans en yüksek öncelik olduğunda yerel NVMe/SSD dosya sistemlerini kullanın. BeeOND (BeeGFS İsteğe Bağlı) gibi işe özel bir paralel dosya sistemi kullanarak işlemenin yerel NVMe'sini (çalışan düğümleri) toplar. İş sırasında geçici, yüksek performanslı bir dosya sistemi oluşturmak için doğrudan işlem düğümlerinde çalışırlar. Bu sistemler ultra düşük gecikme süresi ve yüksek aktarım hızı sunar, bu da onları derin öğrenme eğitimi veya anlık çıkarım gibi G/Ç yoğunluklu uygulamalar için ideal hale getirir.

• Etkin olmayan verileri Azure Blob Depolama aktar. Bir işi tamamladıktan sonra, etkin olmayan iş verilerini uzun vadeli, uygun maliyetli depolama için Azure Managed Lustre'den Azure Blob Depolama aktar. Blob depolama, farklı erişim katmanlarıyla ölçeklenebilir seçenekler sağlayarak etkin olmayan veya seyrek erişilen verilerin verimli bir şekilde depolanmasını sağlar ve gerektiğinde kullanılabilir durumda kalmasını sağlar.

• Model eğitimi için kontrol noktası gerçekleştirin. Eğitim ağırlıkları ve parametreler dahil olmak üzere modelin durumunu, her 500 yinelemede bir gibi düzenli aralıklarla kaydeden bir denetim mekanizması ayarlayın. Model eğitiminin daha önce kaydedilmiş bir durumdan yeniden başlatılmasına olanak tanıyarak yapay zeka iş akışlarınızın esnekliğini ve dayanıklılığını artırmak için bu denetim noktası verilerini Azure Managed Lustre depolayın.

• Düşük maliyetli depolama katmanlarına veri geçişlerini otomatikleştirin. Azure Blob Depolama yaşam döngüsü yönetimi ilkelerini, eski, seyrek erişilen verileri Seyrek Erişim veya Arşiv katmanları gibi daha düşük maliyetli depolama katmanlarına otomatik olarak geçirmek için yapılandırın. Bu yaklaşım, depolama maliyetlerini iyileştirir ve gerektiğinde önemli verilerin erişilebilir kalmasını sağlar.

• Dağıtılmış ortamlarda veri tutarlılığı sağlayın. Azure Managed Lustre ile Azure Blob Depolama arasında eşitleme ayarlayarak dağıtılmış yapay zeka iş yükleri arasında veri tutarlılığı sağlayın. Bu eşitleme, verilere erişen tüm düğümlerin aynı, tutarlı sürümle çalışmasını sağlayarak dağıtılmış ortamlardaki hataları ve tutarsızlıkları önler.

• Yeniden üretilebilirlik için veri sürümü oluşturmayı etkinleştirin. Zaman içinde veri kümelerinde ve modellerde yapılan değişiklikleri izlemek için Azure Blob Depolama sürüm oluşturma özelliğini etkinleştirin. Bu özellik geri almayı kolaylaştırır, yeniden üretilebilirliği artırır ve işbirliğini destekler. Verilerde ve modellerde yapılan değişikliklerin ayrıntılı geçmişini tutar ve gerektiğinde önceki sürümleri karşılaştırmanıza ve geri yüklemenize olanak tanır.

Sonraki adım

Azure altyapısında AI Ağı