Azure Kubernetes Service (AKS) genel bakış sayfasında Kueue ile Ray AI iş yüklerini çalıştırma

Bu makalede, işlem çalışma zamanı için Ray ve erişim denetimi için Kueue kullanarak dağıtılmış yapay zeka iş yüklerini Azure Kubernetes Service (AKS) çalıştırmayı öğreneceksiniz. Bu çözüm, eğitim, toplu çıkarım ve çevrimiçi sunum aracılığıyla altyapı sağlamanın tüm yaşam döngüsünü kapsar.

Önemli

Aks belgeleri ve örnekleri boyunca açık kaynak yazılımdan bahsedilmektedir. Dağıttığınız yazılımlar AKS hizmet düzeyi sözleşmelerinin, sınırlı garantinin ve Azure desteği dışında tutulur. AKS ile birlikte açık kaynak teknolojisini kullanırken, bir plan geliştirmek için ilgili toplulukların ve proje bakımcılarının sağlanan destek seçeneklerine başvurun.

Microsoft, AKS'de dağıttığımız açık kaynak paketleri oluşturma sorumluluğunu üstlenir. Bu sorumluluk derleme, tarama, imzalama, doğrulama ve hataları düzeltme işleminin tam sahipliğini ve konteyner imajlarındaki ikili dosyalar üzerindeki denetimi içerir. Daha fazla bilgi için AKS için Güvenlik Açığı Yönetimi ve AKS Destek Kapsamı başlıklı belgelere bakın.

Ray nedir?

Ray, yapay zeka ve Python uygulamalarını ölçeklendirmeye yönelik açık kaynak bir çerçevedir. Uygulama mantığını yeniden yazmadan iş yüklerini birden çok düğüm arasında ölçeklendirebilmeniz için dağıtılmış eğitim, hiper parametre ayarlama, toplu çıkarım ve model sunma için birleşik bir çalışma zamanı sağlar.

Ray, zamanlama, hataya dayanıklılık ve kaynak yönetimini işleyerek dağıtılmış bilgi işlemi basitleştirir. Çerçeve, Ray Train, Ray Data ve Ray Serve gibi tümleştirmeler aracılığıyla PyTorch, TensorFlow ve Hugging Face gibi makine öğrenmesi kitaplıklarını destekler. Daha fazla bilgi için bkz . Ray GitHub deposu.

KubeRay nedir?

KubeRay , Ray kümelerinin yaşam döngüsünü yöneten bir Kubernetes operatörüdür. Toplu iş yükleri için RayJob ve kalıcı hizmet uç noktaları için RayService olmak üzere, kümenin oluşturulmasını, ölçeklendirilmesini ve ortadan kaldırılmasını otomatikleştiren özel kaynaklar sağlar. Daha fazla bilgi için bkz . KubeRay GitHub deposu.

Kueue nedir?

Kueue , kaynak kotalarına göre iş yükü kabulü yöneten kubernetes yerel iş kuyruğu denetleyicisidir. Gönderilen her işin kaynakları hemen kullanmasına izin vermek yerine Kueue, işlerin kabulünü tanımlı kotalara göre denetler; kotaya uyan işler çalışır, uymayanlar ise sırada bekler. Kueue kavramlarına ve yapılandırmasına ayrıntılı bir genel bakış için bkz. AKS'de Kueue'ye genel bakış.

Çözüm mimarisi

Bu çözüm, AKS üzerinde erişim denetimi için Kueue ile Ray kümesinin yaşam döngüsü yönetimi için KubeRay’i birleştirir. Terraform altyapıyı oluşturur, Helm operatörleri Microsoft Container Registry’den (MCR) yükler ve iş yükü kimliği, kimlik bilgilerini depolamadan Azure Blob Depolama’a güvenli erişim sağlar.

Dağıtım işlemi üç modülden oluşur:

• Altyapı — Terraform AKS kümesini GPU düğüm havuzlarıyla sağlar, Helm aracılığıyla KubeRay ve Kueue işleçlerini yükler, Azure Blob Depolama oluşturur ve iş yükü kimliğini yapılandırir.
• Kueue kuyrukları — Kubernetes manifestleri, ResourceFlavors'ı (CPU ve GPU düğüm türleri), ClusterQueues'i (kotalar ve kabul ilkeleri) ve LocalQueues'i (ad alanı düzeyindeki gönderim noktaları) tanımlar.
• İş yükleri — RayJob ve RayService manifestoları, Kueue'nin kullanılabilir kotaya göre kabul ettiği yapay zeka iş yüklerini gönderir.

Ray iş yükleri suspend: true ile başlar. Kueue kota uygunluğunu değerlendirir ve kabul edilmiş iş yüklerinin askısını kaldırır; bu aşamada KubeRay Ray kümesini oluşturur ve işi çalıştırır.

İş yükü örnekleri

Example	Türü	GPUs	Description
Aurora hava durumu modeline ince ayar yapma	RayJob	1×A100	Microsoft Aurora meteoroloji temel modelinin LoRA ile ince ayarı
LLM'yi eğitin	RayJob	4×A100	LLaMA-Factory ile dağıtılmış Qwen2.5-7B LoRA ince ayarı
Toplu çıkarım çalıştırma	RayJob	1×A100	Eğitilmiş bir LoRA bağdaştırıcısı ile vLLM çevrimdışı çıkarımı
Modeli çevrimiçi sunma	RayService	1×GPU	Ray Serve ile kalıcı HTTP uç noktası

Sonraki adım

AKS üzerinde Ray ve Kueue için altyapı dağıtma