Uç noktaları sunan özel model için yük testi yapılandırma

Bu makale bir yük testi not defteri örneği sağlar ve uç nokta performansını iyileştirmek için yük testlerini çalıştırmaya yönelik kurulum gereksinimlerini, kimlik doğrulamasını, küme yapılandırmasını ve adım adım yönergeleri kapsar.

Bu makaledeki bilgiler ve örnek dosyalar, Databricks'te Mozaik Yapay Zeka Modeli Sunma uç noktanız için yük testi yapılandırmaya başlamanızı sağlar.

tr-TR: Yük testi ve ilgili kavramlar hakkında daha fazla bilgi için Hizmet uç noktaları için yük testi bölümüne bakın.

Gereksinimleri

Aşağıdaki dosyaların ve örnek not defterinin bir kopyasını indirip Databricks çalışma alanınıza aktarın:

• input.json
  • Bu dosya, uç noktanıza yapılan tüm eş zamanlı bağlantılar tarafından gönderilen yükü belirtir. Yükün boyutuna duyarlı olan bir uç noktayı test ediyorsanız, giriş yükünün uç noktanın nasıl kullanılacağını beklediğiniz şekilde temsil ettiğinden emin olun. Daha fazla kılavuz için bkz. Yükü test edin.
• fast-load-test.py
  • Bu script, Locust yük testi not defteri tarafından, kimlik doğrulama belirtecini doğrulamak ve input.json dosyasının içeriğini okumak için kullanılır.

Çekirge yük testi not defteri

Dizüstü bilgisayar al

Yukarıdaki dosyalar ve örnek not defteri aşağıdaki küme yapılandırması kullanılarak test edilmiştir:

• Tek düğüm kümesi
• 15.4 LTS ML çalışma zamanı
• CPU için iyileştirilmiş bir örnek seçin. Databricks en az 32 çekirdeği olan bir örnek önerir. Daha fazla çekirdeğe sahip örnekler saniyede daha yüksek sorgular veya istekler (RPS) oluşturabilir.

Çekirge

Locust , üretim sınıfı uç noktaları değerlendirmek için yaygın olarak kullanılan bir yük testi için açık kaynak çerçevedir. Çekirge çerçevesi, test boyunca uç noktanızın performansını ölçerken istemci bağlantılarının sayısı ve istemci bağlantılarının ne kadar hızlı ortaya çıkma hızı gibi çeşitli parametreleri değiştirmenize olanak tanır. Locust, yaklaşımı standartlaştırıp otomatikleştirdiğinden tüm örnek kodlar için kullanılır.

Locust, testlerini çalıştırmak için CPU kaynaklarına dayanır. Yüke bağlı olarak bu, CPU çekirdeği başına saniyede yaklaşık 4000 istek kolaylaştırır. Locust yük testi not defterinde bayrak, --processes -1 Locust'un sürücünüzdeki CPU çekirdeği sayısını otomatik olarak algılamasına ve bunları tam olarak kullanmasına izin verecek şekilde ayarlanmıştır.

Locust çıktısını izleyin. Locust CPU tarafından performans sorunu yaşıyorsa bir mesaj görüntülenir.

Ortamınızı ayarlama

Bu bölümdeki yönergeler, Locust yük testi not defterinin dışında tamamlanmalıdır.

Uç nokta yapılandırması

Locust yük testi not defteri, modelinizin uç noktaya hizmet veren bir CPU modeli üzerinde çalıştığını varsayar. Bu not defterindeki hesaplamalarda, Sunum kullanıcı arabirimini kullanarak sunum uç noktanızı oluştururken aşağıdakileri yapılandırdığınız varsayılır. Bkz . Uç noktaları sunan özel model oluşturma.

• "Küçük" (4 uç nokta eşzamanlılığı) CPU uç noktası ile başlayın. Uç noktanızı oluştururken hem en düşük hem de en yüksek eşzamanlılık değeri 4 olduğundan emin olun
• Yol iyileştirme etkinleştirildi
• Sıfıra Ölçekleme devre dışı

Hizmet sorumlusu kurulumu

Rota için iyileştirilmiş uç noktayla etkileşim kurmak için Locust testinin uç noktayı sorgulama izinlerine sahip OAuth belirteçleri oluşturabilmesi gerekir. Kimlik doğrulamasını hazırlamak için şu adımları izleyin:

1. Databricks Hizmet Sorumlusu Oluşturma
2. Model Sunma uç noktası web sayfasına gidin, "İzinler"e tıklayın ve Hizmet Sorumlusuna "Sorgulayabilir" düzeyi izinleri verin.
3. iki anahtarla adlandırılan bir databricks gizli dizin kapsamı oluşturun:
   1. Databricks hizmet sorumlunuzun kimliği. Örneğin: service_principal_client_id .
   2. Databricks hizmet sorumlusu için istemci gizli anahtarı. Örneğin service_principal_client_secret.
4. Hizmet sorumlunuzun istemci kimliğini ve istemci gizli dizisini databricks gizli dizisine yerleştirin.

Dizüstü bilgisayar kurulumu

Aşağıdaki bölümlerde , Locust yük testi not defterinizin nasıl ayarlanacağı ve Gereksinimler bölümünde indirdiğiniz destekleyici dosyaların nasıl ayarlanacağı açıklanmaktadır.

Değişkenleri yapılandırma

Aşağıdaki parametreleri Locust yük testi not defteri kopyanızda yapılandırın.

Parametre	Açıklamalar
endpoint_name	Databricks Model Sunma uç noktanızın adı.
locust_run_time	Her bir yük testinin ne kadar süreyle çalıştırılacağı. Birçok yük testi çalıştırıldığından 5-10 dakikalık bir süre iyi bir varsayılan değerdir.
csv_output_prefix	Locust yük testleri, bilgi ve metrikleri içeren CSV dosyalarını oluşturur. Bu dize, CSV dosyalarına ekli bir ön ek tanımlar.
secret_scope_name	Hizmet temsilcisi bilgilerini içeren Databricks gizli kapsamınızın adı.

Yük belirtme

input.json not defterleriyle birlikte yükünüzü dosyasına ekleyin.

Yük testi sonuçlarının geçerliliğini sağlamak için, Locust istemcileri tarafından gönderilmesi gereken yükü göz önünde bulundurmak önemlidir. Üretimde göndermeyi planladığınız yük türünü doğru bir şekilde temsil eden bir yük seçin. Örneğin, modeliniz kredi kartı işlemlerinde istek başına bir işlem gibi gerçek zamanlı olarak değerlendirilecek bir sahtekarlık algılama modeliyse yükünüzün yalnızca bir tipik işlemi temsildiğinden emin olun.

Yükü test edin

Databricks Model Sunum uç noktanızdaki input.json penceresine tam verileri kopyalayıp yapıştırarak ve modelinizin istenen çıkışlarla yanıt vermesini sağlayarak yükünüzü test edin.

Uç noktanızın Sorgu kutusunu açmak için:

1. Databricks çalışma alanınızda Sunma kullanıcı arabirimine gidin.
2. Yük testi için kullanmak istediğiniz uç noktayı seçin.
3. En sağ üst köşedeki Kullan düğmesinin yanındaki açılan menüyü seçin.
4. Sorguseçin.

Belirli bir gecikme yüzdesine ulaşmanız için gerekli hizmet sağlayıcı uç nokta eşzamanlılığı, eşzamanlı bağlantı sayısıyla doğrusal olarak ölçeklenir. Bu, son testi gerçekleştirmeden önce küçük bir uç noktada test yapabileceğiniz ve sonunda ihtiyacınız olan boyut uç noktasını hesaplayabileceğiniz anlamına gelir.

Yük testini çalıştırma

Uç noktanız, not defterleriniz ve yükünüz yapılandırıldıktan sonra not defteri yürütme adımlarını adım adım gerçekleştirmeye başlayabilirsiniz.
Dizüstü bilgisayar, uç noktanızın çevrimiçi olduğunu ve yanıt verdiğini doğrulamak için uç noktanızda 30 saniyelik çok kısa bir yük testi yürütür.

Locust yük testi not defterinde, istemci tarafında farklı miktarlarda eşzamanlılık ile bir dizi yük testi çalıştırabilirsiniz. Yük testi serisini tamamladıktan sonra, not defterinde tüm istek hatalarının veya özel durumlarının içeriğini yazdıran ve istemci eşzamanlılığına karşı gecikme yüzdebirliklerinin grafiğini oluşturan hücreler vardır.

Size bir sonuç tablosu sunulur ve bir seçim yapmanız gerekir. Gecikme süresi gereksinimlerinizi en iyi karşılayan satırı seçin ve istenen RPS uygulamalarını girin. Not defteri, kullanıcı tarafından sağlanan bu bilgileri alır ve RPS ve gecikme hedeflerinize ulaşmak için uç noktanızı boyutlandırma önerisiyle yanıt verir.

Model Sunma uç noktası yapılandırmanızı not defterinin önerileriyle eşleşecek şekilde güncelleştirdikten sonra, uç noktanın hem gecikme süresi hem de RPS gereksinimlerini karşıladığından emin olmak için not defterinin son yük testini çalıştırabilirsiniz.