Model Sunma için hata ayıklama kılavuzu

Bu makalede, kullanıcıların uç noktaları sunan modelle çalışırken karşılaşabilecekleri yaygın sorunlara yönelik hata ayıklama adımları gösterilmektedir. Yaygın sorunlar arasında, uç nokta başlatılamadıklarında veya başlatılamadıklarında kullanıcıların karşılaştığı hatalar, kapsayıcıyla ilgili derleme hataları veya uç noktada modelin çalışması veya çalıştırılması sırasında oluşan sorunlar yer alabilir.

:::tip Hata ayıklamadan önce doğrulayın. Dağıtım sorunları mı yaşıyorsunuz? Yaygın sorunları oluşmadan önce yakalamak için dağıtım öncesi doğrulama ile başlayın. :::

Kapsayıcı derlemenizde hata ayıklayın

Databricks, iş yüklerine hizmet veren modelinizde hata ayıklama ve sorun giderme için günlüklerin gözden geçirilmesini önerir. Günlükler ve bunların nasıl görüntüleneceği hakkında bilgi için bkz . Model kalitesini ve uç nokta durumunu izleme.

Çalışma alanı kullanıcı arabirimindeki olay günlükleri ( Olaylar sekmesine tıklayın) kapsayıcı derlemesinin ilerleme durumu hakkında bilgi içerir. Başarılı bir kapsayıcı derlemesi, SERVED_ENTITY_CONTAINER_EVENT olay türü ve Container image creation finished successfully ileti ile vurgulanır. Uç nokta oluşturulduktan bir saat sonra herhangi bir derleme olayı veya iletisi görmüyorsanız yardım için Databricks desteğine ulaşın.

Derlemeniz başarılı olursa ancak başka hatalarla karşılaşırsanız bkz. Kapsayıcı derlemesi başarılı olduktan sonra hata ayıklama. Derlemeniz başarısız olursa bkz. Kapsayıcı derleme hatasından sonra hata ayıklama.

Kapsayıcı derlemesi başarılı olduktan sonra hata ayıklama

Kapsayıcı başarıyla oluşturulsa bile, modeli çalıştırdığınızda veya uç noktanın kendisi çalışırken sorunlar olabilir. Aşağıdaki alt bölümler yaygın sorunları ve bunların nasıl giderilme şeklini açıklar.

Uyarı

Model kodunuz hata döndürüyorsa MlflowException yanıt kodunun bir 4xx yanıtla eşlenmesi beklenir. Databricks, elde edilen hata iletisine göre çözümlenebildiği için bu model kodu hatalarını müşteri kaynaklı hatalar olarak kabul eder. 5xx hata kodları Databricks'in hatalı olduğu hataları iletmek için ayrılmıştır.

Eksik bağımlılık

An error occurred while loading the model. No module named <module-name>. gibi bir hata alabilirsiniz, bu da kapsayıcıda bir bağımlılığın eksik olduğunu gösterebilir. Kapsayıcının derlemesine eklenmesi gereken tüm bağımlılıkları düzgün şekilde belirttiğinizden emin olun. Özel kitaplıklara özellikle dikkat edin ve .whl dosyalarının artifakt olarak eklendiğinden emin olun.

Uç noktaya istek gönderildiğinde model başarısız oluyor veya zaman aşımına uğradı

Modelinizde çağrıldığında Encountered an unexpected error while evaluating the model. Verify that the input is compatible with the model for inference. gibi predict() bir hata alabilirsiniz.

Bu hata işlevdeki predict() bir kod sorununu gösterebilir. Databricks, modeli bir not defterine MLflow'dan yükleyip çağırmanızı önerir. Bunu yaptığınızda, predict() fonksiyonundaki sorunlar vurgulanır ve hatanın metot içinde nerede olduğunu görebilirsiniz.

Başarısız isteklerin kök neden analizi

Uç noktaya yönelik bir istek başarısız olursa çıkarım tablolarını kullanarak kök neden analizi gerçekleştirebilirsiniz. Etkinleştirilirse çıkarım tabloları, Unity Kataloğu tablosunda sorgulamanız için uç noktanıza gelen tüm istekleri ve yanıtları otomatik olarak günlüğe kaydeder.

• Dış modeller, sağlanan aktarım hızı uç noktaları ve yapay zeka aracıları için bkz. AI Gateway özellikli çıkarım tablolarını kullanarak sunulan modelleri izleme.

• Özel modeller için, modelleri izlemek ve hatalarını ayıklamak amacıyla Çıkarım tablolarına bakın.

Çıkarım tablolarını sorgulamak için:

1. Çalışma alanınızda, Sunum sekmesine gidin ve uç nokta adınızı seçin.
2. Çıkarım tabloları bölümünde çıkarım tablosunun tam adını bulun. Örneğin, my-catalog.my-schema.my-table.
3. Databricks not defterinde aşağıdakileri çalıştırın:

   %sql
   SELECT * FROM my-catalog.my-schema.my-table
   

4. İstekleri anlamak ve sonuçları daraltmak için request, response, request_time ve status_code gibi sütunları görüntüleyin ve filtreleyin.

   %sql
   SELECT * FROM my-catalog.my-schema.my-table
   WHERE status_code != 200
   

5. Yapay zeka aracıları için aracı izlemeyi etkinleştirdiyseniz ayrıntılı izlemeleri görüntülemek için Yanıt sütununa bakın. Bkz . Yapay zeka aracıları için çıkarım tablolarını etkinleştirme.

Çalışma alanı sağlanan eşzamanlılığı aşıyor

Bir Workspace exceeded provisioned concurrency quota hata alabilirsiniz. Bu, sağlanan eşzamanlılık için çalışma alanı kotanıza ulaştığınızı gösterir. Eşzamanlılık sınırları hakkında daha fazla bilgi için bkz. Model Sunma sınırları ve bölgeleri .

Kullanılmayan uç noktaları silerek veya durdurarak bu kotayı boşaltabilirsiniz.

Bu sınır, bölge kullanılabilirliğine bağlı olarak artırılabilir. Eşzamanlılık artışı istemek için Databricks hesap ekibinize ulaşın ve çalışma alanı kimliğinizi sağlayın.

Çalışma alanı, paralel istekler sınırını aşıyor.

Şu 429 hatasını alabilirsiniz: Exceeded max number of parallel requests. Please contact your Databricks representative to increase the limit. Bu sınır, paralel olarak gönderilebilen istek sayısı üst sınırında çalışma alanı sınırına ulaştığınızı gösterir. Bu sınır hakkında daha fazla bilgi için bkz. Model Sunma sınırları ve bölgeleri .

Databricks, bu sınırın kaldırıldığı , en iyi duruma getirilmiş uç noktaları yönlendirmenizi önerir. Yönlendirme için iyileştirilmiş uç noktalara geçemiyorsanız çıkarım istekleri gönderen istemci sayısını azaltabilir veya kota artışı için Databricks temsilcinize başvurabilirsiniz.

Çok fazla eşzamanlı istek

Aşağıdaki 429 hatasını alabilirsiniz: Too many concurrent requests. Consider increasing the provisioned concurrency of the served entity. Bu hata, uç noktanızın sağlanan geçerli eşzamanlılığının gelen trafik hacmini işleyemeyeceğini gösterir. Uç noktanız için otomatik ölçeklendirmeyi etkinleştirdiyseniz sistem, artan yükü işlemek için uç noktanın yapılandırılmış sınırına kadar otomatik olarak ek eşzamanlılık sağlar. Otomatik ölçeklendirme etkin değilse, sağlanan eşzamanlılığı el ile artırmayı veya trafik artışlarını işlemek için otomatik ölçeklendirmeyi etkinleştirmeyi göz önünde bulundurun.

Kapsayıcı derleme hatasından sonra hata ayıklama

Bu bölümde, derlemeniz başarısız olduğunda oluşabilecek sorunlar ayrıntılı olarak ele alınıyor.

OSError: [Errno 28] No space left on device

Hata, modelin yanında gereksiz yere çok fazla büyük nesnenin günlüğe kaydedilmesinden kaynaklanıyor olabilir. MLflow'da modelle birlikte fazlalık yapıtların günlüğe kaydedilmediğini denetleyin ve incecikleştirilmiş aşağı paketi yeniden dağıtmayı deneyin.

Unity Kataloğu'ndan model sunmayla ilgili Azure Güvenlik Duvarı sorunları

şu hatayı görebilirsiniz: Build could not start due to an internal error. If you are serving a model from UC and Azure Firewall is enabled, this is not supported by default..

Çözüme yardımcı olması için Databricks hesap ekibinize ulaşın.

GPU kullanılabilirliğinin olmaması nedeniyle derleme hatası

GPU tedarik ve kullanılabilirliğindeki kısıtlamalar nedeniyle GPU derlemeniz şu hatayla başarısız olabilir: Build could not start due to an internal error - please contact your Databricks representative..

Çözüme yardımcı olması için Databricks hesap ekibinize ulaşın. Ekip, bölge kullanılabilirliğine bağlı olarak daha fazla GPU kaynağı sağlayabilir.

Yüklü kitaplık paketi sürümleri

Databricks, ortamlar arasında tutarlı ve yeniden üretilebilir model davranışı sağlamak için tüm önemli kitaplıkları model bağımlılıkları olarak tanımlamanızı önerir. Derleme günlüklerinde, doğru yüklenen paket sürümlerini onaylayabilirsiniz.

• MLflow sürümleri için, belirtilen bir sürümünüz yoksa Model Sunma en son sürümü kullanır.
• Özel GPU sunumu için Model Servisi, genel PyTorch ve Tensorflow belgelerine göre cuda ve cuDNN için önerilen sürümleri yükler.

Gerekli günlük modelleri flash-attn

gerektiren flash-attnbir modeli günlüğe kaydediyorsanız, Databricks özel tekerlek sürümünü flash-attnkullanmanızı önerir. Aksi takdirde ModuleNotFoundError: No module named 'torch' gibi derleme hataları meydana gelebilir.

flash-attn özel wheel sürümünü kullanmak için, tüm pip gereksinimlerini liste olarak belirtin ve mlflow.transformers.log_model işlevinize parametre olarak verin. Ayrıca paketinizde flash attn belirtilen CUDA sürümüyle uyumlu PyTorch, Torch ve torchvision sürümlerini de belirtmelisiniz.

Örneğin, Databricks CUDA 11.8 için aşağıdaki sürümlerin ve tekerleklerin kullanılmasını önerir:

• Pytorch
• Meşale 2.0.1+cu118
• Torchvision 0.15.2+cu118
• Flash-Attn

logged_model=mlflow.transformers.log_model(
transformers_model=test_pipeline,
       artifact_path="artifact_path",
       pip_requirements=["--extra-index-url https://download.pytorch.org/whl/cu118", "mlflow==2.13.1", "setuptools<70.0.0", "torch==2.0.1+cu118", "accelerate==0.31.0", "astunparse==1.6.3", "bcrypt==3.2.0", "boto3==1.34.39", "configparser==5.2.0", "defusedxml==0.7.1", "dill==0.3.6", "google-cloud-storage==2.10.0", "ipython==8.15.0", "lz4==4.3.2", "nvidia-ml-py==12.555.43", "optree==0.12.1", "pandas==1.5.3", "pyopenssl==23.2.0", "pytesseract==0.3.10", "scikit-learn==1.3.0", "sentencepiece==0.1.99", "torchvision==0.15.2+cu118", "transformers==4.41.2", "https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.8/flash_attn-2.5.8+cu118torch2.0cxx11abiFALSE-cp311-cp311-linux_x86_64.whl"],
       input_example=input_example,
       registered_model_name=registered_model_name)