Temel Model API'lerini kullanarak toplu çıkarım

Bu makalede, Temel Model API'lerini kullanarak sağlanan aktarım hızı uç noktasında toplu çıkarım gerçekleştiren örnek not defterleri sağlanır. Temel Model API'lerini kullanarak toplu çıkarım gerçekleştirmek için her iki not defterine de ihtiyacınız vardır.

Örneklerde sohbet görevleri için DBRX Instruct modeli kullanılarak toplu çıkarım gösterilmektedir.

Gereksinimler

Temel Model API'lerinde desteklenen bir çalışma alanı
Databricks Runtime 14.0 ML veya üzeri
Not provisioned-throughput-batch-inference defteri ve chat-batch-inference-api not defteri çalışma alanında aynı dizinde bulunmalıdır

Aşağıdaki not defteri Python kullanarak aşağıdaki görevleri yerine getirmez:

Giriş tablosundan ve giriş sütunundan verileri okur
İstekleri oluşturur ve bir Temel Model API'leri uç noktasına gönderir
Giriş satırlarını yanıt verileriyle birlikte çıkış tablosuna kalıcı hale getiren

Aşağıdaki not defteri yukarıdaki not defteriyle aynı görevleri yerine getirmesine karşın Spark'ı kullanıyor:

Python not defteri yerine Spark not defterini kullanmak istiyorsanız Python not defterini çağıran komutu güncelleştirdiğinizden emin olun.

Sağlanan aktarım hızı sunan uç nokta oluşturur
Uç noktayı hazır duruma gelene kadar izleme
chat-batch-inference-api Hazırlanan uç noktada toplu çıkarım görevlerini eşzamanlı olarak çalıştırmak için not defterini çağırır. Spark'ı kullanmayı tercih ediyorsanız, bu başvuruyu not defterini çağırmak chat-batch-inference-udf için değiştirin.
Toplu çıkarım tamamlandıktan sonra sağlanan aktarım hızı sunan uç noktayı siler