modelleri izlemek ve hata ayıklamak için çıkarım tabloları

Important

Bu belge kullanımdan kaldırılmıştır ve güncelleştirilmeyebilir. Bu içerikte belirtilen ürünler, hizmetler veya teknolojiler artık desteklenmemektedir.

Databricks, özel model, temel model ve temsilci sunum uç noktalarında kullanılabilirliği için AI Gateway özellikli çıkarım tablolarını önerir. AI Gateway özellikli çıkarım tablolarına geçiş yönergeleri için bkz. AI Gateway çıkarım tablolarına geçiş.

Bu makalede, sunulan modelleri izlemeye yönelik çıkarım tabloları açıklanmaktadır. Aşağıdaki diyagramda çıkarım tablolarına sahip tipik bir iş akışı gösterilmektedir. Çıkarım tablosu, bir modelin hizmet sağladığı uç nokta için gelen istekleri ve giden yanıtları otomatik olarak yakalar ve bunları Unity Kataloğu Delta tablosu olarak günlüğe kaydeder. ML modellerini izlemek, hatalarını ayıklamak ve iyileştirmek için bu tablodaki verileri kullanabilirsiniz.

çıkarım tabloları iş akışı

Çıkarım tabloları nedir?

Üretim iş akışlarında modellerin performansını izlemek, yapay zeka ve ML modeli yaşam döngüsünün önemli bir yönüdür. Çıkarım tabloları, Model Sunma uç noktalarındaki istek girişlerini ve yanıtlarını (tahminler) sürekli olarak günlüğe kaydederek ve Bunları Unity Kataloğu'ndaki Delta tablosuna kaydederek modellerin izlenmesini ve tanılamasını basitleştirir. Daha sonra modellerinizi izlemek, hatalarını ayıklamak ve iyileştirmek için Databricks SQL sorguları, not defterleri ve veri profili oluşturma gibi Databricks platformunun tüm özelliklerini kullanabilirsiniz.

Var olan veya yeni oluşturulan herhangi bir modelde uç noktaya hizmet veren çıkarım tablolarını etkinleştirebilirsiniz ve bu uç noktaya yönelik istekler UC'deki bir tabloya otomatik olarak kaydedilir.

Çıkarım tabloları için bazı yaygın uygulamalar şunlardır:

• Veri ve model kalitesini izleme. Veri profili oluşturmayı kullanarak model performansınızı ve veri kaymalarınızı sürekli izleyebilirsiniz. Veri profili oluşturma, paydaşlarla paylaşabileceğiniz veri ve model kalitesi panolarını otomatik olarak oluşturur. Buna ek olarak, gelen verilerdeki değişikliklere veya model performansındaki düşüşlere göre modelinizi yeniden eğitmeniz gerektiğinde haberdar olmak için uyarıları etkinleştirebilirsiniz.
• Üretim sorunlarını ayıkla. Çıkarım Tabloları HTTP durum kodları, model yürütme süreleri ve istek ve yanıt JSON kodu gibi verileri günlüğe kaydeder. Bu performans verilerini hata ayıklama amacıyla kullanabilirsiniz. Geçmiş isteklerdeki model performansını karşılaştırmak için Çıkarım Tablolarındaki geçmiş verileri de kullanabilirsiniz.
• Eğitim corpus'u oluşturun. Çıkarım Tablolarını temel gerçeklik etiketleriyle birleştirerek modelinizi yeniden eğitmek veya ince ayar yapmak ve geliştirmek için kullanabileceğiniz bir eğitim corpus'u oluşturabilirsiniz. Lakeflow İşler'i kullanarak sürekli bir geri bildirim döngüsü ayarlayabilir ve yeniden eğitimi otomatikleştirebilirsiniz.

Gereksinimler

• Çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.
• Hem uç nokta oluşturucusunun hem de değiştiricinin uç nokta üzerinde Yönetebilir izni olmalıdır. Bkz. Erişim denetim listeleri.
• Hem uç noktanın oluşturucusu hem de değiştirici, Unity Kataloğu'nda aşağıdaki izinlerine sahip olmalıdır:
  • Belirtilen katalogda USE CATALOG izinlerini ayarlayın.
  • Belirtilen şemadaki USE SCHEMA izinleri.
  • Şemadaki CREATE TABLE izinleri.

Çıkarım tablolarını etkinleştirme ve devre dışı bırakma

Bu bölümde Databricks kullanıcı arabirimini kullanarak çıkarım tablolarını etkinleştirme veya devre dışı bırakma adımları gösterilmektedir. API'yi de kullanabilirsiniz; Yönergeler için bkz. API kullanarak uç noktaları sunan modelde çıkarım tablolarını etkinleştirme.

Çıkarım tablolarının sahibi, uç noktayı oluşturan kullanıcıdır. Tablodaki tüm erişim denetim listeleri (ACL' ler) standart Unity Kataloğu izinlerini izler ve tablo sahibi tarafından değiştirilebilir.

Warning

Aşağıdakilerden birini yaparsanız çıkarım tablosu bozulabilir:

• Tablo şemasını değiştirin.
• Tablo adını değiştirin.
• Tabloyu silin.
• Unity Kataloğu kataloğuna veya şemasına yönelik izinleri kaybedersiniz.

Bu durumda uç nokta durumundaki auto_capture_config, yük tablosu için FAILED durumunu gösterdiğini belirtir. Böyle bir durumda çıkarım tablolarını kullanmaya devam etmek için yeni bir uç nokta oluşturmanız gerekir.

Uç nokta oluşturma sırasında çıkarım tablolarını etkinleştirmek için aşağıdaki adımları kullanın:

1. Azure Databricks kullanıcı arabiriminde Serving öğesine tıklayın.

2. Sunum uç noktası oluştur'a tıklayın.

3. Çıkarım tablolarını etkinleştir'i seçin.

4. Açılan menülerde, tablonun yer almak istediğiniz kataloğu ve şemayı seçin.

   Çıkarım tablosu için kataloğu ve şeması

5. Varsayılan tablo adı <catalog>.<schema>.<endpoint-name>_payload. İsterseniz, özel bir tablo ön eki girebilirsiniz.

6. Sunum uç noktası oluştur'a tıklayın.

Çıkarım tablolarını mevcut bir uç noktada da etkinleştirebilirsiniz. Mevcut uç nokta yapılandırmasını düzenlemek için aşağıdakileri yapın:

1. Uç nokta sayfanıza gidin.
2. Yapılandırmayı düzenle'ye tıklayın.
3. 3. adımdan başlayarak önceki yönergeleri izleyin.
4. İşiniz bittiğinde, Hizmet sunma uç noktasınıgüncelleştir'e tıklayın.

Çıkarım tablolarını devre dışı bırakmak için şu yönergeleri izleyin:

1. Uç nokta sayfanıza gidin.
2. Yapılandırmayı düzenle'ye tıklayın.
3. Onay işaretini kaldırmak için Çıkarım tablosunu etkinleştir'e tıklayın.
4. Uç nokta özelliklerinden memnun olduktan sonra Güncelleştirseçeneğine tıklayın.

AI Gateway çıkarım tablolarına geçiş

Important

Bir uç nokta, AI Gateway çıkarım tablosunu kullanmaya geçtikten sonra eski tabloya geri dönemez.

Note

AI Gateway çıkarım tablolarının eski çıkarım tablolarına kıyasla farklı şemaları vardır.

Fiyatlandırma bilgileri için AI Gateway fiyatlandırma sayfasına bakın.

Bu bölümde, eski çıkarım tablolarından AI Gateway çıkarım tablolarına nasıl geçiş yapılır açıklanmaktadır.

Yapılandırmayı güncelleştirmenin iki ana adımı vardır:

1. Eski çıkarım tablosunu devre dışı bırakmak için sunum uç noktasını güncelleştirin.
2. AI Gateway çıkarım tablosunu etkinleştirmek için sunum uç noktasını güncelleştirin.

Çıkarım tablosu yapılandırmasını geçirmek için kullanıcı arabirimini kullanma

Az sayıda hizmet veren uç nokta için kullanıcı arabiriminde uç nokta yapılandırmasını düzenleyin:

1. Databricks kullanıcı arabiriminde Sunma'ya tıklayın ve uç nokta sayfanıza gidin.

2. Yapılandırmayı düzenle'ye tıklayın.

3. Onay işaretini kaldırmak için Çıkarım tablolarını etkinleştir'e tıklayın.

4. Güncelleştir'e tıklayın ve uç nokta durumunun Hazır olmasını bekleyin.

   

AI Gateway çıkarım tablosunu etkinleştirmek için şu yönergeleri izleyin:

1. Databricks kullanıcı arabiriminde Sunma'ya tıklayın ve uç nokta sayfanıza gidin.

2. AI Ağ Geçidini Düzenle'ye tıklayın.

3. Çıkarım tablolarını etkinleştir'e tıklayın.

4. Açılan menüde, tablonun bulunması istediğiniz kataloğu ve şemayı seçin.

5. Varsayılan tablo adı <catalog>.<schema>.<endpoint-name>_payload. İsteğe bağlı olarak, özel bir tablo ön eki girin.

6. Güncelleştir'itıklayın.

   

Çıkarım tablosu yapılandırmasını geçirmek için not defterini kullanma

Birçok uç nokta için, geçiş işlemini otomatikleştirmek için API'yi kullanabilirsiniz. Databricks, mevcut verilerin eski çıkarım tablolarından AI Gateway çıkarım tablolarına nasıl geçirileceğini gösteren hizmet uç noktalarını ve örnekleri toplu olarak geçiren örnek bir not defteri sağlar.

AI Gateway çıkarım tabloları not defterine geçiş

Dizüstü bilgisayar al

İş Akışı: Çıkarım tablolarını kullanarak model performansını izleme

Çıkarım tablolarını kullanarak model performansını izlemek için şu adımları izleyin:

1. Uç nokta oluşturma sırasında veya daha sonra güncelleştirerek uç noktanızda çıkarım tablolarını etkinleştirin.
2. Çıkarım tablosundaki JSON verilerini uç noktanın şemasına göre çözümleyerek işlemek için bir iş akışı planlayın.
3. (İsteğe bağlı) Model kalitesi ölçümlerinin hesaplanması için paketlenmemiş istekleri ve yanıtları ground-truth etiketleriyle birleştirin.
4. Elde edilen Delta tablosu üzerinde bir izleyici oluşturun ve ölçümleri yenileyin.

Başlangıç not defterleri bu iş akışını uygular.

Çıkarım tablosunu izlemek için başlangıç not defteri

Aşağıdaki not defteri, bir veri profili oluşturma çıkarım tablosundan isteklerin paketini açmak için yukarıda özetlenen adımları uygular. Not defteri isteğe bağlı olarak veya Lakeflow İşleri kullanılarak yinelenen bir zamanlamaya göre çalıştırılabilir.

Çıkarım tablosu veri profili oluşturma başlangıç not defteri

Dizüstü bilgisayar al

LLM'lere hizmet veren uç noktalardan metin kalitesini izlemek için başlangıç not defteri

Aşağıdaki not defteri bir çıkarım tablosundan istekleri açar, bir dizi metin değerlendirme ölçümünü (okunabilirlik ve toksisite gibi) hesaplar ve bu ölçümler üzerinde izlemeyi etkinleştirir. Not defteri isteğe bağlı olarak veya Lakeflow İşleri kullanılarak yinelenen bir zamanlamaya göre çalıştırılabilir.

LLM çıkarım tablosu veri profili oluşturma başlangıç not defteri

Dizüstü bilgisayar al

Çıkarım tablosunda sonuçları sorgulama ve analiz etme

Sunulan modelleriniz hazır olduktan sonra modellerinize yapılan tüm istekler yanıtlarla birlikte çıkarım tablosuna otomatik olarak kaydedilir. Tabloyu kullanıcı arabiriminde görüntüleyebilir, DBSQL'den veya not defterinden sorgulayabilir veya REST API'yi kullanarak tabloyu sorgulayabilirsiniz.

Tabloyu kullanıcı arabiriminde görüntülemek için: Uç nokta sayfasında, çıkarım tablosunun adına tıklayarak tabloyu Katalog Gezgini'nde açın.

TABLOYU DBSQL'den veya Databricks not defterinden sorgulamak için: Çıkarım tablosunu sorgulamak için aşağıdakine benzer bir kod çalıştırabilirsiniz.

SELECT * FROM <catalog>.<schema>.<payload_table>

Kullanıcı arabirimini kullanarak çıkarım tablolarını etkinleştirdiyseniz, payload_table uç noktayı oluştururken atadığınız tablo adıdır. Çıkarım tablolarını API kullanarak etkinleştirdiyseniz, payload_table, state yanıtının auto_capture_config bölümünde bildirilir. Örnek için bkz. APIkullanarak uç noktaları sunan modelde çıkarım tablolarını etkinleştirme .

Performans notu

Endpoint'i çağırdıktan sonra, puanlama isteği gönderdikten sonraki bir saat içinde çıkarım tablonuzda kaydedilen çağrıyı görebilirsiniz. Ayrıca Azure Databricks, günlük teslimin en az bir kez gerçekleşmesini garanti eder, bu nedenle yinelenen günlüklerin gönderilmesi olası olmasa da mümkündür.

Unity Kataloğu çıkarım tablosu şeması

Çıkarım tablosuna kaydedilen her istek ve yanıt, aşağıdaki şemaya sahip bir Delta Tablosu'na yazılır.

Note

Uç noktayı toplu giriş ile çağırırsanız, tüm toplu işlem tek bir satır olarak günlüğe kaydedilir.

Sütun adı	Description	Türü
databricks_request_id	Azure Databricks tarafından oluşturulan istek tanımlayıcısı, tüm model sunum isteklerine eklenmiştir.	STRING
client_request_id	İsteğe bağlı bir istemci tarafından oluşturulmuş ve model sunum isteği gövdesinde belirtilebilecek bir istek tanımlayıcısı. Daha fazla bilgi için Belirle client_request_id bölümüne bakın.	STRING
date	Model hizmet isteğinin alındığı UTC tarihi.	DATE
timestamp_ms	Model sunma talebinin ne zaman alındığına dair zaman damgası, epoch milisaniyeleri cinsindendir.	LONG
status_code	Modelden döndürülen HTTP durum kodu.	INT
sampling_fraction	İsteğin aşağı örneklenmesi durumunda kullanılan örnekleme kesri. Bu değer 0 ile 1 arasındadır ve burada 1, 100% gelen isteğin dahil olduğunu temsil eder.	ÇİFT
execution_time_ms	Modelin çıkarım gerçekleştirdiği milisaniye cinsinden çalışma süresi. Bu ek yük ağ gecikme sürelerini içermez ve yalnızca modelin tahmin oluşturma süresini temsil eder.	LONG
request	Uç noktaya hizmet veren modele gönderilen ham istek JSON gövdesi.	STRING
response	Uç noktaya hizmet veren model tarafından döndürülen ham yanıt JSON gövdesi.	STRING
request_metadata	İstekle ilişkili uç nokta sunan modelle ilgili meta verilerin haritası. Bu harita, uç noktanız için kullanılan uç nokta adını, model adını ve model sürümünü içerir.	MAP<DİZGE, DİZGE>

Belirt client_request_id

Bu client_request_id alan, kullanıcının istek gövdesine hizmet veren modelde sağlayabileceğiniz isteğe bağlı bir değerdir. Bu, kullanıcının client_request_id altındaki son çıkarım tablosunda görünen bir istek için kendi tanımlayıcısını sağlamasına olanak tanır ve isteğinizi client_request_idkullanan diğer tablolarla birleştirmek için kullanılabilir ( örneğin, temel gerçeklik etiketi birleştirme). client_request_id belirtmek için, onu istek yükünün en üst düzey anahtarı olarak ekleyin. Belirtilmezse client_request_id , değer isteğe karşılık gelen satırda null olarak görünür.

{
  "client_request_id": "<user-provided-id>",
  "dataframe_records": [
    {
      "sepal length (cm)": 5.1,
      "sepal width (cm)": 3.5,
      "petal length (cm)": 1.4,
      "petal width (cm)": 0.2
    },
    {
      "sepal length (cm)": 4.9,
      "sepal width (cm)": 3,
      "petal length (cm)": 1.4,
      "petal width (cm)": 0.2
    },
    {
      "sepal length (cm)": 4.7,
      "sepal width (cm)": 3.2,
      "petal length (cm)": 1.3,
      "petal width (cm)": 0.2
    }
  ]
}

client_request_id daha sonra client_request_id ile ilişkilendirilmiş etiketleri olan başka tablolar varsa zemin gerçekliği etiket birleşimleri için kullanılabilir.

Sınırlamalar

• Müşteri tarafından yönetilen anahtarlar desteklenmez.
• temel modellerini barındıran uç noktalar için çıkarım tabloları yalnızca sağlanan aktarım hızı iş yüklerinde desteklenir.
• Azure Güvenlik Duvarı Unity Kataloğu Delta tablosunu oluşturma hatalarına neden olabilir, bu nedenle varsayılan olarak desteklenmez. Etkinleştirmek için Databricks hesap ekibinize ulaşın.
• Çıkarım tabloları etkinleştirildiğinde, tek bir uç noktada sunulan tüm modellerde toplam maksimum eşzamanlılık sınırı 128'dir. Bu sınıra bir artış istemek için Azure Databricks hesap ekibinize ulaşın.
• Çıkarım tablosunda 500.000'den fazla dosya varsa, ek veri kaydedilmeyecektir. Bu sınırı aşmamak için OPTIMIZE çalıştırın veya eski verileri silerek tablonuzda bekletmeyi ayarlayın. Tablonuzdaki dosya sayısını denetlemek için DESCRIBE DETAIL <catalog>.<schema>.<payload_table>çalıştırın.
• Çıkarım tabloları günlük teslimatı şu anda en iyi çabayla yapılıyor, ancak günlüklerin talebinizden sonraki 1 saat içinde kullanılabilir olmasını bekleyebilirsiniz. Daha fazla bilgi için Databricks hesap ekibinize ulaşın.

Genel model sunma uç noktası sınırlamaları için bkz: Model Sunma sınırları ve bölgeleri.