Tahmin modellerinin çıkarımı ve değerlendirilmesi (önizleme)

  • Makale

Önemli

Bu özellik şu anda genel önizlemededir. Bu önizleme sürümü hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için bu sürümü önermeyiz. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir.

Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Bu makalede tahmin görevlerinde model çıkarımı ve değerlendirmesiyle ilgili kavramlar tanıtılmaktadır. AutoML'deki eğitim tahmin modellerine yönelik yönergeler ve örnekler , zaman serisi tahmini için AutoML'yi ayarlama makalemizde bulunabilir.

En iyi modeli eğitmek ve seçmek için AutoML'yi kullandıktan sonra, bir sonraki adım tahminler oluşturmak ve mümkünse eğitim verilerinden uzak tutulan bir test kümesinde bunların doğruluğunu değerlendirmektir. Otomatik makine öğrenmesinde tahmin modeli değerlendirmesini ayarlamayı ve çalıştırmayı görmek için çıkarım ve değerlendirme bileşenleri kılavuzumuza bakın.

Çıkarım senaryoları

Makine öğrenmesinde çıkarım, eğitimde kullanılmayan yeni veriler için model tahminleri oluşturma işlemidir. Verilerin zaman bağımlılığı nedeniyle tahminde tahmin oluşturmanın birden çok yolu vardır. En basit senaryo, çıkarım döneminin eğitim döneminin hemen ardından geldiğinde ve tahmin ufkunda tahminler oluşturduğumuz senaryodur. Bu senaryo aşağıdaki diyagramda gösterilmiştir:

Eğitim döneminin hemen ardından bir tahmin gösteren diyagram.

Diyagramda iki önemli çıkarım parametresi gösterilmektedir:

  • Bağlam uzunluğu veya modelin tahminde bulunmak için gerektirdiği geçmiş miktarı,
  • Tahmin ufku, tahmin edenin tahmin etmek için eğitildiği zaman dilimidir.

Tahmin modelleri genellikle tahmin ufkunu önceden tahmin etmek için bazı geçmiş bilgileri (bağlam) kullanır. Bağlam eğitim verilerinin bir parçası olduğunda, AutoML tahminde bulunmak için gerekenleri kaydeder, bu nedenle bunu açıkça sağlamaya gerek yoktur.

Daha karmaşık olan iki çıkarım senaryosu daha vardır:

  • Tahmin ufkunun ötesinde geleceğe yönelik tahminler oluşturma,
  • Eğitim ve çıkarım dönemleri arasında bir boşluk olduğunda tahmin alma.

Bu durumları aşağıdaki alt bölümlerde gözden geçiririz.

Tahmin ufkunu geçen tahmin: özyinelemeli tahmin

Ufukta tahminlere ihtiyacınız olduğunda, AutoML modeli çıkarım dönemine yinelemeli olarak uygular. Bu, sonraki tahmin pencerelerine yönelik tahminler oluşturmak üzere modelden gelen tahminlerin giriş olarak geri beslendiği anlamına gelir. Aşağıdaki diyagramda basit bir örnek gösterilmektedir:

Test kümesinde özyinelemeli tahmin gösteren diyagram.

Burada, bir penceredeki tahminleri bir sonraki pencerenin bağlamı olarak kullanarak ufuk uzunluğunun üç katı uzunlukta tahminler oluşturuyoruz.

Uyarı

Özyinelemeli tahmin, modelleme hatalarını oluşturur, bu nedenle tahminler özgün tahmin ufuktan ne kadar uzak olursa o kadar doğru olur. Bu örnekte daha uzun bir ufukla yeniden eğiterek daha doğru bir model bulabilirsiniz.

Eğitim ve çıkarım dönemleri arasında boşluk olan tahmin

Geçmişte bir modeli eğittiğiniz ve eğitim sırasında henüz kullanılamamış yeni gözlemlerden tahminler yapmak için bu modeli kullanmak istediğinizi varsayalım. Bu durumda, eğitim ve çıkarım dönemleri arasında bir zaman aralığı vardır:

Eğitim ve çıkarım dönemleri arasında boşluk olan bir tahmin gösteren diyagram.

AutoML bu çıkarım senaryosını destekler, ancak diyagramda gösterildiği gibi boşluk döneminde bağlam verilerini sağlamanız gerekir. Çıkarım bileşenine geçirilen tahmin verilerinin, çıkarım dönemindeki hedef için eksik ve eksik değerler veya "NaN" değerleri ile özellikler ve gözlemlenen hedef değerler için değerlere ihtiyacı vardır. Aşağıdaki tabloda bu desenin bir örneği gösterilmektedir:

Eğitim ve çıkarım dönemleri arasında bir boşluk olduğunda tahmin verilerinin bir örneğini gösteren tablo.

Burada, hedef ve özelliklerin bilinen değerleri 2023-05-01 ile 2023-05-03 arasında sağlanır. 2023-05-04'te başlayan hedef değerlerin eksik olması, çıkarım döneminin bu tarihte başladığını gösterir.

AutoML, gecikmeyi ve diğer geri arama özelliklerini güncelleştirmek ve ayrıca iç durumu tutan ARIMA gibi modelleri güncelleştirmek için yeni bağlam verilerini kullanır. Bu işlem model parametrelerini güncelleştirmez veya yeniden sığdırmaz .

Modeli değerlendirme

Değerlendirme, eğitim verilerinden tutulan bir test kümesinde tahminler oluşturma ve model dağıtım kararlarına yol gösteren bu tahminlerden ölçüm hesaplama işlemidir. Buna göre model değerlendirmesi için özel olarak uygun olan bir çıkarım modu (sıralı tahmin) vardır. Bunu aşağıdaki alt bölümde gözden geçireceğiz.

Sıralı tahmin

Tahmin modelini değerlendirmeye yönelik en iyi yöntemlerden biri, eğitilen tahminciyi test kümesi üzerinde zaman içinde ileriye doğru yuvarlayarak çeşitli tahmin pencerelerindeki hata ölçümlerini ortalamaktır. Bu yordam bazen bağlama bağlı olarak backtest olarak adlandırılır. İdeal olan değerlendirme için test kümesinin modelin tahmin ufkunun uzun olmasıdır. Tahmin hatası tahminleri aksi takdirde istatistiksel olarak gürültülü ve dolayısıyla daha az güvenilir olabilir.

Aşağıdaki diyagramda üç tahmin penceresi içeren basit bir örnek gösterilmektedir:

Test kümesinde sıralı tahmin gösteren diyagram.

Diyagramda üç sıralı değerlendirme parametresi gösterilmektedir:

  • Bağlam uzunluğu veya modelin tahminde bulunmak için gerektirdiği geçmiş miktarı,
  • Tahmin ufku, tahmin edenin tahmin etmek için eğitildiği zaman,
  • Adım boyutu, sıralı pencerenin test kümesindeki her yinelemede ne kadar ilerlediğidir.

Önemli olan bağlamın tahmin penceresiyle birlikte ilerlemesidir. Bu, test kümesindeki gerçek değerlerin geçerli bağlam penceresine giren tahminler yapmak için kullanıldığı anlamına gelir. Belirli bir tahmin penceresi için kullanılan gerçek değerlerin en son tarihi, pencerenin başlangıç saati olarak adlandırılır. Aşağıdaki tabloda, üç günlük ufuk çizgisi ve bir günlük adım boyutuyla üç pencereli sıralı tahminden alınan örnek bir çıktı gösterilmektedir:

Sıralı tahminden örnek çıkış tablosu.

Bunun gibi bir tabloyla tahminleri ve gerçek değerleri görselleştirebilir ve istenen değerlendirme ölçümlerini hesaplayabiliriz. AutoML işlem hatları, çıkarım bileşenine sahip bir test kümesinde sıralı tahminler oluşturabilir.

Not

Test dönemi tahmin ufkuyla aynı uzunlukta olduğunda, sıralı tahmin ufukta tek bir tahmin penceresi verir.

Değerlendirme ölçümleri

Değerlendirme özeti veya ölçümü seçimi genellikle belirli bir iş senaryosu tarafından yönlendirilir. Bazı yaygın seçenekler şunlardır:

  • Verilerin belirli dinamiklerinin model tarafından yakalanıp yakalanmadığını denetlemek için gözlemlenen hedef değerlerin çizimleri ve tahmin edilen değerler,
  • Gerçek ve tahmin edilen değerler arasında MAPE (ortalama mutlak yüzde hatası),
  • RMSE (kök ortalama kare hatası), gerçek ve tahmin edilen değerler arasında normalleştirmeyle birlikte,
  • MAE (ortalama mutlak hata), gerçek ve tahmin edilen değerler arasında normalleştirme ile olabilir.

İş senaryosuna bağlı olarak başka birçok olasılık vardır. Çıkarım sonuçlarından veya sıralı tahminlerden değerlendirme ölçümlerini hesaplamaya yönelik kendi işlem sonrası yardımcı programlarınızı oluşturmanız gerekebilir. Ölçümler hakkında daha fazla bilgi için regresyon ve tahmin ölçümleri makale bölümümüze bakın.

Sonraki adımlar