Aracılığıyla paylaş

Model performansı ve eşitliği

  • Makale

Bu makalede, Azure Machine Learning'de model performansınızı ve eşitliğinizi anlamak için kullanabileceğiniz yöntemler açıklanmaktadır.

Makine öğrenmesi eşitliği nedir?

Yapay zeka ve makine öğrenmesi sistemleri haksız davranışlar sergileyebilir. Haksız davranışı tanımlamanın bir yolu, zarar görmesi veya insanlar üzerindeki etkisidir. Yapay zeka sistemleri birçok zarara neden olabilir. Daha fazla bilgi edinmek için Kate Crawford'un NeurIPS 2017 açılış konuşmasına bakın.

Yapay zeka kaynaklı iki yaygın zarar türü şunlardır:

  • Ayırmanın zararı: Yapay zeka sistemi belirli gruplar için fırsatları, kaynakları veya bilgileri genişletir veya saklar. Örnek olarak, modelin belirli bir kişi grubu arasında diğer gruplara göre iyi adaylar seçme konusunda daha iyi olabileceği işe alma, okula kabul etme ve ödünç verme verilebilir.

  • Hizmet kalitesinin zarar görmesi: Yapay zeka sistemi, bir grup kişi için olduğu gibi başka bir grup için de çalışmaz. Örneğin, bir ses tanıma sistemi erkeklerde olduğu gibi kadınlar için de çalışmayabilir.

Yapay zeka sistemlerindeki haksız davranışları azaltmak için bu zararları değerlendirmeniz ve azaltmanız gerekir. Sorumlu yapay zeka panosunun modele genel bakış bileşeni, veri kümenizin tamamı ve tanımlanan veri kohortlarınız için model performansı ölçümleri oluşturarak model yaşam döngüsünün tanımlama aşamasına katkıda bulunur. Bu ölçümleri, hassas özellikler veya hassas öznitelikler açısından tanımlanan alt gruplar arasında oluşturur.

Not

Eşitlik sosyo-teknik bir zorluk. Nicel eşitlik ölçümleri, adalet ve son süreç gibi eşitliğin birçok yönünü yakalamaz. Ayrıca nicel eşitlik ölçümlerinin tümü aynı anda karşılanamaz.

Fairlearn açık kaynak paketinin amacı, insanların etki ve risk azaltma stratejilerini değerlendirmesini sağlamaktır. Sonuç olarak yapay zeka ve makine öğrenmesi modelleri oluşturan insanların kendi senaryolarına uygun dengeler kurması gerekir.

Sorumlu yapay zeka panosunun bu bileşeninde eşitlik, grup eşitliği olarak bilinen bir yaklaşımla kavramsallaştırılır. Bu yaklaşım şu soruyu sorar: "Hangi kişi grupları zarar görmesine karşı risk altındadır?" Hassas özellikler terimi, sistem tasarımcısının grup eşitliğini değerlendirirken bu özelliklere duyarlı olması gerektiğini belirtir.

Değerlendirme aşamasında eşitlik, eşitlik ölçümleriyle ölçülmektedir. Bu ölçümler, gruplar arasında model davranışını oran veya fark olarak değerlendirebilir ve karşılaştırabilir. Sorumlu yapay zeka panosu iki farklı ölçüm sınıfını destekler:

  • Model performansındaki eşitsizlik: Bu ölçüm kümeleri, veri alt grupları arasında seçilen performans ölçümünün değerlerindeki eşitsizliği (farkı) hesaplar. İşte birkaç örnek:

    • Doğruluk oranında eşitsizlik
    • Hata oranında eşitsizlik
    • Duyarlık açısından eşitsizlik
    • Geri çağırmada eşitsizlik
    • Ortalama mutlak hatada eşitsizlik (MAE)

  • Seçim oranında eşitsizlik: Bu ölçüm, alt gruplar arasındaki seçim oranı (uygun tahmin) farkını içerir. Bunun bir örneği, kredi onay oranındaki eşitsizliktir. Seçim oranı, 1 (ikili sınıflandırmada) olarak sınıflandırılan her sınıftaki veri noktalarının kesirini veya tahmin değerlerinin dağılımını (regresyonda) ifade eder.

Bu bileşenin eşitlik değerlendirmesi özellikleri Fairlearn paketinden gelir. Fairlearn, model eşitliği değerlendirme ölçümlerini ve haksızlığı azaltma algoritmalarını bir araya getirir.

Not

Eşitlik değerlendirmesi tamamen teknik bir alıştırma değildir. Fairlearn açık kaynak paketi, bir modelin eşitliğini değerlendirmenize yardımcı olmak için nicel ölçümleri tanımlayabilir, ancak değerlendirmeyi sizin için gerçekleştirmez. Kendi modellerinizin eşitliğini değerlendirmek için nitel bir analiz gerçekleştirmeniz gerekir. Daha önce belirtilen hassas özellikler, bu tür nitel analiz örnekleridir.

Eşitliği azaltmak için eşlik kısıtlamaları

Modelinizin eşitlik sorunlarını anladıktan sonra, bu sorunları azaltmak için Fairlearn açık kaynak paketindeki risk azaltma algoritmalarını kullanabilirsiniz. Bu algoritmalar, eşlik kısıtlamaları veya ölçütleri olarak adlandırılan tahmin sahibinin davranışı üzerinde bir dizi kısıtlamayı destekler.

Eşlik kısıtlamaları, tahmin edicinin davranışının bazı yönlerinin hassas özelliklerin tanımlamış olduğu gruplar (örneğin, farklı ırklar) arasında karşılaştırılabilir olmasını gerektirir. Fairlearn açık kaynak paketindeki azaltma algoritmaları, gözlemlenen eşitlik sorunlarını azaltmak için bu tür eşlik kısıtlamalarını kullanır.

Not

Fairlearn açık kaynak paketindeki haksızlığı azaltma algoritmaları, makine öğrenmesi modelindeki haksızlığı azaltmak için önerilen risk azaltma stratejileri sağlayabilir, ancak bu stratejiler haksızlığı ortadan kaldırmaz. Geliştiricilerin makine öğrenmesi modelleri için diğer eşlik kısıtlamalarını veya ölçütlerini dikkate almaları gerekebilir. Azure Machine Learning kullanan geliştiricilerin, azaltmanın makine öğrenmesi modellerinin amaçlanan kullanımı ve dağıtımındaki adaletsizliği yeterince azaltıp azaltmadığını belirlemeleri gerekir.

Fairlearn paketi aşağıdaki eşlik kısıtlaması türlerini destekler:

Eşlik kısıtlaması Purpose Makine öğrenmesi görevi
Demografik eşlik Ayırma zararlarını azaltma İkili sınıflandırma, regresyon
Eşitlenmiş oranlar Ayırma ve hizmet kalitesi zararlarını tanılama İkili sınıflandırma
Fırsat eşitliği Ayırma ve hizmet kalitesi zararlarını tanılama İkili sınıflandırma
Sınırlanmış grup kaybı Hizmet kalitesi zararlarını azaltma Regresyon

Azaltma algoritmaları

Fairlearn açık kaynak paketi iki tür adaletsizlik azaltma algoritması sağlar:

  • Azaltma: Bu algoritmalar standart bir kara kutu makine öğrenmesi tahmin aracı (örneğin, LightGBM modeli) alır ve bir dizi yeniden ağırlıklandırılmış eğitim veri kümesi kullanarak bir dizi yeniden eğitilen model oluşturur.

    Örneğin, belirli bir cinsiyete sahip olan başvuru sahipleri modelleri yeniden eğitmek ve cinsiyet grupları arasındaki eşitsizlikleri azaltmak için kilolu veya düşük kilolu olabilir. Kullanıcılar daha sonra iş kurallarına ve maliyet hesaplamalarına göre doğruluk (veya başka bir performans ölçümü) ile eşitsizlik arasında en iyi dengeyi sağlayan bir model seçebilir.

  • İşlem sonrası: Bu algoritmalar mevcut bir sınıflandırıcıyı ve hassas bir özelliği giriş olarak alır. Ardından, belirtilen eşitlik kısıtlamalarını uygulamak için sınıflandırıcının tahmininde bir dönüşüm türetir. Bir işlem sonrası algoritma olan eşik iyileştirmesinin en büyük avantajı, modeli yeniden eğitmesi gerekmediğinden basitliği ve esnekliğidir.

Algoritma Açıklama Makine öğrenmesi görevi Hassas özellikler Desteklenen eşlik kısıtlamaları Algoritma türü
ExponentiatedGradient Adil Sınıflandırmaya Azaltma Yaklaşımı bölümünde açıklanan adil sınıflandırmaya kara kutu yaklaşımı. İkili sınıflandırma Kategorik Demografik eşlik, eşitlenmiş oranlar Azaltma
GridSearch Adil Sınıflandırmaya Azaltma Yaklaşımı'nda açıklanan kara kutu yaklaşımı. İkili sınıflandırma İkilik Demografik eşlik, eşitlenmiş oranlar Azaltma
GridSearch Fair Regression: Quantitative Definitions and Reduction-based Algorithms bölümünde açıklanan sınırlanmış grup kaybı algoritmasıyla, adil regresyonun kılavuz arama değişkenini uygulayan kara kutu yaklaşımı. Regresyon İkilik Sınırlanmış grup kaybı Azaltma
ThresholdOptimizer Denetimli Öğrenmede Fırsat Eşitliği makalesini temel alan işlem sonrası algoritma. Bu teknik, giriş olarak mevcut bir sınıflandırıcıyı ve hassas bir özelliği alır. Ardından, belirtilen eşlik kısıtlamalarını zorlamak için sınıflandırıcının tahmininde monoton bir dönüşüm türetir. İkili sınıflandırma Kategorik Demografik eşlik, eşitlenmiş oranlar Nakil süreci

Sonraki adımlar