Напомена
Приступ овој страници захтева ауторизацију. Можете покушати да се пријавите или промените директоријуме.
Приступ овој страници захтева ауторизацију. Можете покушати да промените директоријуме.
Након сваког тренинга, AI Builder користи скуп података теста за процену квалитета и уклапања новог модела. Страница са резимеом за ваш модел приказује резултат обуке модела. Ови резултати су изражени као оцена перформанси А, Б, Ц или Д.
Мерење перформанси
Класа перформанси
Након сваког тренинга, AI Builder показује оцену која ће вам помоћи да процените тачност вашег модела. Одлука о томе да ли је ваш модел спреман за објављивање је она коју морате да направите на основу ваших јединствених потреба и околности. AI Builder пружа следеће оцене учинка које ће вам помоћи да направите тај позив на процену.
Како тумачити сваки разред
| Grade | Смернице |
|---|---|
| A | Можда је још увек могуће побољшати модел, али ово је најбоља класа коју можете добити. |
| B | Модел је тачан у многим случајевима. Може ли се побољшати? То зависи од ваших јединствених околности, података и захтева. |
| C | Модел ради нешто боље од случајне претпоставке. То би могло бити прихватљиво за неке апликације, али у већини случајева, ово је модел који бисте наставили да подешавате и побољшавате. |
| D | Нешто није у реду. Ваш модел је или лошији него што бисмо очекивали случајно претпоставити да ће извршити ( ундерфит модел ). Или, ради тако добро (на или близу 100%) да вероватно имате колону података која је директно повезана са резултатом ( оверфит модел ). |
- Више информација о ундерфит моделима
- Више информација о оверфит моделима
Опсег тачности варира у зависности од ваших података
Ако предвиђате 2 или више исхода, стварне стопе тачности које одговарају горе наведеним оценама могу варирати у зависности од дистрибуције података ваших историјских података. Разлика објашњава чињеницу да се побољшање у односу на вашу основну стопу мења када померите ту основну линију.
Рецимо да ваш модел предвиђа да ли ће пошиљка стићи на време. Ако је ваша историјска стопа на време 80 процената, резултат перформанси од 92 би одговарао Б разреду. Али, ако је ваша историјска стопа на време само 50 процената, 92 би одговарало оцени А. То је зато што је 92 много боље побољшање у односу на 50 процената него што је преко 80 процената, а ви бисте очекивали да ће случајна претпоставка бити близу тих процената.
Пример бинарних историјских података
Овај пример приказује опсеге тачности за сваки разред када историјски подаци садрже различите стопе на време за бинарно предвиђање.
| Grade | Опсег тачности за историјску стопу од 25% на време | Опсег тачности за историјски 50% на време стопе | Опсег тачности за историјску стопу од 80% на време | Опсег тачности за историјску стопу КСНУМКС% на време |
|---|---|---|---|---|
| A | 92 .5 – < 99.3% | 90 – 98% | 93 – < 99% | 98 .1 – < 99.8% |
| B | 81 .3 – < 92.5% | 75 – < 90% | 84 – < 93% | 95 .3 – < 98.1% |
| C | 66 .3 – < 81.3% | 55 - < 75% | 71 – < 84% | 91 .5 – < 95.3% |
| D | <66 .3% или ≥ 99.3% | <55 % или ≥ 98% | <71 % или ≥ 99% | <91 .5 % или ≥ 99.8% |
Пример историјских података о вишеструким исходима
Стопе тачности које одговарају сваком разреду такође могу варирати када предвиђате више од 2 исхода. Рецимо да ваш модел предвиђа више од две опције за испоруку: рано, на време или касно.
Опсег тачности за сваки разред се мења када се промене ваше историјске стопе на време.
| Grade | Рано (33.3%) | Рано (20%) | Рано (10%) |
|---|---|---|---|
| На време (33.3% ) | На време (40% ) | На време (80%) | |
| Касно (33.4%) | Касно (40%) | Касно (10%) | |
| A | 86 .7 – < 98.7% | 87 .2 – < 98.7% | 93 .2 – < 99.3% |
| B | 66.7 – < 86.7% | 68 .0 – < 87.2% | 83.0 – < 93.2% |
| C | 40 .0 – < 66.7% | 42 .4 – < 68.0% | 69 .4 – < 83.0% |
| D | 33 .3 – < 40.0% | 36 .0 – < 42.4% | 66 .0 – < 69.4% |
Пример нумеричког предвиђања
За нумеричко предвиђање, AI Builder користи Р-квадратну статистичку меру за израчунавање оцене тачности модела. Следећа табела приказује оцене које одговарају сваком разреду:
| Grade | Р-квадрат |
|---|---|
| A | 85 % - < 99% |
| B | 60 % - < 85% |
| C | 10% - < 60% |
| D | ≥ 99 % или < 10% |
Детаљи о перформансама
За детаље о обуци, изаберите Погледајте детаље на кутији за оцену модела. На картици Перформансе доступне су следеће информације:
Белешка
За информације о додатним функцијама планираним за ову област, погледајте планове издања.
- Оцена тачности
- Р-квадрат
Оцена тачности
AI Builder израчунава резултат тачности за ваш модел на основу резултата предвиђања тестног скупа података. Пре тренинга, AI Builder раздваја ваш скуп података у одвојене податке о обуци и скупове података за тестирање. И након обуке, AI Builder примењује ваш вештачка интелигенција модел на скуп података за тестирање, а затим израчунава ваш резултат тачности. На пример: ако ваш тестни скуп података има 200 редова и AI Builder тачно предвиђа 192 од њих, AI Builder приказује резултат тачности од 96 процената.
За више информација погледајте одељак *Процена вашег модела* .
R-квадрат
За нумеричко предвиђање, AI Builder израчунава r-квадрат резултат након сваког тренинга. Овај резултат мери „доброту уклапања“ вашег модела и користи се за одређивање оцене перформанси вашег модела.
Рецимо да предвиђате број дана за испуњење, отпрему и испоруку поруџбине. Модел предвиђа скуп бројева. Вредност r-квадрата заснива се на растојањима између предвиђених вредности и стварних вредности у вашим подацима за обуку. Ово се изражава као број између 0 и 100%, при чему веће вредности указују да је предвиђена вредност ближа стварној вредности. Типично, виши резултат значи да модел боље функционише. Међутим, имајте на уму да савршени или скоро савршени резултати (модели преоптерећења) обично указују на проблем са вашим подацима за обуку.
На картици Резиме доступне су следеће информације о учинку:
- Датум обуке
- Извор података
- Историјски исход
- Листа табела која се користи за предвиђање.
Побољшајте перформансе свог модела предвиђања
Након што сте тренирали и проценили свој модел, време је да га подесите како бисте побољшали његове перформансе. Ево неколико ствари које можете покушати да бисте побољшали предиктивну моћ вашег модела.
Грешке и проблеми у прегледу
- Ако се након завршетка обуке појаве грешке, исправите их и поново обучавајте модел.
- Ако нема грешака, проверите детаље обуке. Покушајте да решите што више проблема, а затим поново обучавајте модел.
Рецензирајте најинфлуенсере
Након сваке обуке, на страници са детаљима модела се појављује листа најинфлуенсера. Свака колона која се користи у обуци има оцену која представља њен утицај на обуку. Ови резултати заједно дају 100 процената.
Ово помаже да се види да ли је ваш модел обучен како очекујете. На пример, ако желите да предвидите намеру купаца на мрежи и очекујете да ће колоне „Узраст“ и „Производ“ бити најутицајније, требало би да то видите на листи најутицајнијих колона на страници са детаљима модела. Ако не, то би могло указивати на то да резултат обуке није онакав какав се очекивао. У овом случају, можете или поништити избор небитних или обмањујућих колона и поново обучити модел или проверити проблеме са обуком да бисте видели више детаља.
Додај још података
Минимални захтев за податке за обуку је 50 редова, али то не значи да ће 50 редова података обучити високо предиктивни модел. Покушајте да обезбедите 1.000 или више редова података, правилно означених, са реалистичном расподелом између опција.
Проверите дистрибуцију података
На пример, ако користите две ознаке опција Да или Не, и већина ваших редова са подацима има само Да у овој колони, вашем моделу је тешко да учи из ових података. Покушајте да имате расподелу опција у својим подацима која отприлике одражава расподелу опција које бисте очекивали да видите. На пример, ако гледате колоне са подацима за власник_мачке и власник_пса, користите дистрибуцију података негде око 50 процената. Ако се ради о преварним трансакцијама, користите неравномернију расподелу - можда 95% према 5%. Потражите индустријске стандарде за ову врсту информација ако не знате шта да очекујете.
Додај још колона
На пример, желите да предвидите који купци ће се вероватније вратити и купити ваше производе. Можете додати још колона да бисте обогатили податке за обуку. На пример:
- Како оцењују производ?
- Колико користе производ?
- Да ли су они постојећи купац?
Сузите одабране колоне на релевантне информације
Можда већ имате доста правилно означених података за обуку, са много колона података. Зашто онда модел можда и даље не функционише добро? Могуће је да бирате колоне које доводе до нежељене пристрасности. Уверите се да су све колоне које изаберете релевантне да би утицале на оно што желите да предвидите. Поништите избор небитних или обмањујућих колона.
Валидирајте податке
- Уверите се да колоне са подацима немају високу стопу недостајућих вредности (већу од 99 процената). Попуните недостајуће вредности подразумеваним подацима или уклоните колону са подацима из обуке модела.
- Ако колона података има високу корелацију са исходом предвиђања, уклоните колону података из обуке модела.