SystemGetAccuracyResults (службы Analysis Services — интеллектуальный анализ данных)

Статья
05/07/2013

Возвращает показатели точности перекрестной проверки для структуры интеллектуального анализа и всех связанных с ней моделей, исключая модели кластеризации.

Эта хранимая процедура возвращает показатели для всего набора данных как единой секции. Чтобы выполнить секционирование набора данных на перекрестные разделы и вернуть метрики для каждой секции, используйте метод SystemGetCrossValidationResults (службы Analysis Services — интеллектуальный анализ данных).

Примечание
Эта хранимая процедура не поддерживается для моделей, построенных с помощью алгоритма временных рядов (Майкрософт) или алгоритма кластеризации последовательностей (Майкрософт). Кроме того, для кластеризованных моделей используется отдельная хранимая процедура, Метод SystemGetClusterAccuracyResults (службы Analysis Services — интеллектуальный анализ данных).

Эта хранимая процедура не поддерживается для моделей, построенных с помощью алгоритма временных рядов (Майкрософт) или алгоритма кластеризации последовательностей (Майкрософт). Кроме того, для кластеризованных моделей используется отдельная хранимая процедура, Метод SystemGetClusterAccuracyResults (службы Analysis Services — интеллектуальный анализ данных).

Синтаксис

SystemGetAccuracyResults(<mining structure>, 
[,<mining model list>]
,<data set>
,<target attribute>
[,<target state>]
[,<target threshold>]
[,<test list>])

Аргументы

mining structure
Имя структуры интеллектуального анализа данных в текущей базе данных.

(обязательно)
model list
Список моделей для проверки с разделителями-запятыми.

Значение по умолчанию — null. Это означает, что используются все применимые модели. При использовании значения по умолчанию кластеризованные модели автоматически исключаются из списка обработки.

(необязательно)
data set
Целочисленное значение, указывающее, что секция в структуре интеллектуального анализа используется для тестирования. Это значение получается из битовой маски, которая представляет сумму следующих значений, каждое из которых в отдельности является необязательным:

Обучающие варианты

0x0001

Проверочные варианты

0x0002

Фильтр модели

0x0004

Полный список возможных значений см. в подразделе «Примечания» этого раздела.

(обязательно)
target attribute
Строка, содержащая имя прогнозируемого объекта. Прогнозируемый объект может быть столбцом, вложенным столбцом таблицы или вложенным ключевым столбцом модели интеллектуального анализа данных.

(обязательно)
target state
Строка, содержащая конкретное значения для прогноза.

Если значение задано, показатели собираются для данного конкретного состояния.

Если значение не задано или равно NULL, показатели вычисляются для более вероятного состояния каждого прогноза.

Значение по умолчанию — null.

(необязательно)
target threshold
Число от 0,0 до 1, определяющее минимальную вероятность, при которой прогнозируемое значение будет считаться правильным.

По умолчанию это значение равно null, оно означает, что правильными считаются все прогнозы.

(необязательно)
test list
Строка, указывающая параметры тестирования. Этот параметр зарезервирован для использования в будущем.

(необязательно)

Тип возвращаемых данных

Возвращенный набор строк содержит оценки по каждой секции и статистической функции для всех моделей.

Следующая таблица содержит список столбцов, возвращаемых методом GetValidationResults.

Имя столбца	Описание
Model	Имя протестированной модели. Значение Все указывает, что результат представляет собой статистическое выражение, полученное для всех моделей.
AttributeName	Имя прогнозируемого столбца.
AttributeState	Целевое значение в прогнозируемом столбце. Если столбец содержит значение, показатели собираются только для заданного состояния. Если значение не задано или равно NULL, показатели вычисляются для наиболее вероятного состояния каждого прогноза.
PartitionIndex	Определяет секцию, к которой применяется результат. Для этой процедуры значение всегда равно 0.
PartitionCases	Целое число, указывающее количество строк в наборе вариантов, основанное на параметре <data set>.
Test	Тип выполненного теста.
Measure	Имя меры, возвращенной тестом. Меры для каждой модели зависят от типа модели и типа прогнозируемого значения. Список мер, возвращаемых для каждого прогнозируемого типа см. в разделе Меры в отчете перекрестной проверки. Определение каждой меры см. в разделе Перекрестная проверка (службы Analysis Services — интеллектуальный анализ данных).
Значение	Значение для заданной меры.

Замечания

В следующей таблице приводятся примеры значений, с помощью которых можно указать в структуре интеллектуального анализа данные, используемые для перекрестной проверки. Если для перекрестной проверки нужно использовать проверочные варианты, то структура интеллектуального анализа данных должна содержать набор проверочных данных. Сведения о том, как определить набор проверочных данных во время создания структуры интеллектуального анализа данных, см. в разделе Обучающие и проверочные наборы данных.

Целое значение	Описание
1	Используются только обучающие варианты.
2	Используются только проверочные варианты.
3	Используются и обучающие и проверочные варианты.
4	Недопустимое сочетание.
5	Используются только обучающие варианты, и применяется фильтр модели.
6	Используются только проверочные варианты, и применяется фильтр модели.
7	Используются и обучающие и проверочные варианты, и применяется фильтр модели.

Дополнительные сведения о сценариях, в которых применяется перекрестная проверка, см. в разделе Тестирование и проверка (интеллектуальный анализ данных).

Примеры

Этот пример возвращает меры точности для одной модели дерева принятия решений, v Target Mail DT, связанного со структурой интеллектуального анализа vTargetMail. Код в четвертой строке указывает, что результаты должны быть основаны на вариантах проверки, отфильтрованных конкретным фильтром для каждой модели. [Bike Buyer] задает столбец для прогноза, а значение 1 на следующей строке указывает, что модель необходимо оценивать только для заданной цифры 1, означающей «Да, купит».

В последней строке кода задано пороговое значение состояния, равное 0,5. Оно означает, что прогнозы с вероятностью более 50 процентов при вычислении точности следует продолжать как «хорошие».

CALL SystemGetAccuracyResults (
[vTargetMail],
[vTargetMail DT],
6,
'Bike Buyer',
1,
0.5
)

Образец результатов:

ModelName	AttributeName	AttributeState	PartitionSize	Проверка	Мера	Значение
v Target Mail DT	Покупатель велосипеда	1	1638	Классификация	Истинный положительный результат	605
v Target Mail DT	Покупатель велосипеда	1	1638	Классификация	Ложный положительный результат	177
v Target Mail DT	Покупатель велосипеда	1	1638	Классификация	Истинный отрицательный результат	501
v Target Mail DT	Покупатель велосипеда	1	1638	Классификация	Ложный отрицательный результат	355
v Target Mail DT	Покупатель велосипеда	1	1638	Вероятность	Логарифмическая оценка	-0.598454638753028
v Target Mail DT	Покупатель велосипеда	1	1638	Вероятность	Точность прогноза	0.0936717116894395
v Target Mail DT	Покупатель велосипеда	1	1638	Вероятность	Корень среднеквадратичной погрешности	0.361630800104946