Очистка данных

Область применения:SQL Server

Это важно

Службы качества данных (DQS) удаляются в SQL Server 2025 (17.x). Мы продолжаем поддерживать DQS в SQL Server 2022 (16.x) и более ранних версиях.

Очистка данных — это процесс анализа качества данных в источнике данных с выполняемым вручную утверждением или отклонением рекомендаций, даваемых системой, и внесением изменений в данные. Очистка данных в службах качества данных (DQS) включает в себя компьютерный процесс, который анализирует соответствие данных знаниям в база знаний, а также интерактивный процесс, позволяющий стюарду данных просматривать и изменять результаты процесса с помощью компьютера, чтобы гарантировать, что очистка данных выполняется точно так же, как они хотят.

Диспетчер данных также может выполнять очистку данных в процессе обработки пакетов служб Integration Services. В этом случае стюард данных будет использовать компонент очистки DQS в Integration Services, который автоматически выполняет очистку данных с помощью существующей базы знаний. Дополнительные сведения см. в разделе Преобразование "Очистка DQS".

Функция очистки данных в DQS имеет следующие преимущества.

• Выявление неполных или неверных данных в источнике данных (файле Excel или базе данных SQL Server) с последующим исправлением данных или оповещением пользователя о недопустимых данных.

• Двухэтапный процесс очистки данных: автоматизированный и интерактивный. В автоматическом процессе используются знания из базы знаний DQS для автоматической обработки данных и создания рекомендаций по замене и исправлению. На следующем интерактивном этапе диспетчер данных может утвердить, отклонить или изменить операции, рекомендованные DQS в рамках автоматической очистки.

• Стандартизация и дополнение данных клиента с использованием значений домена, правил домена и эталонных данных. Например, стандартизация использования терминов путем изменения "St." на "Street", обогащения данных путем заполнения отсутствующих элементов путем изменения "1 Microsoft way Redmond 98006" на "1 Microsoft Way, Redmond, WA 98006".

• Предоставляет пользователю простой, интуитивно понятный и последовательный интерфейс, похожий на мастера, для навигации по данным и проверки ошибок среди очень большого объёма данных.

На следующем рисунке показана очистка данных в DQS.

Автоматическая очистка

Процесс очистки данных DQS применяет знания из базы знаний к данным, которые должны быть очищены, и предлагает изменения для данных. У администратора данных есть доступ к каждому предлагаемому изменению, что позволяет им оценивать и исправлять изменения. Для очистки данных диспетчер данных выполняет следующие действия.

1. Создание проекта качества данных, выбор базы знаний, по которой проводится анализ и очистка исходных данных, и выбор операции Очистка . Одну и ту же базу знаний можно использовать для нескольких проектов качества данных.

2. Указание таблицы/представления базы данных или файла Excel, содержащего исходные данные для очистки. Можно использовать базу данных или файл Excel, которые участвовали в обнаружении знаний, или другую базу данных либо файл Excel.

   Примечание.

   Если выбрать для обнаружения знаний и операции очистки один источник данных, то в данных не будет изменений. Рекомендуется выполнить обнаружение знаний на выборке данных, а затем очистить исходные данные на основе знаний, полученных в ходе этого процесса.

3. Сопоставьте поля данных, подлежащие очистке, с соответствующими доменами и составными доменами в базе знаний. Если сопоставить поле с составным доменом, то сопоставление выполняется между полем и составным доменом, а не с отдельными доменами, входящими в составной. Кроме того, очистка данных для сопоставленного поля выполняется на основе правил, заданных для составного домена, а не для отдельных доменов, входящих в составной. Дополнительные сведения о составных доменах см. в разделе DQS Knowledge Bases and Domains.

4. Выполнение автоматического процесса очистки путем нажатия кнопки Запуск на странице Очистка .

Процесс очистки данных ищет наилучшее соответствие экземпляра данных известным значениям домена данных. Этот процесс применяет знания о качестве данных ко всем исходным данным, в отличие от процесса обнаружения знаний, который выполняется только в процентной выборке данных.

Компьютерный процесс отображает сведения о качестве данных в клиенте качества данных, который будет использоваться для интерактивного процесса очистки. Помимо поиска несоответствия синтаксическим правилам, службы DQS также используют эталонные данные и дополнительные алгоритмы для разделения данных по категориям в соответствии с уровнем достоверности. Уровень достоверности указывает степень уверенности DQS в исправлении или рекомендации. Уровень достоверности зависит от следующих пороговых значений.

• Пороговое значение автоматического исправления , при превышении которого DQS предлагает изменение и вносит его, если диспетчер данных не отклонит изменение. Пороговое значение автоматического исправления вы можете задать на вкладке Общие параметры экрана Конфигурация . Дополнительные сведения см. в статье Настройка пороговых значений для очистки и сопоставления.

• Пороговое значение автопредложения, которое ниже порогового значения автоматического исправления и при превышении которого DQS предлагает изменение и вносит его, если администратор данных его утвердит. Пороговое значение автоматической рекомендации вы можете задать на вкладке Общие параметры экрана Конфигурация . Дополнительные сведения см. в статье Настройка пороговых значений для очистки и сопоставления.

Любое значение с уровнем достоверности ниже порогового значения автоматической рекомендации оставляется DQS без изменений, если диспетчер данных не указывает изменение.

Интерактивная очистка

По результатам автоматического процесса очистки DQS предоставляет диспетчеру данных необходимую информацию для принятия решения об изменении данных. DQS классифицирует данные по пяти следующим вкладкам.

• Предложено: значения, для которых DQS обнаруживает рекомендации, имеющие уровень достоверности выше порогового значения автоматической рекомендации , но ниже порогового значения автоматического исправления . Необходимо просмотреть эти значения и либо утвердить, либо отклонить их.

• Новое: допустимые значения, для которых DQS не хватает сведений (предложения), поэтому не могут быть сопоставлены с любой другой вкладкой. Кроме того, эта вкладка также содержит значения, которые имеют уровень достоверности меньше порогового значения автоматического предложения, но достаточно высокий, чтобы пометить как допустимый.

• Недопустимо: значения, которые были помечены как недопустимые в домене базы знаний, или значения, которые оказались несоответствующими правилам домена или эталонным данным. На этой вкладке также содержатся значения, отклоненные пользователем на остальных четырех вкладках в ходе интерактивного процесса очистки.

• Исправлено: значения, которые были исправлены DQS в процессе автоматической очистки, так как для значения обнаружено исправление с уровнем достоверности выше порогового значения автоматического исправления . На этой вкладке также содержатся значения, для которых пользователь указал правильное значение в столбце Исправить на в ходе интерактивной очистки, а затем утвердил значение, выбрав переключатель в столбце Утвердить на любой из четырех других вкладок.

• Правильно: обнаруженные правильные значения. Например, значение совпадало с доменным значением. В случае необходимости вы можете переопределить очистку DQS, отклонив значения на этой вкладке или указав альтернативное слово в столбце Исправить на , а затем выбрав переключатель в столбце Принять . На этой вкладке также содержатся значения, утвержденные пользователем в ходе интерактивной очистки путем выбора переключателя в столбце Утвердить на вкладке Новые или Недопустимые .

Примечание.

На вкладках Рекомендуемые, Исправленные и Правильные DQS отображает основное значение для домена, если применимо, в столбце Исправить на напротив соответствующего значения домена.

Администратор данных использует клиент качества данных для просмотра изменений, предлагаемых DQS, и решить, следует ли реализовать их или нет. Они могут убедиться, что значения DQS, назначенные как правильные, фактически верны. Они могут проверить, что изменения, уже внесенные DQS, с высоким уровнем достоверности, должны быть сделаны. Стюард может решить, следует ли утверждать автоматически предложенные изменения. И они могут просматривать значения, которые не были изменены, только если они хотят внести изменения, не найденные компьютерным процессом.

DQS объединяет все изменения, внесенные диспетчером данных, с результатами автоматической очистки данных. Изменения останутся с проектом, но не будут добавлены в базу знаний. Во время очистки данных соответствующая база знаний доступна только для чтения.

После завершения процесса очистки данных вы можете экспортировать обработанные данные в новую таблицу в базе данных SQL Server, в CSV-файл или файл Excel. Исходные данные, для которых выполнялась очистка, остаются в исходном состоянии. Диспетчер данных может использовать отдельные очищенные данные для исправления фактических исходных данных.

На следующем рисунке показано, как выполняется очистка данных с помощью клиентского приложения Data Quality:

Исправление начального значения

Исправление начального значения относится к значениям домена, имеющим синонимы, когда пользователю нужно использовать один из синонимов в качестве начального значения для согласованного представления этого значения. Например, «New York», «NYC» и «big apple» являются синонимами, и пользователь хочет использовать «New York» в качестве основного значения вместо «NYC» и «Big Apple». DQS поддерживает исправление ведущих значений в процессе очистки данных, чтобы помочь стандартизовать данные. Коррекция ведущего значения выполняется только в том случае, если для домена эта возможность была включена при его создании. По умолчанию исправление начального значения включается для всех доменов, если при создании домена не снят флажок Использовать начальные значения . Дополнительные сведения об этом флажке см. в разделе Set Domain Properties.

Стандартизация очищенных данных

Можно выбрать, будут ли очищенные данные экспортироваться в стандартном формате на основе формата вывода, определенного для доменов. При создании домена вы можете выбрать форматирование, которое будет применяться при выводе значений данных в домене. Дополнительные сведения об указании форматов вывода для домена см. в списке Формат вывода в разделе Set Domain Properties.

При экспорте очищенных данных на странице Экспорт в мастере проектов качества данных указывается, будут ли очищенные данные экспортироваться в стандартном формате. Для этого устанавливается флажок Стандартный вывод . По умолчанию очищенные данные экспортируются в стандартном формате, то есть этот флажок установлен. Дополнительные сведения о экспорте очищенных данных см. в статье "Очистка данных с помощью внутренних знаний DQS".

Связанные задачи

Описание задачи	Тема
Описывает настройку пороговых значений для операции очистки.	Настройка пороговых значений для очистки и сопоставления
Описывает очистку данных с использованием знаний, построенных в DQS.	Очистить данные с помощью внутренней базы знаний DQS
Описывает очистку данных с использованием знаний, полученных от службы эталонных данных.	Очистка данных с использованием знаний из внешних справочных данных
Описывает очистку составного домена.	Очистка данных в составном домене

Связанные материалы

• Проекты качества данных (DQS)
• Сопоставление данных