Проекты качества данных (DQS)

Область применения:SQL Server

Это важно

Службы качества данных (DQS) удаляются в SQL Server 2025 (17.x). Мы продолжаем поддерживать DQS в SQL Server 2022 (16.x) и более ранних версиях.

Проект качества данных в службах качества данных (DQS) — это средство использования база знаний для повышения качества исходных данных путем выполнения действий очистки и сопоставления данных, а затем экспорта результирующих данных в базу данных SQL Server или файл .csv. Вы можете создать проект качества данных как проект очистки или проект сопоставления для выполнения соответствующих задач. Проекты очистки и сопоставления вы можете выполнять с использованием одной базы знаний, так как знания для очистки и сопоставления данных могут быть встроены в ту же базу знаний.

Проект по обеспечению качества данных имеет следующие преимущества:

  • Позволяет выполнять очистку данных в источнике данных, используя знания в базе знаний DQS.

  • Позволяет выполнять сопоставление данных в источнике данных, используя политику сопоставления в базе знаний.

  • Предоставляет мастер, помогающий выполнить операции очистки и сопоставления данных, и экспорт данных в базу данных SQL Server или файл CSV по выбору пользователя. Распорядитель данных может использовать проект качества данных для выполнения и управления этапами компьютерной и интерактивной очистки и сопоставления данных.

Проект качества данных: операция очистки

Проект очистки данных позволяет очистить исходные данные на основе базы знаний. Операция очистки данных в службах DQS представляет собой двухэтапный процесс.

  1. Автоматический процесс очистки данных, который анализирует исходные данные, сравнивая их со знаниями в базе знаний, и предлагает изменения. Обработанные данные разбиваются службами DQS на категории (предложенные, новые, недопустимые, исправленные и правильные) и выдаются пользователю для дальнейшей обработки.

  2. В интерактивном процессе очистки диспетчер данных может одобрить, отвергнуть или изменить данные, предложенные автоматическим процессом очистки данных.

Подробные сведения об операции очистки в проекте качества данных см. в разделе Data Cleansing.

Проект качества данных: операция сопоставления

Проект сопоставления данных позволяет выполнить операцию сопоставления на основе политики сопоставления в базе знаний с целью предотвратить дублирование данных путем определения точных и приблизительных совпадений. Таким образом, пользователь может удалить повторяющиеся данные. Рекомендуется очистить данные перед их сопоставлением. Для этого:

  1. Создайте проект качества данных, выберите действие Очистка, выполните очистку исходных данных, а затем экспортируйте их в таблицу базы данных SQL Server.

  2. Создайте еще один проект качества данных, используя базу знаний, которая содержит политику сопоставления, выберите действие Сопоставление, а затем на странице Сопоставление выберите базу данных и таблицу, в которые вы экспортировали очищенные данные на шаге 1.

  3. Выполните действие сопоставления для очищенных данных.

Подробные сведения о процессе сопоставления в проекте качества данных см. в разделе Data Matching.

Профилирование данных и уведомления

Во время операций очистки и сопоставления данных в проекте качества данных вы можете получать статистику и информацию о данных, обрабатываемых службами DQS, в реальном времени. Профилирование данных поможет оценить эффективность процессов очистки и сопоставления и определить, насколько очистка и сопоставление помогли улучшить качество данных. Профилирование служб DQS предоставляет два измерения качества данных: полнота (степень, в которой представлены данные) и точность (степень, в которой данные могут использоваться по намеченному назначению). Кроме того, на основе профилирования данных пользователю выдаются уведомления о действиях, которые можно предпринять для улучшения операций очистки и сопоставления данных. Дополнительные сведения о профилировании данных и уведомлениях см. в разделе Data Profiling and Notifications in DQS.

Описание задачи Тема
Описывает, как создать проект качества данных. Создайте проект качества данных
Описывает, как открывать, разблокировать, переименовывать и удалять проект качества данных. Открытие, разблокировка, переименование и удаление проекта качества данных
Описывается, как открыть проект Integration Services в клиенте Data Quality Client. Откройте проекты Integration Services в клиенте Data Quality

Связанные материалы

  • Last updated on