Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Область применения:✅ конечная точка аналитики SQL и хранилище в Microsoft Fabric
Хранилище в Microsoft Fabric использует обработчик запросов для создания плана выполнения для заданного SQL-запроса. При отправке запроса оптимизатор запросов пытается перебрать все возможные планы выполнения и выбрать наиболее эффективный вариант. Чтобы определить, какой план потребовал бы наименьших затрат (операций ввода-вывода, ЦП, памяти), движок должен иметь возможность оценить объем работы или количество строк/записей, которые могут обрабатываться на каждом операторе. Затем, на основе стоимости каждого плана, он выбирает один с наименьшим объемом предполагаемой работы. Статистика — это объекты, содержащие необходимые сведения о ваших данных, позволяющие оптимизатору запросов оценить эти затраты.
Использование статистики
Для достижения оптимальной производительности запросов важно иметь точную статистику. В настоящее время Microsoft Fabric поддерживает следующие способы предоставления актуальной и релевантной статистики:
- Пользовательская статистика
- Пользователь вручную использует синтаксис языка определения данных (DDL) для создания, обновления и удаления статистики при необходимости
- Автоматическая статистика
- Движок автоматически создает и поддерживает статистику во время запроса
Статистика в ручном режиме для всех таблиц
Традиционный вариант поддержания состояния статистики доступен в Microsoft Fabric. Пользователи могут создавать, обновлять и удалять статистику для одного столбца на основе гистограммы с помощью CREATE STATISTICS, UPDATE STATISTICS и DROP STATISTICS соответственно. Пользователи также могут просматривать содержимое статистики на основе гистограммы с помощью DBCC SHOW_STATISTICS. В настоящее время поддерживается ограниченная версия этих операторов.
- При создании статистики вручную рекомендуется сосредоточиться на столбцах, которые интенсивно используются в рабочей нагрузке запроса (в частности в GROUP BY, ORDER BY, фильтрах и JOIN).
- Рекомендуется регулярно обновлять статистику на уровне столбцов после изменений данных, значительно меняющих число строк или их распределение.
Примеры обслуживания статистики вручную
Чтобы создать статистику для таблицы dbo.DimCustomer, на основе всех строк в столбце CustomerKey:
CREATE STATISTICS DimCustomer_CustomerKey_FullScan
ON dbo.DimCustomer (CustomerKey) WITH FULLSCAN;
Чтобы вручную обновить объект DimCustomer_CustomerKey_FullScan статистики, возможно, после крупного обновления данных:
UPDATE STATISTICS dbo.DimCustomer (DimCustomer_CustomerKey_FullScan) WITH FULLSCAN;
Чтобы отобразить сведения об объекте статистики, выполните следующие действия.
DBCC SHOW_STATISTICS ("dbo.DimCustomer", "DimCustomer_CustomerKey_FullScan");
Чтобы отобразить только сведения о гистограмме объекта статистики:
DBCC SHOW_STATISTICS ("dbo.DimCustomer", "DimCustomer_CustomerKey_FullScan") WITH HISTOGRAM;
Чтобы вручную удалить объект DimCustomer_CustomerKey_FullScanстатистики:
DROP STATISTICS dbo.DimCustomer.DimCustomer_CustomerKey_FullScan;
Следующие объекты T-SQL также можно использовать для проверки как вручную созданных, так и автоматически созданных статистических данных в Microsoft Fabric:
- sys.stats представление каталога
- sys.stats_columns представление каталога
- STATS_DATE системная функция
Автоматическая статистика по запросу
При выполнении запроса, если оптимизатору запросов требуется статистика для изучения плана, Microsoft Fabric автоматически создает эти статистические данные, если они еще не существуют. После создания статистики оптимизатор запросов может использовать ее при оценке стоимости плана выполнения запускающего запроса. Кроме того, если обработчик запросов определяет, что существующая статистика, относящаяся к этому запросу, больше не отражает данные, эти статистические данные автоматически обновляются. Так как эти автоматические операции выполняются синхронно, можно ожидать, что длительность запроса будет включать это время, если необходимая статистика еще не существует или значительные изменения данных произошли с момента последнего обновления статистики.
Проверьте автоматическую статистику во время выполнения запроса
Существуют различные случаи, когда можно ожидать некоторые типы автоматической статистики. Наиболее распространенными являются статистические данные на основе гистограмм, запрашиваемые оптимизатором запросов для столбцов, используемых в предложениях GROUP BY, JOIN, DISTINCT, фильтрах (предложениях WHERE) и ORDER BY. Например, если вы хотите увидеть автоматическое создание этой статистики, запрос запустит создание, если статистика COLUMN_NAME еще не существует. Например:
SELECT <COLUMN_NAME>
FROM <YOUR_TABLE_NAME>
GROUP BY <COLUMN_NAME>;
В этом случае следует ожидать создания статистики COLUMN_NAME . Если столбец также был столбцом varchar, вы бы также увидели статистику средней длины столбца. Если вы хотите проверить, что статистика была создана автоматически, можно выполнить следующий запрос:
select
object_name(s.object_id) AS [object_name],
c.name AS [column_name],
s.name AS [stats_name],
s.stats_id,
STATS_DATE(s.object_id, s.stats_id) AS [stats_update_date],
s.auto_created,
s.user_created,
s.stats_generation_method_desc
FROM sys.stats AS s
INNER JOIN sys.objects AS o
ON o.object_id = s.object_id
LEFT JOIN sys.stats_columns AS sc
ON s.object_id = sc.object_id
AND s.stats_id = sc.stats_id
LEFT JOIN sys.columns AS c
ON sc.object_id = c.object_id
AND c.column_id = sc.column_id
WHERE o.type = 'U' -- Only check for stats on user-tables
AND s.auto_created = 1
AND o.name = '<YOUR_TABLE_NAME>'
ORDER BY object_name, column_name;
Теперь вы можете найти statistics_name автоматически созданной статистики гистограммы (должна быть примерно такой, как _WA_Sys_00000007_3B75D760) и запустить следующий T-SQL:
DBCC SHOW_STATISTICS ('<YOUR_TABLE_NAME>', '<statistics_name>');
Например:
DBCC SHOW_STATISTICS ('sales.FactInvoice', '_WA_Sys_00000007_3B75D760');
Значение Updated в результирующем наборе DBCC SHOW_STATISTICS должно быть датой (в формате UTC), аналогичной дате и времени выполнения исходного запроса GROUP BY.
Затем эти автоматически созданные статистические данные можно использовать в последующих запросах механизмом обработки запросов для повышения точности оценки стоимости плана и эффективности выполнения. Если в таблице произошло достаточно изменений, обработчик запросов также обновит эти статистические данные для улучшения оптимизации запросов. То же упражнение из предыдущего примера можно применить после существенного изменения таблицы. В Fabric подсистема запросов SQL использует то же пороговое значение перекомпиляции, что и SQL Server 2016 (13.x), при обновлении статистики.
Типы автоматически созданных статистических данных
В Microsoft Fabric существует несколько типов статистики, которые автоматически создаются подсистемой для улучшения планов запросов. В настоящее время их можно найти в sys.stats, хотя не все из них применимы:
- Статистика гистограммы
- Создано для каждого столбца, требующего статистики гистограммы во время запроса
- Эти объекты содержат данные гистограммы и плотности относительно распределения определенного столбца. Аналогично статистике, которая автоматически создается во время компиляции запроса в выделенных пулах Azure Synapse Analytics.
- Имя начинается с
_WA_Sys_. - Содержимое статистики можно просмотреть с помощью DBCC SHOW_STATISTICS
- Статистика средней длины столбца
- Создано для столбцов символов переменной длины (varchar) больше 100, когда во время выполнения запроса нужна средняя длина столбца.
- Эти объекты содержат значение, представляющее средний размер строки столбца varchar во время создания статистики.
- Имя начинается с
ACE-AverageColumnLength_. - Содержимое нельзя просматривать, и пользователь не может выполнять с ним действия.
- Статистика кардинальности на основе таблиц
- Создаётся для каждой таблицы, требующей оценки кардинальности во время выполнения запроса, только если другие метаданные количества строк недоступны.
- Эти объекты содержат оценку числа строк таблицы.
- С именем
ACE-Cardinality. - Содержимое не может быть просмотрено, и пользователь не может взаимодействовать с ним.
- Создаётся для каждой таблицы, требующей оценки кардинальности во время выполнения запроса, только если другие метаданные количества строк недоступны.
Встроенные оптимизации в статистике Fabric
Инкрементальное обновление статистики
Добавочное обновление статистики — это улучшение производительности автоматических обновлений статистики столбцов.
Как правило, при автоматическом обновлении статистики столбца необходимо проверить образец всего столбца, чтобы обновить статистику. Эта функция ускоряет выполнение операций, когда это возможно, за счет выборки только тех строк, которые были добавлены после последнего обновления, и объединения этих данных с существующими гистограммами.
Когда подсистема запрашивает обновление статистики столбцов, она автоматически определяет, можно ли использовать этот метод более быстрого обновления. Инкрементные обновления статистики обычно полезны для более крупных таблиц, в которых в основном выполнялись операции INSERT с момента последнего обновления статистики.
Упреждающее обновление статистики
Упреждающее обновление статистики — это полностью управляемый процесс, который пытается заранее обновить статистику после изменения данных.
Эта оптимизация направлена на снижение вероятности задержки запроса, вызванной SELECT обновлениями статистики во время создания плана запросов.
Упреждающие обновления статистики влияют только на автоматически созданную статистику гистограммы, которые используют соглашение об именовании, созданное системой, например, _WA_Sys_.
Функция упреждающего обновления статистики включена по умолчанию, но может быть настроена с помощью команды ALTER DATABASE T-SQL.
Ограничения
- Можно вручную создавать и изменять только статистику гистограмм для одного столбца.
- Создание статистики с несколькими столбцами не поддерживается.
- Другие объекты статистики могут отображаться в sys.stats, помимо статистики, созданной вручную, и статистики, созданной автоматически. Эти объекты не используются для оптимизации запросов.