你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

数据库观察程序数据收集和数据集（预览版）

项目
11/13/2024

数据库观察程序从 SQL 系统视图收集监视数据，并将其引入“数据集”形式的数据存储中。每个数据集都使用来自一个或多个 SQL 系统视图的数据形成。对于每个数据集，数据存储中都有一个单独的表。

数据收集

数据库观察程序使用 T-SQL 查询定期收集监视数据。每次执行查询时收集的数据称为“样本”。样本收集频率因数据集而异。例如，可能会每隔 10 秒收集一次频繁更改的数据（例如 SQL 性能计数器），而大部分静态数据（例如数据库配置）可能每五分钟收集一次。有关详细信息，请参阅数据集。

数据库观察程序利用 Azure 数据资源管理器中的流式引入和 Microsoft Fabric 中的实时分析来提供近乎实时的监视。通常，收集的 SQL 监视数据仅需要不到 10 秒即可用于报告和分析。可以使用“引入统计信息”链接监视数据库观察程序仪表板的数据引入延迟。

数据库观察程序与应用程序工作负荷之间的交互

启用数据库观察程序不太可能会对应用程序工作负载的性能产生明显影响。更频繁的监视查询通常在亚秒范围内执行，而查询可能需要更多时间以不频繁的间隔运行（例如返回大型数据集）。

为了进一步降低对应用程序工作负荷造成影响的风险，Azure SQL 数据库中的所有数据库观察程序查询都作为内部工作负荷进行资源调控。当存在资源争用时，监视查询的资源消耗限制为数据库可用资源总量的一小部分。较之监视查询，这会优先处理应用程序工作负荷。

如果应用程序工作负载与Azure SQL 托管实例中的数据库观察程序监视查询之间存在资源争用，则可以启用 Resource Governor 来限制监视查询的资源消耗。

以下示例在 SQL 托管实例上配置 Resource Governor。当没有 CPU 争用时，数据库观察程序查询的 CPU 消耗将限制为 30%。当存在 CPU 争用时，此配置将为监视查询保留 5% 的 CPU，并将其 CPU 使用率限制为 10%。它还会将每个监视查询的内存授予大小限制为可用内存的 10%。

注意

如果 Resource Governor 配置过于严格，例如使用了较低的 MAX_CPU_PERCENT 或 CAP_CPU_PERCENT 值，则数据库观察程序可能会由于计算资源不足而无法可靠地收集数据，甚至根本无法收集数据。

USE master;
GO

CREATE OR ALTER FUNCTION dbo.dbw_classifier()
RETURNS sysname
WITH SCHEMABINDING
AS
BEGIN

DECLARE @WorkloadGroupName sysname = 'default';

IF APP_NAME() IN (N'SQLExternalMonitoring',N'x_ms_reserved_sql_external_monitoring')
    SET @WorkloadGroupName = N'database_watcher_workload_group'

RETURN @WorkloadGroupName;

END;
GO

BEGIN TRY

IF EXISTS (
          SELECT 1
          FROM sys.resource_governor_configuration
          WHERE classifier_function_id <> 0 OR is_enabled <> 0
          )
    THROW 50001, 'Resource Governor is already configured. No changes were made.', 1;

CREATE RESOURCE POOL database_watcher_resource_pool
WITH (MIN_CPU_PERCENT = 5, MAX_CPU_PERCENT = 10, CAP_CPU_PERCENT = 30);

CREATE WORKLOAD GROUP database_watcher_workload_group
WITH (REQUEST_MAX_MEMORY_GRANT_PERCENT = 10)
USING database_watcher_resource_pool;

ALTER RESOURCE GOVERNOR WITH (CLASSIFIER_FUNCTION = dbo.dbw_classifier);

ALTER RESOURCE GOVERNOR RECONFIGURE;

END TRY
BEGIN CATCH
    THROW;
END CATCH;

提示

若要使新 Resource Governor 配置在 SQL 托管实例的高可用性次要副本上生效，请连接到副本并执行 ALTER RESOURCE GOVERNOR RECONFIGURE;。

为了避免在 Azure SQL 资源上运行的数据收集和数据库工作负载之间的阻塞和死锁等并发冲突，监视查询使用短锁超时和低死锁优先级。如果存在并发冲突，则为应用程序工作负荷查询提供更高优先级。

如果总体资源利用率较高，或者发生并发冲突，则收集到的数据可能会存在差距。在这些情况下，可能会降低查询监视的优先级，以支持应用程序工作负载。

弹性池中的数据收集

若要监视弹性池，必须将池中的一个数据库指定为“定位点数据库”。数据库观察程序连接到定位点数据库。由于观察程序持有 VIEW SERVER PERFORMANCE STATE 权限，因此定位点数据库中的系统视图为整个池提供监视数据。

提示

可以将空数据库添加到要监视的每个弹性池，并将其指定为定位点数据库。这样，就可以将其他数据库移入和移出池，或者在池之间移动，而不会中断弹性池监视。

从定位点数据库收集的数据包含池级指标，以及池中每个数据库的某些数据库级性能指标，例如每个数据库的资源利用率和请求速率指标。对于某些场景，添加弹性池 SQL 目标即可监视整个弹性池，因此无需监视池中的每个数据库。

某些监视数据（例如池级 CPU、内存、存储利用率和等待统计信息）仅在弹性池级别收集，因为它不能归于池中的单个数据库。相反，某些其他数据（如查询运行时统计信息、数据库属性、表和索引元数据）仅在将单个数据库添加为 SQL 目标时才可用。

如果将弹性池中的单个数据库添加为 SQL 目标，则还应将该弹性池添加为 SQL 目标。这样，就可以更全面地了解数据库和池性能。

监视密集弹性池

密集弹性池包含大量数据库，但计算大小相对较小。此配置使客户可以通过将计算资源分配保持在最低水平来大幅节省成本，前提是池中只有少量数据库同时处于活动状态。

可用于密集弹性池中数据库观察程序查询的计算资源进一步受到限制，以避免影响应用程序查询。因此，数据库观察程序可能无法从密集弹性池中的每个数据库收集监视数据。

提示

若要监视内含大量数据库的弹性池，请通过将弹性池添加为 SQL 目标，在池级别启用监视。

不建议在密集弹性池中监视过多单独的数据库。由于数据库观察程序查询可用的计算资源不足，可能会导致收集到的数据中出现间隙或数据样本之间的间隔大于预期。

数据驻留

客户可以选择将收集到的 SQL Monitoring 数据存储在三种数据存储类型中的一种之中：

Azure 数据资源管理器群集上的数据库。默认方式下，将为每个新的观察程序创建一个新的 Azure 数据资源管理器群集，该集群将与观察程序位于同一 Azure 区域中。

客户可以选择 Azure 地理位置中的特定 Azure 区域作为其 Azure 数据资源管理器群集和数据库的位置。有关 Azure 数据资源管理器中数据复制功能的详细信息，请参阅业务连续性和灾难恢复概述。
免费 Azure 数据资源管理器群集上的数据库。

客户可以选择特定的 Azure 地理位置，但不能选择特定的 Azure 区域作为其免费 Azure 数据资源管理器群集和数据库的位置。不支持将数据复制到其他区域或地理位置。
Microsoft Fabric 中的实时分析中的数据库。

客户无法选择数据库的地理位置。

若要完全控制收集到的 SQL Monitoring 数据的数据驻留，客户必须选择 Azure 数据资源管理器群集上的数据库作为数据存储。

客户可以将其 Azure 数据资源管理器群集的地理位置和区域与所监视 Azure SQL 资源的地理位置和区域调整为一致。当 Azure SQL 资源位于多个区域时，客户可能需要创建多个观察程序以及多个 Azure 数据资源管理器群集来满足其数据驻留要求。

数据集

本部分介绍了可用于每个 SQL 目标类型的数据集，包括收集频率和数据存储中的表名称。

注意

在预览期间，可能会添加和删除数据集。数据集属性（如名称、说明、收集频率和可用列）可能会更改。

数据集名称	表名称	收集频率 (hh:mm:ss)	说明
可用的会话	`sqldb_database_active_sessions`	`00:00:30`	每一行表示会话运行一个请求、是一个阻止程序或具有一个打开的事务。
备份历史记录	`sqldb_database_sql_backup_history`	`00:05:00`	每行表示一个已成功完成的数据库备份。
更改流程	`sqldb_database_change_processing`	`00:01:00`	每行表示更改处理功能（例如变更数据捕获或更改源，Azure Synapse Link）的聚合日志扫描统计信息的一个快照。
更改处理错误	`sqldb_database_change_processing_errors`	`00:01:00`	每行表示使用更改处理功能（如更改数据捕获或更改源，Azure Synapse Link）时，更改处理过程中发生的一个错误。
连接	`sqldb_database_connectivity`	`00:00:30`	每行表示数据库的一个连接探测（登录名和查询）。
异地副本	`sqldb_database_geo_replicas`	`00:00:30`	每行表示一个主要或辅助异地副本，包括异地副本元数据和统计信息。
索引元数据	`sqldb_database_index_metadata`	`00:30:00`	每行表示一个索引分区，包括索引定义、属性和操作统计信息。
内存利用率	`sqldb_database_memory_utilization`	`00:00:10`	每行表示一个内存分配器，包括数据库引擎实例上的分配器的内存消耗量。
缺失索引	`sqldb_database_missing_indexes`	`00:15:00`	每行表示一个可提高查询性能的索引（如果已创建）。
内存不足事件	`sqldb_database_oom_events`	`00:01:00`	每行表示数据库引擎中的一个内存不足事件。
性能计数器（常见）	`sqldb_database_performance_counters_common`	`00:00:10`	每行表示数据库引擎实例的一个性能计数器。此数据集包括常用的计数器。
性能计数器（详细信息）	`sqldb_database_performance_counters_detailed`	`00:01:00`	每行表示数据库引擎实例的一个性能计数器。此数据集包括可能需要用于详细监视和故障排除的计数器。
属性	`sqldb_database_properties`	`00:05:00`	每行表示一个数据库，包括数据库选项、资源治理限制和其他数据库元数据。
查询运行时统计信息	`sqldb_database_query_runtime_stats`	`00:15:00`	每行表示一个查询存储运行时间隔，并包括查询执行统计信息。
查询等待统计信息	`sqldb_database_query_wait_stats`	`00:15:00`	每行表示一个查询存储运行时间隔，并包括等待类别统计信息。
副本	`sqldb_database_replicas`	`00:00:10`	每行表示一个数据库副本，包括副本元数据和统计信息。包括主要副本、异地副本（在主要副本上收集时）和次要副本（在次要副本上收集时）。
资源利用率	`sqldb_database_resource_utilization`	`00:00:15`	每行表示一个时间间隔内，一个数据库的 CPU、数据 IO、日志 IO 和其他资源消耗统计信息。
会话统计信息	`sqldb_database_session_stats`	`00:01:00`	每行表示数据库的一个会话统计信息摘要，这些统计信息按非累加会话属性（例如登录名、主机名、应用程序名称等）聚合。
SOS 计划程序	`sqldb_database_sos_schedulers`	`00:01:00`	每行表示一个 SOS 计划程序，并包括计划程序、CPU 节点和内存节点的统计信息。
存储 IO	`sqldb_database_storage_io`	`00:00:10`	每行表示一个数据库文件，包括文件的累积 IOPS、吞吐量和延迟统计信息。
存储利用率	`sqldb_database_storage_utilization`	`00:01:00`	每行表示一个数据库，并包括其存储使用情况，包括 `tempdb`、查询存储和持久版本存储。
表元数据	`sqldb_database_table_metadata`	`00:30:00`	每行表示一个表或索引视图，并包括行计数、空间使用情况、数据压缩、列和约束等元数据。
等待统计信息	`sqldb_database_wait_stats`	`00:00:10`	每行表示一个等待类型，并包括数据库引擎实例的累积等待统计信息。对于弹性池中的数据库，仅收集数据库范围的等待统计信息。

注意

对于弹性池中的数据库，不会收集包含池级别数据的“SQL 数据库”数据集。这包括“内存利用率”、“内存不足事件”、“性能计数器（通用）”和“性能计数器（详细）”数据集。收集“等待统计信息”数据集，但仅包含数据库范围的等待。这可以避免从池中的每个数据库收集相同的数据。

池级数据在“SQL 弹性池”数据集中收集。对于给定的弹性池，“性能计数器（通用）”和“性能计数器（详细）”数据集包含池级指标和某些数据库级指标，例如 CPU、“数据 IO”、“日志写入”、“请求”、“事务”等。

数据集名称	表名称	收集频率 (hh:mm:ss)	说明
内存利用率	`sqldb_elastic_pool_memory_utilization`	`00:00:10`	每行表示一个内存分配器，包括数据库引擎实例上的分配器的内存消耗量。
内存不足事件	`sqldb_elastic_pool_oom_events`	`00:01:00`	每行表示数据库引擎中的一个内存不足事件。
性能计数器（常见）	`sqldb_elastic_pool_performance_counters_common`	`00:00:10`	每行表示数据库引擎实例的一个性能计数器。此数据集包括常用计数器，包括弹性池中每个数据库的工作负荷组资源使用情况统计信息。
性能计数器（详细信息）	`sqldb_elastic_pool_performance_counters_detailed`	`00:01:00`	每行表示数据库引擎实例的一个性能计数器。此数据集包括可能需要用于详细监视和故障排除的计数器。
属性	`sqldb_elastic_pool_properties`	`00:05:00`	每行表示一个弹性池，包括资源治理限制和弹性池的其他元数据。
资源利用率	`sqldb_elastic_pool_resource_utilization`	`00:00:20`	每行表示一个时间间隔内，一个弹性池的 CPU、数据 IO、日志 IO 和其他资源消耗统计信息。
SOS 计划程序	`sqldb_elastic_pool_sos_schedulers`	`00:01:00`	每行表示一个 SOS 计划程序，并包括计划程序、CPU 节点和内存节点的统计信息。
存储 IO	`sqldb_elastic_pool_storage_io`	`00:00:10`	每行表示一个数据库文件，包括文件的累积 IOPS、吞吐量和延迟统计信息。包含弹性池中所有数据库的文件。
存储利用率	`sqldb_elastic_pool_storage_utilization`	`00:01:00`	每行表示一个弹性池，并包括其存储使用情况统计信息，包括 `tempdb`。
等待统计信息	`sqldb_elastic_pool_wait_stats`	`00:00:10`	每行表示一个等待类型，包括数据库引擎实例的等待统计信息。

数据集名称	表名称	收集频率 (hh:mm:ss)	说明
可用的会话	`sqlmi_active_sessions`	`00:00:30`	每一行表示会话运行一个请求、是一个阻止程序或具有一个打开的事务。
备份历史记录	`sqlmi_sql_backup_history`	`00:05:00`	每行表示一个已成功完成的数据库备份。
更改流程	`sqlmi_change_processing`	`00:01:00`	每行表示更改处理功能（例如变更数据捕获）的聚合日志扫描统计信息的一个快照。
更改处理错误	`sqlmi_change_processing_errors`	`00:01:00`	每行表示使用更改处理功能（如更改数据捕获）时，更改处理过程中发生的一个错误。
连接	`sqlmi_connectivity`	`00:00:30`	每行表示 SQL 托管实例的一个连接探测（登录名和查询）。
数据库异地副本	`sqlmi_database_geo_replicas`	`00:05:00`	每行表示一个主要或辅助数据库异地副本，包括异地副本元数据和统计信息。
数据库属性	`sqlmi_database_properties`	`00:05:00`	每行表示一个数据库，包括数据库选项和其他数据库元数据。
数据库副本	`sqlmi_database_replicas`	`00:05:00`	每行表示一个数据库副本，包括副本元数据和统计信息。包括主要副本、异地副本（在主要副本上收集时）和次要副本（在次要副本上收集时）。
数据库存储利用率	`sqlmi_database_storage_utilization`	`00:05:00`	每行表示一个数据库，并包括其存储使用情况，包括查询存储和持久版本存储。
索引元数据	`sqlmi_index_metadata`	`00:30:00`	每行表示一个索引分区，包括索引定义、属性和操作统计信息。
实例属性	`sqlmi_instance_properties`	`00:05:00`	每行表示一个 SQL 托管实例，并包括其属性和其他实例元数据。
内存利用率	`sqlmi_memory_utilization`	`00:00:10`	每行表示一个内存分配器，包括分配器的内存消耗量。
缺失索引	`sqlmi_missing_indexes`	`00:15:00`	每行表示一个可提高查询性能的索引（如果已创建）。
内存不足事件	`sqlmi_oom_events`	`00:01:00`	每行表示数据库引擎中的一个内存不足事件。
性能计数器（常见）	`sqlmi_performance_counters_common`	`00:00:10`	每行表示一个性能计数器。此数据集包括常用的计数器。
性能计数器（详细信息）	`sqlmi_performance_counters_detailed`	`00:01:00`	每行表示一个性能计数器。此数据集包括可能需要用于详细监视和故障排除的计数器。
查询运行时统计信息	`sqlmi_query_runtime_stats`	`00:15:00`	每行表示一个查询存储运行时间隔，并包括数据库的查询执行统计信息。
查询等待统计信息	`sqlmi_query_wait_stats`	`00:15:00`	每行表示一个查询存储运行时间隔，并包括数据库的等待类别统计信息。
资源利用率	`sqlmi_resource_utilization`	`00:00:20`	每行表示一个时间间隔内，CPU、数据 IO、日志 IO 和其他资源消耗统计信息。
会话统计信息	`sqlmi_session_stats`	`00:01:00`	每行表示托管实例的一个会话统计信息摘要，这些统计信息按非累加会话属性（例如登录名、主机名、应用程序名称等）聚合。
SOS 计划程序	`sqlmi_sos_schedulers`	`00:01:00`	每行表示一个 SOS 计划程序，并包括计划程序、CPU 节点和内存节点的统计信息。
SQL 代理作业历史记录	`sqlmi_sqlagent_job_history`	`00:01:00`	每行表示一个 SQL 代理作业历史记录条目。
SQL 代理作业状态	`sqlmi_sqlagent_job_state`	`00:00:20`	每一行表示某个时间点的 SQL 代理作业的状态。
存储 IO	`sqlmi_storage_io`	`00:00:10`	每行表示一个数据库文件，包括文件的累积 IOPS、吞吐量和延迟统计信息。
表元数据	`sqlmi_table_metadata`	`01:00:00`	每行表示一个表或索引视图，并包括行计数、空间使用情况、数据压缩、列和约束等元数据。
等待统计信息	`sqlmi_wait_stats`	`00:00:10`	每行表示一个等待类型，并包括数据库引擎实例的累积等待统计信息。

常见列

数据集拥有针对每个 SQL 目标类型的通用列，如下表所述。

列名	说明
`subscription_id`	SQL 数据库的 Azure 订阅 ID。
`resource_group_name`	SQL 数据库的资源组名称。
`resource_id`	SQL 数据库的 Azure 资源 ID。
`sample_time_utc`	观察到行中值的时间 (UTC)。
`collection_time_utc`	观察程序收集行的时间 (UTC)。此列存在于收集时间可能与样本时间不同的数据集中。
`replica_type`	其中之一：“主要”、“HA 辅助”、“异地副本转发器”、“命名辅助”。
`logical_server_name`	包含受监视的数据库或弹性池的 Azure SQL 数据库中的逻辑服务器的名称。
`database_name`	受监视数据库的名称。
`database_id`	受监视数据库的数据库 ID，在逻辑服务器内是唯一的。
`logical_database_id`	在用户数据库的生存期内保持不变的唯一数据库标识符。重命名数据库或更改其服务目标不会更改此值。
`physical_database_id`	与用户数据库对应的当前物理数据库的唯一数据库标识符。更改数据库服务对象会导致此值更改。
`replica_id`	超大规模计算副本的唯一标识符。

列名	说明
`subscription_id`	SQL 弹性池的 Azure 订阅 ID。
`resource_group_name`	SQL 弹性池的资源组名称。
`resource_id`	SQL 弹性池的 Azure 资源 ID。
`sample_time_utc`	观察到行中值的时间 (UTC)。
`collection_time_utc`	观察程序收集行的时间 (UTC)。此列存在于收集时间可能与样本时间不同的数据集中。
`replica_type`	其中之一：“主要”、“HA 辅助”。
`logical_server_name`	包含受监视的数据库或弹性池的 Azure SQL 数据库中的逻辑服务器的名称。
`elastic_pool_name`	受监视的弹性池的名称。
`anchor_database_name`	弹性池的定位点数据库的名称。
`anchor_database_id`	弹性池的定位点数据库的数据库 ID，在逻辑服务器中是唯一的。
`anchor_logical_database_id`	在定位点数据库的生存期内保持不变的唯一数据库标识符。
`anchor_physical_database_id`	与定位点数据库对应的当前物理数据库的唯一数据库标识符。
`anchor_replica_id`	定位点数据库的超大规模计算副本的唯一标识符。

列名	说明
`subscription_id`	SQL 托管实例的 Azure 订阅 ID。
`resource_group_name`	SQL 托管实例的资源组名称。
`resource_id`	SQL 托管实例的 Azure 资源 ID。
`sample_time_utc`	观察到行中值的时间 (UTC)。
`collection_time_utc`	观察程序收集行的时间 (UTC)。此列存在于收集时间可能与样本时间不同的数据集中。
`replica_type`	其中之一：“主要”、“HA 辅助”、“异地复制转发器”。
`managed_instance_name`	所监视 SQL 托管实例的名称。

如果数据集包含数据库观察程序收集行之前观察到的样本，则数据集具有 sample_time_utc 和 collection_time_utc 列。否则，观察时间和收集时间相同，并且数据集仅包含 sample_time_utc 列。

例如，sqldb_database_resource_utilization 数据集派生自 sys.dm_db_resource_stats 动态管理视图 (DMV)。 DMV 包含 end_time 列，这是每行报告 15 秒间隔的聚合资源统计信息的观察时间。此时间在 sample_time_utc 列中报告。当数据库观察程序查询此 DMV 时，结果集可能包含多个行，每个行具有不同的 end_time。所有这些行具有相同的 collection_time_utc 值。

通过