使用 Kibana 仪表板查看群集日志

本文介绍如何可视化 SQL Server 大数据群集中的应用程序日志。 SQL Server 大数据群集使用 Fluent Bit(开源日志处理器和转发器)。 Fluent Bit 从群集中的大数据群集组件提取日志,并将其存储在 Elastic Stack Elasticsearch 中。 在 Kibana 仪表板中,可以可视化和搜索感兴趣的日志。

重要

Microsoft SQL Server 2019 大数据群集附加产品将停用。 对 SQL Server 2019 大数据群集的支持将于 2025 年 2 月 28 日结束。 具有软件保障的 SQL Server 2019 的所有现有用户都将在平台上获得完全支持,在此之前,该软件将继续通过 SQL Server 累积更新进行维护。 有关详细信息,请参阅公告博客文章Microsoft SQL Server 平台上的大数据选项

存储在 Elasticsearch 中的日志

存储在 Elasticsearch 中的大数据群集相关日志包括所有服务的标准输出和错误日志,包括 SQL Server、Spark、HDFS 和平台服务。

在 Kibana 仪表板中,可以根据组件搜索这些日志。 可以使用“kubernetes_container_name”、“kubernetes_pod_name”、“log_filename”和“service_name”等筛选器快速可视化大数据群集控制器、SQL Server 中的日志或来自不同 Pod、服务等的所有日志。

具体而言,控制器通过筛选“service_name:控制器”来记录群集部署和群集事件的状态和过程。 对于在 AD 模式下查看 SQL Server 大数据群集的用户,你可能会发现安全支持日志非常有用,它会在大数据群集从本地 Active Directory(AD) 域控制器获取 AD 令牌的过程中记录事件,可以通过筛选控制器日志下的“service_name: secsupp”来访问它。

先决条件

能力

在 SQL Server 2019(15.x)中,可以创建、删除、描述、初始化、列出运行和更新应用程序。 下表介绍了可用于 azdata的应用程序部署命令。

指令 DESCRIPTION
azdata bdc endpoint list 列出 SQL Server 大数据群集的终结点。

可以使用以下示例列出 Kibana 仪表板的终结点:

azdata bdc endpoint list --endpoint-name logsui 

输出将提供终结点,可以使用群集用户名和密码登录。

仪表板终端文本的屏幕截图。

Kibana 仪表板的链接如下:

指向 Kibana 仪表板的链接的屏幕截图。

重要

Internet Explorer 浏览器和旧版 Microsoft Edge 浏览器与 Kibana 不兼容。 使用不支持的浏览器加载仪表板时,你将看到一个空白页。 请考虑使用基于 Chromium 的 Microsoft Edge,或查看 Kibana 支持的浏览器

有关 SQL Server 大数据群集的详细信息,请参阅 SQL Server 2019 大数据群集简介