培训
学习路径
使用 Microsoft Fabric 引入数据 - Training
了解如何使用 Microsoft Fabric 通过数据流、笔记本和管道从各种数据源(例如文件、数据库或 Web 服务)引入和协调数据。
你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Fluent Bit 是一种开源代理,用于从各种源收集日志、指标和跟踪。 使用它可以在将事件数据发送到存储之前对事件数据进行筛选、修改和聚合。 Azure 数据资源管理器是一项快速且高度可缩放的数据探索服务,适用于日志和遥测数据。 本文指导你完成使用 Fluent Bit 将数据发送到 Azure 数据资源管理器的过程。
本文将指导如何进行以下操作:
有关数据连接器的完整列表,请参阅数据连接器概述。
可以将任何可用的查询工具用于查询环境。
Fluent Bit 以 JSON 格式将日志随以下三个属性转发:log
(dynamic)、tag
(string) 和 timestamp
(datetime)。
可以创建一个表,其中包含上述每个属性的列。 或者,如果你有结构化日志,则可以创建一个表,其中包含映射到自定义列的日志属性。 若要了解详细信息,请选择相关选项卡。
若要为来自 Fluent Bit 的传入日志创建表,请执行以下操作:
浏览至查询环境。
选择要在其中创建表的数据库。
运行以下 .create table
命令:
.create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
传入的 JSON 属性会自动映射到正确的列中。
Microsoft Entra 服务主体可以通过 Azure 门户或通过编程方式进行创建,如以下示例所示。
此服务主体是连接器用于将数据写入到 Kusto 中的表的标识。 你稍后将授予此服务主体访问 Kusto 资源所需的权限。
通过 Azure CLI 登录到你的 Azure 订阅。 然后在浏览器中进行身份验证。
az login
选择要托管主体的订阅。 当你有多个订阅时,此步骤是必需的。
az account set --subscription YOUR_SUBSCRIPTION_GUID
创建服务主体。 在此示例中,服务主体名为 my-service-principal
。
az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
从返回的 JSON 数据中复制 appId
、password
、tenant
供将来使用。
{
"appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
"displayName": "my-service-principal",
"name": "my-service-principal",
"password": "00001111-aaaa-2222-bbbb-3333cccc4444",
"tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}
现已创建了 Microsoft Entra 应用程序和服务主体。
运行以下命令(请将 <MyDatabase>
替换为数据库的名称):
.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')
此命令授予应用程序将数据引入到表的权限。 有关详细信息,请参阅基于角色的访问控制。
若要配置 Fluent Bit 以将日志发送到 Azure 数据资源管理器表,请创建经典模式或 YAML 模式配置文件,其中包含以下输出属性:
字段 | 描述 |
---|---|
Name | azure_kusto |
匹配 | 一种模式,用于针对传入记录的标记进行匹配。 它区分大小写,并且支持星号 (* ) 字符作为通配符。 |
Tenant_Id | 注册有权引入数据的 Microsoft Entra 应用中的目录(租户)ID。 |
Client_Id | 注册有权引入数据的 Microsoft Entra 应用中的应用程序(客户端)ID。 |
Client_Secret | 客户端密码值注册有权引入数据的 Microsoft Entra 应用。 |
Ingestion_Endpoint | 使用在 Azure 门户中的群集概述下找到的“数据引入 URI”。 |
Database_Name | 包含日志表的数据库的名称。 |
Table_Name | 创建一个表来存储日志中表的名称。 |
Ingestion_Mapping_Reference | 创建表中的引入映射的名称。 如果未创建引入映射,请从配置文件中删除该属性。 |
若要查看示例配置文件,请选择相关选项卡:
[SERVICE]
Daemon Off
Flush 1
Log_Level trace
HTTP_Server On
HTTP_Listen 0.0.0.0
HTTP_Port 2020
Health_Check On
[INPUT]
Name tail
Path /var/log/containers/*.log
Tag kube.*
Mem_Buf_Limit 1MB
Skip_Long_Lines On
Refresh_Interval 10
[OUTPUT]
Name azure_kusto
Match *
Tenant_Id azure-tenant-id
Client_Id azure-client-id
Client_Secret azure-client-secret
Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
Database_Name azure-data-explorer-database-name
Table_Name azure-data-explorer-table-name
配置完成后,日志应到达表。
若要验证是否已引入日志,请运行以下查询:
FluentBitLogs
| count
若要查看日志数据示例,请运行以下查询:
FluentBitLogs
| take 100
培训
学习路径
使用 Microsoft Fabric 引入数据 - Training
了解如何使用 Microsoft Fabric 通过数据流、笔记本和管道从各种数据源(例如文件、数据库或 Web 服务)引入和协调数据。