Fabric 数据工程文档

Fabric 数据工程使用户能够设计、生成和维护基础结构和系统，使组织能够收集、存储、处理和分析大量数据。

关于数据工程

概述

• 什么是数据工程？
• 什么是湖屋？

概念

• 湖仓和 Delta 表
• 工作区角色和权限
• 选择数据存储

操作指南

• 增量优化和 V 顺序
• 加载到表

湖屋入门

开始使用

• 创建湖屋
• 浏览 Lakehouse 浏览器

操作指南

• 使用笔记本将数据导入湖仓

教程

• 步骤 1 - 创建工作区
• 步骤 2 - 创建湖屋
• 步骤 3 - 将数据引入湖仓
• 步骤 4 - 将数据转换为增量表
• 步骤 5 - 创建语义模型并生成报表
• 步骤 6–清理资源

开始使用笔记本

开始使用

• 创建和使用笔记本

操作指南

• 开发和运行笔记本
• 使用笔记本浏览湖屋数据
• 可视化笔记本
• 笔记本源代码管理和部署
• 编写和运行 T-SQL 笔记本

使用用于 GraphQL 的 API 进行查询

概述

• 什么是 Fabric API for GraphQL？

开始使用

• 为 GraphQL 创建 API 并添加数据

操作指南

• 管理关系
• 连接到应用程序
• 查询多个数据源
• GraphQL 源代码管理和部署管道
• 监控控制台和日志记录（预览版）

VS Code 集成

概念

• 什么是数据工程 VS Code 扩展插件？

操作指南

• 在 VS Code 中使用笔记本
• 使用 VS Code 中的容器映像
• 使用 VS Code 中的 Spark 作业定义
• 从 VS Code 探索湖屋
• 从 VS Code Web 体验开发笔记本

Apache Spark for Data Engineering

概念

• Apache Spark 作业定义
• 什么是 Apache Spark 顾问？

开始使用

• 创建 Spark 作业定义
• 使用 Fabric API 创建 Spark 作业定义
• Spark 任务定义 Git 集成

操作指南

• 计划和运行 Spark 作业定义
• 管理 Apache Spark 库
• 如何使用 Fabric MSSparkUtils

环境入门

开始使用

• 构造环境

操作指南

• 在环境中管理 Spark 计算
• 在环境中管理库
• 环境 Git 集成和部署管道
• 通过公共 API 管理环境
• 管理受出站访问保护的环境中的库

Fabric Livy API

概述

• 什么是 Livy API？

开始使用

• 使用 Livy API 创建和运行 Spark 作业
• 提交 Livy API 会话作业
• 提交 Livy API 批处理作业

使用具体化湖视图进行优化

概述

• 什么是具体化湖视图？

开始使用

• 具体化湖视图入门
• 使用具体化湖视图实现奖牌体系结构
• 管理具体化湖视图