创建本地数据的快捷方式
借助 OneLake 快捷方式,可以创建虚拟引用,将来自云、区域、系统和域的各种来源的数据汇集在一起,而无需数据移动或重复。 通过 Fabric 本地数据网关 (OPDG),现在还可以创建本地数据源的快捷方式,例如本地托管的 S3 兼容存储。 借助此功能,还可以创建快捷方式或其他受网络限制的数据源,例如在防火墙或虚拟私有云 (VPC) 后面配置的 Amazon S3 或 Google Cloud Storage 存储桶。
本地数据网关是在 Windows 计算机上安装的软件代理,并配置为连接到数据终结点。 通过在创建快捷方式时选择 OPDG,可在 OneLake 和数据源之间建立网络连接。
此功能适用于 Amazon S3、Google Cloud Storage 和 S3 兼容的快捷方式。 可以在任何启用了 Fabric 的工作区中使用此功能。
在本文档中,我们将介绍如何安装和使用这些本地数据网关来创建本地或网络受限数据的快捷方式。
重要
此功能目前为预览版。
先决条件
- 创建或标识将包含您的快捷方式的 Fabric Lakehouse。
- 确定与 Amazon S3、Google Cloud Storage 或 S3 兼容位置关联的终结点 URL。
- 对于 S3 兼容,终结点是服务的 URL,而不是特定的存储桶。 例如:
https://mys3api.contoso.com
http://10.0.1.4:9000
- 对于 Amazon S3,终结点是特定存储桶的 URL。 例如:
https://BucketName.s3.us-east.amazonaws.com
- 对于 Google Cloud Storage,终结点是存储桶或服务的 URL。 例如:
https://storage.googleapis.com
https://bucketname.storage.googleapis.com
- 确定符合数据源必要访问和授权要求的用户或标识凭据。 凭据通常需要能够列出存储桶、列表对象和读取数据。
- 确定物理或虚拟机满足以下条件:
- 与存储终结点建立网络连接。 本文介绍如何在创建快捷方式之前确认此连接。
- 允许安装软件。
- 按照说明在标识的计算机上安装标准本地数据网关。 务必安装最新版本,
- 如果存储终结点使用自签名证书进行 HTTPS 连接,请确保在托管网关的计算机上信任此证书。
- 对于 S3 兼容,终结点是服务的 URL,而不是特定的存储桶。 例如:
检查网关主机的连接
在设置快捷方式之前,请按照以下步骤确认网关可以连接的存储终结点。
- 登录到托管网关的计算机。
- 安装可查询 S3 兼容数据源的客户端应用程序,例如 Amazon Web Services 命令行接口、WinSCP 或其他工具。
- 连接到终结点 URL,并提供在先决条件步骤中标识的凭据。
- 确保可从存储位置浏览和读取数据。
创建快捷方式
查看有关创建 Amazon S3、Google Cloud Storage 或 S3 兼容快捷方式的说明。
在快捷方式创建过程中,在“数据网关”下拉字段中选择本地数据网关 (OPDG)。
注意
如果在“数据网关”下拉字段中未看到 OPDG,而网关是由其他人创建的,请让他们从“管理连接和网关”接口与你共享网关。
故障排除
如果在创建快捷方式过程中遇到任何连接问题,请尝试以下故障排除步骤。
- 根据需要,确保托管网关的计算机可以连接到存储终结点。 按照以下步骤检查连接。
- 如果使用 HTTPS 并需要使用自签名证书,请确保托管网关的计算机信任该证书。 可能需要在计算机上安装自签名证书。