Labelbox 是一个训练数据平台,用于从图像、视频、音频、文本和平铺图像创建训练数据。 使用 Labelbox,AI 团队可以自定义工作流程,以在单个统一平台中操作、管理和改进数据标记、数据编目和模型调试。 Labelbox 旨在帮助 AI 团队构建和操作生产级机器学习系统。
可以将具有 Databricks 运行时的机器学习版本的 Azure Databricks 群集连接到 Labelbox。
使用 Partner Connect 连接到 Labelbox
本部分介绍如何使用 Partner Connect 将 Azure Databricks 工作区中的群集连接到 Labelbox。
标准连接与 Labelbox 之间的差异
若要使用 Partner Connect 连接到 Labelbox,请按照使用 Partner Connect 连接到 ML 合作伙伴中的步骤操作。 Labelbox 连接与标准机器学习连接不同,方法如下:
- 除了群集、服务主体和个人访问令牌外,如果当前还不存在的话,Partner Connect会在Labelbox帐户的
labelbox_databricks_example.ipynb
文件夹中创建一个名为的笔记本。
连接步骤
要使用 Partner Connect 连接到 Labelbox,请执行以下操作:
- 使用 Partner Connect 连接到 ML 合作伙伴。
- 为你的 Labelbox 帐户创建 Labelbox API 密钥(如果还没有执行操作)。 复制 API 密钥并将其保存在安全位置,因为该密钥最终会被隐藏,稍后你将需要此密钥。
- 设置 ML 群集和 Labelbox 入门笔记本。
手动连接到 Labelbox
本部分中的步骤描述如何将 Labelbox 连接到 Azure Databricks 群集。
注意
若要更快地连接,请使用 Partner Connect。
要求
必须拥有一个运行用于机器学习的 Databricks Runtime 的可用群集。 若要检查现有群集,请在工作区中显示群集时在运行时列中查找 ML。 如果没有可用的 Databricks Runtime ML 群集, 请创建一个群集 ,并为 Databricks Runtime 版本从 ML 列表中选择一个版本。
连接步骤
若要手动连接到 Labelbox,请执行以下操作:
- 转到 Labelbox 页面以注册一个新的 Labelbox 帐户或登录到你现有的 Labelbox 帐户。
- 为你的 Labelbox 帐户创建 Labelbox API 密钥(如果还没有执行操作)。 复制 API 密钥并将其保存在安全位置,因为该密钥最终会被隐藏,稍后你将需要此密钥。
- 在你的工作区中检查 Labelbox 入门笔记本:
- 在边栏中,单击“工作区”>“已共享”。
- 如果名为 labelbox_demo 的文件夹尚不存在,请创建此文件夹:i. 单击“已共享”旁边的向下箭头。
二. 单击“创建”>“文件夹”。
第三。 输入
labelbox_demo
,iv. 单击“创建文件夹”。 - 单击 labelbox_demo 文件夹。 如果文件夹中不存在名为 labelbox_databricks_example.ipynb 的入门笔记本,请导入此笔记本:i. 单击“labelbox_demo”旁边的向下箭头。
二. 单击“导入” 。
第三。 单击“URL”。
四。 输入
https://github.com/Labelbox/labelbox-python/blob/develop/examples/integrations/databricks/labelbox_databricks_example.ipynb
,然后单击“导入”。
- 继续设置 ML 群集和 Labelbox 初学者笔记本。
设置机器学习集群和 Labelbox 入门笔记本
检查 ML 群集中是否安装了所需的 Labelbox 库:
在边栏中,单击“计算”。
单击你的 ML 群集。 如有必要,请使用“筛选”框查找它。
注意
如果使用合作伙伴连接连接到 Labelbox,则 ML 群集的名称应 LABELBOX_CLUSTER。
单击“库”选项卡。
如果未列出 labelbox 包,请安装此包: i. 单击“新安装”。 二. 单击“PyPI”。 第三。 对于“包”,输入 labelbox。 四。 单击“安装” 。
如果未列出 labelspark 包,请安装此包: i. 单击“新安装”。 二. 单击“PyPI”。 第三。 对于“包”,输入 labelspark。 四。 单击“安装” 。
将 ML 群集附加到初学者笔记本:
- 在边栏中,单击“工作区”>“共享”>“labelbox_demo”>“labelbox_databricks_example.ipynb”。
- 将 ML 群集连接到笔记比。
浏览笔记本以了解如何自动化 Labelbox。
其他资源
- GitHub 中初学者笔记本的自述文件
- Labelbox Docs
- 支持