你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

构建基于内容的建议系统

Azure Databricks
Azure 机器学习

解决方案构想

本文是一种解决方案构想。 如果你希望我们在内容中扩充更多信息,例如潜在用例、备用服务、实现注意事项或定价指南,请通过提供 GitHub 反馈来告知我们。

建议是许多企业的主要收入驱动因素,并且在零售、新闻和媒体等不同种类的行业中得到运用。 由于有大量与客户活动相关的数据可用,你可以使用机器学习提供高度相关的建议。

体系结构

Architectural diagram that shows training, evaluation, and development of a machine learning model for content-based personalization that uses Azure Databricks.

下载此体系结构的 PowerPoint 文件

数据流

  1. 存储。 Azure Data Lake Storage 存储有关用户和使用者行为的大量数据。

  2. 读取。 Azure Databricks 连接到 Azure Data Lake Storage 并从中读取数据。 引入 Databricks 可启用预处理和训练,从而注册模型。

  3. 预处理。 数据预处理会清理、转换和准备要馈送到建议系统模型的数据。

  4. 训练。 训练包含两个步骤:特征工程模型训练。 在模型训练期间,Azure Databricks 使用预处理后的数据集来训练和解释最佳建议模型的行为。

  5. 后处理。 后处理涉及模型评估和选择,具体取决于性能最佳的模型。

  6. 部署。 Azure Databricks 维护模型。 批处理托管终结点将模型部署到前端以供公开展示。 部署模型时,可以通过新终结点访问新数据。 支持批处理和近实时建议。

  7. 写入。 用户界面(如 Web 应用程序)可以使用存储的模型结果。 结果将写入 Azure Synapse 中并捕获。 模型以批量推理的形式运行,将结果存储在相应的数据存储中。

组件

该体系结构使用以下组件:

  • Azure Data Lake Storage 是一组专用于大数据分析的存储功能,提供文件系统语义、文件级安全性和缩放功能。

  • Azure Databricks 是一种托管的 Apache Spark 群集,用于模型训练和评估。

  • Azure Synapse Analytics 是快速、灵活且受信任的云数据仓库,可让你使用大规模并行处理体系结构以弹性且独立的方式缩放、计算和存储。

方案详细信息

本文所述的方法侧重于构建基于内容的建议系统。 有关构建建议系统的最佳做法的详细信息,请参阅 GitHub 上 推荐器的文档和示例。

此示例方案演示了如何使用机器学习为客户自动完成基于内容的个性化设置。 该解决方案使用 Azure Databricks 训练模型,该模型可预测用户对项感兴趣的概率。 批处理托管终结点将模型部署为预测服务。 你可使用此服务,基于用户最可能感兴趣的内容对项进行排名来创建个性化的建议。

可能的用例

此解决方案非常适合零售行业。 这与以下用例相关:

  • 网站和移动应用的内容建议
  • 电子商务网站的产品建议
  • 网站显示的广告建议

建议系统类型

建议系统主要分为三种类型:

  • 协作筛选。 协作筛选识别客户行为中的相似模式,并向其建议其他类似客户与之交互的项。 协作筛选的优点是可以轻松生成数据 -- 用户在与项目和产品列表交互时创建数据。 此外,客户还可以发现新项目和产品,而不是从其历史交互中策划的产品。 但是,协作筛选的缺点是冷启动问题:由于用户与新产品之间缺乏交互,因此完全依赖于客户交互的算法不推荐新添加的项目。

  • 基于内容。 基于内容的建议使用有关项的信息来了解客户的偏好,并推荐与客户以前与之交互的项共享属性的项。 基于内容的建议系统不受冷启动问题阻碍,并可以适应新项目的引入。 但是,建议仅限于客户与之交互的原始项的功能。

  • 混合方法。 构建建议系统的另一种方法是混合基于内容的筛选和协作筛选。 此系统根据用户分级和有关项目的信息来推荐项目。 混合方法同时具有协作筛选和基于内容的建议的优点。

作者

本文由 Microsoft 维护, 它最初是由以下贡献者撰写的。

首席作者:

其他参与者:

  • Andrew Ajaluwa | 项目经理
  • Gary Moore | 程序员/作家

若要查看非公开领英个人资料,请登录领英。

后续步骤