试验关键术语

若要熟悉试验即实践并理解关键字,请阅读以下内容:

实验

A/B 试验是一种比较游戏体验(变体)的两个或多个配置的方法,而通过多变体试验,你可配置多个游戏元素并确定哪些组合(变体)在实现转换目标方面表现最佳。

这是通过将用户随机拆分为两个或更多组并在一段时间内为每个组提供不同的体验来实现的,并且对收集的遥测数据进行统计分析,以确定哪些变体根据你为试验确定的目标更好地执行

通过 PlayFab 试验,支持 A/B 测试(也称为拆分测试)和多变体测试。

转化率

转换是指你希望玩家执行的任何所需操作。 转换不必与货币目标相关。 这可以包括从单击按钮到购买和成为玩家的任何内容。

转换是试验的目标。 转换是绝对数,而转换速率是转换数除以玩家总流量。

假设

假设提供了有关给定干预如何影响玩家行为的声明。 假设是关于要试验的方案以及原因以及更改后可能出现的更改的组合。

细分

细分根据用户定义的资格条件/标准将各位玩家分组到具有共同特征的组中。

可以使用细分的自定义体验对试验进行外部测试,以验证受众做出更积极响应的假设。

目标受众的百分比

被考虑用于试验并与控制或处理变体关联的玩家总数的百分比。

控件变体

控件变体是一种现有体验,用于在试验中作为比较的度量值,以确保试验正常工作。 它为试验提供基线度量。 它确定你进行的处理会得到试验结果,而不是试验之外的东西。

治疗变体

一种治疗变体在试验中接受实验性治疗或经验差异。 它是在 A/B 试验中研究的处理变体,包含试验更改。

变量

定义变量以设置功能或体验配置。 通过定义功能变量,无需重新部署代码即可循环访问功能。

P 值

A/B 试验中的 p 值是变体组之间没有差异的概率。

当 p 值较高时,意味着 A 组和 B 组之间的任何差异都由采样噪声导致。 当 p 值较低(低于阈值)时,意味着变体之间存在实际差异,而显示的增量是最有可能的实际差异。

置信区间

在 A/B 测试中,置信区间可以降低采样错误的风险,从某种意义上讲,可以管理与实现新变体相关的风险。 如果该工具指示“我们 95% 确信转换率为 X% +/- Y%”,则需要将 +/- Y% 作为误差范围。 你对结果的置信度很大程度上取决于误差的较大程度。 如果两个转换范围重叠,则需要继续测试以获得有效结果。

类型 1 错误: 类型 1 错误是"误报"的度量值,错误地认为试验中的变体在统计上具有显著差异。 虽然测试结果无结论,但声明的是一个最终的获胜者。

类型 2 错误: 类型 2 错误是"假负数"的度量值,错误地认为试验中的变体没有显著的差异。 当控件和变体之间应有一个控件时,不会声明任何最终的获胜者。