当下，随着数字化转型进程的加深，很多企业都希望能够获得更精准的工具，帮助企业更好地实现业务增长。尤其是对于看似和数字化有一定距离的传统企业，由于数字化基因的短缺，在这方面有着更为迫切的需求。A/B测试作为已经在互联网企业中普遍使用的工具，现在已经引起了传统企业的注意，越来越多企业实践证明，A/B测试对于企业实现业务增长的推动作用愈加显著，而且其作用对象不仅局限于互联网企业，传统企业也同样适用。
近日，由市场研究公司Forrester调研撰写的《火山引擎A/B测试总体经济影响白皮书》揭示了A/B测试对于企业营收增长、运营成本、生产力优化等方面的重要影响。
弥补数字化转型技术债，A/B测试成传统企业破局关键
在白皮书发布会上，火山引擎数据产品负责人郭东东表示，“希望通过发布白皮书的方式，让更多的企业客户，尤其是中小客户了解到A/B测试的能力，了解到A/B测试到底能帮助企业干什么，从而真正地把A/B测试能力更多地赋能到企业的业务场景，业务增长的过程中来。”
对于传统企业在进行数字化转型过程中，如何运用A/B测试产品的问题，Forrester高级咨询顾问谷丰认为，运用A/B测试工具，可以使企业摆脱猜测，用更为科学的实验衡量决策收益，从而打造更好的产品。谷丰表示：“在数字化转型中，无论全球还是国内都把数字化作为发展战略。从企业层面看，无论传统企业还是互联网企业，面对不断提升的客户期望和愈发激烈的市场竞争，未来，企业数字化业务的占比势必不断提升。”
白皮书显示，面对数字化客户体验模式、数字化营销渠道、数字化产品研发运营、数字化供应链管理等环节时，传统企业面对不断提升的客户期望，以及愈发激烈的市场竞争，也应主动转变思维，引入A/B 测试产品，并用以不断优化员工和客户体验；对于传统企业而言，不光是行业战略，内部技术战略以及运营环节，都需要借助A/B测试的推动实现转型。“甚至可以说这是传统企业在数字化转型中的一个技术债，始终要偿还。”谷丰表示。
企业自建A/B测试平台，恐难应对业务发展需求
公开资料显示，通过使用火山引擎 A/B 测试产品，相关企业实现了广告业务以及会员运营营收的增长，改进了产品优化迭代的效率，并显著降低了产品发布带来的客户体验下降、客户流失方面的风险。
“彩云天气” 是一款天气预测手机软件，通过人工智能技术对中央气象台的雷达数据进行挖掘，推送分钟级别天气预报。在其对A/B测试的尝试中，我们可以发现，企业在使用A/B测试产品后，实现了降本增效。
据介绍，2019年，彩云天气曾自建A/B测试平台，并进行过数十次实验。但自建的A/B测试平台功能简单，无法满足业务发展需求。最终，彩云天气接入火山引擎的A/B测试平台。近期，彩云天气接入火山引擎的A/B测试平台，为优化APP的使用体验，彩虹天气希望了解天气数据的展示样式，以及“反馈天气”的按钮样式对用户认知的影响与使用，为此彩云天气专门设计了包含对照组和实验组在内的一组实验。
通过2个月的实验运行，在天气数据的展示样式测试中，实验组A的主页分享率相较于对照组提高了13%，天气反馈提高了3%，综合起来比对照组效果更好。最终新用户次留相对于对照组也提升了2%。
为了提升会员转化率，彩云天气对会员中心的显示样式也进行了A/B测试实验，数据显示，相比对照组，实验组A、实验组B的试用会员转化率分别提升了2%、1.2%。在会员购买转化率上，实验组A相比对照组提升了1.3%。虽然数据提升不多，但也给后续的产品迭代计划提供了一些方向。
事实上，无论公司大小和是否为传统企业，当一款产品满足以下条件时，就可以考虑使用A/B测试，真正让数据为企业所用：
1.数据驱动决策的场景；
2.网站或APP的日流量不低于1000，最好在1w+；
3.重大产品功能很难决策，不确定哪个方案效果最优；
4.“后验”成本很高，即如果改版失败，业绩损失无法挽回等。
而审视当前市场可以发现，大量传统企业，如以用户运营为核心的汽车企业，通过采用A/B测试，可以有效改进营销手段，提升营销效果、获得更为完整和精确的用户画像等，将切实提升企业在行业里的竞争力，优化运营效果和客户体验。
使用企业ROI达126%，火山引擎A/B测试用事实数据说话
白皮书还显示，Forrester Consulting 使用总体经济影响（TEI）模型进行对其A/B测试产品潜在的投资回报率（ROI）进行评估分析。
Forrester综合考量受访企业的规模、所处行业、使用规模及场景等关键因素，将其使用体验整合为一个虚拟的复合式组织进行量化呈现；在使用火山引擎A/B测试前，受访互联网行业及金融行业客户主要在一些局部场景中尝试使用自开发的A/B测试工具。在业务发展的过程中，对比原有的A/B测试工具，通过使用火山引擎A/B测试产品，受访企业实现了更好的运营效果。
以三年为周期，从量化收益来看，受访企业广告业务利润净增长224万元，会员利润净增长115万元，产品上线迭代效率提升20%；而从非量化收益来看，受访企业数据分析效率提升高达60%。另外，通过A/B测试产品更好地洞察客户，在正式产品上线前验证不同优化措施的效果，确定最优的方案。这两项效率提升三年为企业带来超过127万的成本节省。
而调查显示，目前，火山引擎A/B测试的使用场景早已不仅仅局限于互联网领域，包括金融企业、汽车企业等传统企业，在引入A/B测试产品后都获得了更好的回报。以金融行业为例，包括手机银行、金融风控等场景在内，在使用工具的过程中，本身就会产生数据，而最终的调研效果显示，A/B测试同样为其带来了很好的帮助。
本次白皮书中提供了大量客观案例，全面评估了A/B测试为企业所带来的价值。尤其是企业在决定是否投资这个技术产品的时候，这份白皮书无疑给更多的企业和行业提供了一份了解A/B测试更权威的“说明书”。调研显示，A/B测试发挥作用的空间广阔，未来还会为更多行业和企业的发展提供助力。
推荐阅读：叶紫网