剖析字节案例,火山引擎A/B测试DataTester如何“嵌入”技术研发流程
日前,在WOT全球创新技术大会上,火山引擎DataTester技术负责人韩云飞做了关于字节跳动A/B测试平台的分享。DataTester是字节跳动内部应用多年的A/B实验平台,平台自建立至今,承载了内部500余个业务线的A/B实验任务,累计已开展超过150万次实验,现在字节跳动每天会新增实验2000余个,同时在DataTester上运行的实验有3万余个。
字节跳动内部有着非常浓厚的数据文化和实验文化,抖音、今日头条的名字都经由A/B测试确定,而A/B测试也是整个研发链路上的必经一环。本文将以字节研发流程中的两个个案例,介绍A/B测试在研发全流程中的角色。
1.产品系统重构
今日头条是一款信息类互联网产品,它会基于数据挖掘的推荐引擎向用户推荐文章。今日头条早期的信息流服务是使用Python的一项单体服务,但随着字节业务发展的迅速,今日头条的流量也迎来了爆发式增长,产品在性能工程上的复杂度也在急剧升高。
为了优化产品,使之更加适应大流量下的响应,今日头条的信息流业务设计了一次大规模服务化重构:语言选型从Python切换到了Golang,从单体服务架构演变成了分层的微服务架构。
但这个重构设计,是围绕产品性能方面的技术指标展开的,但对于用户体验的影响和业务目标的影响,却无法通过短期观察得到结论。为了避免复杂的新系统上线后,降低头条用户的产品使用体验,因此在重构方案设计完毕后,今日头条业务花费了6个月以上的时间,开展了新方案和旧方案对比的A/B测试,总共进行过几十次A/B实验,多点开启灰度测试,并不断分析结果、迭代方案,确认改进点对业务数据指标的影响。
在半年多之后,这个复杂的新系统终于结束了A/B测试,并推全上线。上线后的新系统对今日头条大部分全局指标几乎无影响,甚至一些关键指标取得了显示正向的结果。
2.产品Bug修复
这个案例是字节直播产品的场景。该产品在设计了新的精排模型,原本期望是想召回模型学习到更多信息,提前做一些召回符合用户兴趣的内容,提升部分产品关键指标。但在实际操作中,由于模型配置出现了Bug,上线失败。
因此,该直播产品的团队针对这个Bug进行了修复,但只能采用使精排模型变得更复杂的方案。新的功能虽然已经成功跑通,但由于模型更加复杂,对于用户产品体验负向影响的风险会随之升高。
为了验证新开发的功能对用户体验的影响,该团队使用DataTester开启了A/B测试,他们将用户分为新用户组、老用户组分别开启实验,通过数据观察发现,新的功能对于新用户的而言没有什么实质性影响,新用户的使用时长、留存等指标依然是在一个特定区间波动;但在老用户组的实验数据中,他们发现老用户在内容人均阅读时长上,有了0.3%的显著提高。虽然0.3%是一个看起来不大的数字,但对于字节产品的用户体量而言,这种幅度的提升,在用户内容消费时长上的实质提升很大。
上述两个案例是DataTester在字节跳动应用的缩影,实际上,在字节整个的研发流程中,开发、上线、BugFix、优化、重构,A/B测试都会作为基础设施中的一环,来服务于整个研发流程。除此之外,A/B实验也广泛应用于字节跳动业务的方方面面,从产品命名到交互设计,从改变字体、弹窗效果、界面大小,到推荐算法、广告优化、用户增长...... 可以说,DataTester已经融入在字节的每一个业务和每一项决策中。
DataTester 当前已通过火山引擎向外部企业开放服务,能基于先进的底层算法,提供科学分流能力和智能的统计引擎,支持多种复杂的A/B实验类型。目前,火山引擎 DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户,将成熟的“数据驱动增长”经验赋能给各行业。
相关文章
- 分析马斯克恢复的 10 个被禁 Twitter 账号数据,每年可创造 1900 万美元广告收入
- 微软正测试Office集成ChatGPT:写Word文档、做PPT效率绝了
- 微软称新版必应(Bing)上线不到 48 小时,注册申请用户数量已经突破 100 万
- ChatGPT代问代注册生意爆火:淘宝屏蔽“ChatGPT”关键词
- 微软终结IE11:本月14日正式停止对旧浏览器的支持
- 百度新专利获取授权 或为“文心一言”专利
- 国际空间站俄罗斯舱段计划延寿至 2028 年
- 百度版chatGPT定名“文心一言”三月份完成内测面向公众开放
- 中国用户被拒于门外 有网友呼吁“中国必须要有自己的ChatGPT”
- 微信正式支持“小号”注册
- 爱奇艺回应一号三用被封:技术故障 不需要充值更贵会员解封
- 四川子柒文化传播公司工商变更:微念退出股东行列
- 俄罗斯科技巨头 Yandex 几乎所有产品的源代码被泄露,公司称是前员工所为
- 春节假期想省钱换手机一定要比价 荣耀70 Pro不同平台价差达780元
- 百度健康携手人民网 多举措助力新冠基层诊疗补短板
- 华为发布业界首款2000Mbps全光组网:实现2G带宽按需扩频加速
系统下载排行榜71011xp
老机专用win7系统 纯净版 V2022
2深度技术Win7 64位豪华旗舰版 V2021.07
3深度技术Win7 64位豪华装机版 V2021.09
4深度技术 Ghost Win7 Sp1 旗舰版 V2022.01
5Win7 x64纯净旗舰原版 V2021.12
6技术员联盟Win7 64位极速稳定版 V2021.08
7风林火山Win7 32位旗舰激活版 V2021.07
8技术员联盟 Ghost Win7 荣耀典藏版 V2022.01
9番茄花园Win7 64位推荐旗舰版 V2021.05
10深度技术 Ghost Win7 64位 国庆特别版 V2021.10
深度技术Windows10 32位专业激活版 V2021.07
2技术员联盟Ghost Win10 64位正式版 V2021.10
3系统之家Ghost Win10 64位游戏专用版 V2021.04
4雨林木风 Ghost Win10 纯净版 V2021.11
5番茄花园Win10 64位全新专业版 V2021.03
6技术员联盟 Ghost Win10 纯净稳定版 V2021.12
7深度技术Win10 32位专业稳定版 V2021.05
8深度技术Win10系统 最新精简版 V2021.09
9风林火山Win10 64位专业纯净版 V2021.08
10Win10 企业版 LTSC 最新正式版 V2021
萝卜家园 Ghost Win11 64位 免激活专业版 V2022.01
2风林火山 Ghost Win11 专业版 V2022.01
3技术员联盟 Ghost Win11 64位 极速装机版 V2022.01
4风林火山 Ghost Win11 正式版 V2021.11
5电脑公司 Ghost Win11 64位 官方专业版 V2021.11
6雨林木风Ghost Win11正式中文版 V2021.09
7系统之家Windows11 64位专业激活版 V2021.07
8系统之家 Ghost Win11 X64 永久激活版 V2022.01
9新版系统番茄花园Win11镜像 V2021.10
10深度技术 Ghost Win11 64位 专业版 V2022.01
番茄花园Ghost XP Sp3纯净版 V2021.08
2系统之家Ghost WinXP SP3专业版 V2021.10
3电脑公司 Windows XP 经典版 V2021.04
4风林火山WindowsXP Sp3专业版 V2022.01
5萝卜家园 Windows Sp3 XP 经典版 V2021.04
6深度技术Windows XP SP3 经典专业版 V2021.06
7番茄花园WindowsXP Sp3专业版 V2021.06
8萝卜家园WindowsXP Sp3专业版 V2021.05
9技术员联盟 Ghost WinXP SP3 精简版 V2021.12
10电脑公司WindowsXP Sp3专业版 V2021.05
热门教程 更多+
Win10提示你的设备中缺少重要的安全和质量修复的解决方法
2Win10微软商店怎么安装不了软件?Win10微软商店无法安装软件解决方法
3Win10专业版升级Win11正式版图文教程
4老电脑强制安装Win11 老电脑完美升级Win11的方法
5微软应用商店删了在哪下载?Win11安装新版应用商店教程
6Win10任务栏出现两个输入法图标怎么办?
7Win10每次开机都要请稍候等很久怎么办?
8Win8系统如何重装Win7系统?Win8系统重装Win7系统的方法
9Win10提示WHEA_UNCORRECTABLE_ERROR蓝屏代码怎么办?
10解决Win11和Win10中谷歌Chrome浏览器速度慢问题的7种方法
装机必备 更多+
重装教程 更多+
电脑教程专题 更多+