2023-09-12 21:13 点击次数：124
近期，第29届外洋常识发现与数据挖掘大会（ACM SIGKDD Conference on Knowledge Discovery and Data Mining，以下简称KDD）在好意思国加州长滩举办。由火山引擎数智平台，北京大学遐想机学院和蒙特利尔学习算法策划所等单元趋奉的论文 《Rover: An online Spark SQL tuning service via generalized transfer learning 》（以下简称Rover）告捷被大会收录。Rover由北京大学的沈彧和火山引擎数智平台的任鑫宇杨担任共同第一作家，北京大学的崔斌老练担任通信作家。
图：论文题目和作家信息
KDD会议始于1989年，是数据挖掘规模历史最悠久、影响最大的顶级学术年会。KDD庸碌的交叉学科性和欺骗性招引了来自统计、机器学习、数据库、万维网、生物信息学、多媒体、当然谈话处理、东谈主机交互、社会蚁集遐想、高性能遐想及大数据挖掘等繁多规模的策划者，为来自学术界、企业界和政府部门的探求东谈主员提供了一个学术疏通和死心展示的理思所在。
Apache Spark四肢主流的散播式遐想框架，在工业界得到了庸碌的欺骗，字节向上里面宏大的例行遐想任务每天破费数百万core CPU及数十PB RAM范围的遐想资源。每个Spark任务通过200余个互探求联的树立参数启动，但是，由于平台默许树立缺少弹性，任务环境各样，末端用户教学不及等问题，极度数目的遐想资源常因分手理的树立而被奢靡。传统上，有教学的大数据工程师不错依据每个任务的脱手情况，对其树立进行东谈主工分析和转化。但是，这种东谈主工调优款式在濒临在高维参数组合时时常有天花板，并伴有运维迭代老本文静等问题，使得其难以被范围化。
为了惩处此问题，火山引擎的工程师和北京大学的策划者一王人遐想了一种结合机器学习步调与东谈主类群众常识的基础设施老本优化框架（如图1所示），该框架以贝叶斯优化算法为基础，使用高斯经过四肢代理模子学习树立参数集与任务老本/脱手时长的关连，并通过实在赖的迁徙学习机制，从东谈主类群众常识编码中赢得安全性和可诠释性（如图1中Expert-assisted Optimization部分所示），并从不异的历史任务中赢得独特的管束加快特色（如图1中Controlled History Transfer部分所示）。
图：Rover优化器的全体架构
该决策能自动化识别和转化例行遐想任务的树立参数集，在不破碎任务职业品级的前提下压缩资源奢靡，灵验量入为用脱手老本。教学证，Rover在公开任务集及字节向上里面的实质部署中，对比现时市面滥觞的惩处决策，在极限收益，管束速率和安全性方面均有进一步普及。
图：Rover对比4家市面上滥觞惩处决策在内存缩小率上的Benchmark
Rover是基于火山引擎DataTester在字节向上里面欺骗的自动调参系统优化器内核、增多迁徙学习机制演化而来，并通过自动调参平台的配套职业来实行和脱手的，现在该项策划还是在字节向上上万个Spark数据成立任务上得到欺骗，已匡助公司量入为用700万元/年的资源老本。改日，这项时刻将在字节向上里面的大数据遐想基础设施上大范围部署，预测每年将会量入为用近十亿元，还将通过头山引擎数智平台为外部企业提供通用优化器职业，可欺骗于基础设施老本优化，线上算法超参数优化等多种场景。
据了解，火山引擎数智平台（VeDI）是新一代企业数据智能职业平台，旗下的A/B测试居品DataTester资历了字节向上的10年打磨，现在职业于字节向上里面500余个业务线，也职业了包括好意思的、得到、凯叔讲故事等在内的上百家外部企业，为企业业务的用户增长、滚动、居品迭代、运营活动等各个设施提供科学的决策依据，将熟识的“数据驱动增长”教学赋能给各行业。
附录论文地址：https://dl.acm.org/doi/10.1145/3580305.3599953
（作家：梁泽韶）