火山引擎DataLeap：三步搭建电商平台标签算法模型数据处理流程

在人们的日常生活中,网购已经成为人们生活中不可或缺的购物形式。

根据《中国社交电商行业发展白皮书(2022)》的数据显示,2022年社交电商市场交易规模达到28542.8亿元,预计2023年中国社交电商行业交易规模将达34165.8亿元。

这么庞大的市场规模背后,如何解决电商场景下的各项生态治理问题显得尤为重要,某电商平台的治理团队就提供了一个优秀实践范本。

在该电商平台的社交电商场景下,以短视频优质项目为例,平台治理团队会对当天发布的挂购物车类短视频进行标签识别,判断其优质程度及具体原因。经过算法模型识别后,视频将被提交至奖惩中心,根据优质程度进行流量扶持或限制。而在治理过程中,数据处理流程也存在很多的挑战和痛点。

•首先是数量挑战:大数据量的训练集,难以快速进行数据预处理。业务算法模型的训练集通常很大,达到百万甚至千万级。如果将这些海量数据放在本地或其他开发机上处理,速度会很慢,无法满足业务需求,即使使用多线程处理,并发度也难以达到业务需求。

•其次是准确度挑战:难以验证算法模型准确度。算法模型的准确性通常通过有偏和无偏两个维度进行验证。模拟算法模型上线后的召回情况和准确率,以及对业务的影响,无论是有偏还是无偏测试集,都需要确保测试集标签的准确性。如果测试集标签的准确性不高,会影响模型评估的准确性。

•最后是监控挑战。要想做好后续的指标监控,首先需要建立自己平台的统计指标,如召回率、漏放率、审出率、驳回率等。这些指标需要做成数据集,再建立自己的监控看板。同时,如果平台出现反面案例,需要团队进行深入的分析,并优化算法模型。如果没有高效的工具或平台进行辅助,会耗费大量的人力和资源。

为了解决这些痛难点,该电商平台治理团队接入了火山引擎DataLeap的大数据研发平台能力,三步搭建起了高效的算法模型数据处理流程。

第一步:在算法开发阶段,进行数据预处理,产出训练数据集。

在使用 DataLeap 之前,由于算法模型的测试集量级较大,数据处理效率低;而现在,该电商平台治理团队利用火山引擎 DataLeap 的 Notebook 任务进行数据预处理,处理后的数据会被存储在 Hive 表或 HDFS 上,这些数据可以在 HDFS 上长久保存,满足了实际应用场景中收集长时间数据的需求,不必受存储有效期为 7 天的限制。

团队可以离线处理这些数据,生成训练集,进行模型训练。由于火山引擎 DataLeap 的 Notebook 能力可以支持任务的自动运行,无需人工搭建 Notebook 环境进行数据训练,大大节省了人力成本,提高了数据处理和统计效率。

(图:DataLeap数据开发平台示例)

第二步:算法上线,验证模型效果

训练好的模型需要进行评估,以便了解其效果如何。团队可利用DataLeap将线上的 Kafka 数据写入 Hive 中,然后离线分析 Hive 表中的数据,用来了解模型的效果。不同模型平台治理团队关注的指标可能有所不同,借助DataLeap可以使用不同的指标来评估模型的效果,例如准确率、召回率、AUC 或 ACC 等。

第三步:利用火山引擎DataWind搭建监控看板

而在监控板块,DataLeap可与火山引擎智能数据洞察DataWind流畅配合,搭建监控看板,监控人员每日可以及时地获取到数据结果,同时也会对反面案例进行深入的分析,进而优化算法模型。

在火山引擎DataLeap的助力下,该平台治理团队去年全年累计挖掘识别优质短视频超147万条,助力超26万名电商作者平均流量增长56%;累计处罚违规低质短视频超3280万条、违规低质直播超1500万场。整体内容质量有明显改观,消费者好感度上升7.2%。

除数据处理能力之外,火山引擎DataLeap还可以提供数据集成、开发、运维、资产等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型,目前已经应用于泛互联网、制造、新零售、汽车等领域,帮助数据团队有效的降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。