浅谈Kaggle开放数据竞赛在商业运营管理中的应用

方鸿然 美国俄亥俄州立大学

一、Kaggle简介

Kaggle是由创始人兼首席执行官Anthony Goldbloom2010年在墨尔本创立的机器学习竞赛平台，后被谷歌公司收购。Kaggle推出线上数据挖掘及机器学习竞赛平台，该竞赛平台向全球开放后成为当前规模最大的数据科学家社区。Kaggle自推出以来迄今为止共举办了超过三百场全球数据竞赛，脸书、腾讯、微软、沃尔玛等全球知名企业都在Kaggle平台上发起过数据竞赛，在赛事过程中全球各地参赛者为这些知名企业提出的数据问题提供了多维度的数据分析方案，顺利推动了企业问题的解决。

二、Kaggle开放数据竞赛在商业运营管理中

随着人工智能技术的进一步推广，基于算法的数据挖掘技术不断推向社会发展的各个领域，大量的企业在商业运营管理面临的一系列问题，通过在Kaggle上发起竞赛，这些问题有望在算法和数据挖掘的技术加持下找寻到解决方案，Kaggle在多个领域的商业运营管理将会发挥其应用优势。

（一）流通和零售领域

Kaggle在商业流通和零售领域的应用主要通过对消费数据的挖掘，分析商品之间的潜在联系。顾客在选购商品时，经常会同时选购若干商品，这些商品之间存在一定关联。分析顾客可能还会购买的商品。根据已经选购商品的情况，预测顾客还可能选购的商品。因此可以通过数据挖掘实现销售预测、库存预测、库存预测、挖掘潜在客户、挖掘价值产品、辅助零售价格形成等。

（二）金融证券领域

Kaggle在金融领域的应用主要体现在风险控制，风险控制是金融领域的核心。在金融机构中目前利用数据分析应用于金融风险控制技术发展较为成熟。例如在银行个人信贷领域，信用卡的审批额度可以通过客户个人职业信息数据、流水数据等来进行确定。近年来随着互联网金融的兴起，以蚂蚁金服为代表的互联网金融企业在信贷过程中进一步的运用了数据挖掘手段，通过挖掘用户基础信息数据、行为数据、消费数据以及诸多在APP使用过程中形成的非结构化数据，以此形成用户画像并实现千人千面的消费额度信贷标准。

在金融投资领域，Kaggle数据竞赛对量化投资模型和投资策略的形成具有重要意义。通过结合各领域大量的数据挖掘、筛选、分析，能够形成一套相对固定了交易程序，代替投资者过于主观的判断，量化策略能够平衡客观数据与主观判断之间过大的鸿沟，进而避免投资者做出追涨杀跌等情绪化投资行为。

（三）商业广告领域

当前广告行业领域亦进入深度变革时期，在智能设备终端日益普及的背景下，广告投放市场的逻辑越来越依靠技术和数据做支撑。对于任何一个产品或服务，从广告的前期策划、发布渠道、客户定位到后期的定向投放及助推转化，数据推动技术变化的态势非常明显。在此过程中，Kaggle数据竞赛的引入能够帮助诸多广告企业解决投放选择、虚假广告检测、点击率预测、展示效果预测等信息难题。

（四）旅游管理领域

随着移动互联网和手机支付的普及，相当数量的消费者在移动设备上积累了大量消费数据，当前移动支付的客户中蕴含着高潜力旅游消费人群。根据安卓生态研究调查显示在智能手机使用群体中，有八成消费者在旅游时应用旅游APP预定行程，旅游的攻略、住宿、交通、饮食等重要环节可以通过APP实现全覆盖。这一过程中形成的海量数据，为旅游领域的数据挖掘提供了良好契机，通过数据挖掘技术，可以帮助旅游行业上下游商业实现游客量的预测、酒店预订量预测、景点预测等，并可以根据游客的消费偏好实现旅游景点的精准推荐，实现个性化旅游。

（五）自动驾驶领域

在5G通信技术、人工智能、云计算、大数据等新ICT技术的集合赋能下，传统的汽车正在转型成为一种新的移动智能终端。自动驾驶是汽车新四化（智能化、网联化、电动化、共享化）的核心，集中运用了计算机、人工智能、融合传感、通信、云计算、高精地图、自动控制等多学科综合技术，其中数据的深度学习的挖掘能力尤为关键。

不同于传统驾驶，自动驾驶汽车系统需要实时更新数据形成深度学习，在计算机感知系统的支持下，通过图像数据的采集识别不同的道路场景、交通标示、建筑场景和自然场景，基于数据的采集进行fine tuning训练，以提高感知算法的准确率和置信度。在这一过程中，如果充分的挖掘和分析数据信息将成为开发者的挑战。首先，需要处理的数据量极为庞大。每台无人驾驶汽车会产生80万张/天的图片待标注，因此，快速的获取数据和高效的处理数据是工程师首要考虑的问题。其次，从训练和仿真来看，单车预计需累积里程100+亿公里，将耗费大量的人力、算力、时间，如何加快训练效率，输出更多的场景，更高的准确率。最后，仿真是确保自动驾驶持续提升安全性的关键，如何支持更丰富的场景快速的完成仿真测试并持续优化算法也成为关键问题。上述问题通过Kaggle竞赛，在算法和数据挖掘的技术加持下找寻到多维度的解决方案。

三、结束语

本文通过对Kaggle开放数据竞赛简要阐述，探讨了Kaggle开放数据竞赛在流通零售、金融证券、商业广告、旅游管理、自动驾驶等领域中的应用，可以发数据挖掘的应用已经深入到现代社会的各个方面，领域应用潜力极为巨大，将会对未来全球商业的经营变革产生重要影响。