大规模人脸聚类评测技术初探

■ 文/公安部检测中心 林川 张翔 刘军 苏智睿

关键字：人脸聚类 效果 评测

1 引言

近年来，深度卷积神经网络的出现极大地提升了人脸识别算法的精度，促使人脸识别技术在公共安全行业广泛落地应用。各地公安部门陆续兴建大量人脸识别系统，每天产生海量人脸抓拍数据。以国内某一线城市为例，单日人脸抓拍数据规模可达千万级别。在如此海量数据面前，传统的单纯依靠人力查看人员轨迹数据挖掘案件线索的办案手段已无法满足公安实战业务需求。通过大数据分析模型在海量人脸抓拍数据中实现人员出行规律、同行关系等高价值信息的自动化挖掘，提升人脸识别系统的实战价值，是未来公共安全行业视频分析系统智能化建设的新目标。通过人脸聚类技术将零散的人员轨迹点位信息汇聚起来形成人员档案是实现人员轨迹大数据分析的基础条件。因此，2020年以来，各地公安部门逐步加快了人脸聚类能力的建设步伐。

随着人脸聚类技术应用落地的快速发展，人脸聚类效果评测标准的匮乏愈发凸显出来。公安部门在推进智能化建设的过程中，由于没有合适的参考标准，往往难以设计出合理有效的评测方案遴选人脸聚类算法。造成这种情况的主要原因是目前人脸聚类效果评测尚无国家标准文件可供参考，仅有一篇发布于2016年的公共安全行业标准GA/T 1344-2016《安防人脸识别应用视频人脸图像提取技术要求》提及人脸聚类效果评测方法，但受限于当时行业内对人脸聚类技术的认知水平，行标文件中提出的聚类评测体系对可能出现的聚类效果考虑不够周全，在一些特定情况下，评测结果会与实际预期产生较大偏差。

为了推动行业内人脸聚类算法评测体系的科学建设，本文对人脸聚类算法评测技术进行了初步探讨，希望能够为大规模人脸聚类效果评测认证提供参考依据，促进公共安全行业健康发展。

2 人脸聚类评测数据准备

在人脸聚类实际应用中，人脸抓拍数据中的人脸普遍存在一定程度的偏转，一些照片还会存在人脸被部分遮挡的情况。另外，参与聚类的人脸抓拍数据通常是跨时空采集的，采集时的光照条件、背景复杂度会存在较大差异，以上这些因素都可能对人脸聚类效果产生一定的影响。为使评测结果能够真实反应人脸聚类算法的优劣，人脸聚类评测数据集应尽可能模拟实际场景，并达到一定的量级规模，至少达到百万级数据规模，采集对象应尽可能覆盖不同年龄段和性别，采集场景要覆盖室外、室内、晴天、阴天等多种环境条件，同一个采集对象需采集多张不同偏转角度和遮挡程度的抓拍照，遮挡方式包含但不限于戴口罩、墨镜、帽子等。

3 人脸聚类评测指标

在GA/T 1344-2016《安防人脸识别应用视频人脸图像提取技术要求》标准中，针对人脸聚类效果评测提出了误聚率和漏聚率两个评价指标。其中误聚率定义为人脸聚类结果中不同人次人脸图像聚类为同一分组的组数占聚类分组总数的比例；漏聚率定义为人脸聚类结果中同人次人脸图像未聚类为同一分组的人次数占应聚类人次总数的比例。从定义上看，这两个指标将人脸聚类后形成的分组结果简单地分为正确分组和错误分组两类。但由于人口流动性大、身份库数据不足等原因，各地公安实战业务应用中形成的人员档案通常是匿名档案。对于匿名档案而言，若同一个人的人脸抓拍照被分到两个不同档案里，是缺乏依据认定哪个档案作为正确分组目标的。另外，这种评测方法对于聚类效果的评测角度也是不完善的，假设聚类产生的某个分组中有10张人脸图片可能存在两种分区情况，一种是10张图片有7张属于甲，其余3张属于乙；另一种是10张图片中有7张属于甲，其余3张分别属于乙、丙、丁。这种情况下，实战中会认为前者的聚类效果好于后者，但两种情况按照GA/T 1344-2016的评测方案计算出来的评价指标可能是相同的。

为推动行业内人脸聚类算法评测体系的科学建设，本文参考国际权威学术期刊论文资料，提出了一套相对科学完整的人脸聚类算法评测体系。本评测体系包含聚类准确率、聚类召回率、聚类扩散率三个评测指标，指标定义如下：

聚类准确率（Precision）：反映一个聚类簇中属于同一个人的抓拍照样本占比有多少，是否存在不同人的抓拍照样本聚合在同一个聚类簇的情况。

聚类召回率（Recall）：反映一个聚类簇中是否聚合了同一个人的所有抓拍照样本，召回的比例有多少，是否存在漏聚的情况。

聚类扩散率（Expansion）：反映同一个人的抓拍照样本被聚合到多少个聚类簇中，是否存在一人多类的情况。

本文提出的聚类效果评测体系采用先计算单一样本的聚类准确率和聚类召回率，再计算加权平均值作为整体聚类效果评测指标的方案。该方案充分考虑了每个样本的聚类结果对聚类效果的贡献，并且不需要指定对于抓拍照样本哪个类簇才是它正确的归属，更符合公安实战场景中的匿名档情况。同时通过加入聚类扩散率的评测指标，从更为丰富的维度对聚类效果进行了评测，较好地避免了前文中提到的聚类结果不同但得到的相同评测结果的情况。

4 人脸聚类评测流程

将人脸聚类算法评测平台、被测系统、测试电脑通过IP网络连通，在测试电脑登录人脸聚类算法评测平台客户端，创建人脸聚类评测数据集，并上传评测数据至服务端，创建人脸聚类评测任务，配置任务名称、被测系统IP地址、被测系统服务端口号，指定本次评测任务使用的评测数据集，参考被测系统人脸聚类接口说明填写JSON报文，向被测系统下发人脸聚类评测任务，被测系统接收人脸聚类评测数据集后启动人脸聚类服务，完成人脸聚类，并将人脸聚类结果按照格式要求写入结果文件后回传至人脸聚类算法评测平台。人脸聚类算法评测平台接收、解析聚类结果文件，与评测数据集标注文件对照分析，计算出聚类准确率、聚类召回率、聚类扩散率三个评测指标后在客户端展示评测结果。

5 结语

为推动公安行业内人脸聚类效果评测体系科学建设，满足日益增长的视频监控系统智能化建设需要，本文参考国际权威学术期刊论文资料，结合公安实战应用场景，提出了一套包含人脸聚类测试数据集要求及聚类效果评测指标的完整评测体系。该评测体系相较于原有公安行业标准中的人脸聚类评测方案，评价指标更为科学、严谨、更为贴合公安实际业务场景。希望能够为今后大规模人脸聚类效果评测认证提供参考依据，促进公共安全行业健康发展。