视频篡改检测数据库的构建及测试*

胡永健 Salman Al-hamidi 王宇飞 刘琲贝 李猛

(华南理工大学 电子与信息学院， 广东 广州 510640)

数字视频在社会各领域应用广泛.随着技术发展,各种视频编辑软件,如Adobe Photoshop、Adobe After Effects、AppleFinalCut等迅速普及,普通人无需专业训练都可对视频进行篡改,在一些应用场合(例如法庭作证),篡改视频可能会导致严重后果.为了鉴定数字视频的真实性,数字视频取证技术成为多媒体信息安全领域中最为重要的研究课题之一,受到越来越多科研人员的关注[1- 2].在视频取证技术中,视频篡改检测研究开展得最早,实际应用价值也尤为重大.

根据视频篡改的类型,视频篡改检测算法分为帧间篡改检测与帧内篡改检测两大类.对于视频帧间篡改检测,较有代表性的算法包括利用速度场连续性[3]、光流连续性[4]、检测帧复制[5]、仅从P帧和B帧抽取特征[6]、二次压缩量化特性[7]、检测帧序列的数字指纹是否一致[8]、基于结构相似度均值商一致性[9]以及基于视频内容连续性[10]等.对于视频帧内篡改检测较有代表性的算法包括基于像素估计[11]、利用视频篡改特征痕迹[12]、利用统计矩特征的归一化互相关性[13]、基于噪声残差相关性[14]、利用压缩感知对特征向量降维后分类[15]、利用三维PatchMatch[16]、利用鬼影效应[17]以及基于方向梯度直方图特征[18]等.

目前新的视频篡改检测算法不断涌现，但与算法发展不相适应的是该领域一直缺少统一的标准测试视频库.明显存在的问题有:①不同研究团队往往采用自行采集和编辑的视频数据进行实验,通常规模较小,且少有公开,更无法判断视频是否经过刻意挑选以突出算法的性能;②难以在统一实验条件下对不同视频篡改检测算法的性能进行客观公正的评价;③建库需要一定开销,但不是每个研究者都能够或愿意承受这笔开销,同时重复建设也不经济.因此,构建具有一定规模且来源可靠、内容丰富的公共标准实验数据库,对推动视频篡改检测研究的发展具有重要的现实意义.

目前国外能公开检索到的视频篡改检测数据库有SULFA[19]、VTD[20]和REWIND[21],其中REWIND库包含了SULFA库的部分视频.这3个数据库的局限性主要在于:①所含视频数量较少,分别只包含110、52和20段视频;②视频来源单一或不详,其中SULFA库只涉及3台摄像设备,VTD库则从视频网站上采集视频,缺失关键的视频原始信息,如拍摄设备、原始格式、是否存在多次压缩或编辑等,REWIND库也未提供视频的原始信息;③视频篡改类型单一,SULFA库和REWIND库都只包含帧内篡改样本.国内尚未公开检索到建库的相关工作.

文中对笔者正在建设的视频篡改检测数据库(VFDD)[22]的相关工作进行介绍.针对视频篡改以及篡改检测方法的技术特点,VFDD在设计时充分考虑了不同的视频场景及拍摄条件,所采用的拍摄设备也多样,目前已经包括不同型号的数码摄像机、监控摄像机、智能手机等.设备的多样性使得所采集的视频丰富多样,包括不同格式、编码标准、帧率和分辨率等的视频片段,有利于对视频篡改检测算法性能的全面测试.尤其值得指出的是,VFDD的建设既考虑了帧间篡改,也考虑了帧内篡改.已完成的VFDD包括原始视频505段、篡改过的视频135段,共计640段,同时配有详细的视频信息描述.为验证VFDD的有效性,还选用了现有文献中4种有代表性的视频篡改检测算法进行了测试.

1 原始视频获取

人们接触的视频内容以日常普通场景为主,视频的拍摄设备也多种多样,除摄像机、数码相机等传统设备外,智能手机、网络摄像头的使用也日益增多.为使VFDD更符合实际应用需求,笔者采用多种类型的摄像设备对日常真实场景进行实地拍摄.所采用的摄像设备类型包括数码相机、网络摄像头、监控摄像机以及智能手机等,其中大部分设备类型均包含了两种以上不同型号的设备.不同设备有自己独特的视频参数设置,多样的设备来源确保库中视频更符合实际应用中的多样性特点.表1列出了VFDD使用的设备信息以及所拍摄视频的基本参数信息.

为进一步增加视频内容的多样化,设置了多种不同的拍摄条件,如拍摄地点有室内和室外,拍摄时间有白天和晚上,拍摄设备是否具有支架固定,拍摄场所是否有灯光照明,视频背景是静止还是运动,视频前景物体是静止还是运动等.拍摄条件的选择如图1所示,充分考虑了不同类型篡改检测方法的技术特点,可更全面、客观地检验不同算法的有效性.具体的拍摄条件包括8种类别:Ⅰ室内白天有支架、有照明；Ⅱ室内白天有支架、无照明；Ⅲ室内白天无支架、有照明；Ⅳ室内白天无支架、无照明；Ⅴ室内夜晚有支架、有照明；Ⅵ室内夜晚无支架、有照明；Ⅶ室外白天有支架、有照明；Ⅷ室外白天无支架、有照明.

表1 视频拍摄设备及视频参数Table 1 Video capturing devices and video parameters

图1 视频拍摄条件Fig.1 Video capturing conditions

表2列出了各个设备在上述8种不同拍摄条件下获得的原始视频数量以及按两类篡改方式对其进行篡改后的视频数量.目前VFDD中共有原始视频505段,平均时长为10 s.

2 视频篡改操作

VFDD包含帧间篡改和帧内篡改这两类常见的视频篡改方法,具体建库细节如下.

表2 现有VFDD的构成1)

1)Ⅰ-Ⅷ类拍摄条件下所得视频数量按“原始视频数量/帧间篡改视频数量/帧内篡改视频数量”列出.

2.1 视频帧间篡改

视频帧间篡改以整幅视频帧作为操作对象,包括视频帧删除、插入和重复等.视频帧的整体增删较为简便,故该类篡改手法在现实中常见.文中建库使用的视频帧间篡改主要步骤如下:首先用编辑工具(如利用OpenCV库开发的C++程序)打开视频,观察需要篡改的视频帧位置；然后对目标视频帧进行删除、插入或复制等操作,生成帧间篡改视频；最后保存并输出编辑后的视频,添加到VFDD中.图2描述了视频帧间篡改的流程.VFDD目前共有57段帧间篡改视频,数量分布详见表2.

图2 视频帧间篡改操作流程图Fig.2 Flowchart of video inter-frame forgery

2.2 视频帧内篡改

与帧间篡改的整帧移动不同,帧内篡改只对视频帧内部分区域进行编辑,对视频内容的改变小,隐蔽性也更好.视频帧内篡改的主要步骤如下:首先用视频编辑软件(如Adobe AfterEffects CS6)打开原始视频,将各帧保存成可编辑的独立图像文件(如Photoshop图层文件).然后用图像编辑软件(如Photoshop CS6)对帧图像需篡改的位置进行编辑(如通过复制背景掩盖目标物体)，保存篡改后的视频帧,并将其重新导入到视频编辑软件中.为彻底掩盖目标物体,需对前后包含物体的若干帧进行编辑.为提高篡改效率,可将已导入的篡改帧与其他原始帧联合生成各帧的掩膜,批量覆盖视频中所有需要篡改的区域.最后保存并输出篡改后的视频,添加到VFDD中.视频帧间篡改的操作流程如图3所示.所生成的部分帧内篡改视频示例如图4所示,其中左列为原始视频帧,右列为篡改视频帧,可看到,篡改后帧内的部分物体被去除,且篡改效果具有较高的隐蔽性.VFDD目前共有78段帧间篡改视频,数量分布详见表2.

图3 视频帧内篡改操作流程图Fig.3 Flowchart of video intra-frame forgery

图4 帧内篡改视频示例Fig.4 Samples of intra-frame forgery

3 用于验证的4种篡改检测算法简介

文中选取4种不同类型且有代表性的视频篡改检测算法验证VFDD的有效性,包括2种基于帧间篡改特征的检测算法,1种基于帧内篡改特征的检测算法及1种基于视频二次压缩特征的检测算法.

3.1 基于速度场连续性的帧间篡改检测算法

文献[3]中提出一种基于速度场连续性(VFC)的视频帧间篡改检测算法,对视频帧的删除与重复篡改进行检测.速度场是度量视频内容变化剧烈程度的特征,帧间篡改位置两侧的视频帧内容差异往往大于正常非篡改视频帧之间的差异,因而其速度场也与正常的速度场有所不同.利用这一特点,可确定帧间篡改的位置.算法流程如图5所示.

先计算邻近帧水平及垂直方向的速度场强度,再根据所得的一系列速度场强度计算水平及垂直方向的关联因子序列.分别对两个关联因子序列进行离群点检验,得到其中的离群点.再根据所得水平及垂直方向序列中离群点的数量Nh及Nv,该算法可判断视频所遭到的帧间篡改类型为帧删除还是帧重

图5 基于VFC的检测算法流程Fig.5 Flowchart of the VFC-based detection algorithm

复.以Arm tech 200n ip监控摄像机拍摄的110帧视频为例,删除其第59帧至第75帧生成篡改视频.利用VFC算法对原始视频及篡改视频计算速度场强度,结果如图6所示,第59帧处明显可见由视频帧间篡改引起的异常峰值.

图6 原始及篡改视频速度场强度Fig.6 Velocity field intensity of the original and forged videos

3.2 基于光流连续性的帧间篡改检测算法

文献[4]中提出一种基于光流连续性(OFC)的视频帧间篡改检测算法,对视频帧的删除与插入篡改进行检测.光流与视频中物体的运动情况密切相关,正常视频中相邻帧之间的光流具有较强连续性,而帧间篡改则会破坏连续性.利用光流连续性可对视频帧间篡改进行检测.算法流程如图7所示.

针对帧插入篡改对光流连续性影响较大的特点,将视频划分为一定长度(如16帧)互不重叠的检测窗口,计算窗口中首帧与尾帧之间的光流.将光流大于阈值的窗口作为可疑对象,利用二分搜索方法将可疑窗口划分为前后两个窗口重复上述计算,直至确定篡改的准确位置.针对帧删除篡改光流强度变化较小的特点,该算法计算每对相邻帧间的光流,并将其中强度大于特定阈值者作为篡改的准确位置.以华为荣耀X2手机拍摄的227帧视频为例,删除其第9至第25帧生成篡改视频.利用该算法对原始视频及篡改视频计算光流强度,结果如图8所示.图中显示的是视频前100帧的光流强度情况,在第9帧处明显可见由视频帧间篡改引起的异常孤立尖峰.

图7 基于OFC的检测算法流程Fig.7 Flowchart of the OFC-based detection algorithm

图8 原始及篡改视频光流强度Fig.8 Optical flow intensity of the original and forged videos

3.3 基于像素估计的视频二次压缩检测算法

文献[11]中提出一种基于像素估计(PE)的视频二次压缩检测算法,视频篡改常常需要解压与重新压缩,通过检测二次压缩的痕迹可对视频篡改进行间接检测.视频在拍摄过程中由于受到设备器件工艺及处理算法等因素影响,不可避免地存在噪声,利用更大的量化步长进行二次压缩时会放大噪声的影响,从而使得像素估计误差增大.而利用更小的量化步长进行二次压缩则无此特殊现象.利用这一特点,可对视频的二次压缩操作进行检测.算法流程如图9所示.

图9 基于PE的检测算法流程Fig.9 Flowchart of the PE-based detection algorithm

设定码率变化量Δ,对待测视频进行解压,并用原码率增加和减小一个Δ的新码率进行重新压缩,得到两段重压缩视频.对需要预测的视频帧,利用处于同一个图像组(GOP)中的其他视频帧进行估计,将像素真实值与估计值相减即可得到估计误差.计算估计误差在以0为中心的小区间内的集中程度EN,EN越大表示预测越准确.将高码率视频的EN与低码率视频的EN相减,以其差值作为检测特征.若待测视频未经过二次压缩,高码率视频的EN应大于低码率视频的EN,二者之差应大于一定阈值.若待测视频经过量化步长缩小的二次压缩,则此时低码率视频的码率仍可能高于待测视频的原始码率,导致高低码率视频的EN相差较小,二者之差小于阈值.利用EN差值的特点,可判断待测视频是否进行了二次压缩.文中以三星Galaxy Note4手机拍摄的600 kb/s码率原始视频为例,用900 kb/s码率进行二次压缩,以100 kb/s为变化量，利用该算法分别计算EN差值,结果如图10所示.

图10 原始及二次压缩视频EN差值

Fig.10ENdifference of the original and double-compressed videos

从图10中可见二次压缩视频各帧的EN差值小于原始视频.

3.4 基于局部篡改检测的帧内篡改检测算法

文献[12]中提出一种利用局部篡改检测(LTD)的视频帧内篡改检测算法.对于背景静止的视频,将局部静止区域复制覆盖到特定位置后,相邻帧在该篡改位置的差值将接近于0.利用这一特点,可对视频中帧内篡改的位置进行检测.算法流程如图11所示.

图11 基于LTD的检测算法流程Fig.11 Flowchart of the LTD-based detection algorithm

求取待测视频每对相邻帧的差值,得到帧差值序列,并对帧差值序列二值化,将其中为0的点置为1,不为0的点置为0.然后用最小尺寸为4×4×5的三维结构体对二值化的帧差值序列进行三维的形态学腐蚀,将腐蚀后仍为1的点的位置映射回视频帧中,最终得到存在帧内篡改的像素点准确位置.仍以图4(i)与4(j)所示的帧内篡改为例,该视频由Canon IXUS230HS拍摄,共153帧,对第31到第50

帧的右下位置进行了区域覆盖篡改.检测结果如图12所示,视频帧右下方的篡改区域(即白色区域)被准确检测出来.

图12 基于LTD的检测算法结果示例

Fig.12 Example of detection result of the LTD-based algorithm

4 4种算法在VFDD中的测试结果

以篡改视频为正样本,原始视频为负样本,用灵敏度和特异度作为评价指标.其中灵敏度Se即真阳性率,表示将篡改视频正确判断为篡改的比例:

(1)

式中,P表示正样本(即篡改视频)的总数,TP表示被正确地判断为存在篡改的视频的数量.特异度Sp即真阴性率,表示将原始视频正确地判断为非篡改视频的比例:

(2)

式中,N表示负样本即原始视频的总数,TN表示被正确地判断为非篡改视频的数量.4种检测算法在VFDD中的检测结果如表3所示.检测时灵敏度与特异度均取中等阈值,以反映算法在一般情况下的检测性能.

表3 4种算法在VFDD中的检测效果Table 3 Detection results of the four algorithms in VFDD %

表3结果有以下特点:①不同算法之间存在明显性能差异,说明VFDD库能有效反映不同算法各自的特点;②同一算法对不同摄像设备拍摄的视频存在明显的性能差异,说明VFDD库能有效反映算法应用的局限性,避免得出片面的评价结果;③进一步观察数据来源可见,对于摄像质量较高的设备(如Canon EOS70D(W)、Canon EOS1200D等单反相机)所拍摄的视频,各种检测算法的效果要普遍优于摄像质量较低的设备(如罗技C910网络摄像头)所拍摄的视频.这一现象真实反映了现有算法设计者多只考虑某一类视频的现状,导致算法性能具有较大局限性.反之,VFDD库的测试结果可为算法设计者提供改善算法性能有价值的参考信息.4种算法在不同阈值下的整体性能可从图13的ROC(接收器操作特性)曲线体现.其中灵敏度和特异度为平均值.

图13 4种验证算法的ROC曲线Fig.13 ROC curves of the four evaluation algorithms

5 结语

文中针对目前视频篡改检测缺乏统一标准测试视频库,难以对篡改检测算法的性能进行全面、客观评价的问题,提出构建标准的视频篡改检测数据库,并具体构建了一个库(VFDD).文中对VFDD中视频的拍摄设备、拍摄条件及编码参数进行了详细介绍,并介绍了利用所拍摄原始视频进行帧间篡改及帧内篡改的操作过程.最后,利用文献中的4种不同篡改检测算法对VFDD进行了有效性测试，实验结果证明了VFDD的有效性.标准视频篡改检测数据库的建设不仅有利于评估不同篡改检测算法的性能,还可促进篡改检测算法的设计,为完善篡改检测算法的性能提供依据.后续将选择更多摄像设备进一步充实VFDD.

参考文献：

[1] SHIHT K,TSAI J C,TANG N C,et al.Video forgery [C]∥Proceedings of Future Generation Information Technology.Jeju Island:Springer,2009:7- 11.

[2] WANG W.Digital video forensics [D].Dartmouth:Dartmouth College,2009.

[3] WU Y,JIANG X,SUN T,et al.Exposing video inter-frame forgery based on velocity field consistency [C]∥Proceedings of 2014 IEEE International Conference on Acoustics,Speech and Signal Processing.Florence:IEEE,2014:2674- 2678.

[4] CHAO J,JIANG X,SUN T.A novel video inter-frame forgery model detection scheme based on optical flow consistency [C]∥Proceedings of the 11th International Workshop on Digital Forensics and Watermarking.Shanghai:Springer,2012:267- 281.

[5] WANG W,FARID H.Exposing digital forgeries in video by detecting duplication [C]∥Proceedings of the 9th ACM Workshop on Multimedia & Security.Dallas:ACM,2007:35- 42.

[6] SHANABLEH T.Detection of frame deletion for digital video forensics [J].Digital Investigation,2013,10(4):350- 360.

[7] AGHAMALEKIJ A,BEHRAD A.Inter-frame video forgery detection and localization using intrinsic effects of double compression on quantization errors of video coding [J].Signal Processing:Image Communication,2016,47:289- 302.

[8] HU Y,LI C T,WANG Y,et al.An improved fingerprinting algorithm for detection of video frame duplication forgery [J].International Journal of Digital Crime and Forensics,2012,4(3):20- 32.

[9] 张珍珍,侯建军,李赵红,等.基于MSSIM商一致性的视频插帧和删帧篡改检测 [J].北京邮电大学学报,2015,38(4):84- 88.

ZHANG Zhen-zhen,HOU Jian-jun,LI Zhao-hong,et al.Video-frame insertion and deletion detection based on consistency of quotients of MSSIM [J].Journal of Beijing University of Posts and Telecom,2015,38(4):84- 88.

[10] 黄添强,陈智文,苏立超,等.利用内容连续性的数字视频篡改检测 [J].南京大学学报(自然科学版),2011,47(5):493- 503.

HUANG Tian-qiang,CHEN Zhi-wen,SU Li-qun,et al.Digital video forgeries detection based on content continuity [J].Journal of Nanjing University(Nature Sciences),2011,47(5):493- 503.

[11] SUBRAMANYAM A V,EMMANUEL S.Pixel estimation based video forgery detection [C]∥Proceedings of IEEE International Conference on Acoustics,Speech and Signal Processing.Vancouver:IEEE,2013.

[12] BESTAGINI P,MILANI S,TAGLIASACCHI M,et al.Local tampering detection in video sequences [C]∥Proceedings of IEEE International Workshop on Multimedia Signal Processing.Pula:IEEE,2013:488- 493.

[13] MATHAI M,RAJAN D,EMMANUEL S.Video forgery detection and localization using normalized cross-correlation of moment features [C]∥Proceedings of IEEE Southwest Symposium on Image Analysis and Interpretation.Santa Fe:IEEE,2016:149- 152.

[14] HSU C C,HUNG T Y,LIN C W,et al.Video forgery detection using correlation of noise residue [C]∥Proceedings of IEEE 10th Workshop on Multimedia Signal Processing.Cairns:IEEE,2008:170- 174.

[15] SU L,HUANG T,YANG J.A video forgery detection algorithm based on compressive sensing [J].Multimedia Tools and Applications,2015,74(17):6641- 6656.

[16] D’AMIANO L,COZZOLINO D,POGGI G,et al.Video forgery detection and localization based on 3D patchmatch [C]∥Proceedings of IEEE International Conference on Multimedia & Expo Workshops.Torino:IEEE,2015:1- 6.

[17] ZHANG J,SU Y,ZHANG M.Exposing digital video forgery by ghost shadow artifact [C]∥Proceedings of the First ACM workshop on Multimedia in forensics.Beijing:ACM,2009:49- 54.

[18] SUBRAMANYAM A V,EMMANUEL S.Video forgery detection using HOG features and compression properties [C]∥Proceedings of the 14th IEEE International Workshop on Multimedia Signal Processing.Banff:IEEE,2012:89- 94.

[19] QADIR G,YAHAHYA S,HO A T S.Surrey University Library for Forensic Analysis [DB/OL].[2012- 07- 31].http:∥sulfa.cs.surrey.ac.uk..

[20] ISMAEL A S O,AHMED A A,SULONG G.Video tampering dataset [DB/OL].[2016- 07- 31].https:∥www.youtube.com/channel/UCZuuu-iyZvPptbIUHT9tMrA.

[21] BESTAGINI P,MILANI S,TAGLIASACCHI M,et al.REWIND Video:Copy-move forgeries dataset [DB/OL].[2013- 07- 31].https:∥sites.google.com/site/re windpolimi/downloads/datasets/video-copy-move-forgeries-dataset.

[22] AL-HAMIDI S.华南理工大学视频篡改检测数据库VFDD [DB/OL].[2017- 05- 01].http:∥www2.scut.edu.cn/misip/.