大数据安全交互系统在收录系统中的使用

王海燕

摘 要：我台IP收录系统，按照事先设定好的收录计划电子表单可将指定频道指定时间段的节目实时收录下来，以视频文件形式存储于磁盘阵列中。其中所收录内容中的大部分要自动推送至新媒体发展部使用，因新媒体发展部网络和收录系统本身是分属不同部门的两个不同网络，考虑到安全问题，应当实现网络的隔离，但是又需要实现以上所说的视频文件自动推送的功能，在这种情况下我们选择了重庆泛涵数码科技有限责任公司的大数据安全交互系统（Minerva File ransfer）对收录系统做了一定的改造。

关键词：IP收录；网络隔离；安全交互

中图分类号：TP399 文献标志码：A 文章编号：2095-2945（2017）34-0139-02

1 收录系统简介及应用背景

我台IP收录系统，按照事先设定好的收录计划电子表单可将指定频道指定时间段的节目实时收录下来，以视频文件形式存储于磁盘阵列中。用户可通过浏览器访问收录系统的WEB服务来检索、预览、下载所需节目素材。

根据新媒体发展部的使用需求，我们需要将收录下来的部分素材直接推送给新媒体发展部使用，新媒体发展部的文件服务器直接用网线接到收录系统的交换机上，每当有需要自动推送的节目收录完成并传输至存储系统后，收录系统中管理服务器会直接在新媒体发展部的文件服务器的VMS_XML共享文件夹中写入一条XML文件，然后新媒体发展部的文件服务器会自动扫描分析该XML文件内容，登录收录系统的存储服务器的FTP服务，将该XML文件对应视频文件传输至新媒体发展部的文件服务器。以此来实现自动推送的功能。

由于新媒体发展部网络与外部Internet网有连接，有一定的遭受外部攻击的风险，而收录系统网络位于全台的内部局域网内，为了保障新媒体发展部网络系统和收录系统两个不同网络之间的安全隔离，我们选择了重庆泛涵数码科技有限责任公司的大数据安全交互系统（Minerva File Transfer），从物理上断开以太网链路，既实现了网络隔离，又完成了视频文件的自动推送。

2 大数据安全交互系统概述

2.1 安全的双机架构

双独立主机，支持异构操作系统。内外网服务器之间没有物理網络连接，使用高速USB线缆链接。

2.2 先进的传输技术

四条独立USB通道设计， 通过专用USB传输线，可四路USB并发传输及互为备份，理论速率最高可达30×4=120MBps，如选配4条USB3.0线缆则理论速度可提高到120×4=480MBps。

2.3 传输流量统计

按照时间、部门、人员等分类统计传输数据总个数、总大小，用于分析系统运行状态及资料运行情况，及时发现系统瓶颈，为扩容、数据升级改造提供数据支撑。

2.4 高效的病毒查杀

与国内外知名杀毒软件深度耦合，支持Avira、ESET NOD 32、BitDefender、 Kaspersky 等著名杀毒软件，内外网服务器分别运行不同的杀毒软件，提升杀毒性能。

2.5 严格的文件检查

黑白名单策略，严格过滤待传输文件。

检测文件类型区文件格式是否匹配，防止文件被篡改。

2.6 完美的终端支持

支持windows、android、ios等移动终端。支持批量上传和断点续传。

2.7 稳定的传输速率

支持集群传输，统一管理、统一资源调度，方便维护。

指定存储空间自动扫描传输，并可按设定规则分类迁移。

2.8 丰富的传输方式

支持CIF、B/S、C/S等常用上传方式，理论上最大支持2T文件，完美支持TG快速传输。

简单地说，大数据安全交互系统通过采用USB传输技术，在保证网络完全物理隔离的情况下实现了不同网络间文件交互的目的。

3 大数据交互系统在IP收录系统中的具体应用

（1）登录收录系统数据库服务器，将数据库里的FTP地址由原来的存储服务器的IP修改为大数据安全交互系统外网服务器的IP。该步骤为的是生成的XML文件可以向新媒体发展部文件服务器提供新的FTP服务器地址指向。

（2）将新媒体发展部文件服务器上FTP下载程序的配置文件里的IP地址由原来的存储服务器的IP修改为现在大数据安全交互系统外网服务器的IP地址。

（3）收录系统的管理服务器在本机新建并共享VMS_XML文件夹。当有需自动推送的节目收录完成并成功传输至存储服务器后，管理服务器会直接在本地的VMS_XML的文件夹中写入一条XML文件。

（4）大数据安全交互系统内网服务器使用双千兆网线汇聚接入收录系统交换机，其上运行的文件迁移工具将管理服务器的VMS_XML里的文件，剪切到内网服务器输出目录E：＼FileTrans＼output的VMS_XML文件夹。

（5）大数据安全交互系统内网服务器通过文件迁移工具将收录系统存储服务器中的视频文件复制到内网服务器输出目录E：＼FileTrans＼output的FTPROOT文件夹。

（6）大数据安全交互系统内网服务器和外网服务器分别对应运行的文件传输服务，通过连接内外网两服务器USB接口的特制USB线缆将内网服务器的E：＼FileTrans＼output内文件传输至外网服务器的E：＼FileTrans＼input中。

（7）大数据安全交互系统外网服务器使用双千兆网线汇聚接入新媒体发展部网络交换机。并映射新媒体发展部文件服务器的共享文件夹VMS_XML为网络驱动器Y：。

（8）大数据安全交互系统外网服务器上运行FTP服务。

（9）大数据安全交互系统外网服务器运行收录素材迁移工具，定时扫描E：＼FileTrans＼input＼vms_xml文件夹，解析其中的XML文件信息，对现存所有XML文件中指定的对应视频文件分别进行扫描，如检测到某XML文件对应的视频文件传输到位（即通过USB文件传输服务成功从内网服务器的E：＼FileTrans＼output＼FTPROOT文件夹传输到外网服务器的E：＼FileTrans＼input＼FTPROOT文件夹中），则将指定的视频文件剪切到：E：＼FTPROOT（外网服务器FTP主目录）。然后复制该XML文件到Y：＼（新媒体发展部文件服务器的共享文件夹VMS_XML），删除E：＼FileTrans＼input＼vms_xml内的对应XML文件，流程结束。如扫描发现某XML文件指定的对应视频文件未传输到位，则等待下次扫描周期重试。对于长时间没有对应视频文件到位的XML文件，在达到设定的超时时间后，剪切到XML超时文件夹，留待以后人工处理，不再对此任务进行检测。

（10）新媒体发展部的文件服务器收到XML文件后，自动解析XML文件中的信息，登录大数据安全交互系统外网服务器的FTP服务，取走对应视频。至此，文件推送完成。

（11）大数据安全交互系统外网服务器运行文件删除工具，定时扫描指定文件夹，自动删除过期的文件，这里监控的是E：＼FTPROOT、E：＼FileTrans＼input＼FTPROOT，以及XML超时文件夹，避免磁盘空间被占满。

（12）全部配置完成后，大数据安全交互系统内网服务器开启3个服务：文件监控、文件传输、文件迁移工具，大数据安全交互系统外网服务器开启4个服务：文件监控、文件传输、收录素材迁移工具、文件删除。

4 结果

经过以上改造，成功实现了在网络完全物理隔离的情况下收录文件自动推送至新媒体发展部的功能，消除了直接连接两个不同网络所带来的安全隐患，保证了网络安全。经过半年多的使用，系统运行稳定可靠，没有出现任何问题，传输文件快速安全，很好的满足了实际应用的需求。

5 结束语

传统网络连接方式实现文件传输面临许多不安全因素，如病毒木马传播、黑客攻击等。而重庆泛涵数码科技有限责任公司的大数据安全交互系统（Minerva File Transfer）独辟蹊径，采用独有的USB线缆连接方式在不同网络间实现了文件同步传输，两个网络间根本没有任何物理网络连接存在，令病毒木马以及黑客攻击无从下手。另外它的文件传输速度也很快，选配4条USB3.0线缆则理论速度可提高到120×4=480MBps，实际应用中可以充分发挥服务器硬盘的极限读取速度。综上所述，该系统是足以胜任不同网络間在保证网络安全隔离的前提下实现文件安全快速传输的任务的。而利用它对我台IP收录系统进行的成功改造以及之后的长时期稳定运行，则很好的说明了这点。

参考文献：

[1]（美）查普尔，（美）蒂特尔.TCP/IP协议原理与应用（第3版）[M].张长富，等译.北京：清华大学出版社，2009.

[2]李英伟.USB2.0原理与工程开发[M].北京：国防工业出版社，2007.

[3]（美）亨特，（美）拉夫特，（美）福思特，等.XML入门经典[M].吴文国译.北京：清华大学出版社，2009.

[4]黎伟.大数据环境下的网络安全研究[J].科技创新与应用，2015（33）：105.