互联网缓存系统建设方案研究

【摘要】 互联网的迅猛发展，流量爆炸式增长，导致各大运营商网络出口网络压力倍增，缓存系统的引入成为解决以上问题的主要方法。

【关键词】 互联网 缓存 WEB P2P

随着互联网的迅猛发展，我国互联网用户呈现爆发式的增长，导致运营商面临以下问题：一、运营商出口带宽不足导致链路拥塞， 影响互联网用户感知，二、昂贵的互联互通费用严重制约运营商数据业务发展。因此， 针对目前的网络情况， 运营商采用互联网缓存系统十分必要。

一、缓存系统介绍

缓存系统是基于互联网用户访问行为具有明显的长尾效应，即大多数人的需求具有类似性，这部分内容称之为流行，少部分人的需求是个性化、零散。缓存系统就是基于以上理论，通过合理的设置阀值将访问量较高的互联网内容存储到本地系统中，当该内容再次被用户访问时，由缓存系统直接提供服务，从而达到实现减少运营商出口流量的同时，提高了用户获取相关内容的访问速率。根据缓存协议的不同，互联网缓存系统可分为Web Cache和P2P Cache两部分。

1.1 Web Cache缓存

WebCache缓存按模块可以划分管理模块、监控模块和缓存模块三部分。管理模块：配置、管理和监视整个系统，并管理、查询缓存服务器集群存储的内容。监控模块：实现DNS请求分析、重定向功能，并实时监测缓存服务器状态。缓存模块：负责下载、存储、提供缓存的Web网页等静态内容。

WebCache业务实现流程：（1）接入用户向ISP DNS发送的DNS解析被递归到网外或者向互联网DNS发送精确主机解析请求，同时，该DNS请求被监控服务器分析是否提供WebCache缓存。若是，转到步骤2；反之，系统不做引导动作。（2）监控服务器向ISP DNS或接入用户发送DNS解析响应，引导用户到WebCache缓存服务器获取页面。（3）接入用户访问WebCache缓存服务器，发送页面、图片等HTTP请求。（4）WebCache缓存服务器查询缓存内容，若有则发挥缓存内容到用户；若没有或过期，则从互联网获取内容后返回该用户。

1.2 P2P Cache缓存

P2P Cache缓存按模块可以划分管理模块、监控模块、缓存模块。管理模块：配置、管理和监视整个系统，并管理、查询缓存服务器集群存储的内容，负责发出访问请求内容的缓存指令。监控模块：负责实时分析用户访问请求、统计热点内容，并通过重定向动作引导用户访问已缓存内容。缓存模块：负责下载、存储和提供缓存的HTTP/流媒体/P2P下载/P2P流媒体内容。

P2P Cache业务实现流程：（1）接入用户向互联网发送资源下载请求；（2）下载请求数据被镜像到监控服务器供判断、分析是否提供缓存内容。若是，转到步骤3；反之，转到步骤4，并转发请求资源信息到管理服务器（步骤6）。（3）监控服务器向接入用户发送重定向数据包，转到步骤5。（4）接入用户从互联网下载资源，结束。（5）接入用户访问缓存服务器下载资源，结束。（6）监控服务器转发请求资源信息到管理服务器，管理服务器进行判断是否触发缓存策略，若是则转到步骤7，反之结束。（7）管理模块分派下载任务到缓存服务器，转到步骤8。（8）缓存服务器下载缓存内容，转到步骤9。（9）缓存服务器完成下载任务，并返回完成信息到管理服务器。

三、缓存系统建设案例

某省运营商在省网出口部署监控服务器，监控服务器通过接收、处理来自原有流控设备输出的全流量报文，并通过解析输出报文中的特征信息、匹配已缓存热点内容来判断是否发送重定向报文引导请求访问缓存系统。

目前该省互联网缓存支持的协议情况如下：（1）Web cache缓存（HTTP大文件/HTTP小文件）包括：基于HTTP协议传输的大文件缓存加速，如游戏、软件、软件升级包下载服务；基于HTTP方式在线视频媒体对象，包括FLV、MP4、MOV、WMV、RMVB、F4V等多种文件格式；基于HTTP协议的静态网页和动态网页。（2）P2P cache缓存支持协议类型包括：BT类、Emule、迅雷类、PPStream、PPTV、QQLive、风行、暴风影音、百度影音、酷狗等

系统上线前后Web cache和P2P cache效果对比测试结果如下：Web cache通过百度影音和新浪分别测试大文件和小文件的缓存效果，缓存功能启动以后百度影音的视频缓冲时间提升了57倍，由原来的297.837s提升到5.225s；新浪页面打开时间提升了7倍由原来的39.978s提升到5.711s。

P2P cache通过测试对比迅雷下载和BT下载测试缓存效果，缓存功能启动以后迅雷下载速度由原来的87.3KB/S提升到347.7KB/S，速度提升约4倍；BT下载速度由原来的47.4KB/S提升到287.2KB/S速度提升了约6倍。

结束语：通过建设互联网缓存系统能够很大程度上缓解甚至解决运营商面临出口带宽压力、提高客户感知和减少网间结算费用， 所以大力建设互联网缓存系统势必将成为各大运营商解决出口带宽不足以及提高客户感知的新思路。

通信地址：河北省石家庄市东风路128号 赵先生（收）

联系电话：18731191502

参 考 文 献

[1]汤莉.镜像缓存系统对运营商的价值研究[J].电信快报2013（10）

[2]陈浩.分布式缓存系统中的异构内容协同技术研究[J]网络新媒体技术