移动终端测试与质量评估体系的研究

亢 娟，李艳萍，廖 军，安 岗

（1.太原理工大学 信息工程学院，山西 太原 030024；2.中国联通集团研究院，北京 100032）

随着移动通信技术的快速发展，3G业务逐渐展开，3G终端作为市场最终用户的业务体验载体，其性能与功能的优劣直接决定了用户对3G业务的认可程度。因此，3G终端测评工作的重要性也逐渐凸显。为充分了解这些终端的功能、性能、可用性、兼容性等情况，必须进行必要的终端测试。目前在移动终端测试及质量评估方面，无论是第三方测试机构、国家行业准入检测机构，还是国际标准测试认证机构，其测试的目的、方法、体系、策略等都无法完全满足运营商终端测试和质量评估的要求。因此很多国内外运营商纷纷结合自己终端和网络发展的需求，建立（或者已经建立）面向移动终端的测试及质量评估体系和策略。该测评体系包含了终端测试和评价相关的测试规范、测试内容、测试流程和方法、终端测试支撑平台、测试管理及终端评价策略等方面的研究、建设和实施。本文对运营商终端测试体系的测试标准、测试内容和评价策略三方面进行了深入的分析、研究，并提出了相应的建议。

1 移动终端测试的现状分析

1.1 移动终端测试相关标准研究

为了保证第三代移动通信系统的安全以及维护广大移动用户的切身利益，欧洲、北美和日本都对WCDMA终端设备实行了强制性的管制和全面型号认证制度，各大运营商以及认证机构分别成立了相关标准组织及联盟，主要有 GCF（Global Certification Forum）、PTCRB（PCS Type Certification Review Board）等，它们对于各种终端产品（GSM/GPRS/WCDMA）进行认可认证，这对终端产品的品质和安全起了非常重要的管制作用。

1.1.1 GCF标准

GCF是一个国际性的组织，英文全称是Global Certification Forum（GCF），即全球认证论坛。GCF由全球多家运营商和手机厂家组成，同时测试机构和测试设备供应商作为观察员参加。运营商和手机制造商为了确保终端在全球范围内的互操作性，提出了协调一致性等测试标准，通过独立的认证过程来确保终端的测试符合标准要求。GCF标准认证基于自愿原则，虽然它不是强制性要求，但对于目前来说，全球的一部分国家和地区都会要求终端厂商按照或参考GCF标准进行测试，因为通过GCF的认证标准，终端生产厂商可以确认其产品是否符合认证标准的要求。GCF标准主要适用于欧洲国家，GCF中GSM/WCDMA终端认证测试主要包括以下几个方面：

1）一致性测试（Conformance Testing）：为了保证各个终端的相互兼容性和一致性[1]，GCF在一致性测试中的主要作用是提供协调一致的测试标准，它在整个测试体系中定义了用来保证手机满足网络的部署[2]，以此来判断手机的行为是否和协议标准规定的内容一致。

2）外场测试（Field Trail）：GCF在外场测试中占有重要的角色，外场测试是将各个终端在实际的网络环境下进行测试，以验证网络间的互通性以及其他性能，确保终端设备能够安全地使用。

3）应用测试（Application Enabler）：目前GCF认证中的应用测试包括有彩信服务MMS、视频通话Video Telephony、IMPS、PoC等方面的测试，这些应用测试都在认可认证之中[3]。

在通常情况下，GCF要求的一致性测试仅针对某一需求或功能的测试，只是关注测试是否一致性符合协议规范，它主要利用理想的参数进行一致性测试，而对于其他方面的性能指标GCF并不涉及，例如业务并发测试等[4]。

1.1.2 PTCRB标准

PCS型号认证委员会（PCS Type Certification Review Board，PTCRB），它的组成包括运营商和手机厂商等组织，同时，还包括一些认可实验室。其认证的详细内容及认证流程列于NAPRD.03中，而NAPRD.03-TC列出了参考3GPP标准和OMA标准而制定的测试项。PTCRB标准主要适用于北美地区，PTCRB对于北美地区的FDD II和FDD V终端的测试要求主要包括以下几个方面：

1）一致性测试：PTCRB的一致性测试主要有射频测试、无线资源管理（RRM）测试以及相关的协议测试，所有的测试项目都列在PTCRB的永久性参考文档NAPRD.03_TC。

2）天线性能测试：除了认证各个终端的一致性和相互兼容性，PTCRB的测试认证也包括北美运营商和手机厂商同样重视的OTA测试，即终端在实际工作的状态下，测试终端天线工作的发射性能以及接收性能[5]。

总之，可以看出目前国内外的终端测试相关标准组织对一致性测试最为看重，可以说，一致性测试是运营商、手机厂家等非常关注的一项测试。然而，由于3G业务的复杂多变性，对于运营商所涉及的全部问题，单纯依靠终端的一致性测试并不能达到要求。因此，运营商还需要根据自身网络和业务发展情况，有针对性地制定其他终端测试规范。

1.2 国内运营商移动终端测试的现状

对于国内运营商来说，根据业务的需求，目前对移动终端进行测试的范围主要包括软件测试、硬件测试、协议测试、智能卡测试以及应用测试等。但随着3G业务的快速发展，用户体验度不断提高，在移动终端测试及质量评估方面，以上测试的范围并不能完全满足运营商终端测试和质量评估的要求。运营商还必须根据自身的业务发展需求，具体规定对移动终端的测试内容和需求，实施过程中可以制定统一的测试规范以验证各个设备制造商提供的终端是否达到运营商所要求的标准。目前，在入网测试的基础上，国内大部分运营商进行网络兼容性测试、天线性能测试、智能卡测试以及其他性能测试等，但测试内容并不完整，运营商还需要根据网络和业务的发展，不断补充和完善终端的测试内容。

1.3 运营商移动终端评价策略的现状

从全球来看，很多国内外运营商结合了自己的评测需求，建立（或者已经建立）终端的评价及管理制度，使不同终端的评测结果可以进行直观的比较。目前，某些国内外运营商采用的评价方案与以下方案类似[6]，具体如图1所示。

图1 移动终端评价方案

该方案对于终端的硬件和协议测试、业务和应用测试、智能卡测试、软件测试作为基本的测试，这些测试项目的测试结果全部合格后，才能对终端进行整体性能的评测，终端整体性能评测的结果作为终端建模及评价子系统的输入。建模及评价子系统通过对每个测试项目进行加权，对每个测试结果进行量化，并通过科学的建模计算出终端整体性能的评分。

此方案只对终端整机性能的测试结果进行建模和量化，对于其他的测试项目必须要全部合格后才能对终端整机性能测试结果进行量化评价，最终输出的结果仅是对终端整机性能测试的得分。该方案无法对终端进行全面的量化评价，评价结果比较片面，但实施难度较低，对目前测试和评价流程改动较少，因此风险较小。

2 运营商移动终端测试与质量评估体系的建议

对3G运营商而言，目前的评测体系并不能完全满足运营商终端测试和质量评估体系的要求，还必须根据现网和业务的开展情况，不断动态调整其测试要求，有针对性地选择测试范围和内容，建立起一套客观、公平、完备的评测体系，以更好地服务于运营商3G业务的开展。为更加充分地满足运营商开展3G业务对终端测试的技术要求，本文对终端测试体系中的测试标准、测试内容和评价策略等三个方面加以分析和补充，并分别对其提出了建设性意见。

2.1 移动终端测试相关标准的建议

目前，对于移动终端测试相关标准的测试内容，如一致性测试等主要关注标准规范是否符合国际规范的要求，涵盖面窄，无法体现终端的整体性能，测试结果更不能全面反映用户感知。而随着3G业务的逐渐展开，终端用户体验的重要性也逐渐凸显，相关标准组织可对终端的关键性能指标和影响用户感知的重要因素进行针对性的评测，测试范围可以增加主观体验评估和客观工具测试两类。其中主观体验评估由人工实现，主要用于测试无法由工具判断的用户体验项，如屏幕响应时间、滑动流畅性等。客观工具测试主要用于CPU、GPU、2D/3D、I/O性能、电池续航性能等测试。具体可以分为硬件性能评测（CPU、GPU、Memory、I/O、屏幕性能、摄像头性能等）、软件性能评测（系统可靠性、数据性能、网页浏览性能、语音质量等）、响应时间评测（开、关机时间，屏幕响应时间，应用程序启动时间等）、综合耗电和其他评测，如屏幕滑动流畅性等。以上的测试范围可以最大程度反映用户感知。国内外运营商也可联合起来将此推向国际，建立并完善一套客观、公平、完备的评测标准。

2.2 运营商终端测试内容的建议

目前，运营商终端测试内容包括网络兼容性测试、增值业务的功能和性能测试、数据吞吐性能测试、天线性能测试、智能卡测试以及稳定性测试等。随着网络和业务的发展，终端测试内容并不全面，本文分析了目前的现状，结合终端与网络的发展，提出运营商终端测试内容的建议，详细内容如图2。

图2 移动终端总体测试内容

本文建议，运营商终端测试应该分为五大部分：硬件和协议测试、业务和应用测试、智能卡测试、软件测试、主观及整机性能测试，其中，硬件和协议测试包括：一致性测试（射频一致性、协议一致性、RRM）、IOT测试（外场兼容性、实验室IOT）、元器件测试（蓝牙、WiFi、USB、CPU和内存、屏幕、摄像头）、音频质量测试、OTA测试、电源及耗电测试等。业务和应用测试包括：基本功能测试（闹钟、电话薄、录音、计算器、开关机等）、基本业务测试（短信、彩信、流媒体、WAP、Web、定位、可视电话、Java、Email等）、自有业务测试等。智能卡测试包括机卡接口协议测试、智能卡电特性测试、机卡兼容性测试、智能卡基本业务测试、智能卡新业务测试等。软件测试包括操作系统评测、浏览器评测、Widget测试、应用商店软件等。主观及整机测试包括用户体验及可用性主观测试、整机性能客观测试（现网吞吐量、现网音频质量、业务及页面载入时间、综合耗电、视频性能等）。

以上是运营商对终端测试考虑比较全面的测试内容，但实际测试的内容不能要求面面俱到，运营商可根据实际的需求和质量要求，抓住重点，科学评测。

2.3 运营商终端测试评价策略的建议

运营商终端测试和评价不仅要有测试系统，还需要具备终端评价系统。对于运营商来说，终端测试的结果并不能直接用于终端的评价，需要建立一个终端评价系统将测试结果导入其中进行分析和计算。移动终端评价系统可以收集较为完备的测试过程数据，对测试案例和测试结果进行量化，使不同终端的评测结果可以进行直观的横向比较，并为运营商提供充分的测试分析依据。充分、科学、合理、高效地发挥测试环境的作用，便于建立完备的终端测试及质量评估体系。

本文建议的运营商移动终端评价系统总体实施方案如图3所示。

图3 移动终端评价系统总体实施方案

在该方案中，硬件和协议测试、业务和应用测试、智能卡测试、软件测试、主观及整机测试等所有测试类别下的测试结果全部输入到建模及评价系统进行量化、建模、计算。最终得出终端总的评价结果和得分。它将所有的测试项目全部纳入建模和评价，最终输出的结果是对终端所有项目权衡后的总体得分。该方案可以对终端进行全面的量化评价，在科学设置各测试项目的权重和建模后，可以对终端进行总体的量化评价。

终端评价模型是移动终端评价系统中最为重要的部分，应包括量化、权重确定和综合评价三个模块。具体量化过程中，对于功能测试结果为达到某种预期动作时，成功得满分，否则得0分；对于测试结果为达到预期数值时，设置预期数值的临界点，达到基本数值时得基本分，数值越高，分数越高；权重确定时，根据终端类型的不同，各指标的权重应该有所调整。以用户体验为中心，根据基本功能和魅力质量设置权重、优先级，必测项权重高，可选项权重低，各测试项权重确定方法可分为主观赋权法、客观赋权法等；在上述两个基础模块上，再通过合成法进行综合评价，最终评分合成方法可以分为雷达图算分、加权得分、累乘得分等。

终端评价模型应针对不同的功能类测试分别需制定相应的评价模型，同时由于针对不同终端机型其测试功能项组合各自不同，因此需要设计分层式评价模型，即可对功能评测按照分大类、小类逐层地进行评价。其设计上需实现如下的功能：1）权重参数与具体计算评价模型相分离的设计，模型分为基本计算流程和流程耦合控制参数两部分，支持多种参数对评价模型进行微调。2）可扩展的模型，随着新的功能测试项目的加入，模型能够扩展支持新的功能测试项目。3）可自定义的用户模型，用户可以通过相应的操作或者脚本对计算模型流程和计算项进行调整和自定义，实现灵活扩展。终端分级管理与评价模块中评价模型与参数采用分离式设计，参数可通过多种灵活的方式输入到评价模块中，包括：相关部门自主定义，交互式输入到评价系统中；还可以通过若干自适应学习算法自动从关联终端销售数据库中学习。

基于以上设计思路，可以得到如图4所示具体实现方案。

图4 移动终端评价系统具体架构图

移动终端评价系统实际上是一个自适应的系统。上述架构图主要包括了测试结果数据库、终端销售数据库、数据解析层、终端测试评价参数和综合分析评价模型五大部分。数据解析层对应上述的量化模块，终端测试评价参数对应上述的权重确定模块，综合分析评价模型对应上述的综合评价模块。具体流程是：首先，终端测试完成后，将测试结果输入到数据解析层并加以分析，对硬件和协议测试等五大测试内容进行量化，将各个量化结果和评价参数输入到综合分析评价模型中，通过合成法计算如加权平均法，进而得到评价结果。再将评价结果反馈给测试主管部门，测试相关人员可将结果与终端销售数据库中的历年销售情况进行分析比较，评价结果与销售数据关联后，依据关联结果对评价模型和评价模型参数进行微调，应用微调后的评价模块对新终端进行后续预测，然后跟据评测模型输出结果和销售数据，计算当前主流性能终端评测分值。通过这样的负反馈自我学习的方式，对已经投放到市场上的终端进行评测学习，学习总结之后，当新的终端需要测试时，可以利用半年前的终端数据与之相比较，实时调整评价参数和评价模型，不断学习和积累经验，建立起一套客观、公平、完备的评价体系。

3 总结

3G终端测试是一个较为复杂的系统性综合工作，它将自始至终伴随运营商3G业务的发展过程。运营商应当在标准组织的基础上，结合自身实际情况，根据不同类型终端的上市需求来制定具体的测试和评测内容，收集较为完备的测试过程数据，建立科学的终端测试及质量评估体系，为运营商提供充分的测试分析依据，降低服务成本，提升品牌效应。从而在终端产品竞争越来越激烈的今天保持领先地位，更好地服务于运营商3G业务开展。

[1] 张敬敬.移动终端协议栈一致性测试研究[D].南京：南京航空航天大学，2008.

[2] 苟鲲鹏.3G移动终端一致性测试设计及其实现[D].北京：北京邮电大学，2008.

[3] 王陆潇.WCDMA终端一致性认证测试及其发展[J].移动通信，2008（3）：73-77.

[4] 王湘宁.运营商WCDMA终端测试体系研究[J].通信世界：B，2009（27）：24-25.

[5] 魏蔚.基于AT4wireless射频测试平台的一致性测试方法和应用[D].北京：北京邮电大学，2009.

[6] 杜栋，庞庆华.现代综合评价方法与案例精选[M].北京：清华大学出版社，2005.