一、测试缘起

根据知名研究机构Flurry引用流量统计网站comScore与Alexa的数据后发现,现今每位用户平均一天花费81分钟使用mobile application,较使用网络的74分钟高出9%的使用时间。值得我们注意的是,这不仅是首次出现使用者使用mobile application的时间超越上网时数,更意谓着智能型手机与平板电脑等行动载具逐渐地抢滩传统PC与笔记本电脑市场。

自从Apple推出iPhone以来,造成首波mobile application的号角响起;接着,一波又一波的mobile application加值服务与创新应用也直接改变了整体行动市场的商业模式。至目前为止,根据Apple所公布的数据显示,其App store中的全球下载量已经超过250亿次,并持续地在快速成长中;另外Gartner也统计发现,2010年全球行动应用程序的产值为52亿美元,至2011年将超过151亿美元。此种科技行为与生态的改变除了拜前端技术、软件或硬件所赐外,数以万计的程序开发者相继投入mobile application的研发之列也是一股不能忽视的推力;根据市调机构IDC预测,未来mobile application的发展将会整合云端、行动科技、社会网络与庞大数据分析等技术产生极大的市场规模与商业价值。

当全世界都掀起这股mobile application来疯的过程中,虽然带动了许多国际品牌的获利与mobile application开发商的投注;就长期而言,mobile application的发展趋势应该与使用者使用mobile application的行为、情境与态度有密切关系。换言之,不论mobile application是否需要付费或是具备创新功能,用户除了关心mobile application的效能表现外,更注重mobile application的使用性(人与接口互动的过程)与简单易用程度。事实上,人机互动研究已不是个新话题,几乎所有软、硬件接口都逐渐采用其设计概念,「使用者」才是设计过程中的主体,藉由了解使用者需求才能够设计出符合用户的产品,让用户能更方便使用产品的功能、清楚明了接口上的任何指示,让使用者与设计者之间不再有使用认知上的落差。因此,在行动mobile application如此盛行的时代里,如何利用装置的功能与接口,让mobile application与用户的互动更紧密结合、更符合其习惯特性,使其更愿意持续或推荐给他人使用,提高对mobile application的忠诚度与黏着度,进而带动更多潜在的商业模式。

 

二、测试目的

为因应现今行动mobile application的流行风潮,我们特别锁定几款与使用者生活有密切关连的mobile application主题,包括音乐、摄影、交通信息与工具应用等,透过使用性的访谈与测试来了解该mobile application的接口设计是否能提供用户得到信息功能和娱乐功能上的满足。另外,易用性程度是否足以让使用者轻松操作而得到乐趣,拟真程度是否具备足够吸引力,在使用过程中是否会造成使用者困扰和失误,进而提出接口再设计的可能性和建议。因此,基于上述背景与动机,藉由目前市占率颇高的几款mobile application来当作测试标的,本使用性测试旨在进行使用者的mobile application使用性测试与问卷调查,其测试目的包括用户目标与使用性目标二项,说明如下:

(一)用户目标:

检测用户能否利用mobile application提供的接口与功能来达成使用mobile application并完成任务。

(二)使用性目标:

依据本使用性测试的用户轮廓、用户目标及任务分析,依照以下五项评估指针分析用户使用性目标:

 

 

三、测试mobile application档案

 

四、测试方法

为了达成上述的研究目的,本使用性测试采用四款mobile application进行任务操作,并搭配摄影机进行测试和纪录。首先在正式测试前,我们针对四款mobile application招募专家级使用者与生手级使用者各二位,藉由访谈与前测获得使用性评估指标。正式测试时,我们将藉由效能测量法、事后回溯法、问卷调查法以及事后访谈法来纪录用户操作mobile application时所花费的时间、完成任务的有效性、用户对整体mobile application的满意度以及开放式的评价与建议。正式测试的使用性测试数据将会与评估指针作分析比较,进而提供相关使用性的问题侦错与解决方案等建议。

 

五、评估指标

(一)指标依据 

依据用户轮廓、使用性目标及测试任务,本次测试设定三项评估指标,分别代表易学性、迅速性与有效性﹔二项问卷调查,分别为系统易用性与满意度量表。

1. 易学性 (Learnability)

透过重复执行同样步骤的工作所需的时间,套用评估公式计算。

2. 迅速性 (Efficiency)

根据完成所有任务的总时间来评估任务达成的迅速性。

3. 有效性 (Effectiveness)

根据任务表现定义成功、部分成功或失败,套用评估公式计算。

(二)指针数据来源 

共招募二位专家级使用者与二位生手级使用者,对本研究的四个mobile application进行测试。结果如下:

 

 

六、受测者档案

 

 

 

七、测试结果

(一)使用性测试结果 

正式测试结果,25名受测者的使用性测试平均数据如下:

 

(二)测试发现 

在易学性部分,两个mobile application(SoundHound、Dropbox)的平均值高于评估指标,意谓这两个mobile application的易学性较佳。相反地,其余两个mobile application(Camera 360、台铁高铁时刻表)的平均值低于评估指标,因此易学性较差。

在迅速性部分,两个mobile application(Camera 360、Dropbox)的平均值低于评估指标,意谓这两个mobile application的迅速性,也就是运行时间较快。相反地,其余两个mobile application(SoundHound、台铁高铁时刻表)的平均值高于评估指标,因此迅速性、运行时间较慢。

在有效性部分,只有Camera 360的平均值高于评估指针,意谓任务的完整达成度较高。其余三个皆未达评估指标标准,意谓在执行任务的过程中,任务的完成质量不高。

(三)问卷统计结果 

在使用性部分,四个mobile mobile application互相比较可发现:

SoundHound>Dropbox>Camera 360>台铁高铁时刻表

在满意度部分,四个mobile mobile application互相比较可发现:

SoundHound>Dropbox>Camera 360>台铁高铁时刻表

 

以下将针对各别mobile application的使用性测试发现与访谈结果作统整阐述,并提供后续相关建议:

1. SoundHound

相较于其他三款mobile application,SoundHound不论在使用性或是满意度上都表现最佳,使用者也愿意持续使用此mobile application。除了功能上的需求外,我们从测试过程中也可发现,用户对于SoundHound的接口简洁明了,图标的形象与位置都互动良好,即使初次使用时会有陌生感,但经过一次学习任务后,第二次的任务表现几乎都快速许多。

我们可以从评估指标发现,易学性的评估指标为42.4%、实际测试为

51.17%,因此SoundHound的易学性高于前测评估指标。在迅速性上,评估指标为2分37秒,而在实际测试时为3分00秒。未达评估指针的原因可能是某些功能的标示仍不够明确如视听播放与观看歌词功能,未来建议可将此图标或功能再作明确的设计与提示,让使用者能更快速完成操作指示。有效性方面,评估指标为100%、实际测试为86%。在前测中,因为专家、生手比率各半,但在实际测试时,大部分使用者皆为生手,不免影响整体任务完成的质量,而大多数用户较常忽略视听播放的任务指示,因而造成有效性不足的原因。

整体而言,SoundHound的听歌辨识功能强大,大多能满足用户在娱乐与信息上的需求。简洁的接口设计搭配清楚的图标,即使功能单一,却还是能附加其他分享或歌词功能,让用户获得使用性上的满足,持续使用的比例大幅提高。

2. Camera 360

首先在接口上,Camera 360应提供一些接口指引,建议是小帮手或是明显的说明文字,多数用户对于首页右方的功能图标列感到困惑,无法直觉性地了解其代表意义。我们建议Camera 360应设计出更符合用户心智的隐喻图示,才能增加易学性、预视性,并且让使用者可以轻易辨视使用。再者,功能上的缺点如水平仪设计凌乱,接口会转来转去造成使用上的不便;在测试过程中,我们不断地观察到用户将平板电脑转来转去的动作。

从评估指标发现,Camera 360易学性的评估指标为38.6%、实际测试为

38.45%,整体而言易学性未达评估标准。用户在第一次任务之后并没有获得良好的接口熟悉感,需要花费时间来完成第二次任务。尤其是在转换照片特效的过程中,因为图示不够直觉,让使用者以为必须到相簿来进行特效转换。我们建议除了在拍摄完的同时能进行转换外,在相簿中也同时能进行转换;如此一来,才能更符合使用者的习惯。在迅速性上,评估指标为3分07秒,而在实际测试时为2分49秒,接口操作与任务完成大体而言算快速,比较花费时间的地方为返回首页的部分,这意谓着返回首页的图示设计不明确,我们发现到许多使用者都是以注销mobile application之后再重新登入回到首页。有效性方面,评估指标为91.67%、实际测试为93.33%,完成任务的质量大致上还不错,可能与照相软件的功能比较单一有关。

整体来说,Camera 360在特效功能的表现几乎都能满足使用者的娱乐需求,也对其特效表现表示满意。然而,在分类以及接口编排上可以再作修饰统整,让使用者更能一目了然其操作步骤。尤其,照相软件的使用族群与竞争市场都比较广泛,一套好的mobile application需要将其功能图标设计的更直觉化一点,才能让使用者不必经过反复学习就能轻易上手。

3. 台铁高铁时刻表

整体来说,台铁高铁时刻表在所有使用性测试与满意度的表现度都最差,除了首页的台铁、高铁和转乘信息的图标清楚外,剩下的操作与接口都让用户感到困惑。从测试的过程中可以发现,转乘信息的呈现并不明确,导致使用者必须花许多时间来学习阅读信息列表,甚至被其他功能所误导,例如在任务一中要查询高铁转乘台铁时,使用者花费许多时间在阅读时刻表结果。另外,部分功能的名称会让用户误会其意义,例如要找台铁订位系统时,会持续搜寻台铁时刻表而导致无法完成订位任务。

从评估指标发现,台铁高铁时刻表易学性的评估指标为42.94%、实际测试为41.36%。整体而言易学性不高,使用者主要花费时间在阅读转乘信息,列表的呈现过于杂乱让人无法一目了然,不知道到底该搭哪班车才能到达转乘站,进而转车。呈现信息的设计初衷其实很好,却忽略了整体信息的呈现方式,我们建议可以将列表的信息重新编排,利用颜色、区块来标示起、迄时间与位置,不要只是单纯的把数据表格化。在迅速性上,评估指标为7分19秒,而在实际测试时为7分29秒,接口操作与任务的时间远远高于其他mobile application的迅速性。特别在搜寻订位系统时,几乎九成的用户放弃搜寻以至于任务失败,主要原因为订票系统的设计位置隐藏在平板电脑的功能选单内,而不是明显地呈现在mobile application接口上。这是一个很致命的设计漏洞,使用者不断在搜寻台铁班次的接口上浏览,不会去想到利用平板电脑的功能键;因此,这里的设计大大地误导使用者,不但不直觉外,更让使用者浪费许多时间在搜寻浏览上。有效性方面,评估指标为75%、实际测试为68%,因为查询转乘信息与订票系统的关系,整体完成任务的质量不佳,外加接口的水平仪缺点让屏幕不断地翻转,造成使用者的不便,进而影响完成任务的速度与质量。

综观来看,我们认为台铁高铁时刻表的首页接口其实很清楚、易视,直接呈现高铁、台铁以及捷运的图示,让用户能直觉地选择其想要查询的交通信息。可惜的是,接下来的操作接口设计上不够直觉,因此在执行任务的过程中,有许多小细节如窗口、页面、表格等都有再调整与改善的空间。另一方面,台铁高铁时刻表实际上具备许多交通信息的功能,但主控端的server常常不稳定,导致效能表现不流畅,并且有许多小bug如文字错误与当机都是需要往后持续修正的地方。

4. Dropbox

基本上,因为Dropbox的功能单一清楚,在操作上的选择并不多,使用者都能轻易明了各功能的效果与其使用目的。另外,Dropbox考虑到不同的使用习惯,接口的功能列表同时设计在许多不同的位置,让拥有不同使用习惯的用户在功能的操作上都会有一样的直觉感受。值得推荐的是,每个功能都有其相对应的隐喻图标,让一些潜在功能获得露出的机会,才能符合用户易视性、图示对应性、认知一致性以及潜在预设用途等种种需求。

从评估指标发现,Dropbox易学性的评估指标为15.98%、实际测试为38.32%,易学性程度很高,意谓用户通过第一次任务后,皆能轻松完成第二次任务。唯一比较大的缺点是上传档案的区块位置设计的太下面且不明显;在搭配平板电脑使用时,多数用户容易忽略其所在位置。另外,档案与档案间的移动比较不像一般电脑的上一页、下一页使用模式,在接口上往返的过程容易让使用者感到困惑。在迅速性上,评估指标为4分03秒,而在实际测试时为3分00秒,接口的操作非常迅速;大体来说,使用者都能快速的完成任务,没有遇到太多问题。有效性方面,评估指标为93.75%、实际测试为91.5%,用户在上传图片时,容易忽略可以选择指定档案夹,这部份的选择档案夹区块作得不明显,因此我们建议可以将整体上传的功能设计排版的更清楚,利用区块大小或颜色来区分,才能让使用者清楚地看到每个功能的对应位置。

整体而言,因为Dropbox的功能单一,目地明确,大部分用户都能根据其接口完成任务,并且在后续的使用性与满意度评价也都很高。经过学习之后也能快速的了解各图示的意义与操作方式,如果能针对上述的一些小问题作修订,将使其接口更友善,更完美。

 

八、总结

随着行动装置与mobile application的普及与盛行,mobile application已在现实世界中扮演越来越重要的角色。透过各式各样的mobile application,人们除了可以进行mobile application的商品购买与视听分享外,亦可进行相关知识的信息搜寻与交流。因此,如何设计mobile application的接口以符合用户的需求,成为当代mobile application设计领域或开发商不得不面对的重要议题。

有鉴于mobile application逐渐在人类日常生活中扮演着重要的角色,本测试尝试从「使用者」的角度出发,分别从访谈、测试以及纪录来探讨人、机互动的过程,不单单从功能性的角度出发,我们着重在使用者的真实使用感受,藉由测试过程中发掘使用性与接口设计上的问题肇因,进而提出评估与改善建议。值得注意的是,不论mobile application设计者或开发商时常在设计一款mobile application时;在成本与时间因素的考虑下,往往只关注在功能性的效能表现上而忽略最基本的人、机互动过程。这造成了产品的设计概念无法纳入使用者的真实感受、需求以及回馈;非常可惜的是,我们到目前为止仍看到许多立意良好并具有创新竞争规模的mobile application,因为其使用性不佳而埋没在茫茫的mobile application大海。为了杜绝此类mobile application使用性问题的衍生与蔓延,我们特别在此进行mobile application的使用性测试报告,目的不仅在功能性上的提出问题的侦错,更针对使用性问题亲自接触使用者,藉由临场、真实的使用行为来了解使用者的操作回馈,以发掘mobile application设计者或开发商容易忽视的盲点。

简言之,使用性研究以易用性(easy to use)与易学性(easy to learn)为主,特别重视接口的设计对其使用性的影响,并根据评估指标与问卷结果来对mobile application作评估与改善建议。在此份测试报告中,我们总共选择了四款mobile application来进行完整的使用性测试,根据事前的访谈、用户轮廓的描述、任务设计、评估标准以及招募受试者来进行正式的测试,从中我们发觉到许多在使用者与mobile application间互动时会产生的问题。了解这些问题才能更深入用户的使用模式与习惯,让mobile application设计者或开发商容易忽视的使用性问题一一浮现,进而提出改善与升级上的建议。未来,针对任何一款mobile application,我们不但能测试它的功能性,如网络联机能力、游戏移植协助以及在地封闭测试外,更提供与使用者密切相关的使用性测试、评估以及竞争分析,进而让用户享受到功能性和使用性兼具的完美mobile application。