拍照搜题谁家强?——主流拍搜APP测评 告

互联 教育研究院测评中心

一、 测评背景

互联 科技与教育的结合,一方面使学习者获取资源变得容易,同时也创造出了简单高效的学习方式。如拍照搜题,基于系统内海量的题库和图片识别技术,当学生遇到学习难题,只需要用手机拍下问题的照片,提交给系统后很快就能得到解答。高效的应答为学生的课外学习提供了极大的方便,而且将答疑变成了一件随时随地的事情。

拍照搜题(简称“拍搜”)产品自2013年兴起后,其满足了学生学习问答的刚性需求,受到资本的热烈追捧,各路豪杰纷纷加入了拍搜的行列,其中也不乏佼佼者获得了风险投资,出现了不下十家同类产品。互联 教育研究院测评中心耗时半个多月,对下载量比较高的五款拍照搜题APP做了测评,做出的此次测评,供业界人士参考。

名称 APP1 APP2 APP3 APP4 APP5
APP store 394 2191 0 1832 990
百度手机助手 2585 4896 963 2162 0
安卓应用市场 353.9 3814.6 670.4 2372.6 6.8347
应用宝 362 3880 674 2534 1528
豌豆荚 125 480 72 5807 196
安智市场 20 600 40 100 100
魅族应用商店 154.2079 590.9602 34.9828 330.5247 174.6703
华为应用市场 122.4644 1643.46 98.2497 900.7298 388.5067
合计 4116.5723 18096.0202 2552.6325 16038.8545 3384.0117

表1:五款下载量比较高的APP 单位:万次

一、 测评环境

1、测评所用手机

SAMSUNG-note2、小米1s、华为p7、iPhone5S。

2、测试所在环境

日光灯下、太阳光下、阴暗房间中。

3、测试所用软件

从诸多同类产品中做了预筛选,排除了一些识别率低的产品,最后选取了五款拍搜APP软件作为测试对象(排名不分先后)。

4、教材版本

初中和高中的人教版、苏教版、北师版。

5、题型

选择题、填空题、计算题、解答题。

二、 拍搜准确率测试结果

1、试题覆盖率测试结果

由于初高中学生面临升学压力,对答疑的需求非常强烈,目前市面上的拍照搜题软件面向的主要也是这个市场,因此我们选择了中学阶段的试题作为试题源,试题源来自百度文库对应版本的试题。

为了观察各拍搜APP在初中、高中两个阶段的题库覆盖率以及搜答案的正确率,我们分别在初中、高中3个版本的教材中选择了436道题目进行了拍照搜题测试,下表是测试结果。

学段 拍搜A 拍搜B 拍搜C 拍搜D 拍搜E
初中 85.19% 85.65% 83.33% 91.67% 92.13%
高中 88.19% 83.33% 76.39% 95.83% 90.28%

表2 各APP初中和高中拍搜正确率

从综合表现来看,拍搜APP能够达到宣称的准确率和覆盖率,对要搜答案的用户来说,此类APP已经具备了实用价值。但各家拍搜APP对于初中和高中的题库覆盖面表现不一,最高可以达到95.83%,,最低的只有76.39%。

从测试的准确率上来看,拍搜APP呈现出梯队效应。拍搜D和拍搜E位居第一梯队,但两者的综合实力也在伯仲之间,实在难分高下。另外几款APP在准确率上显示要稍逊于前两位。

2、 各教材版本的搜题结果

全国各省市中学使用的教材不尽相同,在不同版本的教材对应的练习题是否都能搜到?为了检验各拍搜APP的题库是否能全面覆盖各版本教材,不同版本教材的题目是否得到正确的答案,我们选取了人教版、苏教版、北师大版三种教材,每个版本教材挑选了几十道经典题目进行测试,以下是测试结果。

版本 拍搜A 拍搜B 拍搜C 拍搜D 拍搜E
人教版 90.28% 85.42% 81.25% 95.14% 94.44%
苏教版 86.11% 80.56% 79.17% 90.97% 87.50%
北师大版 86.11% 77.78% 69.44% 88.89% 88.89%
综合 87.50% 81.25% 76.62% 91.67% 90.28%

表3 不同版本的拍搜正确率

从正确率的对照结果中,我们可以看出,各家APP对三个版本的教材基本全面覆盖。其中人教版的搜题正确率最高,也说明了各家APP对于人教版教材的题目覆盖率最高。综合来看,各家对于各版本的教材覆盖率上,拍搜D和拍搜E处于领先地位,其他三家尾随其后。

3、不同题型的测试结果

一个优秀的拍照搜题APP应当能应对选择题、填空题、计算题、解答题等多种题型,这取决于各家APP对于各类题型的覆盖情况。为了能综合反映各APP对各科不同题型的应对情况,我们将各科题目综合分成选择题、计算题、解答题三类,使用五款APP对题目进行了多次测试,以下是测试结果。

图1 对不同题型的拍搜正确率

数据显示,在各题型上,五家APP的覆盖率都算不错。在选择题上,拍搜D和拍搜E并驾齐驱,正确率高达93%。拍搜A、拍搜B和拍搜C比起前两者稍逊风骚。在计算题上,仍是拍搜D处于领先地位,后面的拍搜E紧随机后。另外三者稍逊风骚。而在解答题上,拍搜A、拍搜D和拍搜E三雄争霸,正确率都高达93%,另外两者仍处于追赶阶段。

4、综合准确率测试结果

在测评过程中我们发现,各家拍搜APP在拍照搜题的结果上可以归为以下三种:(1)正确答案:即正确搜到与原题完全对应的答案;(2)模糊答案:即搜到的结果包括了原题的答案,虽然搜到的试题答案并不完全对应于原题,但对解题仍有帮助,因此我们将其定义模糊答案;(3)错误答案:原试题与搜到的试题对应不上,或者答案有错误。

本 告将搜题三种结果对比搜题总数的概率分别称为“正确率”、“模糊率”和“错误率”。在综合年级、教材版本、题型三种因素的测试结果,通过正确率、模糊率、错误率应该就可以反映各家APP的综合指标。以下是综合各项数据的测试结果图。

APP 正确率 错误率 模糊率
拍搜D 92.59% 6.02% 1.39%
拍搜E 90.97% 7.64% 1.39%
拍搜A 86.34% 11.34% 2.31%
拍搜B 83.56% 13.89% 2.55%
拍搜C 78.70% 19.91% 1.39%

表4 五款APP拍搜正确率指标

各款APP除了比的是拍照识别的技术以外,也同时比拼的是在试题数量、机器学习、大数据处理等方面的实力,测试结果表明,不同的产品的确有差距:五款APP拍搜正确率最高的为92.59%(拍搜D),最低的仅有78.70%(拍搜C),中间位置的产品也有一些差别。这说明主流拍搜APP在准确率上,已经拉开很大的差距。

5、不同光线下的测试结果

照片识别是一门高端技术,识别的性能将直接影响到拍照搜题的正确率。为了检验在不同光照度对拍照搜题是否会产生影响,我们选择了在三种照度下对五家APP进行了拍照搜题测试。

首先我们从已经测试过的题目中抽取10道所有APP都能搜到的题作为测试用题,摒除题目因素的干扰。其次准备了一部拍照效果相对较好的三星note2作为测试设备,摒除照片质量因素的干扰。最后我们分别在白天日光、夜晚开灯、昏暗不开灯的三种室内环境下进行测试工作,以下是测试结果。

光照条件 拍搜A 拍搜B 拍搜C 拍搜D 拍搜E
在8lux照度下(非常昏暗) 100.00% 100.00% 100.00% 100.00% 100.00%
在167lux照度下(白炽灯下) 100.00% 100.00% 100.00% 100.00% 100.00%
在10560lux照度(室内阳光下) 100.00% 100.00% 100.00% 100.00% 100.00%

(照度计型 :TES 1332A lux:勒克斯为照度单位)

上表5 在不同照度下各APP的正确率

对照表格反应,各家拍搜APP在三种照度环境下拍照搜题的正确率均为100%,可以得出结论:在不同照度下,五家拍搜APP表现优秀,这也说明了在照度不同的情况下,拍搜APP的正确率基本不受光照影响。

6、系统稳定性测试结果

在软件的稳定性测试方面,我们对该五款拍照搜题APP进行了系统测试。其中包括对五款软件是否出现闪退、有无bug、系统有无反应、安装、启动、运行卸载方面的测试,还对在运行系统时接打电话、收发短信等对使用的影响测试。

(1)在是否出现闪退、有无bug、系统有无反应方面的测试

APP 所出现问题 安装/启动/卸载
拍搜A 系统反应良好、无闪退现象 良好
拍搜B 出现无论拍什么都出现同一个答案的bug 良好
拍搜C 系统反应较慢、无闪退现象 良好
拍搜D 系统反应良好、无闪退现象 良好
拍搜E 系统反应良好、无闪退现象 良好

表6 各APP运行稳定性对比

从上述测试中发现:拍搜B在测试过程中出现了bug现象,在多次拍摄同一问题时,之前拍摄出答案全部正确,而后再次拍摄出现了搜索不出答案现象;拍搜C在此次测试中系统反应较慢;而其他APP在测试过程中都无出现闪退及bug现象。

(2)在运行系统时接打电话、发短信时对使用的影响

我们对五款软件在每款逐一运行期间打电话,发短信,来检测它们是否对系统有所影响。在系统运行测试时,我们在打开软件、拍摄问题、进行答案解答等时刻,对这每一个环节进行打电话,发短信各三次,来观测它们是否对软件有所影响。经过测试,这五款软件运行状况良好,没有出现异常。

一、 其他指标测评结果

除了拍照搜题功能外,测评人员还对各APP的其他性能指标,如交互设计、操作性能、核心和高级功能进行了测评,以下是测评结果。

测评指标 满分值 拍搜A 拍搜B 拍搜C 拍搜D 拍搜E
图标设计符合产品特性 3 2 2 3 2 2
界面设计美观度 3 3 3 2 3 3
操作是否符合用户习惯 5 4 4 3 4 4
不同移动设备是否有适配 4 4 4 3 4 4
下载安装是否方便 2 2 2 2 2 2
注册登录是否方便 3 3 3 3 3 3
启动速度快慢 5 4 4 3 4 3
操作是否流畅 5 5 5 3 5 5
是否有答题记录功能 4 3 3 4 3 3
基本功能是否满足要求 6 5 5 5 5 5
是否有意见反馈功能 5 4 4 3 4 4
拍照搜题是否便捷 12 11 11 9 10 10
搜题的速度 10 9 9 7 9 8
搜题的正确率 17 16 16 14 16 15
答案是否详细专业 16 15 15 13 15 15
总分 100 90 90 77 89 86

表7 各APP综合评分指标

在软件交互设计上,各APP均表现优异,而在提升用户体验上都或多或少有进步的空间。在答题的高级功能——人工答题上,此项功能尚待开发,不在评述之列。另外四款软件中拍搜A和拍搜E具有更好的用户体验,拍搜B和拍搜C在体验和服务上有待提升。

二、 测评总结

通过对五款拍搜APP的系统测试,我们发现各家APP在功能上基本能满足学生答疑解难的刚性需求,而在一些高级功能和软件细节上还有待完善。

测试数据显示,各家APP的综合答题正确率有高有低,从78.70%到92.59%不一。部分软件在题库的题目数量上有待提升,因为题目的数量直接影响着答题的正确率,而答题正确率是考验拍搜APP实力的核心指标。

在系统稳定上看,个别软件有小问题需要改进,大多数软件均表现良好,答题的稳定性不受光照和手机其他应用运行的影响。在交互设计方面,各家表现优异,页面设计和布局基本符合用户美感和习惯,而在在线实时答疑的用户体验和服务上,均有上升的空间。

通过测评的结果,各家的综合实力让我们看到了在线答疑市场的希望。拍搜APP为学生的完成课外作业提供了有效的工具,同时也因为工具强大,导致学校和教师对此类产品的排斥,禁止学生使用此类产品。但是技术上的革命引发学习方式的变革不可避免,是大势所趋势。

三、 未来展望

拍照搜题切中用户刚性需求、场景明确、技术门槛高,成为2014年和2015在线教育行业的热点。从本测评 告的结果来看,在拍搜的赛道上,竞争选手之间的差距正在拉大。可以预测这个领域未来必然是寡头游戏,只有少数企业才具备角逐老大的实力,其他企业如无资金和技术支撑,淘汰出局是必然。

但是这并不说明正确率没有排在前列,就没有竞争优势。除了技术优势以外,还有市场推广、资本实力等诸多原因,比如某APP具有BAT级别的优势资源,在技术上未必领先,但是不可或缺的战略资源带来了海量用户,这也是同类产品不可比拟的优势。

拍照搜题仅仅是获取流量的入口,还没有形成完整的商业模式闭环。K12在线教育虽然竞争激烈,但是还远没有到没有产品和技术无法创新的程度,只要真正懂教育和互联 ,是可以找到新的需求热点,避免产品同质化竞争,从而把高科技在教育中的应用推向新的高度。

互联 教育研究院测评中心(www.medu.org.cn)

互联 教育研究院( 址:http://www.medu.org.cn)是专注于中国互联 教育产业的研究、咨询、服务机构,主要承担以下职能:

? 项目咨询:提供互联 教育产业咨询服务

? 研究 告:撰写行业研究 告,提供权威行业研究成果

? 技术培训:为互联 教育培育人才

? 学术论坛:组织大中型互联 教育论坛,促进产业发展

? 产品研究:对最新互联 教育产品和技术进行研究和测评

? 交流活动:组织各种交流活动,推进在线教育行业交流

互联 教育研究院自成立以来,先后撰写并发表了100余篇在线教育相关文章和2本专著(《中国在线教育产业蓝皮书》、《在线教育微课修炼之道》)、3本研究 告(《中小学在线教育产业研究 告》、《在线职业教育产业研究研究 告》、《在线语言学习产业研究 告》等),对中国互联 教育行业产生了深远的影响。

互联 教育研究院先后组织和参与了100多场互联 教育教育相关论坛与会议,曾接受CCTV、《重庆卫视》、《中国企业家》、《21世纪经济 道》、《中国经营 》、《北京商 》、《中国教育电视台》等数十家媒体的采访和 道,相关 道阅读量数百万人次。

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2016年1月14日
下一篇 2016年1月14日

相关推荐