SenseTime（商汤科技）邱石：服饰识别技术是什么黑科技？

好问是《界面》旗下的问答频道,邀请各路大神在线回答 友提问。此次,SenseTime(商汤科技)主任级研究科学家邱石应好问邀请,为 友解答了服饰识别相关技术及应用的问题。

邱石,本科以第一名的成绩毕业于清华大学电子系,博士毕业于有着计算机视觉界“黄埔军校”之称的香港中文大学多媒体实验室,曾在ICCV、CVPR等国际计算机视觉顶级学术会议上发表过多篇论文,现任SenseTime主任级研究科学家,主要负责服饰识别技术研发工作。从事计算机视觉算法研发多年,邱石专注于让计算机看懂万物本貌,进而让生活更有趣,更智能。

以下是邱石此次问答实录摘选。

1.图像识别技术有哪些进展?商用是否已经成熟?

1.1LSH.wx:最近十年,图像识别技术有哪些最重要的进展?应用于金融领域的客户身份认证的商用人脸识别技术是否成熟?

邱石_SenseTime:在很多垂直领域都有许多进展,比如ocr(光学字符识别),人脸比对。从技术本身来说,在图像识别领域,所有的团队都会参加计算机视觉领域的奥赛——ImageNet 来比较自己的技术水平。

2012 年,深度学习的应用让图像识别技术有了质的飞跃,ImageNet 的纪录也被深度学习不断刷新,识别的准确度、精度在不断地提高。今年图像中物体识别比赛的冠军是微软。但今年的ImageNet 也有了一个新的变化,我也和大家分享一下,“视频中物体检测”比赛被正式加入了ImageNet,SenseTime和港中文多媒体实验室联合组队,拿下了检测数量和准确度两项世界第一。

第二个的话已经比较成熟了,现在很多APP 都有应用,具体的大家可以查一下新闻就好。

1.2灵魂和未来保持纯粹soccer:图像或面部识别,采集的信息点有什么不同?

邱石_SenseTime:人脸属于一个细分类,除了身份之外,经常提取的还有关键点(鼻子、眼睛等)、年龄、属性这些信息,而通用的图片则无法定义这么细节的属性,常见的情形是识别出图中的物体、所处场景等信息。

1.3AI1992:服饰识别与人脸识别相比,难点在哪里?

邱石_SenseTime:首先两种识别方法在流程上来看没有特别大的区别,都是SenseTime 的研究方向和产品研发方向。目前从实际操作来说,服饰识别是要比人脸识别更难的,因为衣服本身在不同状态下的变化就很大。人脸有逆光、侧面、阴影等状态,衣服也有,但衣服有坐姿、立姿、褶皱、水洗等等不同的状态。

1.4刘少博:您好,请问现在的图像识别技术除了深度卷积神经 络外还有那些比较有效的模型?另外除了静态图片识别外,动态图像的识别又有那些进展(从精度上讲)。识别算法对图像的语义理解又达到了怎样的程度?

邱石_SenseTime:在2012年之前比较主流的一类方法是使用 handcrafted feature + sparse coding + 分类器(如linear svm),但是在Hinton教授的团队使用cnn取得突破性进展后,这类方法目前就很少用了。对于视频的分类检测等问题最近的rnn(recursive nueral network)应该是一个主要的研究方向。将图片直接转成有意义的描述,image captioning 这两年也有不少工作,比如
http://cs.stanford.edu/people/karpathy/deepimagesent/ 就是解决这样的问题。

2.服饰识别技术怎么找同款?

2.1GoEcho:请问这个服饰识别技术是怎么找到同款的,是能找到保证一模一样的呢,还是细节颜色稍微有点不同?

邱石_SenseTime:首先进行的是图片检测,对于普通的服装照片或者街拍图,我们需要把服装与背景、人物、建筑等等元素区别开来,确定是否有衣服以及衣服在什么位置。接下来需要对衣服进行分析,提取出服装的属性、特征等等。最后再根据这些特征,在庞大的数据库里搜索同款或者类似的服装图片。

因为同一件衣服在 上的图片也可能是各种各样的,所以不会是一模一样的衣服;有的用户的需求就是要在不同的平台找到尽可能多的这件衣服,然后进行比价;有的用户可能只需要找到风格一样的衣服,这就需要结合实际业务场景来处理了。

2.2小红薯的小松鼠:服饰识别是否有服装分类的功能?

邱石_SenseTime:SenseTime 已经实现了这个功能,通过深度学习的方法,我们会把一件服装归为常见的几十个大类中的某一个里面。这个功能可以实现一个比较好玩的应用,比如周杰伦的粉丝在浏览他的照片时,可以根据他的着装进行分类,比如穿夹克的周杰伦、穿正装的周杰伦、穿运动装的周杰伦等等。这方面的应用有着很大的市场需求。

2.3鲁皮皮与西西卡:如果服装设计师用您这个技术来工作,做了一个草图之后先去搜一搜,类似的衣服是不是已经设计出来了,这样是不是就可以避免涉嫌抄袭了?

邱石_SenseTime:一个非常不错的应用方向。消费者和设计师都是图像识别和搜索技术的潜在用户,需要我们学术、技术人才持续关注时尚产业才能推动技术的完美应用。

2.4蘑菇精:这个技术还能做什么?

邱石_SenseTime:通过图像识别技术我们还可以做到图像智能分类的功能,比如很多手机厂商做照片自动归类的一个功能,那么服装其实也可以是一种归类规则,对服装批发、销售、设计、淘宝店主来说,这个功能很实用。

各种技术也给线上广告带来了全新的机会。比如现在刚好有一个明星的电视剧在上映,现在的植入广告其实都挺死板的,也很影响大家观看视频的体验。实际上,明星在剧里身穿的每一件衣服其实都是一个新的广告位,根据播出 站、赞助商、投资人甚至是明星自身的要求,我们都可以对这个广告位所推送的服装进行算法研发。当你看电视剧时,想知道这个衣服是什么款式的时候,我们的算法就能给予识别的结果为你推荐相似款。

3.好技术如何落地?

3.1嘟嘟不乖:为什么是辅助其他识别技术来维持 会治安,而不是主要或者就靠这门技术达到维持 会治安的目的?

邱石_SenseTime:因为维持 会治安所涉及到的图像识别技术并非只是服饰识别。比如在智能安防领域,服饰识别技术可以看作是人脸识别技术的补充,想象一下如果是雨天、雾天、雾霾天的时候,监控无法看清人脸,就可以选择采用服饰识别进行补充跟踪。

3.2伯乐人才 :技术是好技术,这个技术能落地吗?

邱石_SenseTime:技术需要和实际的应用场景相结合才算得上好技术。以图搜图这个概念提出已经很久了,但是它在各个垂直领域都需要很多针对具体场景的适应与优化,才能接近实用的要求。

我们SenseTime 团队现在研发的图像技术,正是将我们之前在通用物体检测和识别的技术,定制化到服饰这个方面来。通过不断的数据积累和算法迭代,我相信这个技术能够满足实际场景的需求。(我个人在这个领域进行过一些算法研发工作,像在2014年ImageNet 比赛中,我所参与的港中文多媒体实验室取得了仅次于谷歌的世界第二的成绩。

Paper:DeepID-Net: Deformable Deep Convolutional Neural Networks for objectDetection)

3.3旧之助:唐嫣穿了假礼服真是万年也洗不了白了,当时的 友也是火眼金睛,像找茬一样就揪出两个礼服照片不一样,鉴定山寨了。所以计算机视觉技术以后能代替人眼智能识别了吗?

邱石_SenseTime:其实从技术的角度来说,计算机视觉技术的识别准确度已经超越人眼了,港中文多媒体实验室、SenseTime的技术实力都能够达到这一点,但这也限于某些特定的领域。 计算机视觉目前在原理上其实是在模拟人类,虽然可以通过深度学习的方法来进行大数据学习,但和从出生开始就在学习的人类相比还是有一定差距的。我们不敢妄谈代替人类,只是在力所能及的范围内让技术发挥更大作用。

3.4小红薯的小松鼠:服饰识别技术在未来会有哪些更好玩的场景?如何与其他识别技术相结合?

邱石_SenseTime:CV技术的想象力是无穷无尽的,SenseTime 也希望能够在多领域进行贴近生活的尝试。未来的服饰识别技术可以成为我们的穿衣顾问,一些对于自己着装品位没有自信的朋友可以通过这种技术找到与你的短袖、裙子、外套等服装最为合适的搭配组合。而与其他识别技术相结合,我们可以做到更多更有现实意义的应用。比如服饰识别技术可以看作是人脸识别技术的补充,当监控中的人脸图像模糊的时候,可以选择采用服饰识别进行补充跟踪。