1.多媒体计算

（1）音频、图像和视频的分析与理解

视频理解旨在通过机器学习的方法对视频中所包含的空间语义信息以及时序动作信息进行分析，并挖掘有用信息以满足不同的实际应用需求。主要的研究方向包括视频表示学习、视频分类、视频描述、基于视频内容的问答等多个方向。在视频内容理解方面，我们研究中心已经有了初步的探索并取得了一系列成果。现已申请国家自然科学基金面上项目一项，与腾讯AI Lab合作横向课题一项，并在国际顶级会议ACM MM，SIGIR上发表多篇相关学术论文。此外，随着金融机构面临着越来越复杂的欺诈风险，传统的风险控制方式已逐渐不能支撑其业务的扩展。利用机器学习对多维度、大体量数据的智能处理，批量标准化的执行流程更能贴合信息发展时代对风控业务的发展需求。我们听音识人团队致力于欺诈语音的识别问题，筛选并提取信访音频中合适的声纹特征对欺诈和清白用户进行区分。我们应用了传统的机器学习方法及新兴的深度学习模型预测用户行为，最终帮助银行降低信贷风险。

（2）服装搭配

服装在人们的日常生活中起着越来越重要的作用。据高盛国际投资公司的调查数据显示：2016年中国在线零售市场在服装、鞋类、配饰等领域的销售总额为1875亿美元。这充分显示了人们对于服装的巨大需求。事实上，除了对服装的一般需求外，越来越多的人们开始注重和追寻穿着的时尚和品味。通常一套服装包括多个物品，如上衣、下衣、鞋子和配饰。因而服装搭配的关键在于各物品之间的兼容匹配程度。然而，并不是每个人都会搭配服装，很多人会为从大量的服装中挑选并搭配出得体的套装而头疼。因此，课题组旨在深入研究有效的服装搭配系统来帮助用户挑选合适的单品来组成套装

（3）基于智能媒体分析技术在电力行业的应用

电力资源是国民经济的基础和命脉，电力系统的安全稳定运行具有重大战略意义。为了实现安全、可靠的供电，电力设备巡检维护自动化和现代化已日益显示出其迫切性。将计算机视觉、深度学习、数字图像处理等前沿智能媒体技术有机结合到电力状态监测应用中，深入研究仪表盘数据的自动识别与获取、配电室内烟火监测、外来生物入侵监测与报警、室外销钉与绝缘子脱落残缺监测以及操作人员异常行为监测等。突破由多源视觉数据智能提取电力设备数字化状态的技术瓶颈，创新电力设备状态监测方案和异常事件检测手段，为电力设备状态监控系统的状态数据获取和生成提供高效可靠的计算理论和方法，实现电力设备故障“看得清”、“看得准”以及“看得全”。从而实现更高层次意义上的无人值守，为新型智能检测安全防护建设提供实用化参考，为电网的安全稳定运行提供保障。

2.智能推荐

推荐系统近年来非常流行，应用于各行各业。推荐系统是一种信息过滤系统，用于预测用户对待推荐对象的“评分”或“偏好”。推荐的目标包括：电影、音乐、新闻、书籍、朋友、餐厅、美食、学术论文、搜索查询、金融服务等各种各样的对象。课题组近5年在国家自然科学基金-面向互联网+智能电视平台的推荐系统研究等项目的资助下，利用深度学习、注意力、存储网络等技术在序列化推荐、上下文敏感的推荐、社会化推荐、视频推荐、服装搭配推荐、兴趣点推荐、多样化推荐、社会化朋友推荐、付费节目推荐、推荐的网络嵌入表示等方面展开大量、深入的研究工作，取得了众多研究成果，在TKDE、TIST、WWW、CIKM、JCST等发表高水平论文30余篇。其中“Neural Attentive Session-based Recommendation”论文获得国际顶级会议CIKM 2017的Best Full Paper Runner-up Award。学科组坚持产学研一体化，理论成果已经在海信智能电视等实际系统中获得应用，取得了巨大的经济效益。

3.数据挖掘

随着Twitter和新浪微博等社交网络的蓬勃发展，人们已经习惯于从这些社交网络中获取信息，并且分享自己的观点，每天有大量的短文本生成。文本聚类是许多文本处理任务的基础步骤，如文档组织、摘要、基于内容的推荐等。因为短文本的稀疏性特点，传统的文本聚类算法难以取得理想的效果。我们尝试研究基于模型的短文本聚类算法，以解决短文本的稀疏性问题，并能够自动发现簇的数目。社交网络中的文本本质上是以流的形式出现的，我们进一步研究基于模型的流文本聚类方法，能够自动发现新的簇，以及删除过期文档，从而应对话题转移问题。在文本聚类方向，我们研究中心已经申请国家自然科学基金一项，并在国际顶级会议ACM SIGKDD，IEEE ICDE上发表多篇相关学术论文。