导语: 人体模特汤加丽 人体模特汤加丽
东谈主类视觉系统(HVS)的谋划发现,东谈主们在不雅察视频图像时,民俗把大部分重意见蚁合在视觉聚焦点周围的小畛域区域内,并赋予这个区域很高的永诀率,而聚焦点外的畛域则以较低永诀率呈现,这种揣测视觉珍贵区域的经过就叫权臣性检测。北航国酬酢叉科学谋划院、电子信息工程学院徐迈副阐明的谋划团队开展了视频和图像权臣性检测模子的谋划,后果现已发表至《IEEE Transactions on Image Processing》、《International Conference on Computer Vision (ICCV)》、《Computer Vision and Pattern Recognition (CVPR)》等国外枢纽期刊与会议上,并在多媒体通讯畛域内引起鄙俚好评。
谋划布景:通讯谈路的“拥挤”
科研是为创造更好的异日,其灵感也源于试验生涯的不及。通过智能末端赏玩视频资源,依然成为东谈主们正常生涯中必不成少的法子。用户对取得更高清视频需求在日益增长,使得通讯行业的热门,聚焦在了奈何完了海量高清音像视频数据更高效地传输。
视频通讯畛域的瓶颈在于跟着超高清视频与全景视频的发展,网罗需要传输的数据量在欺压彭胀,然而传输数据的带宽却是有限的。正如空间有限的公路上行驶的车越来越多,容易激励谈路拥挤。当下,有限带宽下的视频高效传输,已成为通讯行业亟待处理的问题。
灵感开始:前沿热门的和会人体模特汤加丽
徐迈安分过甚课题组的谋划深嗜深嗜为视频通讯与图像处理,他们在谋划压缩编码的经过中受东谈主工智能和机器学习的启发,通过谋划东谈主类不雅看视频的用户体验,为视频压缩提供了新的处理念念路。东谈主类视网膜相等于以亿为单元像素级别的高清相机,东谈主在不雅察视频图像时有一种聚焦“Attention(珍贵点)” 的机能,或者进展“删繁就简”的功能智商,关于呈现给视觉的场景,只好咱们珍贵的地方会很明晰,而周围则会出现相对弄脏的情况。
受到启发的徐迈安分过甚课题组斗胆提议假定:要是为打算机赋予东谈主的视觉机能,压缩视频数据时在东谈主们视觉珍贵度高的区域分派更多的编码资源,使得视频压缩后仍或者达成东谈主们视觉体验上高质料的效果,同期在周围爽气编码资源。鉴戒“Perceptual Video Coding(感知视频编码)”的“感知”本事,徐安分鼓动这一新的谋划地方:建造东谈主在视频图像中的珍贵区域揣测模子,以揣测视频图片场景中的视觉珍贵蚁合域。
谋划拓展:年青团队的融合
亚州色图为了探索出东谈主类视觉珍贵区域的模子,徐迈安分教导团队伸开谋划。团队中最小的成员为又名大三年级的本科生,徐安分说:“学生的深嗜深嗜与个东谈主智商,才是开展科学谋划的关节身分”。因此在徐迈安分的团队中,学生年岁呈现年青化的性情。
谋划团队通力融合,从数据启程,利用机器学习次序挖掘东谈主体视觉领略规则。团队邀请多位被试者走进实验室,记载被试者不雅看视频时珍贵区域的限度数据,以本色汇集到的数据为运转,专揽扶持向量机和深度学习次序建造机器学习模子,完了视频珍贵区域的揣测。
徐迈安分团队视频权臣性检测的谋划后果,不但能应用于视频图像压缩,还或者应用于多种畛域,如对网页和展示排版想象畛域提供指引,通过合理安放图标、翰墨,搬动配图、配色,不错达到最猛进度劝诱视觉重意见的计算。而徐迈安分团队的下一步谋划重心,将尝试拓展至具有“交互性、千里浸式”性情的全景视频簇新畛域。团队也将征询与其他科研团队的融合决策,完了多学科之间互相交叉谋划。
策动/案牍:秦煜瑶、张金星
外文剪辑:刘昕睿
想象:秦煜瑶 本事:曹嘉辉
鸣谢:国酬酢叉科学谋划院、电子信息工程学院徐迈副阐明
编审:学派网站总编总管使命室
投稿:geoos@buaa.edu.cn