当前位置:首页 >科技 >

网易互娱AI Lab荣获国际视觉大赛两项冠军,助力游戏贴图资源自动升级

来源:艾肯家电网   2022-05-09 17:48:40

近日,图像修复领域最具影响力的国际顶级赛事——New Trends in Image Restoration and Enhancement(NTIRE)结果出炉,网易互娱AI Lab包揽了高动态范围成像(HDR)任务全部2项冠军。NTIRE比赛每年举办一次,目前已是第七届,主要聚焦图像修复和增强技术,代表相关领域的趋势和发展,吸引了众多来自工业界、学术界的关注者和参赛者,有着非常大的影响力。今年NTIRE比赛在计算机视觉领域的顶级会议CVPR 2022(Computer Vision and Pattern Recognition)上举办。

高动态范围成像(HDR)任务的赛道1和赛道2分别有197个队伍、168个队伍报名参加,其中工业界的队伍包括:腾讯、旷视、小米、快手、京东方、Tetras AI等,学术界的队伍包括:清华大学、中科院、中国科学技术大学、上海交通大学、中山大学、爱丁堡大学、帝国理工、阿德莱德大学、新南威尔士大学、南丹麦大学等。网易互娱AI Lab从众多的强队中脱颖而出,一举斩获该任务的全部2项冠军。这是网易互娱AI Lab夺得多项国际冠军后,再次登顶国际AI竞赛,展现了网易互娱AI Lab在人工智能领域的综合实力。

图1:NTIRE 2022比赛图1:NTIRE 2022比赛

高动态范围成像(HDR)任务是从存在噪声、过爆/欠曝区域等的多帧输入图像中,恢复一张HDR图像。此次比赛的目标是探索高效的HDR模型和技术方案,以达到实用化的使用需求。总计有共两个赛道:(1)保真度赛道:在限定模型的计算量(小于200G GMACs)的基础上,尽可能取得更高的保真度,评价指标是PSNR-μ;(2)低复杂度赛道:在超过基线模型指标(PSNR-μ与PSNR)的基础上,尽可能取得更低的计算量和更少的耗时,评价指标是GMACs。

由于任务的两个赛道均要求训练高效的HDR模型,网易互娱AI Lab团队凭借以往对low-level视觉任务和轻量化网络设计的经验积累,在基线模型的基础上,提出了一个Efficient HDR网络,包括高效的多帧对齐和特征提取模块两个模块,同时优化了模型的训练方法。

(1)在多帧对齐模块,采用Pixel Unshuffle操作在增大感受野的同时减少了特征图的大小,大幅减少了后续的计算量。同时,采用深度可分离卷积替代对齐模块中的普通卷积,大幅提高运算效率。

(2)在特征提取模块,采用深度可分离卷积替代普通卷积,SiLU激活函数替代ReLU,设计了一个高效残差特征蒸馏模块(Efficient RFDB)。另外,探索了网络深度与通道数目之间的关系,在限定计算量下层数更深且通道数少的特征提取网络,可以获得更高的评价指标。

(3)在训练方法上,在常规的128x128图片输入L1 Loss训练后,采用了256x256更大尺寸输入+L2 Loss进行训练调优。最后,使用基于SwinIR搭建的Transformer模型作为Teacher模型,对前述CNN模型进行蒸馏,结合CNN和Transformer各自的优势进一步提升模型效果。

图2:技术方案图图2:技术方案图

赛道1中,网易互娱AI Lab(ALONG)提出的方法在PSNR-μ和PSNR上均是第一。如表1所示,主要评价指标PSNR-μ比第二名高出了0.172,而第二到第四的PSNR-μ差距仅为0.089,相比第五名之后的队伍更是拉开了0.45以上的差距。

赛道2中,网易互娱AI Lab(ALONG)提出的方法取得了最低的计算量(GMACs)和最少的参数量(Param)。如表2所示,在超过基线方法PSNR和PSNR-μ的基础上,减少了约40倍的计算量。相比第二名和第三名有较大领先,仅使用了约一半的计算量。

表1:赛道1(保真度赛道)结果排名

表2:赛道2(低复杂度赛道)结果排名

此前,网易互娱AI Lab已经将比赛中相关技术的应用于游戏贴图资源升级中,实现对游戏贴图、UI等资源的精度和细节的提升,目前已应用于多个游戏项目当中,为美术节省了大量制作时间。此外,网易互娱AI Lab研发了一套智能的游戏贴图资源升级工具——iPixel,用户输入一张待处理的贴图资源,便可以针对性的对图片进行无损放大和增强,iPixel还可以消除噪点并恢复图像中的细节,让图片看起来更加清晰。同时,该工具所提供自定义全图和局部处理功能,可以更好的帮助使用者优化细节,以满足不同贴图不同程度的优化需求。

网易互娱AI Lab成立于2017年,隶属于网易互动娱乐事业群,是游戏行业领先的人工智能实验室。目前所研发的技术已应用于网易互娱旗下多款热门游戏,如《梦幻西游》、《哈利波特—魔法觉醒》、《阴阳师》、《大话西游》、《荒野行动》、《明日之后》等等。

相关文章

猜你喜欢

TOP