科普:美图相机的夜景处理为什么会需要FPGA加速平台雪湖科技?

科普:美图相机的夜景处理为什么会需要FPGA加速平台雪湖科技?

2019年06月05日 16:02:38
来源:热度经济观察

在漆黑的夜晚如何才能拍出清晰的照片?尤其是自拍?这几乎是困惑每一个自拍爱好者的难题。然而,这些问题在被称作自拍神器的美图手机上都迎刃而解,曾有LOFTER女摄影师@纪懵懵 亲测表明,美图手机,夜景也能拍美。

一般而言,由于光圈、感光元件的缺陷,手机拍夜景往往是各种噪点、画面黑。为此,美图手机包括增加前置智能补光灯、智能降噪技术、OIS光学防抖等一系列措施,以保证画面的纯净度。

尤其是2018年发布的新款手机T9,特别升级了云处理智能降噪技术,在降噪速度上进行了指数级倍数的优化。据了解,T9采用的是FPGA云端加速技术,由其投资的FPGA加速平台雪湖科技研发。根据介绍,该技术已经在美图T9的夜景相机中应用,使用者拍完夜景照片之后可以向云端发起处理请求,利用深度神经网络智能去除照片中的噪点。美图工程师表示该方案相比传统服务器硬件,速度提升达30倍。

平常科技互联网圈里,经常接触人工智能、神经网络之类概念,但相比之下FPGA出现的几率则相对较少。到底什么是FPGA?其应用前景如何?根据资料介绍,FPGA(Field-Programmable Gate Array)即现场可编程门阵列,通俗来说,它是一种可以改变功能的芯片,用户可以通过编程实现不同的电路功能。与传统服务器硬件相比,FPGA具有效率更高速度更快功耗更低优点,更适用于复杂多变的数据中心等应用。

除了这次美图T9演示的夜景相机,此前在美图秀秀中已经见过的手绘自拍和Andy绘画机器人,实际也是用了云端处理的方式。为什么要用云端服务器而不是手机本地硬件进行这些操作呢?

美图影像实验室MTlab(mtlab.meitu.com)对此解释:这些年我们积累了很多尖端的图像处理算法,大量用到了深度神经网络技术,但是在具体应用时发现神经网络的计算量非常庞大,手机上做这个计算不论从硬件性能、内存容量,还是从计算时间都完全无法完成。当今手机上搭载的芯片,至少要提升上百倍性能才能满足要求。如此一来,为了保证图片处理效果,云端处理就成了一个解决方案。

null

现在,美图手机全新采用FPGA计算平台代替传统服务器,将神经网络固化到FPGA中,虽然同样是云端处理,但是运算速度提升了约30倍,并且更加省电,综合性价比更高。相比传统方案,FPGA更省电,经测试在相同计算量下,FPGA功耗是传统解决方案的十分之一,而在在相同功耗下,性能至少可以提升10倍。

据MTlab测算,相同的处理任务,用FPGA云端处理只需几秒,而用手机本地硬件的话可能要花一分多钟。而且此时手机处理器是全速运行状态,系统反应会变慢,对电池的消耗很快,用户体验也会很差。同时,FPGA本质是个通用计算平台,可以执行各类运算任务,尤其当前流行的神经网络计算。MTlab也表示未来会在美图产品中开放更多的云端处理功能。

此外,FPGA对美图方面来说还有一个重要的意义,就是为其未来的MT-AI芯片做前期验证,这可以大大加快芯片的研发进程。据悉,MT-AI芯片将会集成在美图手机中,大幅加速人工智能计算,并且降低功耗。

据悉,美图公司所采用的FPGA计算方案由其投资的雪湖科技提供。雪湖科技是一家面向人工智能、智能车载、智能家居、金融计算、工业控制、军工航天、生物医药、气象研究等不同垂直行业场景,专注异构计算和FPGA应用技术的开发,为客户提供一站式FPGA加速技术解决方案,以求解决人工智能应用落地的“最后一公里”问题的FPGA加速平台。

null

团队具有20年以上的异构计算开发经验,开发过大量基于FPGA的数值计算算法,具有极强的异构计算开发移植、算法重构、算法优化、架构优化能力。