香港科技大学工学院院长郑光廷：智能硬件是人工智能革命关键驱动力

12月5日—7日，凤凰网财经峰会在北京举行，本次峰会以“破局与新生”为主题，梁振英、尚福林、殷勇、李扬、宋志平等多位政商学界嘉宾出席。

在“2020凤凰网财经峰会”线上论坛上，香港科技大学工学院院长郑光廷表示，硬件与晶片平台在人工智能革命中扮演着非常关键的角色。在某些领域，机器学习跟人工智能演算法能达到的精度，超过了应用所需的精度。比如人脸辨识。这些精度的进展主要依靠的是大数据，但大数据的计算需要大量的计算资源及能耗，只有这些精度更上一层楼，才能开创更多其他新的应用。

郑光廷指出，人工智能和机器学习硬件也不可避免地面临挑战。做人工智能机器学习的算法，训练一个模型需要几个礼拜，甚至更长时间，这意味着市场流失，能效低。市场迫切需要加速人工智能计算，而解决这些问题的关键是设计下一代的人工智能晶片。这种情况下市场就对设计晶片团队提出了更高的要求，新一代人工智能晶片在更高效的同时，要兼顾晶片的效用，增广晶片的用途，以提高市场利用率。

郑光廷还表示，下一代人工智能芯片与硬体要能做大规模、高效率的数据处理。过去所有的计算处理器，都是以计算为中心，也就是要不断做计算，用少量数据支持计算。到了人工智能时代，数据成为主体，以内存为中心的体系结构是未来晶片的新体系结构，过去的结构是用数据去服务计算，未来将变成以计算服务数据。

以下为郑光廷演讲实录：

郑光廷：非常感谢凤凰网的邀请，很高兴出席2020凤凰网财经峰会，我想今天跟大家聊一聊《人工智能晶片未来：企业的芯》。

一、微电子与集成电路

在谈人工智能晶片之前，我想看一下微电子与集成电路这个大方向。

集成电路与微电子是推动全球创新，具有战略地位的一个技术领域。

首先，它是一个非常基础的领域，这代表做芯的长远科研是非常重要。

其次，它的应用非常地广泛，从机器人到消费电子、到人工智能、到汽车、到航空航天、生物医学等等。

如果在这方面能做出好的晶片以及微电子的技术，对于人类跟国家策略影响非常长久和远大。最后，它是一个人才密集的行业。这代表高等教育必须扮演很重要的角色，同时它的门槛非常地高，代表做短线是不行的，必须做长期的科研投入，那么长期经验及技术累积是必需的。

我跟大家分享这张图是美国专利商业局在微电子方面授予的专利。

这个过去大概有五年的时间，美国在这方面还是领先的，韩国、日本、中国大陆跟中国台湾都扮演一定的角色。

中国通过过去十年的投入渐渐开始有一些成绩，但还有一条很长的路要走，中国必须要在这方面投入。不过这个领域很大，而今天我想谈的主要是人工智能硬件。

大家已经看到这些年人工智能的应用，从交通到智慧城市、到金融科技、到医疗保健，到教育，人工智能的应用无所不在。这些应用都是在这个所谓人工智能基础设施上面，包括人工视觉、机器学习、自然语言处理，这些基础设施上面来做应用。而这些基础设施的演算法又是在晶片与硬件平台上面跑。

二、智能硬件

硬件与晶片平台扮演着什么样的角色？

事实上，这些硬件平台在过去五到十年的人工智能革命中，扮演着非常关键的角色。

这张投影片是这些年来，人工智能的应用。在某些领域，机器学习、人工智能演算法能达到的精度，超过它应用所需要的精度。比如人脸辨识、目标测试、自然语言测试等。但这些精度的进展主要依靠的是大数据，而大数据的计算需要大量的计算资源及能耗。所以，这样的精度进展并不是免费的。不过，这些精度还需要更上一层楼，才能开创更多其他新的应用。

继续靠目前的演算法就会需要大量的计算资源，而硬体资源是没有办法支撑人工智能需要精度的承载，所以必要的方向是设计新的硬件、新的晶片，能更配合智能计算的特性。简单讲，就是要改变这条曲线的斜率，能够用比较少量计算资源增加达到更高度的精度增加，这条路所需要的就是设计新人工智能晶片。

目前，人工智能计算的晶片,大部分是仰赖图上这两类的处理器。比如，中央处理器跟图形处理器。

这些处理器都是通用硬件，也就是写好软件的人就在这个通用硬件上面来跑，它们的灵活度很高，但问题是这些通用的处理器，设计硬体的时候不是专门用于人工智能的应用。如果增加它的效能，我们就应该设计像右边这样的专用集成电路、专用更高效的集成电路来配合人工智能的演算法。

在过去五年左右，很多系统公司、应用公司都在走这条路；而从十年前开始，苹果就自己在设计自己的处理器。当然，我们香港科技大学出来的大疆等，也在设计它们的人工视觉芯片。比如，自驾车特斯拉，他们在设计自驾车专用的晶片。在每一个人工智能领域，系统公司都希望设计他们自己的专用晶片来加速其人工智能计算的速度及效能。事实上，不仅是大公司能够做，小公司甚至应用公司、系统公司都希望介入这块领域做专用晶片的设计。

三、人工智能的价值链

人工智能整个的价值链，从应用到软件到硬件。

在应用方面，有各式各样的解决方案，比如在Fintech、教育、健康等方面所需要的解决方案并不一样，而从市场角度而言是非常碎片，需要行业的定制化。

但这些领域需要的人工智能的支撑，所需要的演算法多半来自几家大的公司，比如谷歌、微软、百度，他们会提供算法的平台。

在过去，这些算法就直接架在通用硬件上，比如中央处理器、图形处理器、CPU、GPU上面。这些也是大厂提供的一些平台，比如intel的NVIDIA、AMD的CPU、GPU，当然这些晶片都是在标准的制成技术上面，像台积电、像三星的制作。那我们刚刚谈到要加速人工智能计算这一块，产生了中间这一块专用晶片及加速器的市场，这块市场它事实上是非常新兴的，我们看到过去这五年左右，有非常多的新兴公司，包括大型的国际企业也都加入这一块，在设计下一代的专用人工智能晶片，这个机会无限。

四、人工智能/机器学习硬件面临的主要挑战

第一、做人工智能机器学习的算法，首先是速度太慢。通常训练一个模型需要几个礼拜，甚至几个月的时间。设计这样的晶片周期很长，同时也需要一个很大的团队，常常需要几百个人，甚至几千个人，而这常常意味着市场流失，能效低。

第二、在技术上面，真正的问题是存储墙的问题。在做计算时，计算器跟内存，跟储存、存DATA这两边要沟通，它们的沟通之间的速度没有办法赶上计算的东西所需要的速度，所以这个存储墙面临的挑战越来越大，这是必须解决的。

第三、做出来的模型就是机器学习出来的模型，数据量越来越大，难以存储分发。因此，解决这些问题的关键是设计下一代的人工智能晶片。简单而言，就是要做得更快速，更节能。设计晶片能用小型的设计团队在几个月内完成，同时设计出来的晶片的用途也不要只是为测定用途，能够增广晶片用途来增加市场。

五、下一代的人工智能所需要的技术

简单而言，人工智能芯片与硬体所要做的是能做大规模、高效率的数据处理。人工智能计算演算法的特性是，数据量越来越大，计算量是爆炸性的，但数据量的计算却呈现局部性下降趋势。因为数据量增加，每一个数据都要做计算，所以计算量有爆炸性。然而对于每一笔数据所做的计算，强度事实上是下降的。

比如，我们需要做一个像蚂蚁雄兵一样的晶片，有很多很小的计算体来处理大量计算，每一个计算体去处理一些数据，但它们可以处理的数量总和是巨大的。但每一笔数据所需要的计算强度是很小的。所以不需要去设计一台狮子，虽然能力很强，但是叫狮子去做蚂蚁就能做的事，就是杀鸡用牛刀。

过去所有的计算处理器，都是以计算为中心，也就是要不断做计算，然后用少量数据支持计算。到了人工智能时代，数据成为主体，以内存为中心的体系结构，才能处理大数据。以内存为中心的体系结构是未来晶片的新体系结构，也就是说，以数据去服务计算的结构，变成以计算去服务数据的结构。

另外一个非常重要的方向是，非易失性存储器会起更重要的作用。

在未来的人工智能晶片里，有很多的应用计算可以随时进行，有时候没有电要停下来，但又不希望把过去已经做完的计算完全丢失掉。当没有电或要暂时停止计算时，这个存储器能把目前的状况完全存下来，即使没有电资料也不会流失。很多新兴存储器技术，就是非易失性存储器，它在未来人工智能技术上扮演很重要的角色。

另外一个必须要提的是，在设计下一代的人工智能晶片硬件时，不只是做电路设计，也不是做最新晋的器件。它必须要把算法、器件、电路设计、芯片架构及系统架构整个整合起来做整体的考量，以及做协调一致的努力，比如功能。

如果设计的晶片要放在服务器、放在数据中心的计算系统里，它需要非常高效能，这个高效能就是考量。但是如果你的晶片是要放在移动端，放在传感器，放在物联网里面，那它高效能是主要的考量，这两类的晶片不可能用同样架构，也不可能用同样器件。

第三类的功能，比如做Deep Learning、Neural network，神经形态计算系统。这时规模的扩展性成为最主要的考量，架构的考量远远超过电路设计跟器件的功能。比如，需要客制化。

但客制化前先要想使用的场景与使用的特性，然后才能进一步决定体系结构层次的考量。另外，在器件上的考量也是根据需求功能。根据需求架构来做配合，在这方面我刚才也有提到，如何探索新兴非易失性存储器的适用性跟具有高效的利用性有非常多的新兴的存储技术来做配合。

最后，我强调重点在于，设计下一代人工智能晶片内存储存器、计算处理器。

还有在它们彼此之间的互联，必须做到无缝的异构集成，那这种集成本身就是一个最高指导原则跟技术。那了解决这些问题，绝对不是单一领域的人或是专注做电路设计的人能够完全开发出来。

因这样的需要，香港成立了香港智能晶片与系统研发中心。而这是由香港科技大学、美国斯坦福大学、美国伊利诺伊州香槟大学、香港中文大学以及香港大学五所大学共同创立的一个智能晶片研发中心。

我们的展望是希望能够支撑无所不在的人工智能。将来人们穿的衣服、戴的戒指、戴的珠宝、戴的手表、跑步的鞋子等，所有的物联网器材里面都可以存在人工智能的功能。

达到这个愿景的晶片与硬体，第一，它要非常地小，第二，它的性能与效能要提升比现在最少是三个数量级以上。

另外一方面，因为它的应用这么广，它客制化要求这么高，我们必须要能够加快设计这类人工智能晶片的效率，缩短从设计到量产的时间，不然无法赶上市场的需求，那设计成本也会过高。

达到这样的展望，人工智能设计中心大概有四大策略：

第一个，将一些新兴的技术跟目前主流硅晶片做无缝集成。

这些新兴的技术包括，要探索新兴存储器的技术、硅光子技术，就是Silicon photonics技术，还有3D的Stacking技术，3D堆叠技术。这些技术结合目前硅、芯片的技术，让它们做异类集成，这是未来人工智能必须走的一个方向。

第二个，以内存为中心的晶片结构。

第三个，人工智能设计自动化的工具与设计方法。

因为你一定要加快这个设计的时程，一定要有新的工具，也一定要有新的设计方法，来减少设计的人力跟设计的时间。

最后一点，我要提的就是算法与硬件的协同设计跟协同优化。

目前，在做人工智能跟机器学习算法时，我们是把它写成软体，然后在通用硬体上面，比如中央处理器、图形处理器这些通用硬件平台上来跑。这个就可以看出来说，两个颜色，上面软体是灰的，下面硬体是红色的。我们现在所做的这个人工智能晶片都是定制硬件加速器，让硬件来配合演算法跟人工智能计算的特性，这样能提供10到100倍可能优化的空间。

接下来，因为硬件也有瓶颈，我们可以改变软体的算法，因为同一项工作可以用不同的算法去做，然后我们来看看硬件上面的瓶颈，进而来调整软件。这样从硬件上面去定制软件，软件再来配合硬件的调整，又可以增加一到两个数量级可能的优化。

经过这样反复的优化，我们就可以做出特制化的晶片，比如专门为计算机视觉做出来的晶片，在这个图上看到的每个椭圆形画出来的就是一个结合演算法跟硬体的一个加速器。在机器学习上面也可以有一个特定的加速器，在自然语言处理上面有个加速器，这样可以提供我们两到四个数量级可能的优化空间，这就是我们做下一代人工智能的一个策略。

根据这样的一个想法，我们定出来的目标、科研计划及设计的动因，组成了一个具有高度互补性而世界一流的专家团队，总共带有超过25个教授跟世界级的专家。他们是不同领域的专家，有些人是专门做电路设计的，有些人是器件上面的专家，有些人是算法上面的专家，有些人是计算机体系结构的专家。我们会组织一个超过100个人的团队，招收资深的研究人员、博士后、不同的工程师，希望能够在这个领域做更大的贡献。希望在人工智能晶片与硬件的设计上面，能有新的创新，做出更快速、更节能、更具拓展性，进而让小型的设计团队在很短时间内就能高效完成的设计。

专题：全球经济如何破局？梁振英15分钟重磅演讲、多位省部级领导建言献策