首页

创造营二次公演结果

防止被算力“『锁』死” AI进化急需革命性算法

时间:2020-08-07 18:07   作者:Sanqian   浏览量:99716

全球网上博彩排行榜【欧宝娱乐信誉平台www.obob7.com】瓦伦西亚独家代言信誉平台:9005人送赞!全球网上博彩排行榜【欧宝娱乐信誉平台www.obob7.com】瓦伦西亚独家代言信誉平台:9005人送赞!

全球网上博彩排行榜【欧宝娱乐信誉平台www.obob7.com】瓦伦西亚独家代言信誉平台:9005人送赞!全球网上博彩排行榜【欧宝娱乐信誉平台www.obob7.com】瓦伦西亚独家代言信誉平台:9005人送赞!

全球网上博彩排行榜【欧宝娱乐信誉平台www.obob7.com】瓦伦西亚独家代言信誉平台:9005人送赞!

  防止被『算』力“锁『死』” AI进化急需革命『性』算法

  “『深』度学习所需『的』大规模样本『数』据对于算『力』产生『巨』大『需』求,但近日美国麻省理工学『院』等『研』『究』机构『的』报告显『示』,深度学『习』正在『逼』近算力极『限』,而『提』升算『力』所需的硬件、成本『和』对于环境的『影』『响』正变『得』『越』来越难『以』承受……”

  『美』国麻省理『工』学院、安德伍德国『际』学『院』和『巴』西利亚大学的研究『人』员在最近的一项研究中发现,『深』度学习的进步强烈地依『赖』于计算的增『长』。其结『论』『显』示,训练模型的『进』步取决『于』算力的大幅提高,具『体』来说,计算能『力』『提』高10『倍』相『当』于3年的算法改进成『果』。大『量』『数』据和算力是促『进』人工智能发展的重要因素,但『是』研究人员『认』为,深度学『习』『正』在『逼』近算力极限。换言之,『算』力『提』高的『背』后,其实现『目』标所隐含『的』计『算』需求——硬件、环境和金钱等成本将变得无法承受。

  『研』究人员表示,『深』度学习『急』『需』革命性『的』算『法』才『能』让AI『更』有效地学习,并『越』『来』越像人『类』。『那』么,为『何』深度学『习』算『法』十分依赖『算』力的『增』长,现『在』算力的极限在哪里,『如』何『突』破?除『了』算『力』,『深』『度』学习还能否依『靠』其他『方』式改进算法『性』能?『革』『命』性算法『的』标准是『什』『么』?

  大『规』模样本数据催『生』计算『需』求

  “『深』度学『习』本质上『是』基于统『计』的科学,所以『大』规『模』『的』样本数据对于『深』度学『习』『的』效果『至』关重要。更大规模和更『复』杂的神『经』网络模型已经被证明非常『有』『效』,『并』在『产』品中有广『泛』的『使』用,『同』时『这』『也』『让』深度学习对计『算』能力有着更大要『求』和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗『洲』表示。

  人『工』智能设计之『初』,『并』没有考虑节能原则,『只』要『有』足『够』的算力和电力,算法就可『以』一直跑下『去』。

  2019年6月,美国马『萨』诸塞州大学阿『默』斯『特』分校的『一』份报告『显』示,训『练』和『搜』索『某』种模型所『需』的电量涉及约626000磅『二』氧化碳『排』放量,这『相』当于美国『普』『通』汽『车』使『用』寿命内『排』放量『的』近5倍。『此』外,优越『的』灵活『性』『使』深度学习可以很好『地』建立『不』同的模型,『超』越『专』家『的』模型,但也带来昂贵的算『力』成本。『深』度学习需要的『硬』件负担和『计』算次数,『背』『后』消耗的是巨额资金。

  一份业内报告显示,华『盛』顿大学的Grover假新闻检测模型两周内培『训』『费』用约『为』25000美『元』。另据『报』『道』,著名『人』工智能非『营』利组织OpenAI花费高达1200万『美』元训练其GPT-3『语』言模型,而GPT-2语『言』『模』型,『每』小时『训』练花费则达到256美元。

  『改』进算『法』降低对计算平台要『求』

  『实』『际』上,『算』力『一』直在提高。OpenAI一项研究表明,『自』2012『年』以『来』,每16个月『将』AI模型训『练』到ImageNet(一个用『于』视觉对象『识』『别』软件研究的大型『可』视化数据『库』)『图』『像』『分』『类』『中』,相同性能模型所需的『计』算量『就』减少了一半;『谷』歌『的』Transformer架构超越了『其』『之』前『开』发的seq2架『构』,计算量减『少』了61倍;DeepMind的AlphaZero与该系统的前身AlphaGoZero『的』改进版『本』相匹配,其计算『量』也减『少』了8倍。

  『有』『网』友『提』『出』,现在的硬件算力提『升』有些误区,不一定非『得』『在』单位面积上堆更『多』的『晶』『体』管,我们需『要』『更』好的框架来支持底层计算条件及相『应』的硬『件』『改』进。理想情况下,用消费级的GPU就能『运』行很多深度模型。

  “『人』『们』对深度学习的性能或结果的要求越来『越』高,随之对于算力『的』需『求』也『越』来越大。要『让』『算』『力』增『长』或『突』破,从『算』『法』层面,首先可以优『化』并行计算,有效利用多机多核的计算『能』力,灵活满足各种需求。同时,『相』对于传统的『基』『于』『单』『机』『编』写的程序,『如』果改写为多机多『核』的并行『程』序,『能』够『充』『分』利用其CPU『和』GPU(或AI芯片)的资源,将使运行效率『大』幅度提『升』。”西安电子科技大学『电』子工程『学』『院』教授『吴』家『骥』表『示』。

  除了『算』『力』,深『度』学习『本』身还可通『过』『哪』些方式改进算法?吴『家』骥介绍,深『度』学『习』『都』是『在』异构硬件上『运』行,大数据『进』入时,需要分流处理,从算法上来看,可以调度优化,让异构架『构』(CPU、GPU、AI芯『片』)『因』地制宜『地』『调』度『深』度学习和大数据处理业『务』。

  吴家『骥』指出,未来『可』能很长一段时间内,对『深』度算『法』『的』改进,不仅『要』『从』『架』构、硬件上考『虑』,还要『考』虑『模』型的压缩『能』力。例如,『就』具体问题而言,『考』『虑』『如』何把大象关进冰箱,但问题『是』『冰』『箱』关『不』『了』大象,『但』若把大象压缩成小猫小狗的大『小』,就可『装』入『冰』箱。这就需要模型压『缩』,『在』『保』『证』『精』『度』的前『提』下,压缩神经网络模型,降低『对』计算平『台』的『要』求,大大提高计『算』效率,满足『更』多的实际场景需求。

  『研』究人『员』『认』为,在算『法』『水』『平』上进行『深』度『学』『习』『改』『进』已『有』先例。例如谷歌的张『量』处『理』单『元』,现场可『编』『程』『门』阵列和专用集成电路,并试图通过网络压『缩』和加速『技』术来『降』低计算复杂性。他『们』『还』引用了神经体『系』结构搜索『和』元学『习』,查『找』『在』一类『问』题上保持『良』好性能的体『系』结构,以此『作』为计算上有效『改』进算法的途『径』。

  『算』力『增』长未必会『让』AI拥有类人『智』力

  无疑,『算』法突破『的』目的『是』让机器更『像』人类『大』脑一样具『有』『神』经元的功能。但就功耗而『言』,『大』脑要『像』超级计『算』机那样运算,自身温度就会『飙』升『上』百摄『氏』『度』,所以若『简』单认为『更』『多』的计算能力就可『让』人工智能拥有人类『智』能的想法『显』然是存在争议的。

  “人类的『智』能中基因与常识『是』机『器』『所』不『具』『备』的,其中『基』因是不需要计『算』『的』,常识是『可』以通过简单『计』算实现的。”『谭』茗洲指『出』。

  “常识『决』『定』了基本能力、发现力和创造力,而『具』有『常』识能力,是更先进意『义』上『的』人工智能。『革』『命』『性』的算法,就是要让AI具备『拥』『有』学『习』『常』识『的』『能』力,这也是未来『一』个『很』有潜力『的』研究方向。”吴家骥说。

  有人说,深度学『习』『大』『多』数是“炼金『术』”,大多数算法『是』对经验更朴『实』的归纳,对『说』的问题进行更精辟『的』演『绎』。谭茗洲说:“现在数『据』非常多,『算』力也在增强,人们依赖『深』度学习『提』升AI『智』『力』,但‘『傻』学硬练’形成更强的学习方法,很难达到或超越人类的算力及『智』力。”

  那么,革命性算『法』的标准是什『么』,为什『么』优于深度学习的算『法』迟迟没出现?

  『谭』茗『洲』『认』『为』,『革』命算法『的』标『准』『首』先是在不同场景具有高适『应』度,可以形成知识『记』忆和经『验』记忆的算法,并『且』『低』耗能低『成』『本』。『未』来革命『性』算法有可能『基』于三点『提』升,一是『基』于常『识』推『理』。由于『我』们面对的『大』量『场』景不是通过『大』量数据『训』『练』而『来』,人类大『脑』面对这些场景往往是『通』过常『识』推理『运』算而得『出』结『论』,而深度学习『并』『没』有建立这套体系。另外,常识和常识『之』『间』的关联性,加速了人『类』对结『果』的推『理』『速』度。二是基于『负』性『小』『样』本『的』学习。在深度学『习』模型中,往『往』很『少』去学习什『么』是错『误』『的』,而汲取负面行为及教训『性』质类型的小『样』『本』是有学习意义的。『三』『是』『基』于交『流』、沟通『的』学习,人与人交流在『学』习『中』分几『个』层次,看、听、模仿等,AI『也』应多『从』这几『个』方面入手,建立以交『通』、『沟』『通』为目『的』的学习,而『不』是单『单』通过大『数』据训练模仿人『类』『智』能。

本报记者 华 凌
【编辑:『陈』海峰】

展开全文
相关文章
地铁换乘站人多

2020-08-07 18:07

和平精英出生岛怎么去

2020-08-07 18:07

符合科创板适当性条件

2020-08-07 18:07

一加7pro伦敦发布会

2020-08-07 18:07

购买18件衣服退货事件

2020-08-07 18:07

相关资讯
热门资讯