黄色网址在线观看,99伊人,超碰免费在线,91精品久久久久久综合五月天

      1. <wbr id="so4gw"><ins id="so4gw"></ins></wbr>
      <u id="so4gw"></u>
      <video id="so4gw"><input id="so4gw"></input></video>
          <u id="so4gw"><bdo id="so4gw"><strong id="so4gw"></strong></bdo></u>
          <u id="so4gw"><bdo id="so4gw"><strong id="so4gw"></strong></bdo></u>

        1. <wbr id="so4gw"><ins id="so4gw"></ins></wbr>

          佛山新聞網(wǎng)

          佛山論壇-公益網(wǎng)站
          分享互聯(lián)網(wǎng)新鮮資訊
          佛山論壇資訊網(wǎng)-佛山地方門(mén)戶網(wǎng)_新聞時(shí)事,奇事,新鮮事

          對(duì)話女性科學(xué)家林詠華:AI終極目標(biāo)就是取代人類,現(xiàn)在“踩剎車(chē)”太早

          更新時(shí)間:2023-07-17 17:17:35點(diǎn)擊:

          對(duì)話女性科學(xué)家林詠華:AI終極目標(biāo)就是取代人類,現(xiàn)在“踩剎車(chē)”太早

          《AI未來(lái)指北》欄目由騰訊新聞推出,邀約全球業(yè)內(nèi)專家、創(chuàng)業(yè)者、投資人,探討AI領(lǐng)域的技術(shù)發(fā)展、商業(yè)模式、應(yīng)用場(chǎng)景、及治理挑戰(zhàn)。

          文 / 騰訊科技 蘇揚(yáng)

          被譽(yù)為“深度學(xué)習(xí)之父”的杰弗里·辛頓75歲了,今年的智源大會(huì)閉幕式上,他發(fā)出感慨,“我已經(jīng)老了,未來(lái)交給年輕人”。

          他說(shuō),“我所希望的是像你們這樣年輕有為的研究人員,去想出我們?nèi)绾文軌驌碛羞@些超級(jí)智能,使我們的生活變得更好,而不是被它們控制?!?/p>

          辛頓的此番感慨流露出兩層含義:其一,計(jì)算機(jī)科學(xué)的發(fā)展完整的經(jīng)歷了一代人,現(xiàn)在是交接班的時(shí)候了;其二;計(jì)算機(jī)科學(xué)的發(fā)展是一個(gè)漫長(zhǎng)的過(guò)程,通往服務(wù)人類的超級(jí)人工智能時(shí)代,需要無(wú)數(shù)的后來(lái)者上下求索。

          辛頓之前,包括約翰·科克、佛瑞德·布魯克斯、道格拉斯·恩格爾巴特在內(nèi),大批計(jì)算機(jī)科學(xué)先驅(qū)悄然“離場(chǎng)”,辛頓之后,又有楊立昆、約書(shū)亞·本吉奧、莎菲·戈德瓦瑟等一批“年輕一代”科學(xué)家走向臺(tái)前。

          其中,以莎菲·戈德瓦瑟為代表的女性科學(xué)家,已成為這項(xiàng)前沿科學(xué)不可或缺的力量,林詠華就是我所認(rèn)識(shí)的女性科學(xué)家中的一位。

          林詠華是智源研究院副院長(zhǎng),兼總工程師,從業(yè)超過(guò)20年,就職IBM期間力推人工智能系統(tǒng)創(chuàng)新,也是IBM全球杰出工程師。

          圖為智源研究院副院長(zhǎng),兼總工程師 林詠華

          對(duì)于今天“萬(wàn)模大戰(zhàn)”,林詠華回想到了上一個(gè)被追捧的“AI時(shí)代”,她說(shuō)“今天我們看到的場(chǎng)景,10年前計(jì)算機(jī)視覺(jué)領(lǐng)域就曾經(jīng)出現(xiàn)過(guò)?!?/p>

          計(jì)算機(jī)視覺(jué)的創(chuàng)業(yè)潮,在2017年進(jìn)入巔峰,但是在2020年之后進(jìn)入谷底,而對(duì)于這樣的潮起潮落,林詠華說(shuō),“10年前,資本、創(chuàng)業(yè)團(tuán)隊(duì)對(duì)AI在計(jì)算機(jī)視覺(jué)領(lǐng)域的‘刷榜’過(guò)度追捧,但過(guò)去10年它的產(chǎn)業(yè)落地沒(méi)有想象得繁華,行業(yè)拓寬速度不斷放慢。”

          在林詠華看來(lái),今天以大模型為代表的這波創(chuàng)業(yè)浪潮,大家要思考的是“如何讓它保持上升的走勢(shì),而不是潮起后很快走向潮落。”

          過(guò)去,林詠華在IBM做小模型的研究,她說(shuō)2-3天就可以完成一個(gè)幾百萬(wàn)、甚至是上千萬(wàn)參數(shù)模型的訓(xùn)練,但今天動(dòng)輒百億、千億參數(shù)的模型規(guī)模,試錯(cuò)成本則太高,很難在初期預(yù)測(cè)2-3個(gè)月后的結(jié)果,也難以在訓(xùn)練過(guò)程中做大幅修正,林詠華把這個(gè)形象比喻為“船大難掉頭”。

          針對(duì)時(shí)下最具爭(zhēng)議性的“人工智能取代論”,林詠華的看法非常激進(jìn),她說(shuō)“10年前,我們推出的“AI for AI”的平臺(tái)產(chǎn)品,目的就是替代算法工程師”,林詠華認(rèn)為藍(lán)領(lǐng)被替代的節(jié)奏反而慢于白領(lǐng),也就是腦力勞動(dòng)者的崗位更容易被替代。她舉例說(shuō)道,“一個(gè)10毫秒可以檢測(cè)出來(lái)的物體,機(jī)器手需要幾秒鐘才能完成抓取,效率遠(yuǎn)不如人工,屬于典型的‘肉體趕不上靈魂’”。

          而對(duì)于計(jì)算機(jī)的未來(lái)和年輕人,林詠華則鼓勵(lì)更多的年輕人強(qiáng)化AI+X的能力,探索AI在各個(gè)專業(yè)領(lǐng)域可以帶來(lái)的變革。與此同時(shí),她也呼吁更多女性加入到人工智能的研究當(dāng)中,“人類智慧的發(fā)展,其實(shí)就是兩性共同構(gòu)建過(guò)程。女性的思考和角度,必然會(huì)驅(qū)動(dòng)AI技術(shù)發(fā)展的更為完整。她說(shuō),自己最近一直在思考如今的大模型已經(jīng)開(kāi)始有類人類的認(rèn)知,如何在基礎(chǔ)模型的訓(xùn)練過(guò)程中,就能把人類的真、善、美注入到AI大模型中,而不是靠訓(xùn)練到最后的價(jià)值觀對(duì)齊?

          以下為文字精華版,在不改變?cè)敢獾那疤嵯掠袆h減調(diào)整:

          01 AI潮起潮落,10年一個(gè)周期

          騰訊科技:林院長(zhǎng),今年生成式AI爆火,業(yè)內(nèi)經(jīng)常提起“萬(wàn)模大戰(zhàn)”這種形象的比喻,它的關(guān)注度堪比互聯(lián)網(wǎng)領(lǐng)域的團(tuán)購(gòu)、網(wǎng)約車(chē)大戰(zhàn),人工智能也進(jìn)入了競(jìng)爭(zhēng)激烈的紅海階段了嗎,過(guò)去又經(jīng)歷了哪些關(guān)鍵階段?

          林詠華:ChatGPT出來(lái)之后的這半年,讓我想起大概十年前,也就是2013年-2015年ImageNet時(shí)代,它屬于上一個(gè)被追捧的“AI時(shí)代”,這個(gè)階段,深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)推動(dòng)了計(jì)算機(jī)視覺(jué)的快速發(fā)展。

          *2012年,Hinton與其學(xué)生Alex Krizhevsky憑借AlexNet奪得當(dāng)年ILSVRC冠軍,Alex Krizhevsky(中)、Geoffrey Hinton(右)來(lái)源:medium

          當(dāng)時(shí)ImageNet比賽“ILSVRC” ,每年的比賽結(jié)果都大幅度超越前一年的記錄,直到2015年,ResNet(殘差神經(jīng)網(wǎng)絡(luò))的錯(cuò)誤率降低至3.57%,已經(jīng)低于同類實(shí)驗(yàn)中人眼識(shí)別5.1%的錯(cuò)誤率,當(dāng)時(shí)業(yè)界的共識(shí)是深度學(xué)習(xí)為計(jì)算機(jī)視覺(jué)打開(kāi)了一扇巨大的“機(jī)會(huì)之窗”,就像今天ChatGPT問(wèn)世,大家普遍認(rèn)為可以打開(kāi)AGI的大門(mén)一樣。

          編注:ImageNet項(xiàng)目是一個(gè)大型視覺(jué)數(shù)據(jù)庫(kù),2010年以來(lái),ImageNet項(xiàng)目每年舉辦一次軟件競(jìng)賽,即ILSVRC,比賽使用1000個(gè)“整理”后的非重疊類別,每個(gè)類別1000張圖像,參數(shù)軟件程序比拼正確分類和檢測(cè)目標(biāo)及場(chǎng)景。

          也就是在這個(gè)階段,一批AI團(tuán)隊(duì)加入到創(chuàng)業(yè)大潮當(dāng)中,備受VC追捧,當(dāng)時(shí)這些團(tuán)隊(duì)都紛紛基于ResNet定制修改推出了自己的卷積神經(jīng)網(wǎng)絡(luò),然后去打榜,無(wú)論是參與視覺(jué)分類的ImageNet比賽,還是參加目標(biāo)檢測(cè)的COCO比賽,打榜一旦成功,馬上就創(chuàng)業(yè)融資,形成了這樣一種模式,和今天的大模型創(chuàng)業(yè)有點(diǎn)類似。

          2013年依圖創(chuàng)立,2014年底商湯完成天使輪,2015年云從創(chuàng)立,今天回過(guò)頭來(lái)看,無(wú)論是已上市還是待上市的相關(guān)公司,都是在這個(gè)時(shí)間點(diǎn)創(chuàng)立。

          今天我們看到的“百模大戰(zhàn)”的場(chǎng)景,計(jì)算機(jī)視覺(jué)領(lǐng)域10年前就曾經(jīng)出現(xiàn)過(guò),這波創(chuàng)業(yè)浪潮在2017年達(dá)到頂峰,根據(jù)當(dāng)時(shí)的統(tǒng)計(jì)數(shù)據(jù),全球獲得融資的AI公司達(dá)到4000多家,到2020年下降到600-700家,隨后創(chuàng)業(yè)浪潮進(jìn)入谷底。拐點(diǎn)則是2022年的下半年,大模型、AIGC開(kāi)始出現(xiàn)。

          騰訊科技:也就是說(shuō),AIGC這波浪潮還處于上升階段,未來(lái)也一樣會(huì)進(jìn)入谷底?

          林詠華:過(guò)去十年潮起潮落,潛臺(tái)詞是我們要走好未來(lái)十年,至于為什么出現(xiàn)潮落,是因?yàn)槌跗跓o(wú)論是資本還是創(chuàng)業(yè)團(tuán)隊(duì),對(duì)計(jì)算機(jī)視覺(jué)領(lǐng)域“刷榜”的過(guò)度追捧,認(rèn)為計(jì)算機(jī)視覺(jué)無(wú)所不能,但真正大范圍落地的只有人臉識(shí)別、車(chē)牌識(shí)別、工業(yè)缺陷檢測(cè)這些,而更多的應(yīng)用,由于準(zhǔn)確率或魯棒性沒(méi)能達(dá)到要求,未得到大范圍使用。正是因?yàn)樗漠a(chǎn)業(yè)落地沒(méi)有當(dāng)初想象的繁華,于是行業(yè)開(kāi)始逐步的收縮。

          所以在新的十年,在這波大模型浪潮里,我們需要吸收上一波浪潮的經(jīng)驗(yàn)教訓(xùn),以便于讓它一直呈保持上升的走勢(shì),而不是很快地出現(xiàn)潮起潮落。

          AIGC這個(gè)新浪潮之下,回過(guò)頭來(lái)看,2017年確實(shí)是非常值得紀(jì)念的一年。

          當(dāng)年計(jì)算機(jī)視覺(jué)創(chuàng)業(yè)浪潮到達(dá)波峰,IBM提出了AI三大階段:Narrow AI、Broad AI、AGI,并在年末推出了人工智能辯手機(jī)器人“Project Debater”,當(dāng)時(shí)參與了兩場(chǎng)比賽并拿到了歐洲的辯論冠軍,這個(gè)項(xiàng)目和ChatGPT在很多外在能力的表現(xiàn)上是接近的,例如可以跟人交流,針對(duì)用戶給出的提問(wèn),檢索互聯(lián)網(wǎng)信息形成自己的論點(diǎn),而在人類辯手反駁時(shí),“Debater”具備理解長(zhǎng)篇的反駁觀點(diǎn)的能力,再進(jìn)一步生成辯駁的論點(diǎn)。

          *圖為IBM Project Debater 項(xiàng)目原型機(jī) 來(lái)源:IBM

          IBM對(duì)“Project Debater”的定位是Broad AI的雛形。而當(dāng)時(shí),所有人都認(rèn)為AGI時(shí)代太遠(yuǎn),沒(méi)有人知道人類會(huì)在哪一年到達(dá)IBM所謂的AI第三個(gè)階段——AGI時(shí)代。

          同樣還是2017年底,Google發(fā)布了知名的《Attention Is All You Need》論文,并提出Transformer架構(gòu)。

          所以,今天的這波大模型浪潮并不是憑空而來(lái),在2017年,當(dāng)前計(jì)算機(jī)視覺(jué)浪潮達(dá)到波峰時(shí),其實(shí)就已經(jīng)埋下伏筆,差別在于個(gè)各家的實(shí)現(xiàn)路徑不一樣, IBM選擇的是采用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò),讓機(jī)器更貼合人的思維去進(jìn)行復(fù)雜的任務(wù),谷歌嘗試的則是全新的Transformer架構(gòu)。

          騰訊科技:為什么中間經(jīng)歷了5年,大家都在做什么?

          林詠華 :2014年-2015年除了計(jì)算機(jī)視覺(jué)在分類任務(wù)上超越了人類,這個(gè)階段還有一個(gè)非常重要的技術(shù) ,也就是遷移學(xué)習(xí)(Transfer learning)——它也擁有一個(gè)基礎(chǔ)模型,可以引入其它領(lǐng)域的數(shù)據(jù)進(jìn)行微調(diào)訓(xùn)練(Fine Tuning)。李飛飛在2021年年底的LLM那篇文章里面就提到過(guò),10年前計(jì)算機(jī)視覺(jué)領(lǐng)域就出現(xiàn)了遷移學(xué)習(xí)這項(xiàng)技術(shù)。

          所以,計(jì)算機(jī)視覺(jué)領(lǐng)域?qū)嶋H上從2014年開(kāi)始,就在嘗試將“預(yù)訓(xùn)練基礎(chǔ)模型”+“微調(diào)訓(xùn)練”這種新的技術(shù)落地到產(chǎn)業(yè)當(dāng)中。

          02 不要重復(fù)“造輪子”

          騰訊科技:現(xiàn)階段大模型,生成式人工智能,給外界的感知主要集中在聊天機(jī)器人、圖片、音頻、視頻生成,像微軟谷歌也陸續(xù)在自己的產(chǎn)品線上規(guī)模化接入大模型的能力,還有哪些場(chǎng)景未來(lái)用戶是可以感知的,又有那些場(chǎng)景用戶是無(wú)法感知,但卻會(huì)持續(xù)受益的?

          林詠華:你提到的比如聊天機(jī)器人,這些都是典型的to C領(lǐng)域應(yīng)用,我們也在探索大模型在更龐大的to B領(lǐng)域應(yīng)用。

          關(guān)于可感知的部分,例如企業(yè)軟件,尤其是一些銷售、倉(cāng)儲(chǔ)管理相關(guān)軟件,它們的交互界面非常復(fù)雜,需要填大量的表格,但使用的人往往是銷售、倉(cāng)管這些不是長(zhǎng)期在計(jì)算機(jī)屏幕前工作的人群。我相信通過(guò)語(yǔ)言大模型,可以讓整個(gè)人機(jī)交互變得更加簡(jiǎn)單、直接。這些都是用戶可以感知的,它可以大大降低一套新軟件的上手成本,提高人機(jī)交互效率。

          無(wú)法感知的部分,還是以B端技術(shù)為例。AI領(lǐng)域存在不同架構(gòu)的芯片,新架構(gòu)的芯片需要和現(xiàn)有軟件及其生態(tài)進(jìn)行適配,通常需要用到復(fù)雜的編譯器,所以我們也在嘗試通過(guò)語(yǔ)言、代碼模型,通過(guò)微調(diào)訓(xùn)練,實(shí)現(xiàn)從一種語(yǔ)言到另外一種語(yǔ)言的自動(dòng)生成和轉(zhuǎn)換,降低適配成本,這些都是非常底層的變化,用戶無(wú)法感知到,而恰恰是這種無(wú)法感知的變化,價(jià)值確很大。

          騰訊科技:這樣全行業(yè)的應(yīng)用,可能會(huì)在什么時(shí)間點(diǎn)?

          林詠華:有可能是未來(lái)2-3年。

          騰訊科技:一個(gè)創(chuàng)業(yè)項(xiàng)目,也希望接入大模型的能力,都有哪些可能的途徑?

          林詠華:除非資金、技術(shù) 、算力等實(shí)力雄厚,否則不建議上來(lái)就做基礎(chǔ)大模型的自研,它的投入太大了。我建議從選擇第三方的基礎(chǔ)模型或開(kāi)源基礎(chǔ)模型,通過(guò)行業(yè)數(shù)據(jù)進(jìn)行微調(diào),成為某種行業(yè)應(yīng)用的大模型。然后通過(guò)在行業(yè)實(shí)踐的過(guò)程,積累大模型應(yīng)用的場(chǎng)景、數(shù)據(jù)和經(jīng)驗(yàn),多次迭代從而提升模型能力,并逐步把技術(shù)和應(yīng)用做深。

          騰訊科技:什么情況下必須要去做自研?

          林詠華:無(wú)論是GPT4、還是國(guó)內(nèi)像智源“悟道·天鷹”這樣的通用大模型,聚焦的還是通用領(lǐng)域,一旦要進(jìn)入到特定的行業(yè)、領(lǐng)域,就要圍繞當(dāng)前的賽道進(jìn)行自主研發(fā)。首先,需要使用垂直領(lǐng)域的專業(yè)數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練;其次,需要根據(jù)領(lǐng)域的不同,采用差異化的訓(xùn)練方式;此外,還要考慮到下游應(yīng)用的適配。

          騰訊科技:您提到開(kāi)源,我知道悟道3.0也已全面開(kāi)源,張宏江理事長(zhǎng)與Sam Altman在QA環(huán)節(jié)也問(wèn)了OpenAI的開(kāi)源計(jì)劃,開(kāi)源的目的是什么,什么樣的機(jī)構(gòu)適合做開(kāi)源?開(kāi)源動(dòng)作會(huì)給創(chuàng)業(yè)者帶來(lái)什么好處,給行業(yè)帶來(lái)什么好處,難點(diǎn)在哪里?

          林詠華:開(kāi)源與閉源沒(méi)有對(duì)錯(cuò)之分,這由項(xiàng)目實(shí)體的性質(zhì)決定,屬于機(jī)構(gòu)自主決策,但還是應(yīng)該鼓勵(lì)更多機(jī)構(gòu)去推動(dòng)大模型開(kāi)源這件事,假設(shè)所有人都去自研通用大模型,需要耗費(fèi)大量的算力、數(shù)據(jù)、電力,完全是重復(fù)造輪子,不利于社會(huì)資源的合理化利用;基礎(chǔ)大模型也決定了垂直領(lǐng)域模型應(yīng)用能力、認(rèn)知能力以及產(chǎn)品價(jià)值觀等,這也會(huì)對(duì)社會(huì)產(chǎn)生影響,客觀上要求有對(duì)應(yīng)的機(jī)構(gòu)去推動(dòng)高質(zhì)量的基礎(chǔ)模型開(kāi)源。

          對(duì)于創(chuàng)業(yè)者來(lái)說(shuō),一個(gè)靠譜,也就是質(zhì)量高、安全性好、中英文能力優(yōu)秀的基礎(chǔ)大模型,會(huì)大大縮減時(shí)間、資金的投入,反之就會(huì)增加各種不確定性的風(fēng)險(xiǎn)。

          我們做過(guò)統(tǒng)計(jì),現(xiàn)在已經(jīng)發(fā)布的可商用開(kāi)源語(yǔ)言模型,國(guó)外只有16個(gè),像LLaMA這樣的模型雖然開(kāi)源,但是它是非商用的,明確要求基于它做微調(diào)的模型不能進(jìn)行商用,國(guó)內(nèi)已經(jīng)發(fā)布的主流中英雙語(yǔ)開(kāi)源、可商用的基礎(chǔ)大模型,到6月初的時(shí)候只有智源一家。

          與此同時(shí),雖然市面上有很多開(kāi)源大模型,但大多數(shù)都是基于基礎(chǔ)大模型微調(diào)出來(lái)的對(duì)話模型。對(duì)于更加基礎(chǔ)、重要的基礎(chǔ)模型,可選的開(kāi)源模型十分少。截止到6月初,國(guó)外的開(kāi)源基礎(chǔ)模型,只有LLaMA、Palmyra、MPT-7B、Falcon和RedPajama5家,國(guó)內(nèi)在智源之前則只有MOSS和CPM-Bee 2家,而后兩者也都不是可商用版本。

          也就是說(shuō),現(xiàn)在市面上支持中英文雙語(yǔ),又支持商用,且符合中文用戶習(xí)慣的高質(zhì)量基礎(chǔ)語(yǔ)言大模型其實(shí)是十分欠缺的,這也是智源今年決定把天鷹大模型開(kāi)源出來(lái)的原因。

          騰訊科技:“萬(wàn)模大戰(zhàn)”之下,大家的模型五花八門(mén),智源也推出了“天秤”大模型評(píng)測(cè)體系及開(kāi)放平臺(tái),這對(duì)行業(yè)來(lái)說(shuō)有什么好處,會(huì)不會(huì)出現(xiàn)專門(mén)針對(duì)評(píng)測(cè)體系進(jìn)行優(yōu)化的“作弊”的辦法,智源會(huì)如何應(yīng)對(duì)?

          林詠華:我們的評(píng)測(cè)體系分了“練習(xí)題”和“考試題”,“練習(xí)題”已經(jīng)開(kāi)源,以便于外部模型順利對(duì)接評(píng)測(cè)體系。

          “考試題”則是黑盒子,保存在天秤評(píng)測(cè)體系當(dāng)中?!疤斐印痹u(píng)測(cè)系統(tǒng)要求模型團(tuán)隊(duì)上傳模型進(jìn)行評(píng)分,避免“考試題”泄露。

          到目前為止,天秤評(píng)測(cè)體系題庫(kù)中的題目量有8萬(wàn)多,每一次評(píng)測(cè)大概會(huì)拿2萬(wàn)多題出來(lái),然后定期動(dòng)態(tài)更換“考試題”。

          此外,智源也在不斷擴(kuò)大天秤評(píng)測(cè)的寬度。目前已經(jīng)包括了中英文雙語(yǔ)、多種主、客觀的評(píng)測(cè)維度,以此規(guī)避模型定向優(yōu)化的問(wèn)題,如果我們將評(píng)測(cè)的維度不斷拓寬,就算開(kāi)發(fā)者去迎合我們的評(píng)測(cè)標(biāo)準(zhǔn),只要做得全面,也是我們希望看到的。

          騰訊科技:我注意到智源有個(gè)“模型+評(píng)測(cè)”雙輪驅(qū)動(dòng)的提法,它可以達(dá)到什么效果?

          林詠華:“模型+評(píng)測(cè)”雙輪驅(qū)動(dòng)是智源做大模型時(shí)提出的一種發(fā)展模式,就像設(shè)計(jì)軟件,訓(xùn)練模型之前從多個(gè)維度去制定它的能力范疇,后續(xù)無(wú)論是訓(xùn)練、評(píng)測(cè)都圍繞這個(gè)能力范疇去推進(jìn),以便于模型訓(xùn)練到一定程度,它的能力維度與評(píng)測(cè)體系是相符合的。

          舉個(gè)例子,孫悟空有“72變”,在評(píng)測(cè)的時(shí)候就需要按照“72變”的維度去進(jìn)行,檢測(cè)模型哪些能力是欠缺的,以便于在后續(xù)的訓(xùn)練過(guò)程中及時(shí)的對(duì)包括超參數(shù)、訓(xùn)練數(shù)據(jù)進(jìn)行調(diào)整,包括對(duì)單一維度分值曲線的跟蹤。

          簡(jiǎn)單來(lái)說(shuō)就是評(píng)測(cè)驅(qū)動(dòng)訓(xùn)練,保證模型的全面發(fā)展。

          騰訊科技:這算不算“邊走邊看”的邏輯?

          林詠華:對(duì),大模型訓(xùn)練亟需工匠精神,需要不斷的打磨、精煉。我們?cè)谡麄€(gè)過(guò)程中,每天都會(huì)對(duì)至少兩個(gè)模型的過(guò)程版本(Check Point)進(jìn)行評(píng)測(cè)。

          03 大模型“船大難掉頭”

          騰訊科技:您從之前在IBM做“小模型”,和在智源做“大模型”,最大的不同是什么?

          林詠華:難度不一樣,大模型的試錯(cuò)成本太高了。

          小模型的試錯(cuò)成本很低,我們可以不斷改變訓(xùn)練數(shù)據(jù),可以很快看到結(jié)果。一臺(tái)GPU服務(wù)器,上萬(wàn)張圖片、甚至是幾十萬(wàn)張圖片,2-3天就可以完成一個(gè)幾百萬(wàn)、甚至是上千萬(wàn)參數(shù)模型的訓(xùn)練,在這個(gè)過(guò)程中,我們可以不斷的去調(diào)整算法、調(diào)整數(shù)據(jù),以及可以拿到確定的結(jié)果。

          大模型完全不一樣,參數(shù)量飆升,至少要有2-3個(gè)月的訓(xùn)練時(shí)間,是一件非常有挑戰(zhàn)性的事情,它的挑戰(zhàn)在于,我們能否在最開(kāi)始就預(yù)估到未來(lái),尤其是兩三個(gè)月之后的結(jié)果,這里涉及到數(shù)據(jù)的選擇、配比,算法的選擇,包括分詞器、優(yōu)化器算法的選擇,這些項(xiàng)目都要非常的嚴(yán)謹(jǐn)仔細(xì)。

          一旦模型開(kāi)始訓(xùn)練,就好比一艘“萬(wàn)噸巨輪”開(kāi)始往前走,而船大難掉頭,所以我們前面說(shuō)評(píng)測(cè)很重要,就好比巨輪在行駛的過(guò)程中,如果出現(xiàn)偏航,就及時(shí)的進(jìn)行調(diào)整,但即便如此,我們也很難預(yù)知模型在訓(xùn)練兩個(gè)月之后 ,最終它的能力表現(xiàn)如何,很可能會(huì)出現(xiàn)持續(xù)的訓(xùn)練過(guò)程中,發(fā)現(xiàn)“航向”不符合預(yù)期,這時(shí)候就需要做艱難的選擇——從頭開(kāi)始,還是從某一個(gè)Check Point繼續(xù)。

          例如說(shuō),我們可以用64臺(tái)服務(wù)器訓(xùn)練一個(gè)幾百億參數(shù)的模型,但很難說(shuō)利用不同的訓(xùn)練方式,同時(shí)啟動(dòng)多組服務(wù)器進(jìn)行多個(gè)百億參數(shù)的模型的訓(xùn)練。

          騰訊科技:不能同時(shí)進(jìn)行,是因?yàn)槌杀镜膯?wèn)題嗎?

          林詠華:成本問(wèn)題,包括時(shí)間成本。

          04 用知識(shí)增強(qiáng)對(duì)抗AI的幻覺(jué)與遺忘

          騰訊科技:盡管說(shuō)有微調(diào)機(jī)制去調(diào)優(yōu),但我們?cè)谑褂弥邪l(fā)現(xiàn),像ChatGPT、Bard這樣的產(chǎn)品,都出現(xiàn)過(guò)事實(shí)性錯(cuò)誤,行業(yè)將其稱之為“幻覺(jué)”,這對(duì)大模型來(lái)說(shuō),是致命的嗎?

          林詠華:從模型的通用性角度來(lái)看,幻覺(jué)問(wèn)題和今天大模型給我們帶來(lái)的各種各樣新的能力相比,或許不是一個(gè)很大的問(wèn)題。假如,休閑的聊天機(jī)器人,即便是錯(cuò)誤答案,可能我們也只是一笑了之。但如果幻覺(jué)被放到一些對(duì)專業(yè)要求很高的領(lǐng)域,就可能存在致命的問(wèn)題。

          換句話說(shuō),大模型“幻覺(jué)”的致命與否,取決于模型只是作為一個(gè)閑聊機(jī)器人,還是說(shuō)應(yīng)用到醫(yī)學(xué)、法律、甚至是金融等嚴(yán)肅或者一旦出錯(cuò)代價(jià)會(huì)很高等領(lǐng)域。

          所以對(duì)于這些應(yīng)用場(chǎng)景,我們也建議要結(jié)合外部的事實(shí)知識(shí)庫(kù)去做知識(shí)增強(qiáng),而不能全部基于大模型早期的訓(xùn)練數(shù)據(jù)。

          騰訊科技:知識(shí)增強(qiáng)是應(yīng)對(duì)“幻覺(jué)”的一種解決方案?

          林詠華:知識(shí)增強(qiáng)是很重要的方案,但也不能100%杜絕“幻覺(jué)”的出現(xiàn)。另外,比起 “幻覺(jué)”,大家很少會(huì)提及的另外一個(gè),但同樣值得關(guān)注的概念——“遺忘率”。

          其實(shí)我們對(duì)大模型進(jìn)行訓(xùn)練,它很難100%的記住所有的預(yù)訓(xùn)練數(shù)據(jù),畢竟大模型的訓(xùn)練數(shù)據(jù)量十分驚人,就像人一樣,如果只見(jiàn)過(guò)一兩次,最后是很難逐字成篇幅的記住。據(jù)一些外部機(jī)構(gòu)測(cè)試,這個(gè)“遺忘率”可能甚至?xí)哌_(dá)百分之九十以上。當(dāng)然,如果模型越大,數(shù)據(jù)重復(fù)的次數(shù)越高,遺忘率越低。

          知識(shí)增強(qiáng)的價(jià)值在于,如果模型真的忘了也沒(méi)有關(guān)系,可以通過(guò)在線知識(shí)庫(kù)檢索,進(jìn)而形成專業(yè)準(zhǔn)確的回答。

          騰訊科技:除了“幻覺(jué)”,大模型引發(fā)的風(fēng)險(xiǎn)也成了高關(guān)注的話題,到了需要“踩剎車(chē)”的階段了嗎,哪些場(chǎng)景下不得不“踩剎車(chē)”,是不是拔網(wǎng)線就可以徹底解決?

          林詠華:從我個(gè)人的立場(chǎng)來(lái)看,目前的大模型、尤其是國(guó)內(nèi)的大模型還沒(méi)有那么厲害(需要踩剎車(chē))。雖然繁華,其中還有很多技術(shù)的短板。

          大模型雖然目前能力很強(qiáng),但還需要更多的發(fā)展空間,應(yīng)該繼續(xù)向前發(fā)展,太早的剎車(chē)反倒有可能形成泡沫,核心應(yīng)該是如何規(guī)范人類對(duì)大模型能力的應(yīng)用。

          《黑鏡》里面有幾集專門(mén)講DeepFake,講篡改攝像頭拍攝的畫(huà)面——主角看著視頻監(jiān)控,監(jiān)控畫(huà)面沒(méi)有人進(jìn)來(lái),真實(shí)的情況實(shí)際是有人進(jìn)來(lái)——這項(xiàng)技術(shù)的原理并不難,簡(jiǎn)單說(shuō)就是Hack進(jìn)攝像頭,去掉畫(huà)面中的人像,只要時(shí)延能控制在100毫秒以內(nèi),人眼就無(wú)法辨別。

          *攝像頭被劫持后播放預(yù)先記錄的片段和真實(shí)片段播放對(duì)比 來(lái)源:網(wǎng)絡(luò)

          我看到這一段劇情的時(shí)候,真的覺(jué)得毛骨悚然,因?yàn)槲抑肋@個(gè)事情在計(jì)算機(jī)視覺(jué)領(lǐng)域是可以做的,這些能力小模型就有,甚至不需要大模型。

          (它讓人震撼的地方在于)一旦視頻監(jiān)控真的被人被實(shí)時(shí)篡改,我們還能相信什么,而且當(dāng)虛假的信息被混合在真實(shí)場(chǎng)景當(dāng)中時(shí),不是說(shuō)拔掉網(wǎng)線就可以了解決,你又不能不用監(jiān)控,對(duì)于這種問(wèn)題,我甚至不知道怎么去踩剎車(chē)。

          05 取代人類

          騰訊科技:Sam Altman提及過(guò)“可擴(kuò)展監(jiān)督”的概念,用AI來(lái)監(jiān)管AI,這個(gè)設(shè)想現(xiàn)在落地的進(jìn)展如何,比如說(shuō)現(xiàn)在陸陸續(xù)續(xù)會(huì)有一些“AI換臉”詐騙的問(wèn)題,AI可以快速的識(shí)別并給用戶進(jìn)行強(qiáng)提醒,以及識(shí)別到“AI換臉”行為后的動(dòng)作進(jìn)行保護(hù),比如臨時(shí)凍結(jié)“轉(zhuǎn)賬”的動(dòng)作,這樣的設(shè)想有機(jī)會(huì)成為現(xiàn)實(shí)嗎?

          林詠華:人臉技術(shù)實(shí)際上已經(jīng)疊加了不同的手段,包括角度、動(dòng)作、光影、顏色變化,去識(shí)別真人還是視頻, 我也希望行業(yè)能夠應(yīng)用AI技術(shù)來(lái)對(duì)抗這種DeepFake造假。

          大模型是新生事物,現(xiàn)階段我們未必有足夠的能力和這樣的潛在風(fēng)險(xiǎn)進(jìn)行對(duì)抗,但如果(破壞力)引起科學(xué)、研發(fā)的重視,這種風(fēng)險(xiǎn)我相信依舊是有辦法解決的。

          騰訊科技:過(guò)去大家會(huì)認(rèn)為一些基礎(chǔ)性崗位會(huì)被替代,用AI管理AI的時(shí)代,一些偏高端的崗位會(huì)不會(huì)也都會(huì)被取代?

          林詠華:2014年-2015年開(kāi)始,我在IBM領(lǐng)導(dǎo)做AI for AI技術(shù),是想替代AI算法工程師,那款A(yù)I計(jì)算機(jī)視覺(jué)平臺(tái)2017年在全球推出,很受歡迎。因?yàn)楫?dāng)時(shí)熟悉深度學(xué)習(xí)算法、很有經(jīng)驗(yàn)的AI研究人員很少。當(dāng)時(shí)的宣傳點(diǎn)就是“無(wú)需昂貴的AI算法工程師”——它的核心是幫助企業(yè)解決高端人才短缺的問(wèn)題。所以,在當(dāng)時(shí)(10年前)考慮的就是人力的替代。

          ChatGPT出來(lái)之后,藍(lán)領(lǐng)還沒(méi)被替代,白領(lǐng)先被替代了,也就是腦力勞動(dòng)者更早被替代,這是因?yàn)楹芏嗳斯ぶ悄苤獾募夹g(shù),發(fā)展速度相對(duì)較慢的,比如機(jī)器自動(dòng)化領(lǐng)域。例如,計(jì)算機(jī)視覺(jué)在缺陷檢測(cè)場(chǎng)景下的難題早就被攻克 ,但是由于機(jī)械自動(dòng)化的“掉隊(duì)”,一個(gè)10毫秒可以檢測(cè)出來(lái)的問(wèn)題,機(jī)械手需要幾秒鐘才能完成抓取,效率遠(yuǎn)不如人工,屬于典型的“肉體趕不上靈魂”。

          所以我們也要呼吁,包括機(jī)械自動(dòng)化控制、材料領(lǐng)域都要有更快的發(fā)展(跟上人工智能的發(fā)展節(jié)奏)。

          騰訊科技:除了就業(yè)崗位取代,情感取代也是一個(gè)爭(zhēng)議性話題,尤其是像早期一些電影像《Her》、還有現(xiàn)在的一些APP,都在探索情感取代,俗稱“AI女友”,我想請(qǐng)您從女性的角度來(lái)談一談,這種情感的探索是人工智能追求的目標(biāo)嗎,或者說(shuō)是我們?cè)O(shè)想的應(yīng)用場(chǎng)景嗎?

          林詠華:(情感)我覺(jué)得也是人工智能探索的目標(biāo)之一。

          NLP(自然語(yǔ)言處理)一直存在情感分析/情感分類的領(lǐng)域,有些現(xiàn)在做的還很好, 它要理解人類語(yǔ)言體現(xiàn)出來(lái)的思維和情感,所以理解情感一直是AI領(lǐng)域重要的發(fā)展方向,現(xiàn)在的爭(zhēng)論點(diǎn)在于,要不要在生成式AI里面附加情感。

          我個(gè)人認(rèn)為在生成式AI領(lǐng)域,附加情感的內(nèi)容輸出對(duì)一些特定人群和行業(yè)是很有幫助的,比如心理咨詢、護(hù)工。我母親就跟我說(shuō)過(guò),如果真的出現(xiàn)陪護(hù)機(jī)器人,她會(huì)很愿意用,因?yàn)檎冶D放阕o(hù),還得考慮兩個(gè)人性格合不合。

          不過(guò)我們也不能簡(jiǎn)單化情感,簡(jiǎn)單將其理解為“喜怒哀樂(lè)”,因?yàn)槿说男闹怯葹閺?fù)雜,需要和心理學(xué)研究進(jìn)行交叉融合,所以在我們的模型評(píng)測(cè)里面,也定義了四個(gè)里程碑階段——文本理解、文本生成、認(rèn)知能力、人類心智,而人類心智放在了最后一個(gè)里程碑。

          騰訊科技:前段時(shí)間我們也注意到,已經(jīng)有創(chuàng)作者利用AI復(fù)原已故奶奶的視頻,所以從實(shí)際的觀察,確實(shí)發(fā)現(xiàn)很多人是有這種情感需求的。

          林詠華:這確實(shí)是一個(gè)很重要的領(lǐng)域,當(dāng)然安全防控也是很重要,它決定了AI這個(gè)“精神導(dǎo)師”會(huì)給你帶來(lái)陽(yáng)光,還是帶來(lái)黑暗。

          騰訊科技:AI情感領(lǐng)域的探索,女性科學(xué)家會(huì)不會(huì)更有優(yōu)勢(shì)?

          林詠華:會(huì)有一定優(yōu)勢(shì)。但我認(rèn)為還是需要很強(qiáng)的心理學(xué)支持,所以我們下一步也會(huì)引入一些心理學(xué)專家、團(tuán)隊(duì)。

          06 人工智能不能沒(méi)有女性科學(xué)家

          騰訊科技:現(xiàn)在越來(lái)越多的女性科學(xué)家在前沿科技領(lǐng)域成為領(lǐng)軍人物,在人工智能領(lǐng)域,女性科學(xué)家有哪些獨(dú)特的優(yōu)勢(shì),而男性是沒(méi)有的?

          林詠華:人工智能領(lǐng)域有很多東西需要和人的直覺(jué)、感官相互融合,女性可能在直覺(jué)、感性方面會(huì)比男性有更多的觀察和思考,這在一定程度上有利于女性去做更多直覺(jué)上的判斷,然后再用理論去證實(shí)。

          今年的智源大會(huì),確實(shí)有很多論壇上出現(xiàn)了女性演講嘉賓,她們的確都很優(yōu)秀的領(lǐng)軍人物。

          騰訊科技:最后,對(duì)剛剛經(jīng)歷2023年高考即將步入大學(xué)的年輕人,尤其是女生,也請(qǐng)您給一些專業(yè)性建議?

          林詠華:未來(lái)人工智能的發(fā)展可能會(huì)很快,可能會(huì)顛覆原來(lái)我們對(duì)熱門(mén)學(xué)科的認(rèn)知,比如編程,計(jì)算機(jī)學(xué)科,我們要考慮未來(lái)10年后,它還會(huì)不會(huì)是熱門(mén)的領(lǐng)域、學(xué)科。當(dāng)然,計(jì)算機(jī)體系、架構(gòu)這樣深度研究學(xué)科,從目前計(jì)算的角度來(lái)看,還是需要不斷往前探索的,依舊是需要的。

          騰訊科技:應(yīng)用層面的學(xué)科,可能重要性就會(huì)弱很多?

          林詠華:對(duì),純粹是為了在簡(jiǎn)歷里體現(xiàn)編程,而選擇計(jì)算機(jī)專業(yè),這種可能就不是一個(gè)好的選擇,因?yàn)槲磥?lái)會(huì)有很多Copilot這樣的產(chǎn)品,能夠讓編程的門(mén)檻變得很低,包括一些模型的微調(diào)能力,可能會(huì)成為各個(gè)專業(yè)都應(yīng)該具備的基本技能,反而是如何將這些技能應(yīng)用到專業(yè)領(lǐng)域,比如材料學(xué),利用AI探索新材料就是一個(gè)全新的命題。

          所以,不是每個(gè)人都需要擠到計(jì)算機(jī)領(lǐng)域里來(lái),除非你有很宏大的理想,比如超越馮諾依曼,突破現(xiàn)有的計(jì)算機(jī)體系結(jié)構(gòu)。

          對(duì)于年輕人,如果未來(lái)希望從事科研方向、技術(shù)方向,應(yīng)該強(qiáng)化動(dòng)手能力,保持讀論文寫(xiě)文章的能力,這兩項(xiàng)能夠保持多久就保持多久,對(duì)未來(lái)的發(fā)展和職業(yè)生涯都會(huì)起到重要的作用。

          對(duì)于女性同學(xué),我想表達(dá)的是,人類智慧的發(fā)展,其實(shí)就是兩性共同構(gòu)建的過(guò)程,人工智能發(fā)展如果沒(méi)有女性科學(xué)家,是一件非??膳碌氖虑?,希望更多的女性加入到這個(gè)行列。