兩個(gè)字的霸氣名字女與兩個(gè)字游戲名字男霸氣
本篇文章給大家談?wù)剝蓚€(gè)字的霸氣名字女，以及兩個(gè)字游戲名字男霸氣的知識(shí)點(diǎn)，希望對(duì)各位有所幫助，不要忘了收藏本站喔。
文章詳情介紹：
- 1,你敢讀出聲嗎？19個(gè)中日地名，每一個(gè)都讓人消化不良
- 2,抖音兩個(gè)字男網(wǎng)名霸氣十足生來(lái)不討喜-可愛(ài)點(diǎn)
- 3,水虎寶寶男孩起名字：威武霸氣又儒雅的男孩名字
- 4,在被ChatGPT砸掉飯碗前，我們得摸清它的底細(xì)
你敢讀出聲嗎？19個(gè)中日地名，每一個(gè)都讓人消化不良
作為世界上最古老的文字之一，中國(guó)漢字博大精深，在5000多年的時(shí)間里，每一個(gè)漢字從創(chuàng)造之初到演變至今，各有特點(diǎn)和故事。
但是，隨著社會(huì)文化的發(fā)展，后人在理解和使用漢字的過(guò)程中難免與古人有所差別，從而導(dǎo)致一些讓一眼看上去覺(jué)得很奇怪的文字組合。
在這一點(diǎn)上，不光中國(guó)，以漢字的模版的日本也一樣。
我國(guó)的一些奇怪地名我國(guó)的地名大多以“村”、“灣”，“山”、“河”、“溝”、“灣”、“坪”等字眼結(jié)尾，前面配以“和平”、“勝利”，這些比較正能量的詞匯取名，或者以百家姓姓氏，動(dòng)物等為名，但總有一些并不按常理出牌。
1、火星村
如果有人說(shuō)自己來(lái)自火星，來(lái)自月亮，來(lái)自太陽(yáng)，他不一定是在搞笑，但他真的是火星人。
我國(guó)有好幾個(gè)火星村，陜西鳳翔縣、湖南新化縣、湖北孝昌縣、安徽六安市、四川眉山市、河南鄧州市、山西垣曲縣、上海青浦區(qū)，都有火星村，但最出名的還是杭州市錢(qián)塘新區(qū)義蓬街道的火星村。
火星村這個(gè)名字取自毛主席的名言：“星星之火，可以燎原?！?/strong>
除了有火星村外，還有江西九江湖口縣的月亮村，以及來(lái)自山西運(yùn)城和安徽六安的太陽(yáng)鄉(xiāng)。
2、高潮村
大家可能聽(tīng)說(shuō)過(guò)“摸乳巷”，不過(guò)安徽六安不僅有太陽(yáng)，還有一個(gè)讓人不敢問(wèn)路的村子，高潮村，并且還不止一個(gè)。
名副其實(shí)的“只要自己不尷尬，尷尬的就是別人”。
3、太監(jiān)弄
太監(jiān)弄是因?yàn)樘O(jiān)嗎？
是的。
蘇州作為絲織品的出產(chǎn)重地，明清兩朝都只供應(yīng)宮廷，所以專(zhuān)設(shè)有織造局，由太監(jiān)主管。太監(jiān)弄就是當(dāng)時(shí)太監(jiān)長(zhǎng)期居住的場(chǎng)所，故取名太監(jiān)弄，現(xiàn)在是蘇州的商業(yè)美食街。
4、恐龍鄉(xiāng)
恐龍鄉(xiāng)位于四川廣安，顧名思義，肯定與恐龍有關(guān)系？
要讓你失望了，中國(guó)雖然有很多恐龍之鄉(xiāng)都與恐龍有關(guān)系，四川自貢還是重要的恐龍化石產(chǎn)地，自這個(gè)恐龍鄉(xiāng)真有恐龍沒(méi)什么關(guān)系。
當(dāng)?shù)厝酥皇且驗(yàn)樯畹倪@個(gè)地方風(fēng)景好，山青綠水，溝陵縱橫，是一塊龍都不敢居住的地方，所以取名恐龍鄉(xiāng)。
不過(guò)在2019年，恐龍鄉(xiāng)被撤銷(xiāo)，改為了酉溪鎮(zhèn)。
5、挨打巷
“挨打巷”位于成都高新區(qū)，是一條長(zhǎng)約300米的背街小巷子。
因?yàn)橄镒营M窄，陰暗，又沒(méi)有路燈，以前經(jīng)常發(fā)生搶劫事件，附近的居民一害怕就取名為“挨打巷”。
不過(guò)經(jīng)舊城改造，速理得干凈明亮，現(xiàn)在被改名為興蓉東街。雖然“挨打巷”已經(jīng)面目全飛，但成都人對(duì)這條巷子交織著幾十年的情感，“挨打巷”這個(gè)名字又已別的方式成為成都文化的一部分。
像“挨打巷”這樣的地名，我國(guó)還有很多。比如：溫州的“馬桶里‘，“粑粑街，南京的“螺絲轉(zhuǎn)彎”，“神馬路”，“泥馬巷”、綿陽(yáng)的“來(lái)爽街”等等。如同罵街詞語(yǔ)。
但這些都比不上德宏自治州的“啊，露窩羅路”，居然帶標(biāo)點(diǎn)符號(hào)。
6、很黑村
很黑村位于內(nèi)蒙古赤峰宇宙地鎮(zhèn)，這個(gè)名字來(lái)自于蒙古語(yǔ)，蒙古語(yǔ)里“kenker”，發(fā)音像很黑，外地人來(lái)了之后都聽(tīng)成了“很黑”，后來(lái)就流傳開(kāi)了。
有意思的是還有一家宇宙派出所。
7、大姑家、小姑家
大姑家位于吉林省蛟河市，如今已經(jīng)拆除了，不過(guò)還有一個(gè)小姑家，如今依然保留著。兩個(gè)都是火車(chē)站的站名。
中國(guó)有這樣的地名，日本文字來(lái)自于中國(guó)，也有一些奇怪的名字。
日本取名很隨便在古代，日本除了天皇和百姓沒(méi)有姓氏外，只有貴族才能有自己的姓氏和名字，姓氏代表了著特權(quán)和階級(jí)，職業(yè)，或者干脆就近原則，靠近什么就叫什么。
比如：住得近，姓“近藤”，住得遠(yuǎn)，姓“遠(yuǎn)藤”，住在農(nóng)田邊，就姓“田中”，住上河邊，就姓“川口”，住在山附近的自然姓“山口”。開(kāi)飯店的姓“味美”、“膳夫”，開(kāi)風(fēng)月場(chǎng)所的姓“女屋”，做紡織的姓“服部”等等。
據(jù)資料記載，日本目前有14萬(wàn)個(gè)姓氏，是世界上姓氏第三多的國(guó)家，中國(guó)也只有5662個(gè)，而這些姓氏90%都是在19世紀(jì)明治維新后出現(xiàn)的。1875年，日本頒布發(fā)令，強(qiáng)制規(guī)定“凡國(guó)民，必需起姓”，平民也可以有自己的姓氏后，日本人名就變得讓人捉莫不透。地名、國(guó)名、職業(yè)、信仰、器物、用具，都納入了取姓范圍。
我們來(lái)看看日本人取名有多隨便
1、在山口大學(xué)有個(gè)教授叫：執(zhí)行正義。
以日本人的取名習(xí)慣，估計(jì)這位教授的祖先是一個(gè)勇敢正直的人。
2、而東京大學(xué)有個(gè)教授姓上床，名美也，而他的研究室也直接叫：上床工作室。
3、還有以日期為名字的。
比如：有人叫四月一日，有人叫八月一日，在中國(guó)這只能是日期，在日本卻是名字，而且還特別多。
日本人認(rèn)為，四月一日，天氣回暖，萬(wàn)物蘇醒，象征著春天的到來(lái)。而八月一日，夏去秋來(lái)，是豐收的季節(jié)。
4、姓神
在日本有1萬(wàn)多個(gè)姓神的名字，據(jù)說(shuō)大多是日本最古老的神社之一，出云大社神家的后代。
另外還有人姓“升天”，霸氣十足。
5、不講邏輯的名字：云云云龍龍龍
姓云云云龍龍龍的人，全名云云云龍龍龍麟鑒，是一個(gè)搞證券工作的，不知道他的祖先是不是有點(diǎn)結(jié)巴。
除此之外，由于大多數(shù)名字都被人取了，加上又不識(shí)字，但是人人都要有姓名，怎么辦了？聰明的日本人想到看到什么就叫什么，所以，就有了牛腸、牛丸、醬油、肛門(mén)、鼻毛、犬養(yǎng)、豬股、豬鼻、豬爪……等這樣的姓氏。
看不懂的日本地名在給自己取名時(shí)，日本人隨便，直率，且勇氣下足，但相比取地名，日本人就完全放開(kāi)了手腳。
1、我孫子
在日本有兩個(gè)“我孫子”的地方，一個(gè)是位于千葉縣西北部的小鎮(zhèn)，另一個(gè)是位置東京的大阪府。
當(dāng)然“我孫子”并不是“我的孫子”這個(gè)意思，“我孫子”這外名稱(chēng)的由來(lái)，有兩種說(shuō)法：
一種是曾經(jīng)的大族“依羅吾彥”在這個(gè)位置居住，“依羅吾彥”的日文是“よさみのあびこ”，后來(lái)直譯過(guò)來(lái)就演變成了地名。另一種是這個(gè)地方在古代人們多以漁業(yè)與狩獵為生，而漁民使用的網(wǎng)稱(chēng)為“寄網(wǎng)”，日文是“よさみ”，打獵用的工具稱(chēng)為“網(wǎng)曳”，日文是“あびこ”，合起來(lái)后來(lái)演變成了“我孫子”。
除了“我孫子”外，還有一個(gè)“姥子溫泉”，位于神奈川，據(jù)說(shuō)有800年歷史。
2、特牛
“特?！边@個(gè)名字不是很牛很厲害的意思，而是指“特別強(qiáng)健的?！?。
3、親不知
“親不知”是日本的一處著名“懸崖海岸線”景觀，但確實(shí)與親人有關(guān)。
據(jù)說(shuō)是有位夫人攜子逃難到了此處，因斷崖地勢(shì)兇險(xiǎn)，孩子被海浪卷走，如于寫(xiě)下了一首感人的歌謠：“親不知子不知，越路浦波之惡，使吾妻子盡失”，這便是“親不知”的由來(lái)。
和親人相關(guān)的地名，還有一個(gè)叫“母戀”，全名母戀地球岬，日文里“地球岬”指的是“懸崖”。
4、下除毛、
如果你去到日本，會(huì)聽(tīng)到很多有難為情的地名。
比如：“下除毛”，“尻毛”、“毛穴”、"女體入口"、"女體山"、"男體山"、"女神"、……
乍一聽(tīng)還以為日本人很不正經(jīng)，其實(shí)有些只是文字是中文，而意思卻完全不是我們想象的那種意思。
5、放出
“放出”位于大阪城，有意思的是這個(gè)名字除了大阪人會(huì)念外，就連日本人其它地區(qū)的人也會(huì)讀錯(cuò)。因?yàn)槿瘴闹小胺懦觥彪m然字形相同，但有兩種讀發(fā)，一種是“はなてん”，一種是“ほうしゅつ”。
“放出”這個(gè)地名的由來(lái)?yè)?jù)說(shuō)是僧人“道行”偷走了日本三大神器之一的“草薙劍”，逃跑是因?yàn)楹ε戮桶褎Α胺懦觥痹诖说?。所以“放出”被稱(chēng)為丟棄神器之地。
6、喜連瓜破
“喜連瓜破”這個(gè)名字很有意思。一是很多日本人不會(huì)念，二是這個(gè)車(chē)站名是由兩個(gè)地方的名字組合起來(lái)的?！跋策B”指的是“喜連村”，“瓜破”指的是“瓜破村”。而這兩個(gè)樹(shù)的名字又各有來(lái)頭。
“喜連村”據(jù)說(shuō)是我國(guó)的“吳人”遠(yuǎn)渡到日本，這個(gè)村子里的人都是“吳人”的后代，所以叫“喜連”。“瓜破村”是字面意思，相傳是高僧“道昭”在這里切開(kāi)瓜果供奉過(guò)神明，所以取名“瓜破”。
7、志布志市 志布志町 志布志の志布志市役所 志布志支所
這個(gè)地名可不是我在亂打，但是我懷疑當(dāng)時(shí)取名之人不是結(jié)巴就是舌頭打卷了。
是日本志布志市的一家市公所，因日本的一檔綜藝節(jié)目而出名。被稱(chēng)為全日本最難讀的公所名。
全名可分為5個(gè)部分：
市名：志布志市
町名：志布志町
地名：志布志
市政廳名：志布志市役所
分部名：志布志支所
因?yàn)樘L(zhǎng)，自被日本民眾吐槽后，這家市公所一直想改名，去年在總部搬遷后，改名為：志布志市志布志町志布志の志布志市役所本廳。
也就少了三個(gè)字，沒(méi)啥區(qū)別。
寫(xiě)在最后：
名字，不管是地名還是人名，都是人類(lèi)語(yǔ)言的符號(hào)。
日本文字來(lái)源于漢字，雖然有很多讓人涕笑的文字組合，卻是漢字文化的另一種折射，這和文化差異有關(guān)系。
德國(guó)思想家洪堡特說(shuō)：“每一個(gè)人，不管說(shuō)什么語(yǔ)言，都可以看作是一種特殊世界觀的承擔(dān)者?！?/p>
每個(gè)國(guó)家都有特有的取名文化，每個(gè)地方的人們?cè)谌∶麜r(shí)，都是結(jié)合了人們社會(huì)生活，地理特點(diǎn)，以及情感，用文字來(lái)寄托和延續(xù)各自的世界觀。
是文化的寶藏，也是人民的精神財(cái)富。
抖音兩個(gè)字男網(wǎng)名霸氣十足生來(lái)不討喜-可愛(ài)點(diǎn)
到處散播我的謠言不會(huì)證明我是什么人，只能證明你是什么人。今日，可愛(ài)點(diǎn)小編帶來(lái)抖音兩個(gè)字男網(wǎng)名霸氣十足，生來(lái)就不討喜~
聞愛(ài)
不煙
靜心
奈何
空白
陪伴
上癮
離殤
浮城
容止
時(shí)光
酒膩
瀠鴻
無(wú)恙
狂神
頑劣
莫愛(ài)
孤妄
浮夢(mèng)
邪魅
沉淀
涼薄
千城
流浪
沉迷
迷失
南嶼
漂流
羈絆
弒魂
行者
俗人
塵醉
島徒
縱歌
俗趣
熱火
薄祭
酒歸
越界
情渡
圈心
門(mén)徒
薄幸
宿觴
孤心
情殤
逐光
膩愛(ài)
落塵
青尤
清歡
虛擬
孤風(fēng)
侯喬
孤妄
安燁
柯騎
沉默
熙遠(yuǎn)
久昧
今日分享完畢！抖音兩個(gè)字男網(wǎng)名霸氣十足送給大家，人可以不聰明但得清醒~
水虎寶寶男孩起名字：威武霸氣又儒雅的男孩名字
在男生的出生之際，就肩負(fù)著特別的責(zé)任，父母希望他們?nèi)蘸竽軌蝽斕炝⒌?，事業(yè)有成，也希望他們有著血?dú)夥絼?，?yáng)光溫暖，有威武霸氣的氣勢(shì)，又知謙遜儒雅的紳士禮節(jié)，若是想讓男孩長(zhǎng)大后成為這樣的人，不妨取個(gè)帶著這些特質(zhì)的名字，在成長(zhǎng)的過(guò)程中給男孩以層層啟示，今天就將威武霸氣又儒雅的男孩名字分享給大家，希望能夠幫助到各位家長(zhǎng)。
威武霸氣又儒雅的男孩名字一個(gè)字簡(jiǎn)單的名字會(huì)更為響亮易記，正是如此很多家長(zhǎng)會(huì)選擇取單字名，更能凸顯其特別的氣質(zhì)，下面就為大家準(zhǔn)備了威武霸氣又儒雅的男孩名字一個(gè)字，希望大家看完后能夠喜歡。
<01>、帆
如“孤帆遠(yuǎn)影碧空盡，唯見(jiàn)長(zhǎng)江天際流?！敝兴鶎?xiě)，帆是指借助風(fēng)力推動(dòng)船前進(jìn)的布蓬，帆能使船更為順利迅速的前景，多形容揚(yáng)帆起航，千帆競(jìng)發(fā)，一帆風(fēng)順等，用于男孩名中寓意著吉祥如意，萬(wàn)事大吉，讀之是個(gè)霸氣十足很有威風(fēng)氣勢(shì)的字，且字形秀氣得體，有著幾分儒雅感，很有韻味。
<02>、銳
常說(shuō)“銳不可當(dāng)”用以形容機(jī)敏聰明，勇往直前的個(gè)性特質(zhì)，銳字的部首為金字旁，是個(gè)鋒利尖銳的字眼，這也映射了銳字本身的精明與靈敏，威武氣勢(shì)撲面而來(lái)，霸氣十足，讀之簡(jiǎn)單大氣，字義通俗易懂很容易記住，有著幾分儒雅氛圍，且為男孩起名常用字，很適合陽(yáng)剛且溫柔的男孩使用。
<03>、煜
有一詩(shī)句“日以煜乎晝,月以煜乎夜?！彼?，煜字的本義為照耀、明亮的樣子，也可指火焰，象征一個(gè)人的熱情開(kāi)朗，豁達(dá)樂(lè)觀的心態(tài)，用于男孩名中寓意著神采奕奕，積極向上，威風(fēng)凜凜，霸氣非凡，但風(fēng)骨中卻盡顯溫柔儒雅的紳士氣質(zhì)，是個(gè)很特別的字，用于男孩起名非常適合。
威武霸氣又儒雅的男孩名字兩個(gè)字若是想賦予名字更為特殊的意蘊(yùn)，又希望名字不過(guò)與單調(diào)，可以選擇兩個(gè)字的名字，選擇的范圍也更為廣泛，下面準(zhǔn)備了威武霸氣又儒雅的男孩名字兩個(gè)字分享給大家，希望大家能夠喜歡。
<01>、宇澤
宇宙之大，萬(wàn)物潤(rùn)澤，宇本是指的屋檐，也可形容人的風(fēng)度氣宇軒昂，儀表堂堂等，澤的本義是光澤、潤(rùn)澤、恩澤等，指的是潤(rùn)澤萬(wàn)物，深仁厚澤，恩情厚重，結(jié)合搭配可以理解人的氣質(zhì)脫塵出俗般儒雅溫柔，但也有給人帶來(lái)威武霸氣的深刻感受，預(yù)示著男孩是個(gè)一身浩然正氣之人。
<02>、世霖
一生一世，甘霖露水，世是對(duì)時(shí)間的一種描述，而時(shí)間是最為珍貴的事物，霖正是形容的雨水連綿不斷，水與溫柔相對(duì)應(yīng)，象征著溫潤(rùn)如玉，恩澤萬(wàn)世，結(jié)合搭配有種莫名的威武氣息襲來(lái)，很是霸氣，但讀之如清水泠泠，儒靜又優(yōu)雅，用于男孩名字也是寓意著福滿(mǎn)乾坤，事事順意。
<03>、峻成
《楚辭》中曾寫(xiě)“山峻高而蔽日兮?！泵枋錾礁叨盖?，峻字其實(shí)意指的是高大英俊，頂天立地的事物，成字是指有能力，成就，完成等，意指馬到成功，二字結(jié)合為名意喻著男孩日后出類(lèi)拔萃，豐功偉績(jī)，前程似錦，讀之威武霸氣，莊嚴(yán)高大上，又有幾分儒雅蘊(yùn)意，層層遞進(jìn)。
威武霸氣又儒雅的男孩名字之網(wǎng)友問(wèn)答名字是陪伴孩子一生的部分，若是想要名字帶給孩子更多的幫助，家長(zhǎng)們就需要在取名上下一定的功夫，下面收集了威武霸氣又儒雅的男孩名字之網(wǎng)友問(wèn)答，看看好的名字是如何取出的吧。
<01>、
問(wèn)：我想為兒子取個(gè)名字，希望他能成為頂天立地但不失溫柔暖心的君子，字?jǐn)?shù)不限，還請(qǐng)各位老師幫忙推薦一個(gè)好名字，感謝！
答：您好，根據(jù)您的描述，為您推薦的名字為<逸軒>。逸的本義是指安閑，安樂(lè)，不受拘束的狀態(tài)，意指平安喜樂(lè)，祥和安康，軒字則代表的是氣宇軒昂，朝氣蓬勃，結(jié)合搭配為名意喻著男孩頂天立地，出類(lèi)拔萃，知書(shū)達(dá)理，溫柔儒雅，既有風(fēng)度翩翩的氣度，也有儀表堂堂的氣質(zhì)，是個(gè)溫暖的人。
<02>、
問(wèn)：想給兒子取個(gè)吉利祥瑞的名字，最好是寓意著學(xué)識(shí)淵博，事業(yè)有成，兩個(gè)字的，拜托各位老師幫忙取個(gè)名字，十分感謝！
答：您好，根據(jù)您的描述，為您推薦的名字為<宏旭>。宏多用于宏偉，宏愿，宏圖當(dāng)中，指心胸寬廣，博學(xué)多才之人，而旭日東升，代表陽(yáng)光冉冉升起，象征著美好的希望，旭字美觀得體意蘊(yùn)深厚，與宏字搭配為名寓意著男孩的事業(yè)蒸蒸日上，是個(gè)吉祥如意，事事順心的好名字。
威武霸氣又儒雅的男孩名字大全無(wú)論是威武霸氣還是溫柔儒雅，對(duì)于男孩來(lái)說(shuō)其實(shí)都是美好的贊揚(yáng)與描述，若是想要同時(shí)體現(xiàn)出這些特質(zhì)，更是需要在取名時(shí)精雕細(xì)琢。下面整理了威武霸氣又儒雅的男孩名字大全，一起來(lái)看看吧。
<01>、沐、怡、奕珩、浩軒、庭浩
<02>、諾、凌、宇碩、嘯喆、哲軒
<03>、子、啟、路楊、云辰、鈞凡
<04>、明、家、路陽(yáng)、熙炫、豪吉
<05>、琪、司、玉瑯、玉哲、衡云
<06>、天、志、浚博、照涵、博杰
<07>、晏、嘉、悅弘、子睿、翔皓
<08>、俊、炳、宇軒、怡博、碩奇
<09>、潤(rùn)、光、恒豪、星宇、碩澤
<10>、承、梓、宇陽(yáng)、光星、騰豪
<11>、東、倚、鈞溢、樹(shù)愷、人言
<12>、峻、鴻、宏旭、浩宇、寨涵
<13>、致、新、昊沅、椏巖、碩佑
<14>、勝、奧、紅佑、碩諾、豪逵
<15>、世、浩、弋焱、鑫源、博祥
<16>、茂、宇、統(tǒng)維、邦陽(yáng)、賀羽
<17>、希、欣、奧哲、宇謙、翰春
<18>、乙、鎮(zhèn)、明哲、茁帆、煜豪
<19>、樹(shù)、冠、明碩、銳瑞、興澤
<20>、逸、長(zhǎng)、逸軒、辰宇、碩哲
“威武霸氣又儒雅的男孩名字”聲明：本文為 天賜佳名 編輯發(fā)布，如有疑問(wèn)可以私吾！
在被ChatGPT砸掉飯碗前，我們得摸清它的底細(xì)
編者按：正如AI繪畫(huà)快速席卷游戲行業(yè)一樣，前段時(shí)間突然爆火的 ChatGPT ，也成了不少游戲人夜不能寐的「技術(shù)心魔」。
舉例，不代表游戲運(yùn)營(yíng)實(shí)際情況
有人會(huì)拿它編寫(xiě)游戲代碼或查BUG；
還有人讓它跟AI繪畫(huà)聯(lián)動(dòng)，快速生成一些適合出圖的關(guān)鍵詞。
……
當(dāng)然，這還只是目前游戲從業(yè)者們能夠探索出來(lái)的功能，根據(jù)AI繪畫(huà)發(fā)展的前車(chē)之鑒，即使目前 ChatGPT 的一些回答還不算完美，未來(lái)它也會(huì)快速迭代得更加成熟——換句話(huà)說(shuō)，除了美術(shù)之外，更大范圍的游戲從業(yè)者或也將面臨著被AI「取代」的尷尬局面。
01
從ChatGPT的橫空出世講起
在回顧歷史前，首先要跟風(fēng)提一下幾天前發(fā)布的 ChatGPT，一個(gè)絕對(duì)神仙級(jí)別的自然語(yǔ)言生成式AI。
ChatGPT 誕生的重要意義，恐怕不亞于 StableDiffusion 等AI繪畫(huà)生成模型的出現(xiàn)。有興趣的朋友可以感受去 Chat.openai.com 感受一下這個(gè)當(dāng)今最牛逼沒(méi)有之一的自然語(yǔ)言問(wèn)答式AI的巨大威力。
ChatGPT 是明星人工智能公司 OpenAI 的GPT自然語(yǔ)言生成式模型的最新衍生品。在這之前，坊間已經(jīng)傳聞 OpenAI 的下一代自然語(yǔ)言生成模型GPT4即將出現(xiàn)。而且，有一個(gè)讓人震驚的江湖傳言：GPT4據(jù)稱(chēng)通過(guò)了圖靈測(cè)試。
圖靈測(cè)試究竟是什么意思？簡(jiǎn)單的說(shuō)，就是隔著一個(gè)小黑屋問(wèn)各種話(huà)題，然后是否能分辨小黑屋里回答問(wèn)題的究竟是機(jī)器還是人類(lèi)。如果無(wú)法辨別，就就說(shuō)明了機(jī)器具有和人一樣等級(jí)的智能，通過(guò)了圖靈測(cè)試。
迄今為止，還沒(méi)有AI模型能真正通過(guò)圖靈測(cè)試?？磥?lái)臨界點(diǎn)已經(jīng)到，筆者都迫不及待的期待GPT4的真正推出了。
誰(shuí)知道，還沒(méi)等來(lái) GPT4 ，衍生自 GPT3.5 的 ChatGPT 卻先來(lái)了。顧名思義， ChatGPT 就是「聊天GPT」，以對(duì)話(huà)的方式交互，用戶(hù)問(wèn)問(wèn)題，它來(lái)回答。
咋聽(tīng)起來(lái)，似乎也沒(méi)有很新鮮。但情況是，ChatGPT 的智能化遠(yuǎn)遠(yuǎn)超出了那些它的聊天AI前輩們。
好比
StableDiffusion/Midjourney也就是AI繪畫(huà)，但所能生成的AI繪畫(huà)質(zhì)量甩了前輩無(wú)數(shù)條街。
網(wǎng)上有越來(lái)越多的文章開(kāi)始安利 ChatGPT，不過(guò)多是拿了外網(wǎng)英文問(wèn)答的截圖，其實(shí) ChatGPT 可以直接上中文。
先隨意上幾個(gè)問(wèn)答大家感受一下，問(wèn)中國(guó)菜，算是送分題：
問(wèn)從希格瑪大廈如何去天安門(mén)，開(kāi)始有點(diǎn)難度了，回答非常正確(要知道，這可不是某個(gè)特地為了中文導(dǎo)航優(yōu)化的AI，ChatGPT是從它通用的知識(shí)積累里得到的理解)。
對(duì)龍珠的劇情理解，回答中規(guī)中矩，80分+，本來(lái)作者期望它能講得更詳細(xì)些：
吃貨國(guó)家問(wèn)題，有點(diǎn)刁鉆了：
廣東人真的喜歡吃甜的？這個(gè)問(wèn)題很多中國(guó)人都不一定答得上：
另外，可以直接問(wèn) ChatGPT 怎么寫(xiě)代碼，比如寫(xiě)一個(gè)俄羅斯方塊：
沒(méi)有懸念，代碼完全正確。
而更有想象力的，是讓 ChatGPT 來(lái)生成AI繪畫(huà)的輸入關(guān)鍵詞。讓AI自己來(lái)指導(dǎo)AI作畫(huà)，多美妙的主意。
這僅僅是一個(gè)開(kāi)始，隨著 ChatGPT 在全網(wǎng)的各種自來(lái)水安利，相信還有更多古靈精怪的玩法不斷被網(wǎng)友們挖掘出來(lái)。
ChatGPT 的回答給人的感覺(jué)是，這是一個(gè)特別靠譜的聊天AI，真正的上知天文下知地理，最關(guān)鍵的是，它不胡說(shuō)八道。正因?yàn)樗卮鸬臏?zhǔn)確性，看起來(lái)ChatGPT有了替代通用搜索引擎Google的可能性。
測(cè)試版的ChatGPT仍有一些缺點(diǎn)，但這都只是戰(zhàn)術(shù)級(jí)別的;在戰(zhàn)略上，ChatGPT 的前景已經(jīng)相當(dāng)令人期待，特別是 OpenAI 下一代GPT4加持下的 ChatGPT，其能力恐怕更加突破天際。
我們也許正在經(jīng)歷又一個(gè)AI突破的時(shí)刻，一如2022年初到年中AI繪畫(huà)的勢(shì)如破竹。 而這次，則是人類(lèi)通用信息生成的突破。
喜歡刨根問(wèn)底的讀者們會(huì)問(wèn)， AI是如何走到這一步的？讓我們遠(yuǎn)離現(xiàn)實(shí)的喧囂，把目光投回到那有點(diǎn)遙遠(yuǎn)的過(guò)去吧。
02
人工神經(jīng)網(wǎng)絡(luò)的起源
從某種意義上，語(yǔ)言表達(dá)是人類(lèi)信息和思想交流的窗口。人類(lèi)并沒(méi)有第七感，也沒(méi)有腦電波直達(dá)的交流（目前沒(méi)有:P），信息溝通都通過(guò)口頭語(yǔ)言和書(shū)面語(yǔ)言來(lái)傳遞（當(dāng)然, 可以說(shuō)還有一些手勢(shì)和肢體表達(dá)，但信息量基本可以忽略不計(jì)）。
針對(duì)語(yǔ)言信息的人工智能處理，或者學(xué)術(shù)一點(diǎn)，「自然語(yǔ)言處理 NLP」，是科學(xué)家們最早研究，人工智能最早發(fā)源的領(lǐng)域。
遠(yuǎn)在 1956 年，美國(guó)的達(dá)特茅斯學(xué)院舉行了一次具有傳奇色彩的學(xué)術(shù)會(huì)議（DartmouthConference），計(jì)算機(jī)專(zhuān)家約翰·麥卡錫提出了「人工智能」一詞。這被廣泛認(rèn)為是人工智能正式誕生的日子。
十位參與1956年的達(dá)特茅斯會(huì)議的科學(xué)家，A之父?jìng)?/p>
這個(gè)會(huì)議很有意思，事后諸葛亮的我們，一起來(lái)看看這個(gè)會(huì)議個(gè)特別有前瞻性的主要議題：
1. Automatic Computer 自動(dòng)計(jì)算機(jī)：
「如果一臺(tái)機(jī)器可以完成一項(xiàng)工作，那么就可以對(duì)一臺(tái)自動(dòng)計(jì)算器進(jìn)行編程來(lái)模擬這臺(tái)機(jī)器。目前計(jì)算機(jī)的速度和內(nèi)存容量可能不足以模擬人腦的許多高級(jí)功能，但主要的障礙不是缺乏機(jī)器容量，而是我們無(wú)法編寫(xiě)充分利用我們所擁有的機(jī)能?！?/p>
現(xiàn)代第一臺(tái)電子計(jì)算機(jī) ENIAC 的發(fā)明日期是 1946 年 2 月 14 日，也就是說(shuō)，當(dāng)時(shí)距離第一臺(tái)電子計(jì)算機(jī)的誕生僅僅過(guò)去了 10 年。先驅(qū)們的遺憾是當(dāng)時(shí)高級(jí)程序技術(shù)還基本沒(méi)有，無(wú)法充分發(fā)揮計(jì)算機(jī)的作用。
2. How can a Computer be Programmed to Use a Language？如何對(duì)計(jì)算機(jī)進(jìn)行編程以使用一種語(yǔ)言：
「可以推測(cè)，人類(lèi)思想的很大一部分是根據(jù)推理規(guī)則和猜想規(guī)則來(lái)操縱詞語(yǔ)的。從這個(gè)觀點(diǎn)來(lái)看，形成泛化就是承認(rèn)一個(gè)新詞和一些規(guī)則，其中包含這個(gè)新詞的句子暗示和被其他句子暗示。這個(gè)想法從來(lái)沒(méi)有被非常精確地表述過(guò)，也沒(méi)有例子?！?/p>
先驅(qū)們對(duì)語(yǔ)言文字的機(jī)器理解充滿(mǎn)了預(yù)期，而直到現(xiàn)在，有了 GPT 這些當(dāng)超大規(guī)模的自然語(yǔ)言 AI 模型，我們才堪堪敢說(shuō)，先驅(qū)們的期望逐漸在實(shí)現(xiàn)，計(jì)算機(jī)開(kāi)始真正理解了語(yǔ)言。
3. Neuron Nets 神經(jīng)網(wǎng)絡(luò)：
「一組（假設(shè)的）神經(jīng)元如何排列以形成概念。很多當(dāng)下的計(jì)算機(jī)科學(xué)家等人已經(jīng)就這個(gè)問(wèn)題做了大量的理論和實(shí)驗(yàn)工作。已經(jīng)獲得了部分結(jié)果，但這個(gè)問(wèn)題還需要更多的理論工作。」
神經(jīng)網(wǎng)絡(luò)。在 AI 概念誕生之時(shí)，先驅(qū)們就意識(shí)到了，人工神經(jīng)網(wǎng)絡(luò)的概念將要在 AI 里發(fā)揮重要作用。
4. Theory of the Size of a Calculation 計(jì)算規(guī)模理論：
「如果給一個(gè)很好的問(wèn)題（一個(gè)可以機(jī)械地測(cè)試所提出的答案是否是有效答案的問(wèn)題），解決它的一種方法是按順序嘗試所有可能的答案。這種方法是有效的，要排除它，必須有一些計(jì)算效率的標(biāo)準(zhǔn)。一些考慮將表明，為了獲得計(jì)算的效率的度量，必須手頭有一種測(cè)量計(jì)算設(shè)備復(fù)雜性的方法，如果有函數(shù)復(fù)雜性理論，這反過(guò)來(lái)也可以做到。香農(nóng)和麥卡錫已經(jīng)獲得了關(guān)于這個(gè)問(wèn)題的一些部分結(jié)果。」
計(jì)算機(jī)科學(xué)里重要的計(jì)算復(fù)雜性理論，就是這個(gè)時(shí)間點(diǎn)被提出和發(fā)展起來(lái)的。
5. Self-improvement 自我改進(jìn)：
「也許真正智能的機(jī)器會(huì)進(jìn)行自我改進(jìn)的活動(dòng)。已經(jīng)提出了一些這樣做的方案，值得進(jìn)一步研究。這個(gè)問(wèn)題似乎也可以抽象地研究?！?/p>
這是一個(gè)很有挑戰(zhàn)性的問(wèn)題，用現(xiàn)在的觀點(diǎn)可以換個(gè)說(shuō)法：AI 是否能實(shí)現(xiàn)自我編程自我提升？或許很快就可以了。
6. Abstractions 抽象
「許多類(lèi)型的「抽象」可以被清晰地定義，而其他一些類(lèi)型則不那么清晰。直接嘗試對(duì)這些進(jìn)行分類(lèi)并描述從感官和其他數(shù)據(jù)中形成抽象的機(jī)器方法似乎是值得的。」
通過(guò)機(jī)器智能來(lái)對(duì)各種信息自動(dòng)加以分類(lèi)和抽象，這正是當(dāng)今各種牛逼閃閃的AI大模型正在達(dá)成的成就。
7. Randomness and Creativity 隨機(jī)性和創(chuàng)造性：
「一個(gè)相當(dāng)吸引人但顯然是不完整的猜想是，創(chuàng)造性思維和缺乏想象力的有效思維之間的區(qū)別在于注入了某種隨機(jī)性。隨機(jī)性必須由直覺(jué)引導(dǎo)才能有效。換句話(huà)說(shuō)，受過(guò)教育的猜測(cè)或直覺(jué)在其他有序的思維中包括了受控的隨機(jī)性。」
先驅(qū)們非常直觀的理解，是否有隨機(jī)性是創(chuàng)造性思維和非創(chuàng)造性的分析思維的重要區(qū)別。
而隨機(jī)性需要由一些「直覺(jué)」引導(dǎo), 或者說(shuō)真正的 AI 需要一種「受控的隨機(jī)性」。
其實(shí), 當(dāng)前 AI 繪畫(huà)生成機(jī)制里很好踐行了這個(gè)洞察：在每一幅 AI 繪畫(huà)背后都是一個(gè) AI模型（比如 Stable Diffusion）+ 一個(gè)確定的輸入（一組關(guān)鍵詞）+ 一個(gè)系統(tǒng)生成的隨機(jī)數(shù)。同樣的「關(guān)鍵詞組 + 隨機(jī)數(shù)」輸入到 AI 模型里，必然生成一個(gè)完全相同的 AI 繪畫(huà)作品。這不就是「受控的隨機(jī)性」嘛。
達(dá)特茅斯會(huì)議的參會(huì)先驅(qū)們都是大神，也值得在這里簡(jiǎn)單提一下：
約翰·麥卡錫（John McCarthy）, 率先提出了 AI 的概念, 開(kāi)發(fā)了碼農(nóng)熟知的程序語(yǔ)言 Lisp。有意思的是，Lisp 是在 1958 年發(fā)明的，看看會(huì)議的第一個(gè)議題，抱怨沒(méi)有好用的編程語(yǔ)言可用，大牛的態(tài)度就是沒(méi)有趁手的工具嗎？那我就自己發(fā)明一個(gè)。
約翰·麥卡錫在 1971 年獲得了圖靈獎(jiǎng)。
馬文·明斯基（Marvin Minsky），在 1951 年在普林斯頓大學(xué)讀博士的時(shí)候，建立了第一個(gè)神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)機(jī)器 SNARC (Stochastic Neural Analog Reinforcement Calculator 隨機(jī)神經(jīng)模擬強(qiáng)化計(jì)算器)，這是第一個(gè)真正意義上的人工神經(jīng)網(wǎng)絡(luò)硬，用 3000 個(gè)真空管來(lái)模擬了 40 個(gè)神經(jīng)元的信號(hào)傳遞。
明斯基的博士論文也正是神經(jīng)網(wǎng)絡(luò)。有趣的是，明斯基拿的是數(shù)學(xué)系博士學(xué)位。當(dāng)時(shí)有人挑刺說(shuō)神經(jīng)網(wǎng)絡(luò)的研究能算數(shù)學(xué)？而當(dāng)時(shí)支持明斯基的正是大名鼎鼎的現(xiàn)代計(jì)算機(jī)之父馮·諾伊曼。馮·諾伊曼說(shuō)：現(xiàn)在不算，但很快就得算了。
明斯基在 1969 年獲得了圖靈獎(jiǎng)。
克勞德·香農(nóng)（Claude Shannon），通信科學(xué)鼻祖，大名鼎鼎的香農(nóng)定理是所有通信制式最基本的原理。和計(jì)算機(jī)鼻祖并駕齊驅(qū)的香農(nóng)同學(xué)就不需要圖靈獎(jiǎng)了，因?yàn)樵谕ㄐ蓬I(lǐng)域有以他的名字命名的的最高獎(jiǎng)香農(nóng)獎(jiǎng):)
赫伯特·西蒙（Herbert Simon）和艾倫·紐厄爾（Allen Newell）在達(dá)特茅斯會(huì)議上報(bào)告了世界上第一個(gè) AI 項(xiàng)目「邏輯理論家（the Logic Theorist）」。
這個(gè) AI 證明了《數(shù)學(xué)原理》第二章 52 個(gè)定理的 38 個(gè)，甚至找到了比原教材更優(yōu)美的證明。兩人合作提出了搜索式推理的方法，開(kāi)創(chuàng)了人工智能除神經(jīng)網(wǎng)絡(luò)學(xué)派之外的第二條路線：符號(hào)主義學(xué)派。這兩位在 1975 年一起拿到了圖靈獎(jiǎng)。
題外話(huà)是，這兩位牛和當(dāng)時(shí)數(shù)學(xué)系主任、第一屆圖靈獎(jiǎng)獲得者阿蘭·珀里思（Alan Perlis）一起創(chuàng)立了卡內(nèi)基梅隆大學(xué)的計(jì)算機(jī)系，從此，CMU 成為計(jì)算機(jī)學(xué)科的重鎮(zhèn)。
在達(dá)特茅斯會(huì)議之前，還有一個(gè)1955年的小討論會(huì)「學(xué)習(xí)機(jī)討論會(huì)」，在那次討論會(huì)上，主持人也是神經(jīng)網(wǎng)絡(luò)的鼻祖之一的皮茨 Pitts 做了一個(gè)有趣總結(jié)：
「...一派人企圖模擬神經(jīng)系統(tǒng)（Neuron Net），一派人企圖模擬心智（mind，就是上面西蒙的符號(hào)派)...但最終大家的目的一致」。
這句眼光毒辣的話(huà)，冥冥之中預(yù)示了隨后幾十年間 AI 研究「結(jié)構(gòu) V.S. 功能」的神經(jīng)網(wǎng)絡(luò)派和符號(hào)主義派兩條路線之爭(zhēng)。
03
潮起又潮落
達(dá)特茅斯會(huì)議之后，AI 進(jìn)入了一個(gè)大時(shí)代，人們驚奇的發(fā)現(xiàn)，計(jì)算機(jī)居然可以證明數(shù)學(xué)定理，學(xué)習(xí)使用語(yǔ)言。在眾多AI研究方向中，搜索式推理，自然語(yǔ)言處理最有影響力。
從 1955 年到 1974 年是 AI 的第一次發(fā)展高潮，大量成功的初代 AI 程序和研究方向不斷出現(xiàn)。AI 先驅(qū)們非常樂(lè)觀的預(yù)言：
「十年之內(nèi)，數(shù)字計(jì)算機(jī)將成為國(guó)際象棋世界冠軍。」(1958年，H. A. Simon，Allen Newell)
「二十年內(nèi)，機(jī)器將能完成人能做到的一切工作?！?1965年，H. A. Simon)
「在三到八年的時(shí)間里我們將得到一臺(tái)具有人類(lèi)平均智能的機(jī)器?！?1970年，Marvin Minsky)
結(jié)果呢？事后諸葛亮看回來(lái)，當(dāng)然是被啪啪啪的打臉啦。
到了 70 年代初，AI 科學(xué)家們逐漸發(fā)現(xiàn)，雖然機(jī)器擁有了簡(jiǎn)單的邏輯推理能力，但遇到了當(dāng)時(shí)完全無(wú)法克服的基礎(chǔ)瓶頸，這些瓶頸基本就是時(shí)代的局限：
1) 當(dāng)時(shí)計(jì)算機(jī)的運(yùn)算能力問(wèn)題：
且不說(shuō)當(dāng)時(shí)最原始的計(jì)算機(jī)那點(diǎn)可憐巴巴的算力了，我們知道，一直到了最近十來(lái)年，個(gè)人計(jì)算機(jī)組網(wǎng)之后的并行算力才真正達(dá)到了可以支持現(xiàn)代 AI 大模型訓(xùn)練迭代的要求。
2)推理需要積累大量對(duì)世界的認(rèn)知信息：
這就是個(gè)大數(shù)據(jù)的基礎(chǔ)積累問(wèn)題。而大數(shù)據(jù)的積累，也是在現(xiàn)代互聯(lián)網(wǎng)的迅猛發(fā)展之后，才得到了真正的解決。
還有一個(gè)神奇的事情是，人工神經(jīng)網(wǎng)絡(luò)這個(gè)當(dāng)下最主流的 AI 發(fā)展路線，在當(dāng)時(shí)陰差陽(yáng)錯(cuò)的遭到了巨大打擊一蹶不振。而暴擊了整個(gè)神經(jīng)網(wǎng)絡(luò)研究的，正是人工神經(jīng)網(wǎng)絡(luò)的締造者馬文·明斯基本人。
前面說(shuō)過(guò)，明斯基搭建了第一個(gè)神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)硬件機(jī)器。當(dāng)時(shí)有一位明斯基低一屆的高中學(xué)弟弗朗克?羅森布拉特（Frank Rosenblatt），從康奈爾大學(xué)獲得博士學(xué)位后，跟隨師兄的步伐，獲得了美國(guó)海軍研究室資助，研制了人工神經(jīng)網(wǎng)絡(luò)「感知機(jī)（Perceptron）」。
1957 年，第一個(gè)版本的感知機(jī)以軟件仿真的形式運(yùn)行在 IBM704 上。1962 年，羅森布拉特出版《神經(jīng)動(dòng)力學(xué)原理：感知機(jī)和腦機(jī)制理論》，引起了全球 AI 實(shí)驗(yàn)室的大量關(guān)注和效仿，并將感知機(jī)系統(tǒng)運(yùn)用于文字識(shí)別，語(yǔ)音識(shí)別等領(lǐng)域，神經(jīng)網(wǎng)絡(luò)研究達(dá)到了第一次高潮。
而這個(gè)時(shí)候，明斯基自己回到哈佛任教，申請(qǐng)國(guó)防項(xiàng)目卻遭到了挫折，讓明斯基特別郁悶的是，自己曾服役的海軍把經(jīng)費(fèi)投給了學(xué)弟，支持的卻是自己好幾年前就玩過(guò)的神經(jīng)網(wǎng)絡(luò)。
數(shù)學(xué)背景深厚的明斯基拿起數(shù)學(xué)武器對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了扎實(shí)的理論分析，并在 1969 年出版了《感知機(jī)》，通過(guò)數(shù)學(xué)理論推演指出羅森布拉特的感知機(jī)功能有限，甚至不能解決線性不可分問(wèn)題（如不能用一個(gè)直線或者一個(gè)直面把二維或者三維坐標(biāo)系中的兩類(lèi)數(shù)據(jù)很好的劃分。就是線性不可分）。
明斯基在《感知機(jī)》書(shū)中暗示說(shuō)：把感知機(jī)從一層神經(jīng)網(wǎng)絡(luò)推廣到多層的思路是沒(méi)有希望的。
既然連 AI 先驅(qū)和人工神經(jīng)網(wǎng)絡(luò)締造者本人的明斯克都說(shuō)，神經(jīng)網(wǎng)絡(luò)這個(gè)方向沒(méi)戲，所有的研究者都深感氣餒，神經(jīng)網(wǎng)絡(luò)的研究從此走向了低潮。更可惜的是，在兩年后，發(fā)明感知機(jī)的學(xué)弟羅森布拉特遭受意外去世，再也沒(méi)人出來(lái)挑戰(zhàn)明斯克的結(jié)論了。
然而，歷史總喜歡和人開(kāi)玩笑。事實(shí)上，是明斯克錯(cuò)了。
我們現(xiàn)在已經(jīng)知道，恰恰是只要把感知機(jī)從單層網(wǎng)絡(luò)變成多層，就可以解決線性不可分問(wèn)題。其實(shí)當(dāng)時(shí)羅森布拉特以及其他研究者也想到過(guò)多層感知機(jī)，但苦于一直沒(méi)有找到訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的方法。直到了 80 年代中期，相關(guān)算法才被找到和提出，人工神經(jīng)網(wǎng)絡(luò)的研究再一次走向繁榮。
04
希望越大, 失望越大的專(zhuān)家系統(tǒng)
在 80 年初，一類(lèi)名為「專(zhuān)家系統(tǒng)」的 AI 程序開(kāi)始為全世界公司青睞，人工智能研究又迎來(lái)一波高潮。
什么是「專(zhuān)家系統(tǒng)」？百度百科的解釋如下：
專(zhuān)家系統(tǒng)是一個(gè)智能計(jì)算機(jī)程序系統(tǒng)，其內(nèi)部含有大量的某個(gè)領(lǐng)域?qū)＜宜降闹R(shí)與經(jīng)驗(yàn)，它能夠應(yīng)用人工智能技術(shù)和計(jì)算機(jī)技術(shù)，根據(jù)系統(tǒng)中的知識(shí)與經(jīng)驗(yàn)，進(jìn)行推理和判斷，模擬人類(lèi)專(zhuān)家的決策過(guò)程，以便解決那些需要人類(lèi)專(zhuān)家處理的復(fù)雜問(wèn)題，簡(jiǎn)而言之，專(zhuān)家系統(tǒng)是一種模擬人類(lèi)專(zhuān)家解決領(lǐng)域問(wèn)題的計(jì)算機(jī)程序系統(tǒng)。
一句話(huà)說(shuō)，專(zhuān)家系統(tǒng)根據(jù)過(guò)往的知識(shí)經(jīng)驗(yàn)積累來(lái)模擬人類(lèi)專(zhuān)家從而進(jìn)行邏輯推理和判斷。
等一下，這個(gè)說(shuō)法是不是有點(diǎn)熟悉?聽(tīng)起來(lái)似乎有點(diǎn)像 AI 先驅(qū)赫伯特·西蒙（Herbert Simon）和艾倫·紐厄爾（Allen Newell）所做的第一個(gè)AI項(xiàng)目：「邏輯理論家（the Logic Theorist）」。
事實(shí)上，這正是人工智能兩大路線的符號(hào)主義派的成果體現(xiàn)。第一條路線神經(jīng)網(wǎng)絡(luò)派在當(dāng)時(shí)被自己的鼻祖明斯克按在地上摩擦，第二條路線則在 80 年代初恰逢其時(shí)的站了出來(lái)。
和神經(jīng)網(wǎng)絡(luò)旨在研發(fā)通用結(jié)構(gòu)的 AI 模型不同，專(zhuān)家系統(tǒng)基于符號(hào)邏輯的概念。它們通常是由特定領(lǐng)域的專(zhuān)家（比如醫(yī)藥、金融或者制造業(yè)）開(kāi)發(fā)的，僅限于一個(gè)很小的知識(shí)領(lǐng)域，依據(jù)一組專(zhuān)門(mén)知識(shí)推演出的邏輯規(guī)則來(lái)回答特定領(lǐng)域的問(wèn)題。而隨著專(zhuān)家系統(tǒng)的熱門(mén)，「知識(shí)處理」也隨之成為了主流 AI 研究焦點(diǎn)。
專(zhuān)家系統(tǒng)的一個(gè)典型項(xiàng)目是專(zhuān)家配置器 XCON（eXpert CONfigurer）, 由卡內(nèi)基梅隆大學(xué)為 DEC 公司設(shè)計(jì)開(kāi)發(fā)。該系統(tǒng)可以說(shuō)是世界上第一個(gè)（特定領(lǐng)域的）推薦引擎，通過(guò)幾千條規(guī)則來(lái)對(duì)計(jì)算機(jī)部件的選擇進(jìn)行最優(yōu)化。從 1980 年投入使用以來(lái)，它為 DEC 公司制造 VAX 系列電腦節(jié)省了數(shù)千萬(wàn)的成本。隨著 XCON 的成功被更多企業(yè)所了解，專(zhuān)家系統(tǒng)在 80 年代中期迎來(lái)了它的繁榮，造就了一個(gè)數(shù)十億美金的市場(chǎng)。
不過(guò)，最為普通人所熟知的專(zhuān)家系統(tǒng)應(yīng)該是后來(lái)的 IBM 超級(jí)計(jì)算機(jī)「深藍(lán)」。IBM 從 1985 年開(kāi)始研發(fā)「深藍(lán)」計(jì)算機(jī)。它是一個(gè)專(zhuān)門(mén)針對(duì)國(guó)際象棋的專(zhuān)家系統(tǒng)。1996 年，它在六場(chǎng)比賽中的一場(chǎng)中擊敗了國(guó)際象棋大師加里·卡斯帕羅夫（Garry Kasparov），名揚(yáng)天下。
但專(zhuān)家系統(tǒng)在工業(yè)界多少有點(diǎn)曇花一現(xiàn)，繁榮之后迎來(lái)的是迅速的沒(méi)落。這是因?yàn)?80 年代的專(zhuān)家系統(tǒng)存在著基礎(chǔ)性的問(wèn)題，首先就是專(zhuān)家系統(tǒng)的知識(shí)領(lǐng)域過(guò)于狹窄難以拓展。
說(shuō)到這里，筆者讀書(shū)時(shí)曾經(jīng)困惑過(guò)，為什么「深藍(lán)」那么牛逼的系統(tǒng)，贏了國(guó)際象棋后好像就泯然眾人矣，并沒(méi)有繼續(xù)在其他領(lǐng)域發(fā)揮光和熱。
而答案就是，看來(lái)它只能用來(lái)下國(guó)際象棋...
此外，在專(zhuān)家系統(tǒng)變得越來(lái)越龐大后，為其提供和管理數(shù)據(jù)、開(kāi)發(fā)和測(cè)試都變得越來(lái)越復(fù)雜。更要命的是，專(zhuān)家系統(tǒng)是不會(huì)自己學(xué)習(xí)的，這意味著必須不斷更新底層邏輯來(lái)保持專(zhuān)家系統(tǒng)解決領(lǐng)域新問(wèn)題的能力。這大大增加了系統(tǒng)維護(hù)成本和復(fù)雜性。
因此，到了 80 年代末期，大家都看明白了，專(zhuān)家系統(tǒng)雖然有點(diǎn)用，但領(lǐng)域過(guò)于狹窄，更新迭代和維護(hù)成本非常高。專(zhuān)家系統(tǒng)開(kāi)始迅速在業(yè)界失寵，很多相關(guān)公司破產(chǎn)。
這就是人工智能的第二次繁榮后的又一次寒冬。而導(dǎo)致第二次AI寒冬的原因，除了前面所說(shuō)的應(yīng)用范圍的局限性和商業(yè)過(guò)分追捧導(dǎo)致最后泡沫的破裂，還有那兩個(gè)老大難問(wèn)題：
1）計(jì)算機(jī)的算力瓶頸仍然無(wú)法突破
2）仍然缺乏訓(xùn)練AI的足夠海量數(shù)據(jù)
有些讀者或許會(huì)問(wèn)，在當(dāng)下這兩個(gè)老大難問(wèn)題或許可以說(shuō)初步被解決了，那么專(zhuān)家系統(tǒng)這條路線是否重新有用武之地呢？
答案是肯定的，就在最近，Meta 提出的人工智能 Cicero 成為了 AI 領(lǐng)域的熱門(mén)新聞，Meta 做出了這個(gè)史上最復(fù)雜的多人外交策略 AI，和人玩在線版「外交」游戲。 在每場(chǎng)比賽中，Cicero 可以自己查看比賽情況，了解各個(gè)玩家的行動(dòng)歷史，模擬真人和不同玩家溝通，從而預(yù)測(cè)其他玩家的行動(dòng)。它能自行制定計(jì)劃，并通過(guò)人類(lèi)語(yǔ)言與其他玩家進(jìn)行協(xié)調(diào)執(zhí)行策略，沒(méi)有人察覺(jué)出它是 AI。
Meta Cicero AI 成功的關(guān)鍵因素，正是重新引入了和大數(shù)據(jù)模型結(jié)合的專(zhuān)家知識(shí)系統(tǒng)。
在當(dāng)年的專(zhuān)家系統(tǒng)開(kāi)始走向低谷之時(shí), 深度學(xué)習(xí)的前身人工神經(jīng)網(wǎng)絡(luò)卻取得了革命性的進(jìn)展，在1986年戴維·魯梅哈特（David Rumelhart）、杰弗里·辛頓（Geoffrey Hinton）等人推廣了由保羅·韋爾博斯（Paul Werbos）發(fā)明的反向傳播算法（BP 算法），使得大規(guī)模多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練終于成為可能。
反向傳播算法使得神經(jīng)網(wǎng)絡(luò)的中間級(jí)可以學(xué)習(xí)到數(shù)據(jù)輸入的有效表達(dá)，這就是神經(jīng)網(wǎng)絡(luò)乃至深度學(xué)習(xí)的核心思想。困擾AI先驅(qū)們的多層神經(jīng)網(wǎng)絡(luò)無(wú)法訓(xùn)練的難題終于被突破了。
不知道曾親自給神經(jīng)網(wǎng)絡(luò)蓋棺定論的明斯基，當(dāng)時(shí)聽(tīng)到這個(gè)消息的心情是什么:)
稍作休整，在我們步入當(dāng)下的第三次浪潮之前，先再來(lái)回顧一下人工智能的兩條路線之爭(zhēng)：
符號(hào)主義：
傳統(tǒng)的研究思路，主張通過(guò)功能模擬入手，把智能看做是符號(hào)處理的過(guò)程，采用形式邏輯來(lái)實(shí)現(xiàn)人工智能，所以稱(chēng)之為「符號(hào)主義(Symbolism)」或「邏輯主義(Logicism)」。
符號(hào)主義可以對(duì)形式化表達(dá)的問(wèn)題（比如下棋、數(shù)學(xué)定理證明）有效，但人類(lèi)很多的常識(shí)，以及接收的很多信息都無(wú)法用符號(hào)表達(dá)，比如視覺(jué)聽(tīng)覺(jué)等基本感知能力，雖然不像邏輯推理這樣高大上，但符號(hào)主義至今都沒(méi)有好的辦法處理；而類(lèi)似想象力、創(chuàng)造力、情感和直覺(jué)這些人腦特有的認(rèn)知能力，目前更是符號(hào)主義無(wú)法企及的領(lǐng)域。
神經(jīng)網(wǎng)絡(luò)：
和符號(hào)主義功能模擬這種自上而下的思路相反，神經(jīng)網(wǎng)絡(luò)就是徹底的自底向上的結(jié)構(gòu)仿真路線。直接模仿人腦智能的物質(zhì)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)，希望通過(guò)人工方式構(gòu)建神經(jīng)網(wǎng)絡(luò)，從而產(chǎn)生智能。
從羅森布拉特的感知機(jī)，一直到當(dāng)下大眾所知道的深度學(xué)習(xí)網(wǎng)絡(luò)，這個(gè)路線把智能活動(dòng)看做是大量簡(jiǎn)單神經(jīng)單元通過(guò)復(fù)雜連接和并行運(yùn)行之后的結(jié)果，所以也被世人稱(chēng)為「連接主義（connectionism）」。
05
大算力，大數(shù)據(jù)，大力出奇跡
2006 年，杰弗里·辛頓（Geoffrey Hinton）在 science 期刊上發(fā)表了重要的論文，提出深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBNs）,「深度學(xué)習(xí)】正式誕生，基于人工神經(jīng)網(wǎng)絡(luò)的第三次 AI 發(fā)展浪潮開(kāi)始了，且一直延續(xù)至今。
和前兩次浪潮不同的是，當(dāng)下計(jì)算機(jī)性能已經(jīng)能讓大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)模擬得以成為現(xiàn)實(shí)，在 1957 年，羅森布拉特用 IBM704 去仿真感知機(jī)，每秒完成 1.2 萬(wàn)次浮點(diǎn)加法，而如今超級(jí)計(jì)算機(jī)速度是 IBM704 的 10 萬(wàn)億倍以上。
此外，個(gè)人計(jì)算機(jī) GPU 近些年發(fā)展迅猛，盡管 GPU 的初衷是為了加速 3D 圖形計(jì)算，但通用 GPU 的計(jì)算模式正好匹配了神經(jīng)網(wǎng)絡(luò)并行計(jì)算的需求特點(diǎn)，從而進(jìn)一步推動(dòng)了神經(jīng)網(wǎng)絡(luò)模型的發(fā)展。
除了算力之外，限制前兩次 AI 浪潮發(fā)展的另一主要因素就是數(shù)據(jù)的缺乏。在深度學(xué)習(xí)理論模型提出之后，最早之一意識(shí)到了 AI 學(xué)科發(fā)展的數(shù)據(jù)鉗制并著手去解決的是華人女 AI 科學(xué)家李飛飛。年輕的李飛飛以堅(jiān)韌不拔的大無(wú)畏精神推動(dòng)完成了一個(gè)超大規(guī)模的開(kāi)源圖片標(biāo)注數(shù)據(jù)庫(kù)，這就是著名的 ImageNet 項(xiàng)目。在 2009 年正式發(fā)布時(shí)，ImageNet 有超過(guò) 1000 萬(wàn)數(shù)據(jù)，兩萬(wàn)多個(gè)類(lèi)別。
2010 年開(kāi)始，Image Net 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVCR）開(kāi)始舉辦，全世界圖像領(lǐng)域深度學(xué)習(xí)的專(zhuān)家們同臺(tái)競(jìng)技和交流，從此拉開(kāi)了計(jì)算機(jī)視覺(jué)的新篇章。
額，本文主要是關(guān)注自然語(yǔ)言大模型的前世今生的，而 ImageNet 完全是圖像領(lǐng)域的工作。但是，ImageNet 的出現(xiàn)和發(fā)展給了自然語(yǔ)言 AI 模型研究一個(gè)很重要的啟發(fā)。這就是圖像領(lǐng)域深度學(xué)習(xí)的預(yù)訓(xùn)練概念。
大家都知道，「深度學(xué)習(xí)」顧名思義，就是具有很多層級(jí)的神經(jīng)網(wǎng)絡(luò)模型?，F(xiàn)代神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)很深，動(dòng)則幾百萬(wàn)上千萬(wàn)參數(shù)量。而這些神經(jīng)網(wǎng)絡(luò)模型在能做特定任務(wù)之前，都是需要經(jīng)過(guò)「訓(xùn)練」的，即根據(jù)標(biāo)注好的特定訓(xùn)練數(shù)據(jù)去反復(fù)調(diào)整模型里的參數(shù)，最后所有參數(shù)調(diào)整到位，模型能匹配訓(xùn)練數(shù)據(jù)集的輸入和輸出。
那么，問(wèn)題來(lái)了，要調(diào)整深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型里那成千萬(wàn)的參數(shù)量，如果訓(xùn)練數(shù)據(jù)少了，肯定很難調(diào)整到位啊。這就好比一個(gè)內(nèi)部齒輪復(fù)雜精密的新機(jī)器，如果只稍微動(dòng)一下，內(nèi)部能牽扯到的齒輪機(jī)構(gòu)說(shuō)不定都很少，達(dá)不到磨合的目的；只有大規(guī)模長(zhǎng)時(shí)間運(yùn)轉(zhuǎn)起來(lái)，內(nèi)部的齒輪才能全速轉(zhuǎn)起來(lái)，互相磨合好。
但是，那些特定的 AI 任務(wù)往往沒(méi)有那么多訓(xùn)練數(shù)據(jù)啊，這可怎么辦呢？
非常值得慶幸的是，AI 科學(xué)家研究發(fā)現(xiàn)了深度學(xué)習(xí)網(wǎng)絡(luò)一個(gè)有趣的特性，對(duì)于圖像領(lǐng)域的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)而言，不同層級(jí)的神經(jīng)元學(xué)習(xí)到的是不同邏輯層級(jí)的圖像特征。
如上圖所示，若將訓(xùn)練好的網(wǎng)絡(luò)每層神經(jīng)元學(xué)習(xí)到的特征可視化，會(huì)發(fā)現(xiàn)，最底層的神經(jīng)元學(xué)習(xí)到的是線段等特征，第二層學(xué)到的是人臉各個(gè)五官的特征，第三層學(xué)到的是人臉輪廓的特征，這三層構(gòu)成了人臉特征的邏輯層級(jí)結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)越底層的特征越基礎(chǔ)抽象，比如什么邊角弧線等，而越往上層，就具體和任務(wù)相關(guān)。是不是很神奇？
一個(gè)訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)的內(nèi)部參數(shù)，在底層體現(xiàn)了通用和基礎(chǔ)的特征，而越到高層，越和特定任務(wù)相關(guān)。這是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一個(gè)特別棒的特性。
人們開(kāi)始動(dòng)腦筋了，既然是這樣，那么是不是可以先用標(biāo)準(zhǔn)的大數(shù)據(jù)集比如ImageNet來(lái)做深度學(xué)習(xí)網(wǎng)絡(luò)的「預(yù)訓(xùn)練」呢？反正那么多層的神經(jīng)網(wǎng)絡(luò)里，大多數(shù)的層級(jí)都和特定任務(wù)關(guān)系不大,我們只需要把通用大數(shù)據(jù)預(yù)訓(xùn)練得到的網(wǎng)絡(luò)模型結(jié)果，再結(jié)合任務(wù)相關(guān)的那點(diǎn)可憐的標(biāo)注數(shù)據(jù)去微調(diào)（Fine-tuning）高層的網(wǎng)絡(luò)參數(shù)，使得高層參數(shù)輸出更匹配當(dāng)前領(lǐng)域的任務(wù)，不就 OK 了嗎？
這樣一來(lái)，原本因?yàn)閿?shù)據(jù)不足而無(wú)法訓(xùn)練的特定任務(wù)也能解決了。即便任務(wù)的訓(xùn)練數(shù)據(jù)不缺，先通過(guò)預(yù)訓(xùn)練過(guò)程也能極大的加快特定任務(wù)訓(xùn)練的完成速度。預(yù)訓(xùn)練這種通吃的解決方案人見(jiàn)人愛(ài)，很快在圖像處理領(lǐng)域廣泛流行開(kāi)來(lái)。
06
自然語(yǔ)言 AI 的深度進(jìn)化
首先呢，自然語(yǔ)言處理的研究里，有個(gè)基本概念叫做「語(yǔ)言模型」，大致理解起來(lái)也簡(jiǎn)單，就是想辦法打造一個(gè)核心函數(shù) P，這個(gè)函數(shù)通過(guò)一個(gè)句子里前面的所有單詞來(lái)計(jì)算下一個(gè)單詞的概率大小。一句話(huà)里的單詞總是順序出現(xiàn)的，每個(gè)單詞都可以通過(guò)前面所有單詞計(jì)算出這么一個(gè)概率，把所有這些單詞的概率乘起來(lái)，總概率數(shù)值越大，說(shuō)明這越像是人說(shuō)出的話(huà)。
怎么構(gòu)造這個(gè)神奇的函數(shù) P 是 AI 科學(xué)家的事情，但讀者們一定可以明白，有了這個(gè)牛逼的「語(yǔ)言模型」函數(shù) P，計(jì)算機(jī)就會(huì)說(shuō)人話(huà)了。
而從神經(jīng)網(wǎng)絡(luò)學(xué)派的同學(xué)看來(lái)，是不是可以用神經(jīng)網(wǎng)絡(luò)來(lái)打造這樣一個(gè)語(yǔ)言模型呢？就是說(shuō)用很多的現(xiàn)成語(yǔ)料，來(lái)訓(xùn)練出一個(gè)神經(jīng)網(wǎng)絡(luò)，然后給這個(gè)神經(jīng)網(wǎng)絡(luò)模型輸入一句話(huà)的前面幾個(gè)詞，這個(gè)模型就能計(jì)算出這句話(huà)的下一個(gè)單詞。
這就是大名鼎鼎的「神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 NNLM」。
NNLM 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的想法并不是最近冒出來(lái)的, 它的歷史要追溯到 20 年前。NNLM 的論文在 2003 年就被發(fā)表出來(lái)了，而當(dāng)時(shí)，深度學(xué)習(xí)的概念還只存在于杰弗里·辛頓（Geoffrey Hinton）的腦袋里。
所以，不幸的是，NNLM 當(dāng)時(shí)沒(méi)有引起學(xué)界多少反響，被埋沒(méi)了近 10 年。事實(shí)上，在深度學(xué)習(xí)大火之前，用神經(jīng)網(wǎng)絡(luò)做自然語(yǔ)言處理甚至?xí)恍υ?huà)，之前自然語(yǔ)言處理的主流研究方式還是基于統(tǒng)計(jì)學(xué)的機(jī)器學(xué)習(xí)方法。神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 NNLM 這個(gè)概念太超前時(shí)代了。
一直到了 2013 年，在深度學(xué)習(xí)概念提出來(lái) 7 年之后，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型先是在圖像和語(yǔ)音領(lǐng)域大顯神威，自然語(yǔ)言 AI 的同學(xué)終于想起了這篇十年前的論文。NNLM 重出江湖，為世人所知：
在 2013 年，AI 研究人員倒騰了一個(gè)自然語(yǔ)言處理的處理模型 Word2Vec。顧名思義，「Word2Vec」就是「word to vector，從詞到向量」。研究人員的目標(biāo)是把一個(gè)單詞變成一個(gè)數(shù)學(xué)向量，這個(gè)數(shù)學(xué)量在 NLP 里有個(gè)專(zhuān)門(mén)的名詞，叫做Word Embedding（詞嵌入）。
為啥要變成一個(gè)向量，出發(fā)點(diǎn)也很簡(jiǎn)單，如果能將每個(gè)單詞都能表示為數(shù)學(xué)空間里的一個(gè)向量，那么是不是理論上，在這個(gè)向量空間里比較接近的詞，就是意義接近的單詞呢？這樣計(jì)算機(jī)不就可以方便的理解單詞之間的聯(lián)系了嗎？
Word2Vec 翻出了十年前的 NNLM。NNLM 的初衷只是想構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，根據(jù)前面的詞，來(lái)預(yù)測(cè)后一個(gè)是什么詞。NNLM 網(wǎng)絡(luò)內(nèi)部構(gòu)造了一個(gè)隨機(jī)初始化的矩陣，通過(guò)不斷的訓(xùn)練，來(lái)達(dá)成 NNLM 模型預(yù)測(cè)單詞的目的。
特別湊巧的是，研究人員發(fā)現(xiàn)這個(gè)訓(xùn)練出來(lái)的內(nèi)部矩陣的每一行，正好可以作為每個(gè)詞的嵌入向量 Word Embedding，這真是得來(lái)全不費(fèi)功夫啊。
NNLM 和 Word2Vec 使用了類(lèi)似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不過(guò)因?yàn)槟康牟煌?，其?xùn)練方法理念是截然不同的。NNLM 作為語(yǔ)言模型，是要看到上文預(yù)測(cè)下文，所以訓(xùn)練時(shí)輸入的是句子上文單詞；而 Word2Vec 呢？因?yàn)樗哪繕?biāo)是要找出所有單詞之間意義遠(yuǎn)近的數(shù)學(xué)關(guān)系，所以訓(xùn)練時(shí)都使用句子上文和下文作為輸入。
不知道讀者意識(shí)到?jīng)]，這兩種訓(xùn)練方式在更高的意義上有著一些本質(zhì)區(qū)別，就好比我們?nèi)祟?lèi)說(shuō)話(huà)，都是順序說(shuō)出來(lái)一個(gè)個(gè)單詞的，說(shuō)不定呢，人的潛意識(shí)或許也是一個(gè)類(lèi)似 NNLM 的 P 函數(shù)，自覺(jué)不自覺(jué)地的決定人說(shuō)話(huà)里的下一個(gè)詞是什么。因此只從上文預(yù)測(cè)下文的訓(xùn)練方式，貌似天然更契合「生成式」的邏輯。
而 Word2Vec 這種通過(guò)上文和下文輸入來(lái)訓(xùn)練的方式，可以比喻成機(jī)器來(lái)做閱讀理解，就像是我們做語(yǔ)文或英語(yǔ)的閱讀理解，一定是通讀全文，然后根據(jù)上下文來(lái)理解和判斷問(wèn)題的答案。這樣的人工智能，就是所謂分析式的 AI。
兩種模型訓(xùn)練的思路，在后續(xù)發(fā)展里變成了自然語(yǔ)言模型的兩種路線。本文開(kāi)頭提到的 OpenAI 生成式模型 GPT 系列，堅(jiān)定的只用上文進(jìn)行訓(xùn)練，用以追求「純粹」的生成；而 Google 公司的大語(yǔ)言模型 Bert，則采用了上文和下文一起訓(xùn)練的模式，此乃后話(huà)。
前面提到，圖像處理領(lǐng)域里使用大規(guī)模通用數(shù)據(jù)進(jìn)行「預(yù)訓(xùn)練」所取得的效率和成果實(shí)在讓人羨慕，而在自然語(yǔ)言處理領(lǐng)域里，其實(shí)也有一點(diǎn)點(diǎn)「預(yù)訓(xùn)練」概念的，這個(gè)預(yù)訓(xùn)練就是，每個(gè)單詞的 WordEmbedding 可以反過(guò)來(lái)初始化神經(jīng)網(wǎng)絡(luò)的內(nèi)部參數(shù)。
不去探究數(shù)學(xué)細(xì)節(jié)，讀者只要知道，這種「預(yù)訓(xùn)練方式」和前面圖像處理領(lǐng)域的低層級(jí)網(wǎng)絡(luò)預(yù)訓(xùn)練方式有點(diǎn)類(lèi)似，但問(wèn)題是利用 WordEmbedding 只能初始化第一層網(wǎng)絡(luò)參數(shù)，和圖像處理領(lǐng)域的預(yù)訓(xùn)練能有效初始化大多數(shù)網(wǎng)絡(luò)層級(jí)不可同日而語(yǔ)，只能說(shuō)是一種比較原始初級(jí)的「預(yù)訓(xùn)練」了。
但直到 2018 年前，這就是 NLP 領(lǐng)域里能采用的預(yù)訓(xùn)練典型做法了。
采用 WordEmbedding 來(lái)初始化 NLP 神經(jīng)網(wǎng)絡(luò)有那么點(diǎn)效果，但沒(méi)有期待的那么好。這里面還有一個(gè)邏輯上的原因：一個(gè)單詞有多義詞問(wèn)題。所以企圖在一個(gè)數(shù)學(xué)空間里用一個(gè)固定的數(shù)學(xué)向量來(lái)表征一個(gè)單詞的意義，還要求含義相近的單詞都聚在一起。在面對(duì)多義詞的時(shí)候，這在邏輯上顯然就是矛盾的。
當(dāng)然了，聰明的 A 研究人員肯定還是有辦法。既然一個(gè)單詞存在多義性，固定的 WordEmbedding 向量無(wú)法表達(dá)單詞的多個(gè)含義，那么是不是可以先訓(xùn)練好一個(gè)單詞的 WordEmbedding，然后在實(shí)際使用中，根據(jù)句子里的上下文語(yǔ)義去動(dòng)態(tài)調(diào)整這個(gè) WordEmbedding 數(shù)值，這樣經(jīng)過(guò)調(diào)整后的「動(dòng)態(tài) WordEmbedding」更能準(zhǔn)確表達(dá)單詞在上下文的具體含義，同時(shí)自然的，解決了多義詞的問(wèn)題。
這個(gè)根據(jù)當(dāng)前上下文來(lái)動(dòng)態(tài)調(diào)整 WordEmbedding 的想法就是頂級(jí)學(xué)術(shù)會(huì)議 NAACL 2018 年的最佳論文《Deep contextualized word representation》，這個(gè) NLP 模型命名為 ELMO (Embedding from Language Models, 基于語(yǔ)言模型的詞嵌入)。
ELMO 引入上下文動(dòng)態(tài)調(diào)整單詞 WordEmbedding 后，多義詞問(wèn)題就被徹底解決了，而且比預(yù)期的解決得還好：利用 ELMO 改進(jìn)過(guò)的多種不同 NLP 任務(wù)，性能上都有幅度不同的提升，最高達(dá)到了 25%，不愧是最佳論文。
此外，ELMO 還有一個(gè)貢獻(xiàn)，研究人員發(fā)現(xiàn) ELMO 所使用的深度神經(jīng)網(wǎng)絡(luò)模型里，不同層次提取到的特征是有差異的。看到這里，讀者想起了什么沒(méi)有？是不是和圖像預(yù)訓(xùn)練的模型層級(jí)特征有點(diǎn)像了？
讓我們復(fù)習(xí)一下，前面講過(guò)，圖像處理領(lǐng)域進(jìn)行大規(guī)模預(yù)訓(xùn)練后，把深度學(xué)習(xí)網(wǎng)絡(luò)每層參數(shù)做可視化后可以看到，深度學(xué)習(xí)網(wǎng)絡(luò)每一層都對(duì)應(yīng)著不同抽象層級(jí)的「特征」，在圖像領(lǐng)域里，就是從底層的線段，到中間層的具體五官細(xì)節(jié)，再到高層的臉型，等等。
再說(shuō)一次，「預(yù)訓(xùn)練」為什么是一個(gè)特別重要的概念？這是因?yàn)楹玫摹割A(yù)訓(xùn)練」可以直接利用大量標(biāo)準(zhǔn)通用的的訓(xùn)練數(shù)據(jù)（圖像領(lǐng)域就是圖片，NLP 領(lǐng)域就是語(yǔ)料）,把深度學(xué)習(xí)模型調(diào)整到了 90% 甚至更高程度的可用狀態(tài)，預(yù)訓(xùn)練好的模型最后通過(guò)任務(wù)相關(guān)的少量訓(xùn)練數(shù)據(jù)，就能微調(diào)至完全勝任各種特定任務(wù)，這真是一個(gè)很美妙的事情。
那么，ELMO 出現(xiàn)后, 自然語(yǔ)言處理領(lǐng)域的「預(yù)訓(xùn)練」有可能趕上圖像領(lǐng)域了嗎?
遺憾的是，還差一口氣。
因?yàn)榧夹g(shù)原因，ELMO 模型在抽取文字特征方面還比較弱，這是一個(gè)技術(shù)上的缺陷，意味著這個(gè)模型就無(wú)法很好完成 NLP 的「預(yù)訓(xùn)練」夢(mèng)想：特征都抽取不好，怎么讓網(wǎng)絡(luò)里每一層具體表達(dá)不同邏輯層級(jí)的特征呢...而從技術(shù)細(xì)節(jié)上對(duì)比，也會(huì)發(fā)現(xiàn) ELMO 這種「預(yù)訓(xùn)練」方法和圖像領(lǐng)域的預(yù)訓(xùn)練方法，兩者在模式上還有很大差異。
自然語(yǔ) AI 研究人員還需要繼續(xù)找到一個(gè)方法，希望這個(gè)方法能很好的提取出文字的特征，就類(lèi)似圖像處理領(lǐng)域的神經(jīng)網(wǎng)絡(luò)模型，能很好的提取圖像不同邏輯層面的特征。
07
注意力機(jī)制和 Transformer
2017 年 12 月，Google 在頂級(jí)機(jī)器學(xué)習(xí)會(huì)議 NIPS 上發(fā)表了論文《Attention is all you need》，提出在機(jī)器翻譯上大量使用自注意力（Self Attention）機(jī)制來(lái)學(xué)習(xí)文本表示，并把這種機(jī)制模型起了個(gè)霸氣的名字：Transformer。
這篇論文一經(jīng)出世就橫掃了整個(gè)自然語(yǔ)言處理學(xué)術(shù)界，Transformer 迅速的取代了深度學(xué)習(xí)里傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）成為了之后的大語(yǔ)言模型的標(biāo)準(zhǔn)配置。
Transformer 是目前 NLP 領(lǐng)域里最強(qiáng)的特征提取器，本質(zhì)上 Transformer 是一個(gè)疊加的'「自注意力機(jī)制」構(gòu)成的深度網(wǎng)絡(luò)。
包括我們現(xiàn)在所知道的 OpenAI GPT 系列模型，以及 Google BERT 系列模型，都受到了這篇文章的啟發(fā)采用了部分 Transformer 的架構(gòu)，從而取得了突破性的效果。
先說(shuō)個(gè)題外話(huà)，筆者感慨，論文是否牛逼，一看題目就知道,這篇論文連題目都如此特別和霸氣。
話(huà)說(shuō)回來(lái)，什么是注意力機(jī)制？深度學(xué)習(xí)里的注意力機(jī)制其實(shí)是一種思想，參考借鑒了人類(lèi)的注意力思維方式。
視覺(jué)注意力機(jī)制是人類(lèi)視覺(jué)所特有的大腦信號(hào)處理機(jī)制，我們的眼睛會(huì)快速掃描全局圖像，得到需要重點(diǎn)關(guān)注的區(qū)域，就是所謂的注意力焦點(diǎn)后，再進(jìn)一步對(duì)相關(guān)區(qū)域投入更多的關(guān)注。這是人類(lèi)在長(zhǎng)期進(jìn)化中獲得的一種生存機(jī)制，極大提高了人類(lèi)信息處理的效率和準(zhǔn)確性。
深度學(xué)習(xí)的注意力機(jī)制在概念上參照了人類(lèi)的視覺(jué)注意力機(jī)制，核心目標(biāo)就是從眾多信息里選擇出對(duì)當(dāng)前任務(wù)更重要和關(guān)鍵的信息。
具體到 NLP 自然語(yǔ)言處理領(lǐng)域里，在之前，注意力機(jī)制一般是指輸出句子里某個(gè)詞和輸入句子每個(gè)詞之間的相似度。這也很好理解，就是去尋求問(wèn)題（輸入）和答案（輸出）之間的關(guān)系么。
但 Google 這篇的特別之處，是明確指出了，我們其實(shí)不需要先考慮輸入和輸出的關(guān)系啊，為什么不參考人類(lèi)理解語(yǔ)言的方式，首先「學(xué)習(xí)」一句話(huà)內(nèi)部單詞之間的關(guān)系呢？這就是所謂的「Self Attention 自注意力機(jī)制」：指的是輸入元素之間，或者輸出元素之間的內(nèi)在聯(lián)系機(jī)制。
如上圖所示，Self Attention 自注意力機(jī)制尋找到了一個(gè)句子里單詞之間的語(yǔ)義特征, 「it」指代的是「the animal」。
稍微想一下，Self Attention 自注意力機(jī)制在邏輯意義上非常清晰，它讓機(jī)器去理解人類(lèi)語(yǔ)言每句話(huà)里單詞之間的語(yǔ)義關(guān)系。
除了邏輯上看起來(lái)更有道理，Self Attention 自注意力機(jī)制還附帶了一個(gè)很大的好處：因?yàn)榫W(wǎng)絡(luò)層面拋棄了傳統(tǒng)的 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型，徹底規(guī)避了 RNN 不能很好并行計(jì)算的困擾，極大提高了模型并行訓(xùn)練計(jì)算的效率。更不用說(shuō)，Self Attention 自注意力機(jī)制只關(guān)注部分信息，參數(shù)較少，容易訓(xùn)練。
有趣的是，谷歌研究人員在這篇重要論文里差點(diǎn)使用了「注意力網(wǎng)絡(luò)」這樣的命名，只是他們覺(jué)得這個(gè)名字聽(tīng)起來(lái)實(shí)在不夠響亮，后來(lái)團(tuán)隊(duì)里一位工程師給起了個(gè)名字 Transformer，這看起來(lái)就高大上很多了:)
基于自我注意力機(jī)制的 Transformer 模型的出現(xiàn)是革命性的，最最重要的一點(diǎn)，它能實(shí)現(xiàn)自我監(jiān)督學(xué)習(xí)。所謂自我監(jiān)督，就是不需要標(biāo)注的樣本，使用標(biāo)準(zhǔn)的語(yǔ)料或者圖像，模型就能學(xué)習(xí)了。
在 Tranformer 出現(xiàn)之前，我們要訓(xùn)練一個(gè)深度學(xué)習(xí)模型，必須使用大規(guī)模的標(biāo)記好的數(shù)據(jù)集合來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。對(duì)數(shù)據(jù)進(jìn)行標(biāo)注只能人工進(jìn)行，金錢(qián)和時(shí)間成本都相當(dāng)高。
讀者如果還有印象，在筆者上一篇關(guān)于 AI 繪畫(huà)的文章里有講到，對(duì)于 AI 繪畫(huà)至關(guān)重要的跨模態(tài)模型 CLIP 之所以成功，是因?yàn)樗褂昧嘶ヂ?lián)網(wǎng)已經(jīng)帶文字標(biāo)記的圖片作為訓(xùn)練數(shù)據(jù)，巧妙規(guī)避了超大規(guī)模數(shù)據(jù)標(biāo)記的難題。
而回過(guò)頭來(lái)，Transformer 的核心是在數(shù)學(xué)上計(jì)算輸入元素之間的關(guān)聯(lián)（Attention），通過(guò)這種模式，Tranformer 成功的消除了訓(xùn)練數(shù)據(jù)集的標(biāo)注需求。
這簡(jiǎn)直是感天動(dòng)地，我們可以想象一下，從今以后，互聯(lián)網(wǎng)上或者企業(yè)數(shù)據(jù)庫(kù)里海量的文本數(shù)據(jù)都能直接成為大模型的訓(xùn)練數(shù)據(jù)源了。
NVIDIA創(chuàng)始人兼CEO黃仁勛在2022NVIDIAGTC大會(huì)上說(shuō)，Transformer 使自我監(jiān)督學(xué)習(xí)成為可能，并無(wú)需人類(lèi)標(biāo)記數(shù)據(jù)，AI 領(lǐng)域出現(xiàn)了「驚人的進(jìn)展」。
因此，Transformer 正在越來(lái)越多的領(lǐng)域中發(fā)揮作用。比如用于語(yǔ)言理解的 Google BERT，用于藥物發(fā)現(xiàn)的 NVIDIA Mega Mol BART 以及 Deep Mind 的 Alpha Fold 2 都要追溯到 Transformer 的突破。
上面又提到了 Google BERT 語(yǔ)言模型。這里要插一句，Google 引以為傲的語(yǔ)言大模型 BERT 的架構(gòu)和 OpenAI GPT 其實(shí)非常像，但有一個(gè)簡(jiǎn)單而本質(zhì)的區(qū)別，在訓(xùn)練階段，Google BERT 輸入上文和下文來(lái)訓(xùn)練，OpenAI GPT 系列一直堅(jiān)持只輸入上文訓(xùn)練，而結(jié)果就是，Google BERT 在體現(xiàn) AI 分析能力的各種閱讀理解等問(wèn)題上，都表現(xiàn)上佳；而 OpenAI GPT 術(shù)業(yè)有專(zhuān)攻，在生成式 AI（比如回答各種問(wèn)題、創(chuàng)造各種文字內(nèi)容）一騎絕塵。
不夸張的說(shuō)，Transformer 是迄今為止發(fā)明的最強(qiáng)大的模型之一。斯坦福研究人員在 2021 年 8 月的一篇論文把 tranformer 稱(chēng)之為「基礎(chǔ)模型」（Foundation model），認(rèn)為它推動(dòng)了 AI 整個(gè)范式的轉(zhuǎn)變。
08
GPT3，神功初成
受 Google 論文啟發(fā)，基于 Transformer 模式的 GPT 系列模型作為 OpenAI 的當(dāng)紅炸子雞，風(fēng)頭當(dāng)下無(wú)兩。
GPT 全稱(chēng)是「Generative Pre-Training」，直譯過(guò)來(lái)就是「生成式的預(yù)訓(xùn)練」，有意思吧。
如前文所說(shuō)，OpenAI 對(duì) GPT 的生成式 AI 有堅(jiān)定的信念，因此在訓(xùn)練模型的時(shí)候，只選用「上文」來(lái)訓(xùn)練模型，也就是說(shuō)，GPT 本質(zhì)上是一個(gè)極致的概率模型，它根據(jù)上文提示，來(lái)猜測(cè)下一個(gè)單詞應(yīng)該是什么。
這個(gè)堅(jiān)持雖然在一開(kāi)始 GPT1 和 GPT2 時(shí)代讓其輸出效果稍遜于同期 Google 的語(yǔ)言大模型 BERT，但到了 GPT3 時(shí)期，在超級(jí)規(guī)模網(wǎng)絡(luò)參數(shù)的加持下，GPT 這個(gè) 100% 純粹的生成式 AI 終于迸發(fā)出耀眼的光芒，模型輸出效果甚至大幅超越了研究人員的預(yù)期。
盡管沒(méi)有實(shí)證，但筆者很傾向認(rèn)為 GPT3 的極大成功和 OpenAI 堅(jiān)定不移的只用上文來(lái)訓(xùn)練模型有著某種必然的關(guān)系，人的語(yǔ)言溝通也從來(lái)都是按順序表達(dá)的，沒(méi)有誰(shuí)先把一句話(huà)的最后一個(gè)詞說(shuō)完才回頭考慮上一個(gè)詞。從這點(diǎn)來(lái)看，GPT 系列模型順應(yīng)了人類(lèi)思考的邏輯，最終由量變推動(dòng)了質(zhì)變。
終于，借助了 Transformer，GPT 這樣的超大規(guī)模語(yǔ)言模型（GPT-3 有 1750 億個(gè)參數(shù)）在不需要標(biāo)記數(shù)據(jù)的情況下，可以借助現(xiàn)成的海量標(biāo)準(zhǔn)數(shù)據(jù)以及超級(jí)算力，得到通用的「預(yù)訓(xùn)練」版本模型。
可能有讀者會(huì)繼續(xù)問(wèn)，有了預(yù)訓(xùn)練好的模型版本后，GPT 怎么能以適應(yīng)各種各樣的特定任務(wù)（或者專(zhuān)業(yè)一點(diǎn)，「下游任務(wù)」)呢？GPT 論文里給出了簡(jiǎn)單的改造施工圖，附在這里讀者們有點(diǎn)直觀感性感知即可?？傊ㄟ^(guò)簡(jiǎn)單的改造操作，GPT 就能很好適應(yīng)不同的任務(wù)。只需要在輸入部分調(diào)整一下就可以了，非常方便。
09
從 GPT3 到 ChatGPT，進(jìn)化繼續(xù)
在歷史長(zhǎng)河里走了過(guò)來(lái)，終于回到了本文開(kāi)頭的主角 ChatGPT。
如果讀者已經(jīng)理解了前面關(guān)于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的變遷和發(fā)展之路，再來(lái)看 ChatGPT的技術(shù)升級(jí)，就是特別簡(jiǎn)單的事情了。
ChatGPT 是基于 GPT-3.5 模型的魔改。GPT-3.5和3.0的區(qū)別，首先是和微軟合作，在微軟的 AzureAI 云服務(wù)器上完成了訓(xùn)練；另一個(gè)重要的區(qū)別是其訓(xùn)練數(shù)據(jù)集里除了文字，還加入了代碼，因此 ChatGPT 現(xiàn)在已經(jīng)可以寫(xiě)程序,甚至給現(xiàn)成的代碼找 bug 了。
為什么試用過(guò) ChatGPT 的同學(xué)都感覺(jué)提升很明顯？一個(gè)重要的原因是 ChatGPT 引入了一個(gè)新的訓(xùn)練方法 RLH（論文《Training language models to follow instructions with human feedback》，發(fā)表于22年3月），簡(jiǎn)單的說(shuō)，就是用人類(lèi)反饋的方式加強(qiáng)訓(xùn)練。
看這個(gè)簡(jiǎn)單的描述顯然不能感受到技術(shù)的提升，不過(guò)我們只需要理解，這其實(shí)就是在 GPT3 的大數(shù)據(jù)預(yù)訓(xùn)練之下，再次加強(qiáng)了人類(lèi)的反饋。
有趣的是，前面基于 Transformer 的通用大數(shù)據(jù)無(wú)監(jiān)督訓(xùn)練模式把自然語(yǔ)言的自動(dòng)學(xué)習(xí)做到了某種極致，而這個(gè) RLHF 又重新?lián)炱鹆恕甘謩?dòng)檔」人類(lèi)反饋機(jī)制，貌似有一點(diǎn)返璞歸真的感覺(jué)。仿佛是武功高手練至化境之后，又重新拿起了最早的野球拳，一招使出了無(wú)與倫比的超越功力:)
ChatGPT 還有一個(gè)很重要的特點(diǎn)，就是針對(duì)輸出有效性上做了非常好的調(diào)整。使用過(guò) ChatGPT 的同學(xué)一定能感覺(jué)到，ChatGPT 并非每一個(gè)問(wèn)題都能回答詳盡，但它絕對(duì)沒(méi)有胡說(shuō)八道，ChatGPT 的回答和真實(shí)世界的情況是相當(dāng)一致的。做到這點(diǎn)很不容易，也是 ChatGPT 和之前容易亂說(shuō)一氣的問(wèn)答 AI 模型前輩最大的不同。
另一個(gè)和確?；卮鹩行酝瑯又档藐P(guān)注的改進(jìn)是，ChatGPT 在道德約束上做得很出色。如果我們?nèi)ピ?xún)問(wèn)一些逾越了道德邊界的問(wèn)題，或者一些特別敏感的問(wèn)題，ChatGPT 基本都能察覺(jué)和回避。
這讓我們想起了 AI 繪畫(huà)大模型最讓人詬病的地方，那就是通過(guò) AI 生成 18+ 圖片，盡管這不是一個(gè)技術(shù)問(wèn)題，但對(duì)于一個(gè)智能內(nèi)容生成平臺(tái)，我們顯然要有方法管理好內(nèi)容的質(zhì)量，以及內(nèi)容的道德邊界。在這一點(diǎn)上，ChatGPT 帶了一個(gè)好頭。
ChatGPT 的試用版在 OpenAI 的 RLHF 論文發(fā)出半年之后剛剛推出，根據(jù) OpenAI 研究人員自己的說(shuō)法，內(nèi)部經(jīng)過(guò)了大量調(diào)優(yōu)，而且即使當(dāng)下，ChatGPT 還是有很多需要改進(jìn)的地方。
但無(wú)論如何，ChatGPT 已經(jīng)展示給我們所有人，自然語(yǔ)言生成式 AI 所能達(dá)到的全新高度。
10
后記
如果能耐著性子讀到這里，讀者應(yīng)該自然語(yǔ)言的生成式 AI 的前世今生有了一點(diǎn)概念。
回過(guò)頭來(lái)再問(wèn)一次，對(duì)于「預(yù)訓(xùn)練」這個(gè)深度模型里的重要概念。讀者有沒(méi)有想過(guò)，預(yù)訓(xùn)練到底是什么？
對(duì)，具體而言，預(yù)訓(xùn)練就是在幾千億參數(shù)的支持下，類(lèi)似 GPT 這樣的超級(jí)模型灌入了難以計(jì)量的文本訓(xùn)練數(shù)據(jù)（說(shuō)不定已經(jīng)把全世界可以搜刮到的文本都拿來(lái)用了）來(lái)訓(xùn)練得到了一個(gè)通用大語(yǔ)言模型。
不過(guò),在更高的一個(gè)角度去暢想，當(dāng)我們把全世界的文字信息直接灌進(jìn)擁有數(shù)千億參數(shù)的 AI 模型里，模型在網(wǎng)絡(luò)的各個(gè)層級(jí)上抽取和記憶這些文字里的特征信息。
那么，GPT 這樣的超級(jí)模型實(shí)際上就在通過(guò)所謂預(yù)訓(xùn)練方式，學(xué)習(xí)到了人類(lèi)所有文字信息的全部特征，直接把人類(lèi)的語(yǔ)言智慧記在了自己幾千億量級(jí)的神經(jīng)網(wǎng)絡(luò)大腦里。
做到了這種程度，真的就像是我們用人類(lèi)的全部知識(shí)體系來(lái)培養(yǎng)出了一個(gè)超級(jí)強(qiáng)大的機(jī)器大腦，這個(gè)大腦通過(guò)它超大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)規(guī)模接納學(xué)習(xí)了人類(lèi)創(chuàng)造的所有內(nèi)容。
進(jìn)而，針對(duì)人類(lèi)的任意問(wèn)，AI 可以做出連圖靈測(cè)試都無(wú)法區(qū)分的真正智能回答。
人類(lèi)已經(jīng)馬上無(wú)法分辨，在小黑屋后面，那究竟是一個(gè)人還是一個(gè) AI 了。
這一天來(lái)得比想象更快。
一個(gè)能容納和理解人類(lèi)全部文字知識(shí)，并做出真正智能回答的 AI，我們是不是可以簡(jiǎn)單認(rèn)為：今天，真正的機(jī)器智能，已然誕生。
游戲葡萄招聘內(nèi)容編輯，
點(diǎn)擊「閱讀原文」可了解詳情
米哈游人設(shè) | 看懂拳頭 | 心動(dòng)這一年
2022求職難 | 專(zhuān)訪戰(zhàn)爭(zhēng)2061 | AI作畫(huà)
絕區(qū)零 | 燕云十六聲 | 原神3.0
- 熱門(mén)文章
- 最近發(fā)表
- 隨機(jī)文章
- 標(biāo)簽列表
-
- 最新留言
-
