亚洲中文字幕无码日韩精品,亚洲一区制服无码中字,亚洲精品第一国产综合精品99 ,一本大道中文日本香蕉

  對(duì)ChatGPT原理的最佳解釋

發(fā)布日期：2023/11/26 10:03:49      瀏覽量：

對(duì)ChatGPT原理的最佳解釋，淺顯易懂

1、ChatGPT的核心是神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是對(duì)理想化人腦的模擬

• 人類大腦有大約 1000 億個(gè)神經(jīng)元( 神經(jīng)細(xì)胞 )，每個(gè)神經(jīng)元都能夠產(chǎn)生電脈沖，最高可達(dá)每秒約 1000 次。

• 這些神經(jīng)元連接成復(fù)雜的網(wǎng)絡(luò)，每個(gè)神經(jīng)元都有樹(shù)枝狀的分支，從而能夠向其他數(shù)干個(gè)神經(jīng)元傳遞電信號(hào)。

• 粗略地說(shuō)，任意一個(gè)神經(jīng)元在某個(gè)時(shí)刻是否產(chǎn)生電脈沖，取決于它從其他神經(jīng)元接收到的電脈沖，而且神經(jīng)元不同的連接方式會(huì)有不同的“權(quán)重”貢獻(xiàn)。

  
  

• ChatGPT的核心是神經(jīng)網(wǎng)絡(luò)，就是對(duì)理想人腦的模擬。

• ChatGPT雖然看起來(lái)很復(fù)雜，但實(shí)際上涉及的最終元素和原理非常簡(jiǎn)單，就是一個(gè)由“人工神經(jīng)元”構(gòu)成的神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元執(zhí)行簡(jiǎn)單操作：將一組數(shù)值輸入與一定的權(quán)重相結(jié)合。

• ChatGPT的原始輸入是一個(gè)由數(shù)組成的數(shù)組，當(dāng)ChatGPT“運(yùn)行”以產(chǎn)生新標(biāo)記時(shí)，這些數(shù)就會(huì)“依次通過(guò)”神經(jīng)網(wǎng)絡(luò)的各層，而每個(gè)神經(jīng)元都會(huì)“做好本職工作”并將結(jié)果傳遞給下一層的神經(jīng)元。一切都是在網(wǎng)絡(luò)中“向前饋送”的。

  
  

2、神經(jīng)網(wǎng)絡(luò)如何達(dá)到理想效果呢？

• 基本思想是提供大量的“輸入→輸出”樣例以供“學(xué)習(xí)”（也就是訓(xùn)練），然后嘗試找到能夠復(fù)現(xiàn)這些樣例的權(quán)重。

• 應(yīng)該如何調(diào)整權(quán)重呢？基本思想是，在每個(gè)階段看一下我們離想要的效果“有多遠(yuǎn)”，然后朝更接近該函數(shù)的方向更新權(quán)重。

• 如何衡量離目標(biāo)“有多遠(yuǎn)”？用“損失函數(shù)”表示。

• 學(xué)習(xí)的樣本越多，損失就越少：離理想效果的差距就越小。

3、神經(jīng)網(wǎng)絡(luò)訓(xùn)練基本上是一門(mén)藝術(shù)

• 為什么這么說(shuō)？大多數(shù)情況下，神經(jīng)網(wǎng)絡(luò)的學(xué)問(wèn)不是通過(guò)第一性原理推導(dǎo)出來(lái)，而是通過(guò)“試錯(cuò)”、并不斷添加想法和技巧發(fā)現(xiàn)的，其中還有大量至今也無(wú)法解釋原因。

——你就是知道，結(jié)果上看，是有效。

這也部分說(shuō)明了為什么神經(jīng)網(wǎng)絡(luò)在過(guò)去的幾十年里一直被冷嘲熱諷。

4、為什么ChatGPT生成一段長(zhǎng)文本需要等待一定的時(shí)間？

• 因?yàn)?/span>每生成一個(gè)新的token（詞或者詞的一部分），基本上都必須進(jìn)行一次包含1750億個(gè)權(quán)重的計(jì)算。

• ChatGPT總共有1750億個(gè)連接，因此有1750億個(gè)權(quán)重。需要認(rèn)識(shí)到的一件事是，ChatGPT 每生成一個(gè)新的標(biāo)記，都必須進(jìn)行一次包括所有這些權(quán)重在內(nèi)的計(jì)算。在實(shí)現(xiàn)上，這些計(jì)算可以“按層”組織成高度并行的數(shù)組操作，方便地在GPU上完成。

• 但是對(duì)于每個(gè)產(chǎn)生的標(biāo)記，仍然需要進(jìn)行1750億次計(jì)算（并在最后進(jìn)行一些額外的計(jì)算）

• 因此，不難理解使用 ChatGPT 生成一段長(zhǎng)文本需要一些時(shí)間。

5、為什么大語(yǔ)言模型的訓(xùn)練成本這么高、動(dòng)輒上億？

• 當(dāng)我們運(yùn)行 ChatGPT來(lái)生成文本時(shí)，基本上每個(gè)權(quán)重都需要使用一次。因此，如果有n個(gè)權(quán)重，就需要執(zhí)行約n個(gè)計(jì)算步驟——盡管在實(shí)踐中，許多計(jì)算步驟通?？梢栽贕PU 中并行執(zhí)行。

• 但是，如果需要約n個(gè)詞的訓(xùn)練數(shù)據(jù)來(lái)設(shè)置這些權(quán)重，那么如上所述，我們可以得出結(jié)論：需要約n*n個(gè)計(jì)算步驟來(lái)進(jìn)行網(wǎng)絡(luò)的訓(xùn)練。

• 這就是為什么使用當(dāng)前的方法最終需要耗費(fèi)數(shù)十億美元來(lái)進(jìn)行訓(xùn)練。

6、大模型訓(xùn)練的數(shù)據(jù)會(huì)耗盡嗎？很可能不會(huì)

• 神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特征是，它們說(shuō)到底只是在處理數(shù)據(jù)——和計(jì)算機(jī)一樣。

• 神經(jīng)網(wǎng)絡(luò)的一個(gè)特點(diǎn)是，“數(shù)據(jù)增強(qiáng)”的變化不一定要很復(fù)雜才有用。只需使用基本的圖像處理方法稍微修改圖像，即可使其在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中基本上“像新的一樣好”。比如當(dāng)人們?cè)谟?xùn)練自動(dòng)駕駛汽車時(shí)用完了實(shí)際的視頻等數(shù)據(jù)，可以繼續(xù)在模擬的游戲環(huán)境中獲取數(shù)據(jù)，而不需要真實(shí)場(chǎng)景的所有細(xì)節(jié)。

  
  

——這是關(guān)于數(shù)據(jù)很有意思的點(diǎn)，因?yàn)橛泻芏嗳擞懻摂?shù)據(jù)耗盡以后怎么辦。

另外值得關(guān)注的點(diǎn)是：還可以將神經(jīng)網(wǎng)絡(luò)本身生成的數(shù)據(jù)用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，所謂用AI訓(xùn)練AI。

7、未來(lái)是否有更好的方法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)呢？大概率是有的

• 未來(lái)，是否會(huì)有更好的方法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)或者完成神經(jīng)網(wǎng)絡(luò)的任務(wù)呢？我認(rèn)為答案幾乎是肯定的。

• 訓(xùn)練神經(jīng)網(wǎng)絡(luò)很難，并且需要大量的計(jì)算工作。實(shí)際上，絕大部分工作是在處理數(shù)的數(shù)組，這正是GPU擅長(zhǎng)的——這也是為什么神經(jīng)網(wǎng)絡(luò)訓(xùn)練通常受限于可用的GPU 數(shù)量。

• 神經(jīng)網(wǎng)絡(luò)的基本思想是利用大量簡(jiǎn)單（本質(zhì)上相同）的組件來(lái)創(chuàng)建一個(gè)靈活的“計(jì)算結(jié)構(gòu)”，并使其能夠逐步通過(guò)學(xué)習(xí)樣例得到改進(jìn)。在當(dāng)前的神經(jīng)網(wǎng)絡(luò)中，基本上是利用微積分的思想（應(yīng)用于實(shí)數(shù)）來(lái)進(jìn)行這種逐步的改進(jìn)。但越來(lái)越清楚的是，重點(diǎn)并不是擁有高精度數(shù)值，即使使用當(dāng)前的方法，8位或更少的數(shù)也可能已經(jīng)足夠了。

• 神經(jīng)網(wǎng)絡(luò)（或許有點(diǎn)像大腦）被設(shè)置具有一個(gè)基本固定的神經(jīng)元網(wǎng)絡(luò)，能改進(jìn)的是它們之間連接的強(qiáng)度（“權(quán)重”）。（或許在年輕的大腦中，還可以產(chǎn)生大量全新的連接。）雖然這對(duì)生物學(xué)來(lái)說(shuō)可能是一種方便的設(shè)置，但并不清楚它是否是實(shí)現(xiàn)我們所需功能的最佳方式。涉及漸進(jìn)式網(wǎng)絡(luò)重寫(xiě)的東西，可能最終會(huì)做得更好。

• 即使僅在現(xiàn)有神經(jīng)網(wǎng)絡(luò)的框架內(nèi)，也仍然存在一個(gè)關(guān)鍵限制，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目前基本上是順序進(jìn)行的，每批樣例的影響都會(huì)被反向傳播以更新權(quán)重。事實(shí)上，就目前的計(jì)算機(jī)硬件而言，即使考慮到GPU，神經(jīng)網(wǎng)絡(luò)的大部分在訓(xùn)練期間的大部分時(shí)間里也是“空閑”的，一次只有一個(gè)部分被更新。從某種意義上說(shuō)，這是因?yàn)楫?dāng)前的計(jì)算機(jī)往往具有獨(dú)立于CPU（或GPU）的內(nèi)存。

• 但大腦中的情況可能不同——每個(gè)“記憶元素”（即神經(jīng)元）也是一個(gè)潛在的活躍的計(jì)算元素。如果我們能夠這樣設(shè)置未來(lái)的計(jì)算機(jī)硬件，就可能會(huì)更高效地進(jìn)行訓(xùn)練。

——這也許為解決制約當(dāng)前AI發(fā)展的最大瓶頸（算力）提供了可能的方向。

8、ChatGPT的出現(xiàn)，與其說(shuō)是計(jì)算機(jī)突然變得強(qiáng)大，不如說(shuō)是人類語(yǔ)言并沒(méi)有我們想象中的那么難

• ChatGPT的神奇，可能會(huì)帶來(lái)一些潛在的困惑。過(guò)去，我們認(rèn)為計(jì)算機(jī)完成很多任務(wù)（包括寫(xiě)文章）在“本質(zhì)上太難了”。現(xiàn)在我們看到像 ChatGPT這樣的系統(tǒng)能夠完成這些任務(wù)，會(huì)傾向于突然認(rèn)為計(jì)算機(jī)一定變得更加強(qiáng)大了。

• 但這并不是正確的結(jié)論……我們應(yīng)該得出的結(jié)論是，（像寫(xiě)文章這樣）人類可以做到但認(rèn)為計(jì)算機(jī)無(wú)法做到的任務(wù)，在某種意義上計(jì)算起來(lái)實(shí)際上比我們想象的更容易。

9、ChatGPT 到底在做什么？它為什么能做到這些？

• ChatGPT 的基本概念在某種程度上相當(dāng)簡(jiǎn)單：首先從互聯(lián)網(wǎng)、書(shū)籍等獲取人類創(chuàng)造的海量文本樣本，然后訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)生成與之類似”的文本。特別是，它能夠從“提示”開(kāi)始，繼續(xù)生成與其訓(xùn)練數(shù)據(jù)相似的文本”。

• ChatGPT 中的神經(jīng)網(wǎng)絡(luò)實(shí)際上由非常簡(jiǎn)單的元素組成，盡管有數(shù)十億個(gè)。神經(jīng)網(wǎng)絡(luò)的基本操作也非常簡(jiǎn)單，本質(zhì)上是對(duì)于它生成的每個(gè)新詞（或詞的一部分)，都將根據(jù)目前生成的文本得到的輸入依次傳遞“給其所有元素一次”。

• 值得注意和出乎意料的是，這個(gè)過(guò)程可以成功地產(chǎn)生與互聯(lián)網(wǎng)、書(shū)籍等中的內(nèi)容“相似”的文本。ChatGPT 不僅能產(chǎn)生連貫的人類語(yǔ)言，而且能根據(jù)“閱讀”過(guò)的內(nèi)容來(lái)“循著提示說(shuō)一些話”。

• 這表明了一些至少在科學(xué)上非常重要的東西：人類語(yǔ)言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡(jiǎn)單、更“符合規(guī)律”。