《降臨》作者特德·姜：ChatGPT是網(wǎng)上所有文本的模糊圖像
2月9日，美籍華裔科幻作家特德·姜（Ted Chiang）在《紐約客》上發(fā)表文章，表達(dá)了他對(duì)時(shí)下大熱的人工智能ChatGPT獨(dú)特見解。特德·姜在科幻小說領(lǐng)域成績(jī)斐然，曾獲得星云獎(jiǎng)、雨果獎(jiǎng)等科幻小說大獎(jiǎng)。他的短篇小說《你一生的故事》在2016年被改編成電影《降臨》。
以下是全文譯文：
2013年，德國(guó)一家建筑公司的工人注意到他們的施樂復(fù)印機(jī)有一些奇怪的地方：當(dāng)他們復(fù)印一張房子平面圖時(shí)，副本與原件之間存在微妙而顯著的差異。在最初的平面圖中，每棟房子的三個(gè)房間都有一個(gè)矩形來說明其面積：房間分別為14.13平方米，21.11平方米和17.42平方米。然而，在復(fù)印件中，所有三個(gè)房間都被標(biāo)記為14.13平方米。該公司聯(lián)系了計(jì)算機(jī)科學(xué)家大衛(wèi)·克里塞爾（David Kriesel），讓他對(duì)這一看似不可思議的結(jié)果進(jìn)行調(diào)查。他們需要一名計(jì)算機(jī)科學(xué)家，因?yàn)楝F(xiàn)代施樂復(fù)印機(jī)使用的不是20世紀(jì)60年代流行的物理靜電復(fù)印工藝。相反，它以數(shù)字方式掃描文檔，然后打印生成的圖像文件。結(jié)合這一事實(shí)，為了節(jié)省空間，幾乎每個(gè)數(shù)字圖像文件都經(jīng)過了壓縮。謎底開始浮出水面。
壓縮文件需要兩個(gè)步驟：首先是編碼，在此期間文件被轉(zhuǎn)換為更緊湊的格式；然后是解碼，將編碼的過程反向進(jìn)行。如果恢復(fù)的文件與原始文件相同，則壓縮過程被描述為無損，即沒有丟失信息。相比之下，如果恢復(fù)的文件只是原始文件的近似值，則壓縮被描述為有損，即一些信息已丟失而無法恢復(fù)。無損壓縮通常用于文本文件和計(jì)算機(jī)程序，因?yàn)樵谶@些領(lǐng)域中，即使是一個(gè)錯(cuò)誤的字符也有可能造成災(zāi)難性的后果。在絕對(duì)精度不重要的情況下，有損壓縮通常用于照片、音頻和視頻。大多數(shù)時(shí)候，我們不會(huì)注意到一張圖片、一首歌或電影是否被完美地復(fù)制。只有當(dāng)文件被壓縮得非常緊時(shí)，保真度的損失才會(huì)更加明顯。在這些情況下，我們會(huì)注意到所謂的壓縮偽影——最小的JPEG和MPEG圖像的模糊，或者低比特率MP3的微弱聲音。
施樂復(fù)印機(jī)使用一種被稱為jbig2的有損壓縮格式，專為黑白圖像而設(shè)計(jì)。為了節(jié)省空間，復(fù)印機(jī)會(huì)識(shí)別圖像中看起來相似的區(qū)域，并為所有這些區(qū)域存儲(chǔ)一份副本；當(dāng)文件被解壓時(shí)，它會(huì)重復(fù)使用該副本來重建映像。結(jié)果是，復(fù)印機(jī)判斷出指定房間面積的標(biāo)簽非常相似，所以它只需要存儲(chǔ)其中一個(gè)，即14.13平方米的房間，并且在打印樓層平面圖時(shí)，它對(duì)所有三個(gè)房間都重復(fù)使用這一個(gè)標(biāo)簽。
施樂復(fù)印機(jī)使用有損壓縮格式而不是無損格式，這本身并不是一個(gè)問題。問題是復(fù)印機(jī)以一種微妙的方式壓縮了圖像，使其中壓縮的偽影不能被立即識(shí)別出來。如果復(fù)印機(jī)只是打印出模糊的照片，每個(gè)人都會(huì)知道這不是原件的準(zhǔn)確復(fù)制品。導(dǎo)致問題的原因是復(fù)印機(jī)輸出的數(shù)字是可讀的，但不準(zhǔn)確——它使副本看起來準(zhǔn)確，但實(shí)際上并不準(zhǔn)確。（2014年，施樂發(fā)布了一個(gè)補(bǔ)丁來糾正這個(gè)問題。）
我認(rèn)為，在我們研究OpenAI的ChatGPT和其他類似程序（人工智能研究人員稱之為大語言模型）時(shí)，施樂復(fù)印機(jī)的這起事件值得我們銘記于心。復(fù)印機(jī)和大語言模型之間的相似之處可能不是很明顯，但請(qǐng)考慮以下場(chǎng)景：想象一下，你即將永遠(yuǎn)失去上網(wǎng)的機(jī)會(huì)。在準(zhǔn)備階段，你計(jì)劃為萬維網(wǎng)上的所有文本創(chuàng)建一個(gè)壓縮副本，以便將其存儲(chǔ)在專用服務(wù)器上。不幸的是，你的私人服務(wù)器只有所需空間的1%；如果你想要所有的一切都是準(zhǔn)確的，你就不能使用無損壓縮算法。相反，你可以編寫一個(gè)有損算法來識(shí)別文本中的統(tǒng)計(jì)規(guī)律，并將它們存儲(chǔ)在專門的文件格式中。由于你在這個(gè)任務(wù)中擁有幾乎無限的計(jì)算能力，因此你的算法可以識(shí)別非常細(xì)微的統(tǒng)計(jì)規(guī)律，這允許你實(shí)現(xiàn)所需的100:1的壓縮比。
于是，失去網(wǎng)絡(luò)連接不再那么可怕，因?yàn)槟惆丫W(wǎng)絡(luò)上的所有信息都存儲(chǔ)在了你的服務(wù)器上。唯一的問題是，由于文本被高度壓縮，你無法通過搜索準(zhǔn)確的引用來查找信息；你永遠(yuǎn)不會(huì)得到一個(gè)精確的匹配，因?yàn)榇鎯?chǔ)的不是單詞。為了解決這個(gè)問題，你創(chuàng)建了一個(gè)接口，該接口接受問題形式的查詢，并以傳達(dá)服務(wù)器上的要點(diǎn)的答案進(jìn)行響應(yīng)。
我所描述的聽起來很像ChatGPT，或者大多數(shù)其他大語言模型?？梢园袰hatGPT看作是萬維網(wǎng)上所有文本的模糊JPEG。它保留了萬維網(wǎng)上的大部分信息，就像JPEG保留了高分辨率圖像的大部分信息一樣。但是，如果你要尋找精確的比特序列，你無法找到它，你得到的只是一個(gè)近似值。但是，因?yàn)檫@個(gè)近似值是以語法文本的形式呈現(xiàn)的，而ChatGPT擅長(zhǎng)創(chuàng)建語法文本，所以它通常是可以接受的。你看到的仍然是一張模糊的JPEG，但模糊發(fā)生的方式不會(huì)使圖片整體看起來不那么清晰。
這種與有損壓縮的類比不僅僅是一種理解ChatGPT通過使用不同的單詞重新打包萬維網(wǎng)上找到的信息的方法，它也是一種理解“幻覺”或?qū)κ聦?shí)性問題的無意義回答的方法。而大語言模型（如ChatGPT）都很容易出現(xiàn)這種情況。這些幻覺是壓縮后的產(chǎn)物。但是，就像施樂復(fù)印機(jī)產(chǎn)生的錯(cuò)誤標(biāo)簽一樣，它們似乎是可信的，要識(shí)別它們就需要將它們與原件進(jìn)行比較。在這種情況下，這意味著要么是萬維網(wǎng)，要么是我們自己對(duì)世界的認(rèn)識(shí)。當(dāng)我們這樣想的時(shí)候，這樣的幻覺一點(diǎn)也不令人驚訝。如果一種壓縮算法被設(shè)計(jì)成在99%的原始文本被丟棄后重建文本，我們應(yīng)該預(yù)料到它生成的很大一部分內(nèi)容將完全是捏造的。
當(dāng)我們記得有損壓縮算法使用的一種常用技術(shù)是插值（譯者注：一種通過已知的、離散的數(shù)據(jù)點(diǎn)，在范圍內(nèi)推求新數(shù)據(jù)點(diǎn)的過程或方法）時(shí)，這個(gè)類比就更有意義了——也就是說，通過查看間隙兩側(cè)的內(nèi)容來估計(jì)缺失的內(nèi)容。當(dāng)圖像程序顯示照片時(shí)，必須重建壓縮過程中丟失的像素時(shí)，它會(huì)查看附近的像素并計(jì)算平均值。這就是當(dāng)ChatGPT被提示用《獨(dú)立宣言》的風(fēng)格描述丟在烘干機(jī)里的襪子時(shí)所做的事情：它在“詞匯空間”中取兩個(gè)點(diǎn)，并生成占據(jù)它們之間位置的文本。（“在人類事件的過程中，一個(gè)人有必要把他的衣服與他們的同伴分開，以保持其清潔和秩序……”）ChatGPT非常擅長(zhǎng)這種形式的插值，人們發(fā)現(xiàn)它很有趣：他們發(fā)現(xiàn)了一種用于段落而不是照片的“模糊”工具，并且玩得很開心。
鑒于像ChatGPT這樣的大語言模型經(jīng)常被吹捧為人工智能的前沿，將它們描述為有損文本壓縮算法可能聽起來令人不屑一顧，或者至少令人泄氣。我確實(shí)認(rèn)為這種觀點(diǎn)為將大語言模型人格化的趨勢(shì)提供了有用的糾正，但是壓縮類比還有另一個(gè)方面值得考慮。自2006年以來，一位名叫馬庫斯·赫特（Marcus Hutter）的人工智能研究人員提供了一項(xiàng)現(xiàn)金獎(jiǎng)勵(lì)——被稱為“壓縮人類知識(shí)獎(jiǎng)”或“赫特獎(jiǎng)”，獎(jiǎng)勵(lì)任何能夠無損地壓縮維基百科特定1GB快照的人，要求比上一位獲獎(jiǎng)?wù)叩臄?shù)據(jù)更小。你可能遇到過使zip文件格式壓縮的文件。zip格式將赫特的1GB文件壓縮到300兆左右；而最近的獲獎(jiǎng)?wù)咭呀?jīng)設(shè)法將其減少到115兆字節(jié)。這不僅僅是一次磨合練習(xí)。赫特認(rèn)為，更好的文本壓縮將有助于創(chuàng)造人類級(jí)別的人工智能，部分原因是通過理解文本可以實(shí)現(xiàn)最大程度的壓縮。
為了理解壓縮和理解之間的關(guān)系，假設(shè)你有一個(gè)文本文件，其中包含上百萬個(gè)加減乘除的示例。盡管任何壓縮算法都可以減小這個(gè)文件的大小，但要實(shí)現(xiàn)最大的壓縮比，可能需要推導(dǎo)出算術(shù)原理，然后編寫計(jì)算器程序的代碼。使用計(jì)算器，你不僅可以完美地重建文件中的數(shù)百萬個(gè)示例，還可以重建將來可能遇到的任何其他算術(shù)示例。同樣的邏輯也適用于壓縮維基百科的一部分。如果壓縮程序知道力等于質(zhì)量乘以加速度，那么在壓縮有關(guān)物理的頁面時(shí)，它可以丟棄大量的單詞，因?yàn)樗軌蛑亟ㄋ鼈儭Ｍ瑯?，程序?qū)┣箨P(guān)系了解得越多，在壓縮有關(guān)經(jīng)濟(jì)的頁面時(shí)，就能丟棄越多的單詞，等等。
大型語言模型識(shí)別文本中的統(tǒng)計(jì)規(guī)律。對(duì)網(wǎng)絡(luò)文本的任何分析都會(huì)揭示，像“供應(yīng)不足”這樣的短語經(jīng)常出現(xiàn)在“價(jià)格上漲”這樣的短語附近。當(dāng)被問及有關(guān)供應(yīng)短缺影響的問題時(shí)，包含這種相關(guān)性的聊天機(jī)器人可能會(huì)回答有關(guān)價(jià)格上漲的問題。如果一個(gè)大語言模型已經(jīng)編譯了大量經(jīng)濟(jì)術(shù)語之間的相關(guān)性——多到可以對(duì)各種各樣的問題提供合理的回答——我們是否應(yīng)該說它實(shí)際上理解了經(jīng)濟(jì)理論？像ChatGPT這樣的模型沒有資格獲得赫特獎(jiǎng)，原因有很多，其中之一就是它們不能精確地重建原始文本，也就是說它們不執(zhí)行無損壓縮。但是，它們的有損壓縮是否可能表明，人工智能研究人員真正理解了他們感興趣的那種類型？
2023年2月6日，上海，一位年輕人使用手機(jī)和電腦訪問OpenAI的網(wǎng)站，顯示ChatGPT目前已滿負(fù)荷運(yùn)轉(zhuǎn)，已關(guān)閉服務(wù)，用戶可要求ChatGPT在恢復(fù)服務(wù)時(shí)收到電郵通知。 視覺中國(guó) 圖
讓我們回到算術(shù)的例子。如果你要求GPT-3（ChatGPT構(gòu)建的大語言模型）添加或減去一對(duì)數(shù)字，當(dāng)數(shù)字只有兩位數(shù)時(shí)，它幾乎總是會(huì)給出正確的答案。但數(shù)字越大，準(zhǔn)確率就會(huì)顯著下降，當(dāng)數(shù)字有五位數(shù)時(shí)，準(zhǔn)確率會(huì)下降到10%。GPT-3給出的大多數(shù)正確答案都不能在網(wǎng)上找到——例如，包含“245 + 821”文本的網(wǎng)頁并不多——所以它不是在進(jìn)行簡(jiǎn)單的記憶。但是，盡管吸收了大量的信息，它也無法推導(dǎo)出算術(shù)原理。仔細(xì)檢查GPT-3的錯(cuò)誤答案表明，它在執(zhí)行算術(shù)時(shí)不帶“1”。萬維網(wǎng)上當(dāng)然包含攜帶“1”的解釋，但是GPT-3不能包含這些解釋。GPT-3對(duì)算術(shù)例子的統(tǒng)計(jì)分析使它能夠產(chǎn)生與真實(shí)事物的表面近似，但僅此而已。
鑒于GPT-3在小學(xué)教學(xué)科目上的失敗，我們?nèi)绾谓忉屗袝r(shí)在寫大學(xué)水平的論文時(shí)表現(xiàn)良好的事實(shí)？盡管大語言模型經(jīng)常產(chǎn)生幻覺，但當(dāng)它們清醒時(shí)，它們好像真的能理解經(jīng)濟(jì)理論等學(xué)科。也許算術(shù)是一個(gè)特殊的情況，大語言模型不太適合。有沒有可能，在加減法之外的領(lǐng)域，文本中的統(tǒng)計(jì)規(guī)律確實(shí)與真實(shí)世界的真實(shí)知識(shí)相對(duì)應(yīng)？
我認(rèn)為有一個(gè)更簡(jiǎn)單的解釋。想象一下，如果ChatGPT是一種無損算法會(huì)是什么樣子。如果是這樣的話，它總是通過提供來自相關(guān)網(wǎng)頁的逐字引用來回答問題。我們可能會(huì)認(rèn)為這個(gè)軟件只是對(duì)傳統(tǒng)搜索引擎的輕微改進(jìn)，并對(duì)它印象不太深刻。ChatGPT從網(wǎng)絡(luò)上重新表達(dá)材料，而不是逐字引用，這讓它看起來像一個(gè)學(xué)生用自己的話表達(dá)思想，而不是簡(jiǎn)單地重復(fù)他讀過的東西。它會(huì)造成ChatGPT理解了材料的錯(cuò)覺。在人類學(xué)生中，死記硬背并不是真正學(xué)習(xí)的標(biāo)志，因此ChatGPT無法從網(wǎng)頁中準(zhǔn)確地引用內(nèi)容，這恰恰使我們認(rèn)為它學(xué)到了一些東西。當(dāng)我們處理單詞序列時(shí)，有損壓縮看起來比無損壓縮更聰明。
大語言模型已經(jīng)有了很多種用法。把它們看作是模糊的JPEG文件，這就提供了一種評(píng)估它們可能適合或不適合的方法。讓我們思考幾種情況。
大語言模型能取代傳統(tǒng)搜索引擎嗎？為了讓我們對(duì)它們有信心，我們需要知道他們有沒有被灌輸政治宣傳和陰謀論——我們需要知道JPEG是否捕捉了正確的網(wǎng)絡(luò)區(qū)域。但是，即使大語言模型只包含我們想要的信息，仍然存在模糊性的問題。有一種模糊是可以接受的，那就是用不同的詞重新陳述信息；對(duì)于完全捏造的模糊，當(dāng)我們尋找事實(shí)時(shí)，我們認(rèn)為這是不可接受的。在消除不可接受的模糊性的同時(shí)，保留可接受的模糊性，在技術(shù)上是否可行尚不清楚，但我希望在不久的將來，我們能找到答案。
即使有可能限制大語言模型參與制作，我們應(yīng)該使用它們來生成萬維網(wǎng)內(nèi)容嗎？只有當(dāng)我們的目標(biāo)是重新打包網(wǎng)絡(luò)上已有的信息時(shí)，這才有意義。有些公司就是這么做的，我們通常稱它們?yōu)閮?nèi)容工廠。也許大語言模型的模糊性對(duì)他們來說是有用的，它可以作為一種避免侵犯版權(quán)的手段。不過，一般來說，我想說的是，任何對(duì)內(nèi)容工廠有好處的東西都不適合搜索信息的人。這種重新包裝的興起使我們現(xiàn)在更難在網(wǎng)上找到我們想要的東西。大型語言模型生成的文本在網(wǎng)絡(luò)上發(fā)布得越多，網(wǎng)絡(luò)本身就變得越模糊。
關(guān)于OpenAI即將推出的ChatGPT繼任者GPT-4的信息非常少。但是我想做一個(gè)預(yù)測(cè)：當(dāng)收集用于訓(xùn)練GPT-4的大量文本時(shí)，OpenAI會(huì)盡一切努力排除由ChatGPT或任何其他大語言模型生成的材料。若事實(shí)果真如此，那么將大語言模型與有損壓縮進(jìn)行類比是有用的。反復(fù)保存JPEG會(huì)產(chǎn)生更多的壓縮制件，因?yàn)槊看味紩?huì)丟失更多的信息。這就相當(dāng)于過去不斷復(fù)制副本的做法，圖像質(zhì)量只會(huì)越來越差。
事實(shí)上，衡量大語言模型質(zhì)量的一個(gè)有用標(biāo)準(zhǔn)可能是，公司是否愿意使用它生成的文本作為新模型的訓(xùn)練材料。如果ChatGPT的輸出對(duì)GPT-4來說不夠好，我們或許會(huì)認(rèn)為它對(duì)我們來說也不夠好。相反，如果一個(gè)模型生成的文本非常好，可以用來訓(xùn)練新的模型，那么我們應(yīng)該對(duì)文本的質(zhì)量有信心。（我懷疑這樣的結(jié)果需要在用于構(gòu)建這些模型的技術(shù)上取得重大突破。）如果我們開始看到模型產(chǎn)生的輸出和輸入一樣好，那么有損壓縮的類比將不再適用。
大語言模型能幫助人類創(chuàng)作原創(chuàng)作品嗎？要回答這個(gè)問題，我們需要明確這個(gè)問題的含義。有一種藝術(shù)類型被稱為影印藝術(shù)，在這種藝術(shù)中，藝術(shù)家們利用復(fù)印機(jī)的獨(dú)特特性作為創(chuàng)作工具。在ChatGPT復(fù)印機(jī)上，沿著這些路線的事情肯定是可能的，所以，在這個(gè)意義上，答案是肯定的。但我認(rèn)為沒有人會(huì)說，復(fù)印機(jī)已經(jīng)成為藝術(shù)創(chuàng)作中的必備工具。絕大多數(shù)藝術(shù)家在創(chuàng)作過程中不會(huì)使用它們，沒人會(huì)認(rèn)為他們的這種選擇會(huì)讓自己處于不利地位。
所以讓我們假設(shè)，我們并不是在談?wù)撘环N類似于“施樂藝術(shù)”的新的寫作類型。鑒于這一規(guī)定，大語言模型生成的文本能否成為作家在創(chuàng)作原創(chuàng)作品時(shí)有用的起點(diǎn)，無論是小說還是非虛構(gòu)？讓一個(gè)大語言模型來處理樣板文件，能讓作者把注意力集中在真正有創(chuàng)意的部分嗎？
顯然，沒有人能代表所有的作家，但我想說的是，以一份模糊的非原創(chuàng)作品作為起點(diǎn)，并不是創(chuàng)作原創(chuàng)作品的好辦法。如果你是一個(gè)作家，在你寫原創(chuàng)作品之前，你會(huì)寫很多非原創(chuàng)的作品?；ㄔ诜窃瓌?chuàng)工作上的時(shí)間和精力不會(huì)被浪費(fèi)。相反，我認(rèn)為正是它讓你最終能夠創(chuàng)作出原創(chuàng)的作品?；ㄔ谶x擇正確的詞匯和重新排列句子以更好地遵循彼此上的時(shí)間，教會(huì)了你如何通過文章傳達(dá)想要表達(dá)的意思。讓學(xué)生寫論文不僅僅是一種測(cè)試他們對(duì)材料掌握程度的方法，這給了他們表達(dá)自己想法的經(jīng)驗(yàn)。如果學(xué)生從來不用寫我們都讀過的文章，他們就永遠(yuǎn)不會(huì)獲得寫我們從未讀過的東西所需的技能。
這并不是說，一旦你不再是學(xué)生，你就可以安全地使用大語言模型提供的模板。想要表達(dá)自己想法的掙扎并不會(huì)在你畢業(yè)后消失。每當(dāng)你開始起草一篇新文章時(shí)，這種掙扎就會(huì)出現(xiàn)。有時(shí)候，只有在寫作的過程中，你才能發(fā)現(xiàn)自己最初的想法。有些人可能會(huì)說，大語言模型的輸出看起來與人類作家的初稿沒有太大不同，但是，我認(rèn)為這只是表面上的相似。你的初稿不是一個(gè)明確表達(dá)的非原創(chuàng)想法；這是一個(gè)原始想法的拙劣表達(dá)，它伴隨著你無定形的不滿，你意識(shí)到它所說的和你想說的之間的距離。這是在重寫時(shí)能夠指導(dǎo)你的東西，這是當(dāng)你開始使用人工智能生成的文本時(shí)所缺乏的東西之一。
寫作沒什么神奇或神秘的，但它不僅僅是把現(xiàn)有的文件放在一臺(tái)不可靠的復(fù)印機(jī)上，然后按下打印按鈕。在未來，我們有可能創(chuàng)造出一個(gè)人工智能，它能夠僅憑自己對(duì)世界的經(jīng)驗(yàn)就寫出好文章。我們實(shí)現(xiàn)這一目標(biāo)的那一天確實(shí)意義重大，但那一天遠(yuǎn)遠(yuǎn)超出了我們的預(yù)測(cè)范圍。與此同時(shí)，我們有理由提出這樣一個(gè)問題：重新表述萬維網(wǎng)有何用途？如果我們永遠(yuǎn)無法訪問互聯(lián)網(wǎng)，不得不在空間有限的私人服務(wù)器上存儲(chǔ)副本，那么像ChatGPT這樣的大語言模型可能是一個(gè)很好的解決方案，假設(shè)它可以防止偽造。但我們并沒有失去對(duì)互聯(lián)網(wǎng)的訪問。那么，當(dāng)你還有原始圖片的時(shí)候，一張模糊的JPEG到底有多大用處呢？
