GPT-3語言模型
Why matters to our lives ?

繼ＤｅｅｐＭｉｎｄ的ＡｌｐｈａＧｏ或ＩＢＭ的西洋棋電腦「深藍」之後，最能引發大家想像空間的人工智慧，非ＧＰＴ－３莫屬。
ＧＰＴ－３由位於舊金山的研究實驗室ＯｐｅｎＡＩ打造而成，是一個「大型語言模型」，它的運算法使用深度學習技術，從成千上萬本書籍和網路內容學習，將單字和詞語串連起來篇章。在２０２０年問世時，ＧＰＴ－３將人類書寫文字模仿得維妙維肖，被很多人視為是機器智慧（Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）的里程碑。
舉個實例：
研究團隊前進至今無人探索過的安地斯山脈山谷，赫然發現，這處化外之境竟然棲息著一群獨角獸。更讓研究團隊驚訝的是，獨角獸還說著一口標準英文，滿頭鬃髮整理得漂漂亮亮，看上去還化了妝。
「我們很震驚會發現獨角獸」人類學家莫利斯（Ｄａｎｉｅｌ　Ｓｔ．　Ｍａｕｒｉｃｅ）說：「從來沒有見過這種生物。大家都聽過獨角獸的傳說，但從沒有想過牠們真的存在。」
研究人員初抵山谷時，獨角獸看到人類雖然驚嚇，卻也難掩興奮之情，歡迎研究人員的到來，還說已經等待人類很久了。
從這段文字可見，ＧＰＴ－３可以造出複雜句子，讀起來跟真人文字沒有兩樣，段落內容涵蓋文化典故，寫到科學家有何反應的部分亦有可信度。機器能夠如此使用語言是重大進展，因為語言是理解人類世界的關鍵所在，人類靠它互相溝通、分享想法、說明觀念。人工智慧若能精通語言，過程中將可進一步了解人類世界。
大型語言模型也有許多實用面：可以改善聊天機器人的技術，讓對話更流暢；在人工文字的提示下，可以針對各種主題產生文章和故事；可以總結一段文字或針對段落回答問題。目前雖然只有受到邀請的人才能使用ＧＰＴ－３，但已經有幾１０個應用程式開始使用這項技術，包括一款會生成新創企業構想的工具，以及背景設在地牢、以人工智慧撰寫腳本的冒險遊戲。
ＧＰＴ－３並非唯一在２０２０年登場的大型語言模型，微軟、Ｇｏｏｇｌｅ與臉書都陸續公布自家技術，但ＧＰＴ－３是其中最佳的通用型人工智慧，還給人什麼都能寫的印象，例如同人小說、哲學論辯，甚至是程式碼也沒問題。去年夏天，大家開始自行測試ＧＰＴ－３的功力，社群媒體冒出成千上萬則實例，內容展現出它的文字多樣性。甚至有人在爭論ＧＰＴ－３是不是第一個通用型人工智慧。

答案是否定的。儘管ＧＰＴ－３能夠產生高度可信的文字段落，但技術原理並不新，而是證實規模才是王道。為了打造ＧＰＴ－３，ＯｐｅｎＡＩ採用的技術與運算法跟上一代的ＧＰＴ－２大同小異，但大幅擴大了神經網絡與訓練工具。ＧＰＴ－３用了１７５０億個參數（網絡在訓練過程可以調整的數值），遠遠高於ＧＰＴ－２的１５億個，訓練的數據量亦多出許多。
在ＧＰＴ－２之前，使用深度學習技術訓練語言模型通常分兩個階段：先是以通用型數據集訓練，讓模型對語言建立基礎了解，再以具有特定任務的數據集訓練，例如理解或翻譯。ＧＰＴ－２讓大家看到，只要在更大的模型丟進更多例子，各個主題都能有好結果，因此ＯｐｅｎＡＩ在研發ＧＰＴ－３時加大規模，推出有史以來最大的語言模型。
但這些讓大家眼睛為之一亮的輸出結果往往事先挑選過。實際上，一旦段落字數超過幾百個字，ＧＰＴ－３經常會有重複文字或自相矛盾的現象。ＧＰＴ－３犯下的愚蠢錯誤，往往因為它的妙筆生花而被掩蓋了，通常需要試過幾次，才能出現不見破綻的文字。
ＧＰＴ－３也讓人無法忽視人工智慧日益嚴重的問題。它的龐大耗能對氣候不啻是壞消息。丹麥哥本哈根大學的研究人員預估，如果訓練ＧＰＴ－３的資料中心完全採用化石燃料電力，過程所形成的碳足跡大約等於開車往返月球一趟。此外，訓練成本高昂，只有深口袋的實驗室才負擔得起──部分專家預估，訓練ＧＰＴ－３至少要１０００萬美元。
ＯｐｅｎＡＩ指出，ＧＰＴ－３的訓練過程消耗幾千個ｐｅｔａｆｌｏｐ／ｓ－ｄａｙ的運算能力（ｐｅｔａｆｌｏｐ／ｓ－ｄａｙ是指每秒執行１，０００千兆次浮點神經網絡運算的單日能耗單位），反觀ＧＰＴ－２只消耗幾１０個ｐｅｔａｆｌｏｐ／ｓ－ｄａｙ。

另一個問題是，ＧＰＴ－３吸收了網路大多數的假消息和偏見資訊，也能應要求複製。研發團隊在論文中描述這項技術時寫道：「以網路訓練模型，會出現網路規模般的偏見。」
ＧＰＴ－３為機器產生的文字添加「人味」，反而讓讀者更容易相信。也因此，有些人認為ＧＰＴ－３和所有人工智慧語言模型都應該附上安全警告，提醒使用者正在跟軟體對談，而不是真人。
幾個月前，有人在Ｒｅｄｄｉｔ網站推出一款由ＧＰＴ－３驅動的聊天機器人，發表了幾百則評論，也與數１０個用戶進行互動，過了幾天才公布真實身分。雖然內容大致無害，但聊天機器人也回覆過幾則提到自殺念頭的言論，提供「個人」建議讓對方參考，說到自己有父母的支持。
儘管ＧＰＴ－３有這些問題，但看在以規模至上的人眼中，還是一大技術突破，顯示出，運算能力與數據量是發展關鍵，兩者未來預計會愈來愈多。ＧＰＴ－４會是什麼模樣？聊天機器人預計更會出口成章、更懂得產生內容連貫的長篇段落、更加精通天南地北的對話主題。
然而，想要了解世界、與世界互動，語言只是一個途徑，下一代的語言模型會納入其他技能，圖像辨識便是其一。ＯｐｅｎＡＩ正在朝這個方向訓練ＧＰＴ－３，採用的人工智慧能以語言了解圖像，以圖像了解語言。
想知道目前深度學習技術的進展，看ＧＰＴ－３就對了，人工智慧最好與最壞的一面都縮影在裡頭。