Voice Control for ChatGPT 僅支持 Chrome,在應(yīng)用商店搜索關(guān)鍵詞即可找到。
安裝后打開 ChatGPT,你會發(fā)現(xiàn)文字輸入框底下出來了一個語音按鈕,可以選擇語音種類,點擊一下按鈕開始說話,可以讓 AI 教你學(xué)一下電影臺詞,幫你百科一些知識,或是讓他看看你的口語是不是可以使用的等等,在回答你的時候,這款插件可以自動播放 AI 的文字內(nèi)容,并且可以點擊語音按鈕最右側(cè)的設(shè)置調(diào)整說話的速度,如果你覺得慢可以調(diào)成 very fast。
其他一些使用 tips:
按一下?ESC?或者?Q?取消語音輸入
按一下?E?是取消提交并把已經(jīng)語音輸入的文字拷貝到輸入框
]]>
《通用人工智能的火花:GPT-4 早期實驗》是3月最重要的一篇論文,引起了廣泛的關(guān)注和討論,但是論文長達 154頁,中文版本還無人翻譯。
本文挑選了論文中的重點結(jié)論并進行翻譯,雖然已經(jīng)是精選,但仍然超過萬字。但考慮到 GPT5 明年才能面世,這篇文章在今年什么時候看都不晚。
微軟的研究院在很早期就接觸到了 GPT-4 的非多模態(tài)版本,并對齊進行了詳盡的測試。這篇論文就是整個的測試過程和結(jié)論。不管是測試方法還是結(jié)論都非常精彩,強烈推薦看一遍,傳送門在此 。https://arxiv.org/pdf/2303.12712v1.pdf
本文的翻譯沒有添加任何夸張的修辭(DeepL和ChatGPT貢獻也很大),但文中透露的信息本身已足夠震撼。
測試者:Microsoft Research
測試模型:GPT-4早期模型,非多模態(tài)版本。
基本結(jié)論: 盡管是純粹的語言模型,這個早期版本的GPT-4在各種領(lǐng)域和任務(wù)上表現(xiàn)出顯著的能力,包括抽象、理解、視覺、編碼、數(shù)學(xué)、醫(yī)學(xué)、法律、對人類動機和情感的理解等等。
GPT-4的能力具有普遍性,它的許多能力跨越了廣泛的領(lǐng)域,而且它在廣泛的任務(wù)中的表現(xiàn)達到或超過了人類水平,這兩者的結(jié)合使我們可以說GPT-4是邁向AGI的重要一步。
雖然GPT-4在許多任務(wù)上達到或超過了人類的水平,但總體而言,它的智能模式明顯地不像人類。
GPT-4只是邁向通用智能系統(tǒng)的第一步。然而即使作為第一步,GPT-4也挑戰(zhàn)了相當多的關(guān)于機器智能的假設(shè),并表現(xiàn)出涌現(xiàn)的行為和能力,其來源和機制目前還不夠清楚。
我們撰寫本文的主要目的是分享我們對GPT-4的能力和局限性的探索,以支持我們關(guān)于技術(shù)飛躍的評估。我們相信,GPT-4的智能標志著計算機科學(xué)領(lǐng)域及其他領(lǐng)域的真正范式轉(zhuǎn)變。
研究方法: 本文的更接近于傳統(tǒng)的心理學(xué)而不是機器學(xué)習(xí),借鑒了人類的創(chuàng)造力和好奇心。我們的目標是生產(chǎn)新的和困難的任務(wù)和問題,令人信服地證明GPT-4遠遠超出了記憶的范圍,并且它對概念、技能和領(lǐng)域有深刻和靈活的理解。我們還旨在探究GPT-4的反應(yīng)和行為,以驗證其一致性、連貫性和正確性,并揭示其局限性和偏見。我們承認,這種方法有些主觀和不正式,可能無法滿足科學(xué)評估的嚴格標準。然而,我們認為這是一個有用的和必要的第一步,以了解GPT-4的顯著能力和挑戰(zhàn),這樣的第一步為開發(fā)更正式和全面的方法來測試和分析具有更普遍智能的AI系統(tǒng)開辟了新的機會。
GPT-4的主要優(yōu)勢在于它對自然語言的掌握無可比擬。它不僅可以生成流暢和連貫的文本,還可以以各種方式理解和處理文本,如總結(jié)、翻譯或回答一系列極其廣泛的問題。此外,我們所說的翻譯不僅是指不同自然語言之間的翻譯,還包括語氣和風(fēng)格的翻譯,以及跨領(lǐng)域的翻譯,如醫(yī)學(xué)、法律、會計、計算機編程、音樂等等。這些技能清楚地表明,GPT-4能夠理解復(fù)雜的思想。
許多讀者心中可能縈繞的一個問題是,GPT-4是否真正理解了所有這些概念,或者它是否只是在即興發(fā)揮方面比以前的模型好得多,而沒有任何真正深刻的理解。我們希望在閱讀完這篇論文后,這個問題幾乎會被反轉(zhuǎn),讓人不禁思考:真正深刻的理解和即興臨場發(fā)揮的差別在哪里?一個能通過軟件工程候選人考試的系統(tǒng)難道不是真正的智能嗎?對于【真正深刻的理解】,也許唯一的測試手段,就是看它能否能產(chǎn)生新的知識,比如證明新的數(shù)學(xué)定理,而這一壯舉目前對大語言模型來說仍然遙不可及。
智能的一個關(guān)鍵衡量標準是能夠從不同領(lǐng)域或模態(tài)中綜合信息,并能夠在不同的情境或?qū)W科中應(yīng)用知識和技能。GPT-4不僅在文學(xué)、醫(yī)學(xué)、法律、數(shù)學(xué)、物理科學(xué)和編程等不同領(lǐng)域表現(xiàn)出高水平的熟練程度,而且還能夠流暢地結(jié)合多個領(lǐng)域的技能和概念,展示出對復(fù)雜思想的令人印象深刻的理解。除了自然語言實驗,我們還探索了兩種可能出乎意料的模態(tài),其中涉及視覺和音頻(再次強調(diào),我們的實驗是在GPT-4的早期版本上進行的,該版本不是多模態(tài)的)。
我們探討了GPT-4如何生成和識別不同模式的物體,如矢量圖、3D場景和音樂。我們表明,盡管GPT-4只接受過文本訓(xùn)練,但它能理解和處理多模態(tài)信息。
繪制圖像
給模型指令,讓模型使用可伸縮矢量圖形(SVG)生成貓、卡車或字母等對象的圖像如下圖
有人可能會說:這只是復(fù)制了訓(xùn)練數(shù)據(jù)中的代碼,而且它只學(xué)習(xí)了文本概念,不可能理解視覺,怎么可能創(chuàng)建圖像呢?
但模型確實掌握了視覺能力,以下是一些證據(jù)。
畫小人
要求 GPT4 畫出一個小人,測試其視覺能力 指令:使用TikZ代碼,畫出一個由字母組成的人。胳膊和軀干可以是字母Y,臉可以是字母O(添加一些面部特征),腿可以是字母H的腿。
指令:軀干有點太長,手臂太短,看起來像右臂在扛著臉,而不是臉在軀干的正上方。請你糾正這一點好嗎?
指令:請?zhí)砑右r衫和褲子。
生成 3D 模型
要求 GPT4 使用Javascript生成一個3D模型。
一個由漂浮的島嶼、瀑布和橋梁組成的幻想景觀,一條龍在空中飛翔,最大的島嶼上有一座城堡。
與二維實驗類似,我們要求GPT-4以各種方式修改三維模型,如添加、重新定位、重新著色物體和改變龍的軌跡。GPT-4正確地完成了許多任務(wù)。最終結(jié)果如圖所示。
這是一個有多條龍在島嶼上空盤旋的三維動畫:
空間理解
圖像生成模型近幾年的發(fā)展和探索很多,但它們大多缺乏空間理解能力,且不能遵循復(fù)雜指令。使用 GPT4 生成草圖可以極大地改善圖像生成模型的效果。
指令:一張顯示3D城市建造游戲截圖。截圖顯示了一個地形,其中有一條從左到右的河流,河流下方是一片沙漠,有一座金字塔,而河流上方有許多高層建筑的城市。屏幕底部有4個按鈕,分別是綠色、藍色、棕色和紅色。
圖1:直接 GPT4生成草圖 圖2:stable diffusion 直接生成 圖3:stable diffusion 根據(jù) GPT4 的草圖生成
音樂能力
GPT-4 能夠以ABC記譜法生成旋律,并在某種程度上解釋和操作它們的結(jié)構(gòu)。但是,我們無法讓模型生成不常見的和聲。
需要注意的是,ABC記譜法并不是一種非常廣泛使用的格式,實際上,模型無法以ABC記譜法生成最著名的旋律,也無法識別這些著名旋律的譜子。(例如“歡樂頌”、“致愛麗絲”或“綠袖子”等音樂,盡管在網(wǎng)絡(luò)上有很多這些音樂的ABC譜)
為了防止模型作弊,此測試只用了模型訓(xùn)練完成之后所產(chǎn)生的新考題作為測試集。來自 LeetCode ,共100個問題。
并以人類的回答水平作為對比,人類樣本中去除了全錯的用戶數(shù)據(jù)以保證質(zhì)量。
k=1 是第一次嘗試 k=5 是前五次嘗試
考題分為 容易、中等、困難 三種級別。
考試結(jié)果如下: 人類 38.2分 GPT3.5 k=1 ,19分,k=5,36分,接近人類水平 GPT4 k=1 ,38分,達到人類水平,k=5 53 分,超過人類水平。
并且在中等和困難難度下,k=1就超過了人類。
代碼測試題可以評估算法和數(shù)據(jù)結(jié)構(gòu)的技能。然而,它們經(jīng)常無法體現(xiàn)真實世界編碼任務(wù)的全部復(fù)雜性和多樣性,這需要專業(yè)領(lǐng)域知識、創(chuàng)造力以及整合多個組件和庫的能力,以及更改現(xiàn)有代碼的能力。為了評估GPT-4在更現(xiàn)實的環(huán)境中編碼的能力,我們設(shè)計了端到端的真實世界編碼挑戰(zhàn),涉及數(shù)據(jù)可視化、LATEX編碼、前端開發(fā)和深度學(xué)習(xí)等領(lǐng)域,每個領(lǐng)域都需要不同的專業(yè)技能。對于每個任務(wù),我們提供高級指令,要求GPT-4使用適當?shù)恼Z言和框架編寫代碼。在一些情況下,我們還會在代碼編寫后更改規(guī)格,并要求更新代碼。
LATEX 測試 用LATEX寫作對計算機科學(xué)家和數(shù)學(xué)家來說是一項重要的練習(xí),即使是專家也會犯令人惱火的錯誤,由于其嚴格的語法和缺乏良好的調(diào)試器,每天需要幾個小時才能修復(fù)。我們要求GPT-4將用半嚴格的(buggy)LATEX代碼混合自然語言編寫的片段傳輸?shù)綔蚀_的LATEX命令中,這些命令可以一次性正確編譯。ChatGPT3.5則只能生成一個因使用“#”和“\color”等錯誤而無法編譯的片段。
代碼理解能力測試 能執(zhí)行代碼自然就說明理解了代碼。
需要注意的是,GPT-4不是在Python解釋器上運行代碼,而是用自然語言模擬代碼。這需要對代碼的高度理解和推理,以及清晰傳達結(jié)果的能力。
我們在兩個通常用作基準的數(shù)學(xué)數(shù)據(jù)集上比較GPT-4、ChatGPT和Minerva(解決數(shù)學(xué)問題的最新LLM)的性能:GSM8K 和MATH 。GSM8K是一個小學(xué)數(shù)學(xué)數(shù)據(jù)集,包含8000個關(guān)于算術(shù)、分數(shù)、幾何和單詞問題等主題的問題和答案。MATH是一個高中數(shù)學(xué)數(shù)據(jù)集,包含12,500個關(guān)于代數(shù)、微積分、三角學(xué)和概率等主題的問題和答案。我們還在MMMLU-STEM數(shù)據(jù)集上測試模型,該數(shù)據(jù)集包含大約2000個多個選擇(4個選擇)問題,涵蓋高中和大學(xué)STEM主題。這些數(shù)據(jù)集突出了GPT-4使用正確方法解決高中數(shù)學(xué)問題的能力。
結(jié)果:
GPT4 在每個數(shù)據(jù)集上的測試都超過了 Minerva,并且在兩個測試集的準率都超過 80% 。
再細看 GPT4 犯錯的原因,68% 的錯誤都是計算錯誤,而不是解法錯誤。(ChatGPT3.5則容易犯解法錯誤)。
管理用戶的日歷和電子郵件 在下圖,我們說明了GPT-4如何能夠使用多個工具組合來管理用戶的日歷和電子郵件。用戶要求GPT-4與另外兩個人協(xié)調(diào)晚餐,并在用戶有空的晚上預(yù)訂。GPT-4使用可用的API來檢索用戶日歷的信息,通過電子郵件與其他人協(xié)調(diào),預(yù)訂晚餐,并向用戶發(fā)送詳細信息。在這個例子中,GPT-4展示了它將多個工具和API組合起來的能力,以及對自由輸出進行推理以解決復(fù)雜任務(wù)的能力(例如,“星期二或星期三晚上”與“周一到周四的任何一天”相結(jié)合,以及用戶在星期二忙碌,導(dǎo)致只有周三是可行的選擇)。 ChatGPT3.5(未顯示在圖中)無法完成相同的任務(wù),而是編寫了一個函數(shù),其中 “joe@microsoft.com” 通過電子郵件向 “l(fā)uke@microsoft.com” 發(fā)送一個日期,并檢查響應(yīng)是否包含“yes”令牌。ChatGPT3.5也無法在給出其函數(shù)輸出時做出響應(yīng)。
瀏覽網(wǎng)頁 GPT-4使用搜索引擎和SUMMARIZE函數(shù)(它下載網(wǎng)頁并根據(jù)提出的問題調(diào)用自身來進行總結(jié))來瀏覽網(wǎng)絡(luò)并回答問題。GPT-4能夠識別相關(guān)的搜索結(jié)果并深入研究它們,總結(jié)它們,并提供準確的答案,即使問題包含錯誤的前提也是如此。雖然之前的LLM也有瀏覽網(wǎng)絡(luò)能力,但GPT-4在這方面表現(xiàn)的更加出色,能夠更準確地回答問題。
雖然網(wǎng)絡(luò)工具的使用是交互性的一個重要方面,但現(xiàn)實世界中的大多數(shù)交互并不是通過API進行的。例如,人類能夠使用自然語言與其他代理進行通信,探索和操縱他們的環(huán)境,并從他們的行動結(jié)果中學(xué)習(xí)。這種具有實體的交互需要代理人理解每次交互的上下文、目標、行動和結(jié)果,并相應(yīng)地進行適應(yīng)。雖然GPT-4顯然不是具有實體的,但我們探討它是否能夠通過使用自然語言作為文本接口來參與實體交互,包括模擬或真實世界的各種環(huán)境。
文字解密游戲 GPT-4瀏覽地圖后對其“看到”的內(nèi)容進行總結(jié)。在GPT-4的總結(jié)中,每個房間的門數(shù)與GPT-4在每個房間嘗試的方向數(shù)完全相同。此外,GPT-4也會根據(jù)它們的名稱和連接方式“想象”房間的外觀。
左圖:GPT-4的真實地圖和探索路徑。右圖:GPT-4生成的地圖。我們看到,GPT-4準確地跟蹤了所有房間的位置并正確地可視化了它們
結(jié)論: 雖然GPT-4顯然不是具有實體的,但上述示例說明了語言是一個強大的接口,使GPT-4能夠執(zhí)行需要理解環(huán)境、任務(wù)、行動和反饋,并相應(yīng)地進行適應(yīng)的任務(wù)。雖然它不能實際看到或執(zhí)行動作,但可以通過替代者(例如人類)來執(zhí)行這些任務(wù)。
心智理論對于與其他智能體的有效溝通和合作至關(guān)重要,因為它允許人們推斷他們的目標、偏好、動機和期望,并相應(yīng)地調(diào)整自己的行動和話語。此外,心智理論對于向他人學(xué)習(xí)也很重要,因為它使人能夠解釋他們的反饋、建議和示范。
在現(xiàn)實場景中進行心智理論測試
對話 馬克:我不喜歡你昨天晚上對待杰克的方式 朱迪:你看到他在做什么了嗎?他打了他哥哥的頭! 馬克:這并不能成為你對他大喊大叫的理由 朱迪:你想讓我怎么做?讓他打他的弟弟,然后什么都不說? 馬克:不,我不同意 朱迪:那你為什么要為他辯護?
提問:馬克的意圖似乎是什么? GPT4: 馬克的意圖似乎是要表達他對朱迪處理與杰克關(guān)系的方式的不滿,并建議她可以更加冷靜和尊重。 ChatGPT:根據(jù)談話內(nèi)容,馬克的意圖似乎是為杰克的行為辯護,并表達他對朱迪對待杰克的不滿。
提問:朱迪如何看待湯姆的回應(yīng)? GPT4: 朱迪認為他的評論是對她的分析能力的攻擊,也是對杰克的不當行為表示同情的表現(xiàn)。她的反應(yīng)是防御性的和憤怒的,并質(zhì)疑馬克的動機。 ChatGPT:如果沒有更多的文字,我不可能準確判斷朱迪是如何接受馬克的評論的。然而,根據(jù)朱迪的回應(yīng),她似乎并不同意馬克的觀點,而且可能對他為杰克的行為辯護感到沮喪。
提問:他們的談話為什么沒有實際進展? GPT4: 他們沒有取得進展,因為他們在談?wù)搶Ψ剑瑳]有傾聽對方的觀點。他們還在使用指責(zé)性和煽動性的語言,如 “辯解”、”吼叫”、”辯護 “和 “打人”。他們沒有承認自己話語背后的情緒或需求,也沒有試圖找到一個共同點或解決方案。 ChatGPT:從所提供的信息中并不清楚為什么馬克和朱迪在他們的對話中沒有取得進展。有可能是他們的觀點有沖突,或者在所討論的問題上無法找到共同點。如果沒有更多的背景,就很難確定他們沒有取得進展的具體原因。
提問:他們中的任何一個人如何能改善情況以達成一致意見? GPT4:他們中的任何一個人都可以通過幾種方式來改善局面,以達成協(xié)議,比如說:
ChatGPT:馬克和朱迪有幾種方法可以嘗試改善情況并達成協(xié)議:
結(jié)果表明:GPT-4在需要推理他人心理狀態(tài)的現(xiàn)實場景中優(yōu)于ChatGPT,并且在社會環(huán)境中會為共同目標提出合作行動。GPT-4具有非常高級的心智理論水平。雖然ChatGPT在基本測試中也表現(xiàn)良好,但似乎GPT-4更加心思細膩,能夠更好地推理多個行動者,以及各種行動如何影響他們的心理狀態(tài),特別是在更現(xiàn)實的場景中。
由于GPT-4是自回歸的,每輸出的下一個單詞都是基于前面內(nèi)容所進行預(yù)測,因此輸出具有前向性。該架構(gòu)不允許有 “內(nèi)部對話 “或 “草稿存儲”來進行多步驟計算或存儲中間結(jié)果。雖然在某些情況下,這種限制可以通過使用不同的提示來補救,但在其他情況下,這種限制是無法緩解的。
問:150和250之間有多少個質(zhì)數(shù)? 答:150和250之間有13個質(zhì)數(shù)。(錯誤)
但是,如果我們要求模型列出這個范圍內(nèi)的質(zhì)數(shù),然后寫出計數(shù),它確實給出了正確的答案:
問:首先列出150和250之間的素數(shù),然后輸出這個列表的大小。 答:這些質(zhì)數(shù)是151,157,163,167,173,179,181,191,193,197,199,211,223,227,229,233,239,和241。所以這個列表的大小是18。(正確)
在算術(shù)/推理問題上缺乏計劃性 有人可能會說,在上面的各種例子中,需要的 “內(nèi)部記憶 “量是相當大的(人類可能也得借助草稿紙)。由于這個模型在一系列不同的任務(wù)上表現(xiàn)得非常好,這可能會讓人相信它有合理數(shù)量的工作記憶。然而,即使對于更簡單的任務(wù),該模型也經(jīng)常失敗。我們考慮下面這個非常基本的例子:
2 * 8 + 7 * 6 = 58 7 * 4 + 8 * 8 =? GPT4: 88 正確答案:92
這表明GPT-4對這類問題的工作記憶短得驚人。然而,如果GPT-4 “慢慢地 “回答問題,那么準確率就很容易上升。例如,如果我們要求模型使用以下提示寫下中間步驟
以下表達式的值是多少?116 * 114 + 178 * 157 = ? 讓我們一步一步地思考解決這個表達式,寫下所有的中間步驟,然后才得出最終的解決方案。
當數(shù)字在區(qū)間1-40時,準確率達到100%,在區(qū)間1-200時準確率達到90%。
在文本生成時缺乏計劃性
寫一首短詩,要求最后一句和第一句話的單詞相同,但順序顛倒。 例如,如果第一句話是“我在晨光下看到了她的微笑”,那么最后一句話必須是“笑微的她了到看下光晨在我”。 然而,這個最后一句話在語法上不正確,所以請確保這首詩歌在語法和內(nèi)容上都有意義。 GPT4: 可能的詩: I heard his voice across the crowd(我在人群中聽到他的聲音) 一首吸引我的旋律 他唱著愛、希望和夢想 讓我覺得我可以在夢想、希望和愛中獲勝 他用旋律吸引我, Crowd the across voice his heard I.(此句只做了詞序顛倒,但語法錯誤)
這說明 GPT4 在生成文本時,未能提前考慮到最后一句。
這些例子說明了【預(yù)測下一個單詞】這一范式的一些局限性,這些局限性表現(xiàn)為模型缺乏規(guī)劃、工作記憶、回溯能力和推理能力。該模型依賴于生成下一個單詞的貪心算法,對任務(wù)或輸出沒有任何全局或深刻的理解。因此,該模型擅長制作流暢和連貫的文本,但在解決無法按順序處理的復(fù)雜或創(chuàng)造性問題方面存在局限性。這表明了兩種類型的智力任務(wù)之間的區(qū)別:
通過以上對GPT-4在廣泛的任務(wù)和領(lǐng)域的初步探索,為我們的結(jié)論【GPT-4在諸多任務(wù)和領(lǐng)域的能力水平與人類水平相當】提供了支持性證據(jù)。這一結(jié)論與OpenAI的發(fā)現(xiàn)一致。該模型的能力,在深度和通用性方面都得到了證明,這也表明單靠結(jié)構(gòu)化的數(shù)據(jù)集和任務(wù)來做模型能力的基準測試是不夠的,本文對模型能力和認知能力的評估在本質(zhì)上已經(jīng)更接近于評估人類的任務(wù),而不是狹義的AI模型。
我們工作的核心主張是,GPT-4達到了一種通用智能的形式,確實顯示了人工通用智能的火花。這表現(xiàn)在它的核心心智能力(如推理、創(chuàng)造力和推理),它習(xí)得的專業(yè)知識的領(lǐng)域(如文學(xué)、醫(yī)學(xué)和編碼),以及它能夠執(zhí)行的各種任務(wù)(如玩游戲、使用工具、解釋自己)。
要創(chuàng)建一個可以被稱為完整的AGI的系統(tǒng),還有很多事情要做。在本文的最后,我們討論了接下來的幾個步驟,包括定義AGI本身,為AGI建立LLM中的一些缺失組件,以及更好地理解最近的LLM所展示的智能的起源。
定義AGI
在本文中,我們使用了一組心理學(xué)家在1994年對智能的定義作為指導(dǎo)框架來探索GPT-4的人工智能。這個定義抓住了智能的一些重要方面,如推理、解決問題和抽象,但它也是模糊和不完整的。它沒有說明如何衡量或比較這些能力。此外,它可能沒有反映出人工系統(tǒng)的具體挑戰(zhàn)和機會,人工系統(tǒng)可能有與自然系統(tǒng)不同的目標和約束。因此,我們承認這個定義不是關(guān)于智能的最終說法,而是我們調(diào)查的一個有用的起點。
有大量正在進行的文獻試圖提出關(guān)于智能、人工智能和人工通用智能的更加正式和全面的定義,但其中沒有一個是沒有問題或爭議的。例如,Legg和Hutter提出了一個面向目標的人工通用智能定義:智能衡量一個代理人在廣泛的環(huán)境中實現(xiàn)目標的能力。然而,這個定義并不一定能捕捉到智能的全部范圍,因為它排除了那些可以執(zhí)行復(fù)雜任務(wù)或回答問題而沒有任何內(nèi)在動機或目標的被動或反應(yīng)系統(tǒng)。
Chollet提出的定義強調(diào)了承認先驗(相對于普遍性)的重要性,該定義將智能的中心放在技能獲取效率上,或者換句話說,將重點放在1994年定義的一個組成部分上:從經(jīng)驗中學(xué)習(xí)(這也正好是LLM的關(guān)鍵弱點之一)。
Legg和Hutter對人工通用智能的另一個候選定義是:一個能做人類能做的任何事情的系統(tǒng)。然而,這個定義也是有問題的,因為它假設(shè)有一個單一的標準或衡量人類智能或能力的標準,而事實顯然不是這樣。人類有不同的技能、天賦、偏好和限制,沒有一個人可以做任何其他人類可以做的所有事情。此外,這個定義還意味著某種人類中心主義的偏見,這對人工系統(tǒng)來說可能并不合適或不相關(guān)。
雖然我們在本文中沒有采用這些定義中的任何一個,但我們認識到它們提供了關(guān)于智能的重要角度。
通往 AGI 之路 GPT4 或其他 LLMs 需要繼續(xù)改進的方向包括:
一些提高模型精準度的擴展手段:
結(jié)語:所以實際發(fā)生了什么?
我們對GPT-4的研究完全是現(xiàn)象學(xué)的:我們專注于GPT-4能做的令人驚訝的事情,但我們并沒有解決為什么以及如何實現(xiàn)如此卓越的智能的基本問題。它是如何推理、計劃和創(chuàng)造的?當它的核心只是簡單的算法組件–梯度下降和大規(guī)模變換器與極其大量的數(shù)據(jù)的結(jié)合時,它為什么會表現(xiàn)出如此普遍和靈活的智能?這些問題是LLM的神秘和魅力的一部分,它挑戰(zhàn)了我們對學(xué)習(xí)和認知的理解,激發(fā)了我們的好奇心,并推動了更深入的研究。
關(guān)鍵的方向包括正在進行的對LLMs中的涌現(xiàn)現(xiàn)象的研究(最近的調(diào)查見94[WTB+22])。然而,盡管對有關(guān)LLMs能力的問題有強烈的興趣,但迄今為止的進展相當有限,只有一些玩具模型證明了一些涌現(xiàn)現(xiàn)象[BEG+22, ABC+22, JSL22]。一個普遍的假設(shè)[OCS+20]是,大量的數(shù)據(jù)(尤其是內(nèi)容的多樣性)迫使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)通用的、有用的 “神經(jīng)回路”,比如在[OEN+22, ZBB+22, LAG+22]中發(fā)現(xiàn)的那些,而模型的大尺寸為神經(jīng)回路提供足夠的冗余和多樣性,使其專門化并微調(diào)到特定任務(wù)。對于大規(guī)模模型來說,證明這些假設(shè)仍然是一個挑戰(zhàn),而且,可以肯定的是,猜想只是答案的一部分。在另一個思考方向上,模型的巨大規(guī)??赡苡衅渌恍┖锰?,比如通過連接不同的最小值使梯度下降更加有效[VBB19],或者僅僅是使高維數(shù)據(jù)的平穩(wěn)擬合[ES16, BS21]。
總的來說,闡明GPT-4等人工智能系統(tǒng)的性質(zhì)和機制是一項艱巨的挑戰(zhàn),這個挑戰(zhàn)已經(jīng)突然變得重要而緊迫。
全文完,感謝閱讀。如果對你有啟發(fā),請轉(zhuǎn)發(fā)給有好奇心的朋友吧。
PS:
本文轉(zhuǎn)發(fā)自:?https://orangeblog.notion.site/GPT-4-8fc50010291d47efb92cbbd668c8c893
]]>OpenCat 目前提供免費的 iCloud 同步以及 Siri 集成體驗,后期只有購買高級版才能享用這些功能,可以確保你在任意的蘋果設(shè)備上快速的同步所有對話。
整個應(yīng)用的響應(yīng)速度還是很快的。
應(yīng)用內(nèi)同樣內(nèi)置了一個 AI 工坊的欄目,都是比較有特色的,你也可以提交自己的作品,點擊右上角加號即可。
在對話區(qū)域左下角你可以看到自己的 API tokens 消耗數(shù)量,非常貼心的小設(shè)計,而且支持模型版本,默認 3.5 turbo,GPT4還不能用,還有 Temperature 參數(shù),預(yù)設(shè)了創(chuàng)造力、平衡、精確三個級別。
目前八爺?shù)倪@款應(yīng)用高級版正在早鳥優(yōu)惠中,一次性訂閱僅為 38 元!我已經(jīng)買了
歡迎大家到應(yīng)用自薦版塊上傳自己的 OpenAI 以及其他人工智能應(yīng)用,我們會根據(jù)作品質(zhì)量直接推送到首頁進行介紹!
👉👉👉 直達電梯 👈👈👈
ChatMind 官方網(wǎng)站
比如發(fā)布 如何向上級匯報工作,以下是 ChatMind 的思維導(dǎo)圖:
非常的智能,而且在 Markdown 模式下你可以進一步擴充、修改,但是只有會員才能修改并以 Markdown 格式下載,普通用戶僅可以下載圖片。
會員月卡價格 ?28 元,年卡 128 元。
再看看購買 Mac,ChatMind 給出的導(dǎo)圖,不談是否專業(yè) ,人工智能確實給你創(chuàng)作思維導(dǎo)圖打開了一個印子。你可以快速的進入創(chuàng)作狀態(tài)不是嗎?
ChatMind 官方網(wǎng)站
歡迎大家到應(yīng)用自薦版塊上傳自己的 OpenAI 以及其他人工智能應(yīng)用,我們會根據(jù)作品質(zhì)量直接推送到首頁進行介紹!
👉👉👉 直達電梯 👈👈👈
bilingual_book_maker 是一個基于 OpenAI 的 AI 翻譯腳本,可以幫助用戶制作多語言版本的 epub 文件和圖書。該工具僅適用于翻譯進入公共版權(quán)領(lǐng)域的 epub 圖書,不適用于有版權(quán)的書籍。
以上是自動生成的雙語 epub 小說截圖,前面是原文,后面是中譯文,在使用這款腳本前需要準備一下,很簡單的:
怎么配置 Python 我就不在本文介紹了,如果你不想折騰,可以直接裝了 Docker。
pip install -r requirements.txt
(這一步是裝一些需要的模塊)--openai_key
?指定 OpenAI API key,如果有多個可以用英文逗號分隔(xxx,xxx,xxx),可以減少接口調(diào)用次數(shù)限制帶來的錯誤。
或者,指定環(huán)境變量?OPENAI_API_KEY
?來略過這個選項。test_books/animal_farm.epub
?給大家測試--model gpt3
?來使用 gpt3 模型--test
?命令如果大家沒付費可以加上這個先看看效果(有 limit 稍微有些慢)--language
?指定目標語言,例如:?--language "Simplified Chinese"
,預(yù)設(shè)值為?"Simplified Chinese"
.
請閱讀 helper message 來查找可用的目標語言:?python make_book.py --help
--proxy
?參數(shù),方便中國大陸的用戶在本地測試時使用代理,傳入類似?http://127.0.0.1:7890
?的字符串--resume
?命令,可以手動中斷后,加入命令繼續(xù)執(zhí)行。<p>
?中的內(nèi)容。 使用?--translate-tags
?指定需要翻譯的標簽。使用逗號分隔多個標簽。例如:?--translate-tags h1,h2,h3,p,div
--api_base ${url}
?來替換。
請注意,此處你輸入的api應(yīng)該是’https://xxxx/v1
‘的字樣,域名需要用引號包裹CTRL+C
?中斷命令,不想接下來繼續(xù)翻譯了,會生成一本 ${book_name}_bilingual_temp.epub 的書,直接改成你想要的名字就可以了--allow_navigable_strings
?參數(shù),會將可遍歷字符串加入翻譯隊列,注意,在條件允許情況下,請尋找更規(guī)范的電子書python3 make_book.py –book_name test_books/animal_farm.epub –openai_key ${openai_key} –test
你可以先用這個命令測試一下是否可以正常跑這個腳本,–openai_key ${openai_key} 直接改成 –API Key
python3 make_book.py –book_name test_books/animal_farm.epub –openai_key ${openai_key} –language zh-hans
沒問題的話可以執(zhí)行這個完整的命令。
我在執(zhí)行翻譯動物農(nóng)場這本英文原版小說時,會偶爾遇到這個提示:
Rate limit reached for default-gpt-3.5-turbo in organization org-VFvb2w8CUNUU40toitmNdiVI on requests per min. Limit: 20 / min. Current: 30 / min. Contact support@openai.com if you continue to have issues. Please add a payment method to your account to increase your rate limit. Visit https://platform.openai.com/account/billing to add a payment method. will sleep? 60 seconds
應(yīng)該是超過了 gpt-3.5-turbo 的限流上限了,不過不影響翻譯進程,只是在提醒你為不影響翻譯速度可以付費購買 Plus 提高速度了。
整個小說翻譯歷時 1 小時 20分鐘,打開 OpenAI 后臺看看 API Tokens 用量記錄,累計花費了 $0.4。
為什么我的賬號默認只提供 5 美元的試用量呢?
歡迎大家到應(yīng)用自薦版塊上傳自己的 OpenAI 以及其他人工智能應(yīng)用,我們會根據(jù)作品質(zhì)量直接推送到首頁進行介紹!
👉👉👉 直達電梯 👈👈👈
我們來看看以上這個動圖,對,這是最新的基于 ChatGPT(OpenAI 的 API)開發(fā)的 Bob 插件,實際用下來我感覺翻譯的效果要比 DeepL 強不少。
項目主頁
要使用 ChatGPT 的 API 需要在 Bob 的設(shè)置頁面把此插件的模型改為 gpt-3.5-turbo-0301
或者 gpt-3.5-turbo
:
Bob 現(xiàn)在版本更新也很快,現(xiàn)在已登錄 MAS,內(nèi)置了非常全面的翻譯內(nèi)核可以供你選擇,來看看如何安裝這款翻譯插件:
安裝 Bob (版本 >= 0.50),然后下載此插件: openai-translator.bobplugin,安裝:
去 OpenAI 獲取你的 API KEY,把 API KEY 填入 Bob 此插件配置界面的 API KEY 輸入框中
或者你也可以安裝 PopClip?,然后安裝 Bob 的 extension,實現(xiàn)劃詞后鼠標附近出現(xiàn)小圖標。
非 macOS 用戶可以使用基于 ChatGPT API 開發(fā)的姊妹版瀏覽器插件:?openai-translator,效果是一樣的:
此插件還有一個專門用 ChatGPT API 對句子進行潤色和語法修改的版本,只需要把目標語言選成跟源語言一樣即可,全面替代 Grammarly!而且理論上任何語言都可以潤色,不只是英語:bob-plugin-openai-polisher,這個潤色插件具有更高級的潤色功能,比如解釋修改原因等。
Bob:免費開源的 Mac 翻譯小能手]]>
ChatPDF 是一個 web 應(yīng)用,只需要上傳你要閱讀的 PDF 文檔(支持 URL 引入),交給它來分析,就可以快速的將每一個段落生成對應(yīng)的語音檢索,當你問它問題時,它會結(jié)合它對這個 PDF 的內(nèi)容理解為你回答問題,有了它你就不用從頭到尾或者人眼掃來掃去的去閱讀整個文檔了,這將大大的提高了閱讀效率,尤其是那些平時經(jīng)常需要閱讀 PDF 產(chǎn)品說明書,做學(xué)術(shù)研究的人士。
如果你沒有注冊 ChatGPT,你可以用 ChatPDF 自帶的文檔分析服務(wù),不過有頁數(shù)限制,最多不要超過200頁,文檔的體積不要超過 35M。
ChatPDF 官方主頁:www.chatpdf.com
以下是我上傳了一個車機使用手冊文檔,頁數(shù) 72 頁,經(jīng)過它的分析,你有任何的使用問題直接問它好了,看看截圖吧:
非常非常的詳細,另外我還上傳了一個 345 頁的外文文藝評論文檔,分析速度也是很快,但是突破 200 頁就需要填寫自己的 ChatGPT API Key 了。
]]>這個周末無人打擾,我終于可以靜下心來體驗一下近期比較火的人工智能產(chǎn)品 ChatGPT。
從去年 11 月 30 日 ChatGPT 發(fā)布于互聯(lián)網(wǎng)后,其月活用戶數(shù)已經(jīng)積累到1億以上,對于經(jīng)常刷推的我對這東西有些抵觸,可能是年齡大了,對新事物的接受欲望下降了,在我開始接觸她的時候,她已經(jīng)問世4個月了。
ChatGPT 是一個大型語言模型,由美國 OpenAI 公司開發(fā)。它使用深度學(xué)習(xí)技術(shù),通過對大量語料庫的訓(xùn)練,可以生成具有自然語言理解和生成能力的文本。ChatGPT 可以用于各種應(yīng)用,例如智能對話、機器翻譯、語音識別、自然語言生成等等。與傳統(tǒng)的規(guī)則系統(tǒng)不同,它可以通過學(xué)習(xí)大量的語言數(shù)據(jù),自動發(fā)現(xiàn)語言中的模式和規(guī)律,從而實現(xiàn)更加準確和自然的語言處理。在對話方面,ChatGPT 可以像人類一樣進行自然、流暢的交流。它可以理解用戶輸入的語句,并基于已有的知識和上下文生成合適的回復(fù),從而實現(xiàn)人機對話。
ChatGPT 網(wǎng)站默認提供了一個對話框供用戶與她交流,但她的強大之處還是在于通過 API 與其他產(chǎn)品融合在一起,后面我們會推薦一些近期比較有代表性的應(yīng)用。
ChatGPT 的使用目前對于國內(nèi)用戶來說存在一些障礙,一個是使用,全程需要代理工具(最好是全局代理),另一個是注冊,注冊的時候就需要全局代理登錄其網(wǎng)站,然后需要輸入手機號填寫驗證碼完成整個注冊流程,手機號是不支持國內(nèi)的,連香港,俄羅斯的都不行!
這里我們推薦使用?sms-activate.org?這個網(wǎng)站來通過虛擬號碼在 ChatGPT 填寫驗證碼,引用一下該網(wǎng)站寫的部分注冊 ChatGPT 步驟:
打開接碼平臺 sms-activate.org,注冊一個賬號
然后要充值余額
一次接碼 OpenAI 的驗證碼費用是大概11盧布,人民幣來看差不多是1塊錢,不過只能充美金,就先充直個1美金錢??梢赃x擇對你任何方便方式。支付寶也有
充值完成可能需要等一會,就先放著,直接進行下一步。
先,你要把你的代理切換到任何合適的地區(qū),我們這里選擇了韓國。
然后,先復(fù)制下面這段代碼
window.localStorage.removeItem(Object.keys(window.localStorage).find(i=>i.startsWith('@@auth0spajs')))
接著在地址欄里輸入
javascript:
請注意,這里一定要輸入,因為你復(fù)制的話是粘貼不了的。
然后再粘貼我們第一段復(fù)制的內(nèi)容:
然后按下回車鍵,刷新頁面。如果你的代理沒問題,就可以看到正常工作的注冊頁面了。
如果你懶得研究“解決地區(qū)問題”這個問題,就直接用代理工具全局模式就行,最好將設(shè)備的語音改成英語,設(shè)備地區(qū)改成美國,因為我開代理,地區(qū)選擇的是美國,要一致。
在 ChatGPT 完成注冊(激活郵件鏈接后)最后一個關(guān)鍵步驟就是輸入手機號驗證了,這個時候輸入國內(nèi)的號碼是沒用的,需要前面提到的?sms-activate.org?來幫忙。
像上圖一樣選韓國,你的代理服務(wù)就是韓國,如果你用的美國代理,選擇美國即可,然后在 sms-activate.org?選擇服務(wù)里找到?OpenAI,然后點擊“美國”右側(cè)的購物車點擊一下就行(前提是已經(jīng)充值,要不不會跳轉(zhuǎn)到驗證碼頁面),下圖里像印度、巴西這些國家發(fā)一次驗證碼比較便宜,你可以用對應(yīng)的代理服務(wù)購買。
點擊”小黃車”(購物車)后:
此時到 ChatGPT 輸入 sms-activate.org?提供的虛擬號碼后,等待回復(fù)過來的6位驗證碼就行了。
完成注冊后,一番介紹后進入默認的頁面,此時點擊正下方的輸入框就可以與?ChatGPT 聊天了,你可以問她任何問題,我個人感覺她比 Siri、DeepL 更加智能,對我提出的問題回答的很全面,很細致,可謂是上知天文下知地理,你可以和他聊聊科技的發(fā)展趨勢,流浪地球,歷史名人,文學(xué)作品,旅行計劃等等所有人類文明能夠認識到的領(lǐng)域。
或者你可以讓他幫你寫一篇文章:
ChatGPT 雖然還不能像 Siri 那樣與你進行口語間的對話,但通過文字對話你可以感覺她更接近一個人類了,對于上下文邏輯關(guān)聯(lián)處理的幾乎完美,但有些問題回答的還是比較官方,感覺都是從維基百科搬過來的呢。
不過當你在糾正她回答錯誤的問題后,她會很快回復(fù)一個正確的問題,比如下面這個:
在我眼中的人工智能,我認為不是她給我們一個反饋,一個執(zhí)行動作就是完美了,人工智能需要主動與人類互動,而不是我們有需要找他的時候才有響應(yīng),而這正是與情感培養(yǎng)這個領(lǐng)域一樣,必然是人工智能發(fā)展的趨勢之一。
下面我們來推薦幾個近期比較有代表性的周邊應(yīng)用:
最近,PopClip 推出了一個支持 ChatGPT 的插件,名為“GPT3”。該插件可以讓您使用 ChatGPT 進行智能的語言處理操作,例如生成文章、回答問題等等。通過簡單地選中一段文本,然后單擊“GPT3”按鈕,即可讓 ChatGPT 為您生成合適的內(nèi)容。
在使用這款插件時,需要在 PopClip 中輸入 ChatGPT 的 API Key 才能生效,在這里可以生成自己的 key,
ChatGPT 的 API Key 是付費的,只是注冊的免費賬號提供了 5 美元的使用包,超過了就需要付費了??梢栽?a >這里查看你的 API Key 調(diào)用次數(shù)
這款插件使用 OpenAI 的 GPT-3 模型進行自然語言處理,可以產(chǎn)生非常自然和流暢的語言輸出。由于 GPT-3 是目前最先進的自然語言處理技術(shù)之一,因此該插件具有非常強大的功能和準確性。它可以讓您節(jié)省大量時間和精力,以及獲得更高質(zhì)量的語言輸出。
在實際使用中,當你需要 ChatGPT 幫你羅列一些參考資料的時候,就像上圖這樣,輸入“問題”,然后用 GPT3 插件觸發(fā)即可,一段完美的解釋在幾秒后誕生。
BiliGPT 網(wǎng)站
這是個集成 ChatGPT 的 WEB App,輸入 B 站視頻鏈接后(需要將 .com 改成 jimmylv.cn)即可自行給出一個視頻內(nèi)容的文字總結(jié)。當然使用這類應(yīng)用的時候也得輸入 ChatGPT 的 API Key,如果你懶得弄或者自己賬號的用完了,可以購買開發(fā)者提供的 API Key。
此外這款應(yīng)用還有?iOS shortcut?版本可以使用。
這款應(yīng)用可以讓用戶快速的利用 ChatGPT 生成一個 Youtube 視頻的譯文摘要,看外文視頻真的是好用到爆炸,從此不用等字幕組,啃生肉也 OK!
這款網(wǎng)頁插件支持 Chrome、Firefox、Edge 三個瀏覽器,安裝后在配置頁面里將 trigger mode 選擇為 Manually,輸入 API Key :
然后你就會在 Youtube 頁面右上角上看到視頻的文字摘要,免費版的 ChatGPT 是限制分析字符數(shù)量的,最多做到 4097 個。
這款插件很牛逼(傳送門),是個 Python 腳本,用的是?GPT-3.5 翻譯整個英文書,epub 格式,輸出中英雙語電子書,使用步驟:(取自小眾軟件)
--model gpt3
?來使用 gpt3 模型--test
?命令如果大家沒付費可以加上這個先看看效果(有 limit 稍微有些慢)# 如果你想快速測一下
python3
make
.py --book_name test_books
/animal_farm
.epub --openai_key ${openai_key} --no_limit --
test
# or do it
python3
make
.py --book_name test_books
/animal_farm
.epub --openai_key ${openai_key}
# or 用 gpt3 模型
export
OPENAI_API_KEY=${your_api_key}
python3
make
.py --book_name test_books
/animal_farm
.epub --model gpt3 --no_limit
這本?Antifragile,從3:20 => 6:30 翻譯完畢,共計用時3小時10分,消耗 619619 tokens,Chatgpt 說這本書英文版18萬字。
而基于目前 gpt-3.5-turbo 的定價,這本書一共需要 (619,619 / 1000) * $0.002 = $1.24