关于 AI 的深度研究：ChatGPT 正在产生心智吗？

ejsoon · 帖子由 **ejsoon** » 2023年 7月 29日 21:41

30分左右，談的是中文的理解。

unicode cjk 基本區一共只有20902字，裏面還有大概四分之一的用不到的異體字。就這個範圍的文字，完全足夠組合成所有的中文話語了。

而英文，同一個單字的不同時態可能都要看成是一個不同的詞。

中文的「壓縮率」很高。

ejsoon · 帖子由 **ejsoon** » 2023年 7月 29日 21:47

我忽然有個問題，chatGPT的實現，有沒有或多或少得益於alphaGo？

ejsoon · 帖子由 **ejsoon** » 2023年 7月 29日 22:05

當然，ChatGPT的實現確實在某種程度上受益於AlphaGo的突破。AlphaGo是DeepMind公司所開發的一個強大的圍棋計算機程式，於2016年擊敗了世界冠軍李世石，引起了廣泛的關注。 AlphaGo的成功歸功於其深度強化學習方法，其中包括使用了深度神經網絡和蒙特卡洛樹搜索。這種方法對於解決複雜的策略性問題，如圍棋，提供了一種有效的方法。 ChatGPT也借鑒了類似的思想和技術。它使用了深度學習模型，特別是使用了Transformer架構，來處理自然語言生成和理解的任務。類似於AlphaGo使用的蒙特卡洛樹搜索，ChatGPT也使用了樣本生成和探索的方法，以生成更符合上下文和用戶輸入的回答。因此，我們可以說ChatGPT的實現在某種程度上受益於AlphaGo的突破，並且這種受益使得ChatGPT能夠更好理解和生成自然語言。然而，值得注意的是，ChatGPT和AlphaGo在目標和應用上有很大的區別。 AlphaGo的目標是在圍棋遊戲中超越人類水平，並且它的成功是通過對遊戲規則和策略的深入學習和搜索算法的優化實現的。然而，ChatGPT的目標是成為一個有用的對話伴侶，能夠理解和回答用戶的問題和指令。因此，儘管ChatGPT受益於AlphaGo的一些技術方法，但它也有自己的獨特之處。ChatGPT的訓練過程主要依賴於大量的對話數據，這些數據包含了真實世界中的用戶對話，以及模型進行自我對話的生成數據。 ChatGPT通過對這些數據進行訓練，學習到了不同的語義和語法結構，並能夠根據上下文生成相應的回答。它還具有一定的聯想能力，能夠根據前面的對話內容自動地生成相關的回應。ChatGPT還能夠理解和處理多模態數據，例如文本和圖像的組合，以提供更全面和豐富的回答。不過，值得注意的是，ChatGPT仍然存在一些限制。它可能會出現語義不清的回答或者無法正確理解特定上下文的情況。此外，ChatGPT也受制於訓練數據的質量和多樣性，可能導致一些不準確或偏頗的回答。總的來說，ChatGPT是一個強大的自然語言處理模型，它可以用於各種場景，包括對話機器人、文本生成、翻譯等。ChatGPT基於大量的訓練數據，具有理解和生成文本的能力。它可以處理多模態數據，提供更全面和豐富的回答。然而，它也有一些限制，例如在某些情況下可能產生語義不清的回答，或無法正確理解特定上下文。在使用ChatGPT時，我們應該謹慎考慮其回答的準確性和可靠性。

BobMaster · 帖子由 **BobMaster** » 2023年 7月 29日 22:20

ejsoon 写了： ↑2023年 7月 29日 21:47 我忽然有個問題，chatGPT的實現，有沒有或多或少得益於alphaGo？

也许吧，ChatGPT带火的一个技术就是transformer。
https://github.com/huggingface/transformers

ejsoon · 帖子由 **ejsoon** » 2023年 7月 30日 05:20

ejsoon 写了： ↑2023年 7月 29日 21:41 30分左右，談的是中文的理解。

unicode cjk 基本區一共只有20902字，裏面還有大概四分之一的用不到的異體字。就這個範圍的文字，完全足夠組合成所有的中文話語了。

而英文，同一個單字的不同時態可能都要看成是一個不同的詞。

中文的「壓縮率」很高。

也就是說，我認為chatGPT的中文訓練字集不會超過unicode cjk基本區。為了證實我的這個猜想，我去問了它「㞙」字的含義，它回答：

很抱歉，但我无法解释"㞙"字的含义。这可能是因为它是一个非常罕见或特定的字符，或者它可能在某种特殊的语言或方言中使用。如果您需要了解更多关于这个字的背景或含义，我建议您请教具有相关知识或专长的人士，比如语言学家或相关文化的研究者。

但是，如果我問它cjk 基本區的漢字，則它就能夠回答。

因此chatGPT只用到cjk基本區範圍內的漢字進行訓練，這其實已經完全足夠了，並且很可能還要集中於三千個常用字，因為語言表達還包括了邏輯道理，要把三千常用字組合成一段有道理的話，對於ai而言也已經是足夠困難的了。

ejsoon · 帖子由 **ejsoon** » 2023年 7月 30日 05:28

我以前愛看《散文選刊》，愛好文學。但我並不追求於使用生僻的字詞，以顯高深。

觀chatGPT的所有中文回覆，都沒有生僻字詞在裏面，進一步證實了chatGPT在用中文進行訓練時，所用漢字會集中在三千個常用字，並且總數不會超過六千個。

关于 AI 的深度研究：ChatGPT 正在产生心智吗？

关于 AI 的深度研究：ChatGPT 正在产生心智吗？

Re: 关于 AI 的深度研究：ChatGPT 正在产生心智吗？

Re: 关于 AI 的深度研究：ChatGPT 正在产生心智吗？

Re: 关于 AI 的深度研究：ChatGPT 正在产生心智吗？

Re: 关于 AI 的深度研究：ChatGPT 正在产生心智吗？

Re: 关于 AI 的深度研究：ChatGPT 正在产生心智吗？

Re: 关于 AI 的深度研究：ChatGPT 正在产生心智吗？

在线用户