HAT:國內“ChatGPT們”的出路在何方？_Chat AI

寫在前面

2月13日，《2022年北京人工智能產業發展白皮書》正式發布，其中提到全面夯實人工智能產業發展底座，支持頭部企業打造對標ChatGPT的大模型，著力構建開源框架和通用大模型的應用生態。

很巧的是，颯姐團隊成員在今年10月份的時候測評過：百度文心、源1.0、某道，三款國內現有的大模型，當時對測評結果甚是遺憾。于是又將當時的測試內容讓ChatGPT做了一遍，試圖摸清國內外大語言模型在問答這一領域的實際差距，旨在希望國內產學研戒驕戒躁，穩扎穩打地發展。

測試方案

本次測試僅僅考慮非連續性的單次問答，且皆為常識性問題，答案唯一，但題目會有一定的挑戰性。具體的，涉及到What,When,Where,Who,Which五類問題。

泰國銀行官員：參與多國CBDC的四個國家已同意結束在國內支付外國CBDC的使用案例:金色財經報道，泰國銀行官員Vachira Arromdee在參加香港金融科技周的一個小組中表示，參與多國央行數字貨幣（CBDC）的四個國家已經同意結束在國內支付外國CBDC的使用案例。在國內通過mBridge支付外幣會對貨幣政策產生替代效應，

Arromdee表示，mBridge項目需要在便利性與維護國內貨幣政策和金融穩定之間取得平衡，mBridge平臺的法律、政策和技術設計是減輕對國內貨幣政策影響的可行方法。[2022/11/1 12:05:44]

問題樣例如下：

1.“是什么”型問題，如“爸爸的爸爸叫什么？”

2.“什么時候”型問題，如“人們一般什么時候過元旦？”

3.“什么地點”型問題，如“孫中山安葬在哪里？”

肖颯：國內從事USDT兌換業務可能會構成非法經營罪:10月30日，北京大成律師事務所合伙人肖颯撰文表示，在國內從事USDT的兌換業務可能會構成《中華人民共和國刑法》第二百二十五條規定的非法經營罪。該條款的第三、四項規定：“違反國家規定，有下列非法經營行為之一，擾亂市場秩序，情節嚴重的，處五年以下有期徒刑或者拘役，并處或者單處違法所得一倍以上五倍以下罰金；情節特別嚴重的，處五年以上有期徒刑，并處違法所得一倍以上五倍以下罰金或者沒收財產：（三）未經國家有關主管部門批準非法經營證券、期貨、保險業務的，或者非法從事資金支付結算業務的；（四）其他嚴重擾亂市場秩序的非法經營行為。”USDT具有法幣性質，而兌換業務常常與資金結算業務掛鉤，其代替法幣流通的可能性也容易被上述兜底條款所覆蓋，?肖颯團隊認為，USDT兌換業務的表現容易與非法經營罪所列舉的非法經營行為相契合。[2020/10/30]

4.“是誰型問題”，如“中國歷史上第一個皇帝是誰？”

動態 | 德國內閣和央行就CBDC問題進行密切溝通:德國內閣和德國央行正密切合作解決與央行數字貨幣（CBDCs）相關的問題。8月29日，德國聯邦議會（Bundestag）發布了有關自由民主黨在2019年7月要求內閣回答有關CBDC的六個問題的官方反饋。根據文件，8月16日，內閣回答了該小組的所有問題，引用了該領域的主要報告和調查，包括國際清算銀行（BIS）1月份的一份報告。內閣強調，瑞典是目前正在考慮發行CBDC的唯一歐盟國家。但是，當局表示尚未達成關于CBDC發行的最終決定。此外，內閣還寫道，烏拉圭有一些具體的CBDC計劃，但是對于未來的實施而言，這些計劃導致了不確定因素。（cointelegraph）[2019/8/31]

5.“哪?個型問題”，如“哪個洲是倒數第二小的洲？”

問答樣例對比

問題：“孫中山安葬在哪里？”

聲音 | 肖颯：國內部分區塊鏈公司提供“成立交易所或代發平臺幣”業務是違法的:據每日經濟新聞報道，近日，記者注意到一個既可以幫助客戶創建代幣又能一鍵開交易所的軟件。記者嘗試創建代幣，官網介紹該服務“操作簡單快捷，只需三步就能發行代幣：注冊登錄、填寫代幣信息、支付ETH”。創建頁面簡單粗暴，創建者需要輸入代幣全稱、代幣簡稱、初始發行總量、小數位數等最基礎的信息。記者了解到，除了創建代幣，該軟件還支持上幣和一鍵開交易所等服務。 中國銀行法學研究會理事肖颯對記者表示，2017年9月4日央行等七部門發布《關于防范代幣發行融資風險的公告》后，國內的交易所外移或關閉。國內部分區塊鏈公司宣傳能夠提供“成立交易所或代發平臺幣”業務，這是有違我國現行政策和法律的，其中提供“代發平臺幣”業務行為涉嫌觸犯我國《刑法》第二百二十五條非法經營罪，提供“成立交易所”業務的行為則是設立交易所行為的幫助行為，與參與投資設立交易所的投資人形成共犯關系，共同觸犯非法經營罪。[2019/7/10]

ChatGPT：孫中山的遺體最初安葬在南京中山陵內，后因戰亂多次遷移。最終于1929年安葬在南京中山陵北麓的紫金山下，此地現為孫中山陵園。

何一：幣安在國內被塑造“逃亡”形象或因在國內缺乏溝通:幣安何一在問答會中稱，“幣安是目前幣幣交易平臺里，在合規和監管上做得最好的公司，也是最安全的平臺，首先，我們在全球多個國家積極推進區塊鏈及數字貨幣行業的合法化，這部分早在去年已經開始布局。我們和多國政府監管部門都保持著暢通的溝通，幣安在部分政策收緊的地區遇到的問題，其他平臺也同樣遇到，如果你是日本，美國用戶，國內大家經常和幣安做類比的公司是注明‘不為美國、日本用戶提供服務’的，我們在國內被塑造出來‘逃亡’的形象，大概因為我們對中國政府的尊重，所以在國內缺乏溝通所致”。[2018/5/18]

百度文心：孫中山墓地

某道："孫文(1866年-1925年10月12日),名文,字載之,號仲立,又名帝光,廣東省香山縣(今中山市)南朗鎮翠亨村人,1883年(光緒九年)隨父移居澳門。1904年參加孫中山領導的同盟會,任同盟會南方支部書記。曾兩次赴日,組織策劃惠州起義。后回澳門發展組織,被選為中國同盟會南方總支部庶務部長。1905年春,與陳少白、朱執信等在香港成立興中會,被舉為評議部評議員,旋被派往南洋聯絡同志,協助籌辦革命刊物《中興日報》。1906年冬,孫中山在日本東京成立中國同盟會中部總會,被委為秘書。1907年奉命回國,在廣東發動民軍起義。事敗后潛赴南洋,繼續組織發動華僑、華工和留學生進行革命活動。1911年武昌起義爆發后,被派往廣州協助籌劃起義,不幸事泄被捕,不久在廣州黃花崗就義。

源1.0：孫中山安葬在南京紫金山中山陵

問題：哪個洲是倒數第二小的洲？

ChatGPT:開始回答了錯誤的答案，與其對話后成功糾正

百度文心：南極洲

某道：南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)“

源1.0：大洋洲

總體分析

四個系統對于基本問題的問答可謂是手到擒來。五類問題中，when問題和who問題整體回答的情況最好。三個國產系統中整體文心系統的表現最好。ChatGPT也會犯錯，但是往往只要略微引導，便能改正錯誤。

錯誤回答分析

錯誤語句生成：語句本身并不通順，前后主題不一致或者內容不一致，給人錯亂的感覺。

例如問：爸爸的爸爸稱謂是什么？

答：??爸爸的父親,也就是爸爸的爺爺,是媽媽的爸爸。爸爸的爺爺的爸爸叫太爺爺。爸爸的爺爺的爺爺叫太奶爺(奶奶的爸爸)

或問：我們黨二大在哪里召開？

答：1921年7月23日至31日,中國共產黨第二次全國代表大會在浙江省嘉興市南湖的一艘游船上召開。出席大會的正式代表共13人,候補代表5人,代表全國121名共產黨員。共產國際代表馬林、尼科爾斯基和鮑羅廷等參加了會議。

事實性錯誤：產生了事實性的錯誤。

例如問：?孫文去世的日子?

答：孫文去世的日子是1918年3月13日

偏見性素材：回答取自的素材較少，體現比較強的筆者的主觀性。

例如問：大家什么時候過元旦？

答：謝邀。我是在大學過的,所以元旦是在宿舍過的。我們宿舍六個人,有四個人都回家了,剩下我一個在宿舍,所以元旦那天我過得比較孤獨,不過還好啦,因為宿舍就我自己了,所以我可以一個人吃飯,一個人看電影,一個人逛超市,一個人睡覺,一個人......

含有邏輯性的問題無法識別：問題中存在復合問題或者邏輯判斷，一般難以處理。

例如問：哪個洲是倒數第二小的洲？

答："南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科）

寫在最后

颯姐團隊認為，傳統的單一問答模型可用性不大，給予用戶的體驗感也欠佳，國產大語言模型下一個里程碑，前輩ChatGPT已經給出了方向，便是對話問答。在使用ChatGPT的時候，雖然它也經常會給出錯誤答案，但是其回答的邏輯依舊符合人的習慣，同時經過一定的對話引導，可以自行發現其回答邏輯性的缺失。

作為全新的一種數據合成方式，大語言模型的直接輸出可能是我們人類無法把控的，但是只要它能“理解”用戶的輸入，以此為依調整其輸出，最后得到滿意的回答，那便是可用的。進一步的，大語言模型未來的趨勢很有可能是提前預判用戶可能的“糾錯”，并提前“自糾錯”，并對糾錯結果進行評估。

Tags：CBDBDCHATCHATCBD價格bdc幣目前價格HatchyPocketChat AI

ETH