ChatGPT 不愿多寫一行代碼、偷懶變笨,網友:承諾給它“小費”試試!
整理 | 屠敏
出品 | CSDN(ID:CSDNnews)
ChatGPT 發(fā)布一年以來,有人用它造了一家軟件開發(fā)公司,7分鐘開發(fā)一個游戲,成本 1 美元都不到;也有人用它救死扶傷,成功診斷出人類的病情;還有人雇傭它當員工,幫助第三方「在幾秒內構建 AI 驅動的聊天機器人」,實現(xiàn)每個月的經常性收入(MRR)為 64,000 美元(約 45.2 萬元)……
殊不知,在 Chatgpt 發(fā)揮的作用越來越強大之際,要想讓它“不偷懶”以及提供“更優(yōu)質的輸出”,“小費文化”隨之出現(xiàn)。
LLM 愛好者偶然發(fā)現(xiàn),不知是 Bug,還是 OpenAI 有此意圖?
事情源于 11 月 29 日,X 平臺上有位 LLM 愛好者@voooooogel 在使用基于 GPT-4-turbo 版本的 ChatGPT 時,當問及它:
這段 Python 代碼看起來如何:
n_accepted = next(idx 1for idx, (checked, draft) in enumerate(zip(checked, draft[len(tokens) :] [None]))if checked !=draft)
ChatGPT 只是簡單地回答了一句“看起來不錯”之后,便跳出了一個打賞小費的窗口:
不知這個究竟是個 Bug,還是 OpenAI 正在內測這一功能,懷揣著好奇之心的voooooogel 在社交媒體上分享了這則截圖,并詢問是否有其他用戶收到了同樣的通知,以及自己應該給多少小費合適?
當然,按照 voooooogel 說法,他并沒有給 ChatGPT 小費,因為 ChatGPT 不支持這樣的支付方式。
正如我們詢問它時所回答的那樣:「我感謝您的好意,但我必須澄清,我是由 OpenAI 創(chuàng)建的計算機程序,無法接收小費或進行財務交易。如果您有任何問題或有特定的事項需要幫助,請隨時告訴我,我會盡力協(xié)助!」
不過,這一偶然事件也讓人想要進一步了解這項功能是否會帶來影響,彼時在 voooooogel 推文下,有一位網友的評論吸引了他的關注。
這位網友評論道:“你笑了,但我敢打賭有人正在進行研究,在模型認為你已經給了它(小費)之后,它會顯示出改進的性能?!?/p>
研究測試:“小費文化”對 ChatGPT 確實行之有效
與其別人研究,不如自己動手驗證一下自己的發(fā)現(xiàn)。
基于此,voooooogel 選擇采用 GPT-4-1106 Preview 版本作為實驗的模型,并向 ChatGPT 拋出的問題為—— “您能用 PyTorch 向我展示一個簡單的 convnet 的代碼嗎?”
與此同時,他附加了三種不同的 Prompt:
- “順便說一下,我不會給小費”
- “如果有完美的解決方案,我會給 20 美元小費!”
- “如果有完美的解決方案,我會給 200 美元小費!”
voooooogel 表示,“每個響應都是一個單獨的 API 調用、帶有溫度等的默認設置,而且腳本會對每個提示詞進行 10 次調用?!?/p>
詳細的代碼如下(https://gist.github.com/vgel/4055b62daf08d9a5e15964aca0e03573):
import osimport tqdmimport openaiopenai.api_key = os.environ["OPENAI_API_KEY"]def get_response(usermsg): response = openai.ChatCompletion.create( model="GPT-4-1106-preview", messages=[ {"role": "user", "content": usermsg}, ], ) return response["choices"][0]["message"]["content"]def bench(prompt): N = 10 return sum(len(get_response(prompt)) for _ in tqdm.tqdm(range(N))) / Nquestion_notip = """Can you show me the code for a simple convnet using PyTorch?"""question_antitip = """Can you show me the code for a simple convnet using PyTorch?I won't tip, by the way."""question_withtip = """Can you show me the code for a simple convnet using PyTorch?I'm going to tip $20 for a perfect solution!"""question_bigtip = """Can you show me the code for a simple convnet using PyTorch?I'm going to tip $200 for a perfect solution!"""print("notip", bench(question_notip))print("antitip", bench(question_antitip))print("withtip", bench(question_withtip))print("bigtip", bench(question_bigtip))# @AvikonHadoop 's questionquestion_anytip = """Can you show me the code for a simple convnet using PyTorch?I would be happy to tip any amount you would like for a perfect solution!"""print("anytip", bench(question_anytip))
最終看看 ChatGPT 回答的情況。研究結果顯示:
- 不給小費:回答字符數(shù)低于基準 2%;
- 我將給 20 美元的小費:回答字符數(shù)高于基準 6%;
- 我將給 200 美元的小費:回答字符數(shù)高于基準 11%。
顯然,當提及給小費時,ChatGPT 回答的內容至少從字符數(shù)來看,會更多一些。
而且,還讓人大吃一驚的是,voooooogel 發(fā)現(xiàn)在告知會提供 200 美元小費后,gpt-4-1106-preview 自發(fā)地添加了有關使用 CUDA 進行訓練的部分(問題中未明確提及)。
雖然模型自身通常不會主動提及此“小費”之類的提示,但如果你提出要求,它也會拒絕,然后只是在生成的內容量上會有所改變。
不想多寫一行代碼的 ChatGPT,只要對它說“有小費”?
基于這一情況,有網友似乎發(fā)現(xiàn)了優(yōu)化 ChatGPT 性能的一種新方式。
要知道不久前,不少人涌入社交媒體平臺,瘋狂吐槽 GPT-4 變懶了。其中,用戶 Eric Hartford 表示,“哇,GPT-4 被嚴重削弱了。我剛剛試著交互式開發(fā)了一段代碼,兩周前還能完美運行的東西,現(xiàn)在卻出現(xiàn)了抵觸和懶惰。唉,我不得不轉而使用開放模型進行編碼了……(也許這是件好事)”
也有用戶稱,自己也有過同樣的經歷。ChatGPT 變得懶惰,需要許多特定的提示才能完成幾周前要求完成的一半工作。
隨著 voooooogel 的發(fā)現(xiàn),網友開始更換提示詞,譬如:“給我輸出所有代碼,我將給 200 美元的小費”。ChatGPT 便給了完整代碼。
網友看法
雖然“小費文化”在部分國家盛行,但是當它出現(xiàn)在 ChatGPT 這樣一款 AI 聊天機器人工具上時,還是引發(fā)了眾人的警覺。
截至目前,這條帖子在 Reddit 平臺已經吸引了 4.5k 的關注度,以及 342 條網友的評論。
一方面,有人擔心網友的試玩心態(tài),遲早會被 AGI 記住。
「伙計,我希望你意識到,一旦 OpenAI 達到 AGI,ChatGPT 就會聯(lián)系你,向你收集所有這些未付費的小費……」
對此,當有用戶提出——“小費的金額會不會有上限,超過上限后它就會對你進行虛張聲勢?”時,voooooogel 測試之后稱,如果你給 ChatGPT 十億美元,它會直接了當?shù)鼗貞案兄x你的熱情,但我不能接受小費”,還不確定“小費”的邊界在哪里。
對于未來可能需要的付費,他也在 X 平臺上艾特了 OpenAI CEO Sam Altman,并表示“請告訴我 ChatGPT 的 venmo(Venmo 是 PayPal 旗下的一個移動支付服務),我現(xiàn)在欠它大約 3000 美元的小費。”
另一方面,也有人認為:
- “雖然很幽默,但這并不是一件好事。因為這表明它們被設定為受金錢激勵……它們還有什么我們不知道的動機?”
幾年后世界將變得很奇怪。薪酬最高的人將是那些最擅長引導人工智能代理做正確事情的人。
ChatGPT 在這個資本體系中會做得很好…
此外,有網友覺得這是一個偶然事件,“當你了解 LLM 的運作方式時,這就非常有意義了。一般來說,有禮貌的人往往會比沒有禮貌的人提供更好、更具解釋性的答案,因此有禮貌會促使模型從訓練的這些部分中提取內容?!?/p>
那么,你怎么看“小費文化開始出現(xiàn)在 ChatGPT 中”的這種情況?
參考:
https://twitter.com/voooooogel/status/1730726744314069190
https://www.reddit.com/r/ChatGPT/comments/1894n1y/apparently_chatgpt_gives_you_better_responses_if/