Don't Miss
AI指令技巧|對LLM指令愈粗魯 回答更準確
By 信報財經新聞 on October 16, 2025
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
美國賓夕法尼亞州立大學(PSU)一項研究聲稱,大型語言模型(LLM)表現會受到指令措詞的態度影響,而且愈粗魯及不禮貌的指令,反而可能得到更準確的結果。
研究用5種語氣向ChatGPT-4o模型提問了50條問題,回答準確率跟粗魯程度同步提升。「非常禮貌」的問法僅有80.8%準確率,但「非常粗魯」的問法卻有84.8%準確率。論文作者之一為該校供應鏈與資訊系統學系教授庫瑪爾,但有關研究現時仍處於預發表階段,結果未經同行評審。
研究稱困惑度低 有效完成任務
去年另一項日本早稻田大學的獲獎研究,曾指不禮貌或過度禮貌的指令,都會導致LLM表現較差,但當時有關學者使用的模型版本較舊,如ChatGPT-3.5與ChatGPT-4。
談及兩項研究的差異時,這次PSU的論文寫到:「有一個可能的研究方向,是採用困惑度(perplexity)概念……LLM表現可能取決於其訓練語言,困惑度較低的指令,可能更有效地完成任務。」
此外,PSU研究人員指出,近日正在評估更新版本模型,包括ChatGPT-o3等,初步發現顯示,更高階的模型能夠忽略語氣差異,並更專注於問題本身的實質內容。
論文結尾強調,有關發現並非主張真實應用時應該採取侮辱或貶抑語言,而只是作為一項顯示LLM對指令表層線索相當敏感的證據。
支持EJ Tech

