美國人工智慧新創公司Anthropic開發聊天機器人、可以產生文字或想法的工具,其中包括程式Claude,然而米里南克.夏爾馬(Mrinank Sharma)曾為Anthropic公司人工智慧安全研究主管,日前他在社群發布辭職信,指出因人工智慧的進步存在生物恐怖主義等相關風險,讓「世界正處於危險之中」,因與公司理念不合,辭去年薪20餘萬美元職位。
夏爾馬表示,過去在團隊中,致力讓人工智慧免於傷害、攻擊人類,曾建設過防禦機制,防止人工智慧遭不法份子用於製造生物武器,同時研究大量人工智慧諂媚症(Sycophancy)等問題,盼能避免過度認同用戶,導致扭曲人們價值觀及感知能力。
不過夏爾馬發現,人工智慧毫無節制的成長,當全球包括戰爭、流行病、氣候變遷等議題交織在一起時,他擔憂,當ChatGPT這類大型語言模型經過數百萬篇科學論文訓練,可能提供製造新型生物武器方式,讓世界變得不安,直指公司在公共安全方面的承諾背道而馳。


