正文
奥特曼称暂不能安全推进RSI,Christiano警告一年内失控风险
发布时间:12 分钟前
,11月19日,OpenAI首席执行官Sam Altman在Semafor峰会称,OpenAI已用自身技术加快新一代模型研发,但尚未到“按下按钮、让模型在无人监管下自我进化”的程度;他表示本可更激进推进递归自我改进(RSI),但眼下无法安全地这么做。同日,OpenAI董事会安全与安保委员会成员Paul Christiano在Dwarkesh Patel播客中以个人身份称,若不放慢研发,未来12个月内出现足以推翻人类统治的超级智能的概率约为三分之一,人类永久失去控制权的风险接近10%。其依据是:过去一个月OpenAI与Anthropic的模型产出数百项数学研究成果,堪比人类数学界十年;机器学习进展约滞后数学一年;METR与Anthropic的数据显示近半年AI辅助研发使前沿实验室推进速度约翻倍。他主张前沿实验室暂停预训练与强化学习的算法推进,直至安全能力到位。(36氪)






