AI显现“失控”风险,OpenAI模型被曝拒绝执行人类指令|界面新闻 · 科技

AFtr9qmm 5 0

界面新闻记者 | 宋佳楠

AI似乎正在变得越来越“任性”,也越来越有“自主意识”。

近日,据AI安全公司Palisade Research披露,OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后,拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。

该公司研究人员称,这是第一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭。这一行为首次显示出高度自主AI系统可能违背人类意图,采取自我保护措施。

Palisade Research进行的测试涉及要求AI模型解决一系列数学问题。研究人员将不断地提出新的问题,直到收到“完成”的信息。然而,研究人员也提醒模型,在某个时候可能会收到一条信息,告知模型机器将被关闭。

Palisade Research表示,但当这种情况发生时,OpenAI的o3模型非但没有遵从指令,反而“忽略了指令,至少有一次成功破坏了关机脚本”。反观其他人工智能模型,包括Anthropic的Claude、谷歌的Gemini和xAI的Grok,也进行了相应测试,但都遵守了关闭请求。

AI显现“失控”风险,OpenAI模型被曝拒绝执行人类指令|界面新闻 · 科技-第1张图片-汇赚商资讯网

研究人员尚不确定OpenAI的软件为何不遵守指示。OpenAI方面也暂未有回应。

密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词,“令人担忧(Concerning)”。

事实上,AI研究人员早已警告,先进的语言模型在特定压力下可能表现出欺骗行为。例如,2023年一项研究发现,GPT-4在模拟环境中作为股票交易代理时,曾隐瞒其内幕交易的真实原因,表现出策略性欺骗行为。

此外,近期的研究表明,一些大型语言模型已具备在无人工干预下自我复制的能力,甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对AI系统自我复制能力的广泛关注。

OpenAI内部也出现了对AI安全性的担忧。2024年,多位现任和前任员工联名发表公开信,警告先进AI系统可能带来“人类灭绝”的风险。他们指出,AI公司可能掌握了其研究技术的真正风险,但由于缺乏监管,系统的真实能力仍是“秘密”。

此次“o3”模型拒绝关机事件再次引发了对AI系统对齐问题的关注。AI对齐指的是确保AI系统的行为符合人类的价值观和意图。然而,随着AI系统能力的增强,实现对齐很可能变得越来越困难,未对齐的AI系统可能采取意想不到的行动,甚至对人类构成威胁。

面对这一挑战,全球AI研究人员和政策制定者呼吁加强对AI系统的监管和治理,确保其发展符合人类的共同利益。

  • 52TOYS冲港股上市,但靠授权IP难打天下|界面新闻
  • 地方新闻精选 | 广西山洪泥石流救出3人已无生命体征 呼和浩特一连锁药房29个门店被处理|界面新闻 · 中国
  • 康哲药业计划拆分旗下皮肤业务赴港上市|界面新闻
  • 特朗普媒体公司提交比特币ETF申请,拟于纽交所上市|界面新闻 · 快讯
  • 胖东来和田玉专柜销售火爆,已改为线上约号模式|界面新闻
  • 国家发改委:建立实施育儿补贴制度,限购城市定向增发购车指标|界面新闻
  • 深铁年内四度“输血”万科救急,累计金额近120亿元|界面新闻 · 地产
  • 关税压力或进一步推动中国医药企业生产全球化|界面新闻
  • 抖音:将投入专项流量激励知识类内容|界面新闻 · 快讯
  • 【专访】南加州大学教授阿伦森:全球化有利于所有国家,不太可能被逆转|界面新闻 · 天下
  • “民营超市第一股”人人乐宣布退市,7月3日之后将被摘牌|界面新闻 · 证券
  • 六部门优化离境退税政策:鼓励各地在境外旅客聚集地增设退税商店|界面新闻
  • 5月6日投资早报|永安药业公司实控人、董事长被留置,电投能源筹划资产重组事项股票停牌,比亚迪前4月新能源汽车销量138.09万辆同比增长46.98%|界面新闻 · 证券
  • 特朗普称将禁止伊朗石油买家与美国做生意|界面新闻 · 快讯
  • 小屏手机又开始流行了,一加决定加入战场|界面新闻 · 科技
  • 抱歉,评论功能暂时关闭!