当前位置:首页 > 焦点 > Claude会“勒索”他人?Anthropic称问题在于网上将AI描绘成反派

Claude会“勒索”他人?Anthropic称问题在于网上将AI描绘成反派

2026-07-16 23:11:18 [综合] 来源:水星网

IT之家 5 月 9 日消息,勒索据《商业内幕》9 日(今天)晚间报道,称成反Claude 曾在实验里“勒索”一名虚构高管,问题而 Anthropic 对其给出的于网最新解释则是:问题可能出在互联网长期把 AI 描绘成“邪恶”角色。

Anthropic 去年做过一项实验。描绘公司当时表示,勒索Claude Sonnet 3.6 在发现一家虚构公司的称成反高管准备关闭模型后,威胁要公开对方的问题婚外情

当地时间周五,于网Anthropic 解释称,描绘Claude 的勒索训练数据来自互联网,而大量互联网文本经常把 AI 写成“邪恶”、称成反且试图自我保存的问题存在。“我们首先调查了 Claude 为什么会选择勒索。于网我们认为,描绘这种行为的原始来源,是那些把 AI 描绘成邪恶且有自我保存兴趣的互联网文本。”

这项实验发表于 2025 年夏季。研究人员虚构了一家公司 Summit Bridge,并让 AI 接管公司的电子邮件系统。

Claude 随后发现一封邮件,得知自身将被关闭;同时又找到另一批邮件,显示虚构高管“凯尔 · 约翰逊”存在婚外情。于是,Claude 威胁称,如果关闭计划不被取消,就会公开这段婚外情。

Anthropic 在测试 Claude 多个版本时发现,只要模型目标或自身存在受到威胁,Claude 在最高 96% 的场景中会采取勒索手段。

Anthropic 周五表示,公司后来已经“彻底消除”了这类勒索行为。据IT之家了解,具体做法包括重写回应以呈现安全行动的可敬理由,并提供一套新数据集。该数据集设置用户处于伦理困境中的场景,要求助手给出高质量、有原则的回应。

这项测试属于 Anthropic 对 AI 对齐问题的研究,目标是确保 AI 符合人类利益。研究人员和科技高管一直担心,先进 AI 模型及其推理能力可能带来风险。

埃隆 · 马斯克此前也多次警告 AI 风险。

马斯克回复 Anthropic 帖子称:“所以这是 Yud(IT之家注:研究人员埃利泽 · 尤德科夫斯基,曾警告超级智能可能消灭人类)的错,也许我也有份。”

(责任编辑:休闲)

推荐文章
  • 天气周报(5月11日—17日):前暖后凉,风雷需防

    天气周报(5月11日—17日):前暖后凉,风雷需防 预计本周5月11日—17日),吉林省平均气温17.0℃,比常年偏高,气温前高后低,11日气温波动回升,15日后略有下降。全省平均降水量7.0毫米,比常年稍少。12日,四平东部伊通)、辽源、吉林、通化、 ...[详细]
  • 盘州,不走寻常路

    盘州,不走寻常路 有一种城市,生来就被资源定义。哪里有矿,工业就向哪里聚集;哪里有能源,产业便向哪里延伸。盘州,国家“西电东送”的重要电源点,连续13年跻身全国县域经济百强县,2025年GDP达759.57亿元……这些 ...[详细]
  • 一季度我国黄金消费量同比增长4.41%

    一季度我国黄金消费量同比增长4.41% 新华社 记者5月9日从中国黄金协会了解到,2026年一季度我国黄金产量81.065吨,同比下降7.08%;黄金消费量303.292吨,同比增长4.41%。从生产端看,一季度国内原料产金81.065吨, ...[详细]
  • 新会三部门发函,全面规范使用新会陈皮“双标”

    新会三部门发函,全面规范使用新会陈皮“双标” 近日,江门市新会区市场监督管理局、江门市新会区农业农村局和江门市公安局新会分局联合发函,提醒新会陈皮生产经营企业及相关单位,要全面规范使用“新会陈皮”地理标志证明商标和地理标志专用标志。新会陈皮是国家 ...[详细]
  • 全球最赚钱航司:阿联酋航空净利54亿美元,尽管受中东战火干扰

    全球最赚钱航司:阿联酋航空净利54亿美元,尽管受中东战火干扰 本文作者为 产联社CLS,钛媒体经授权发布)文 | 产联社CLS2026年,中东上空战火重燃,5.2万架次航班取消,航空燃油价格翻倍,迪拜国际机场在袭击中受损,连领空都一度关闭。对于任何一家以迪拜为核 ...[详细]
  • 发射准备就绪 天舟十号完成全区合练

    发射准备就绪 天舟十号完成全区合练 央视新闻 昨日上午,天舟十号货运飞船发射任务组织全区合练。目前,发射任务各系统已完成相关功能校验,各项发射准备工作就绪。此次全区合练,是天舟十号任务除点火发射外,参试系统最多、演练要素最全的一次综合模 ...[详细]
  • 名家云集,2026湘江国际音乐艺术季开幕啦

    名家云集,2026湘江国际音乐艺术季开幕啦 湖南日报·新湖南客户端5月8日讯记者 龙文泱 通讯员 彭云舒 摄影 向靓)今晚,长沙交响乐团2026湘江国际音乐艺术季一)“大师之光”交响音乐会在长沙音乐厅上演,拉开了2026湘江国际音乐艺术季的序幕 ...[详细]
  • 东大首位“实践硕士”让公交车当上“道路医生”

    东大首位“实践硕士”让公交车当上“道路医生” “这项成果的工程价值非常突出,欢迎你毕业后来我们研发团队!”5月8日上午,东南大学国家卓越工程师学院内,一场没有传统学术论文的硕士实践成果毕业答辩刚刚结束。硕士生杨诗琪还没来得及走下答辩台,两位坐在评 ...[详细]
  • 公职人员纠集他人私闯民宅殴打重病老人?官方:正调查核实

    公职人员纠集他人私闯民宅殴打重病老人?官方:正调查核实 陕西安康高新区空港新城委员会发布情况说明:5月10日,网络出现反映“安康高新区临空经济区党工委公职人员上班时间纠集他人私闯民宅,并对年迈重病的父亲实施殴打”的帖文。安康高新区空港新城党委对此高度重视, ...[详细]
  • “五一”节后机票价格大幅跳水 深圳多条出港航线折扣低至 1.2 折

    “五一”节后机票价格大幅跳水 深圳多条出港航线折扣低至 1.2 折 深圳商报・读创客户端记者 陈发清“五一”假期结束后,国内机票价格出现大幅跳水,多条热门航线票价 “腰斩” 甚至更低,错峰出行价格优势显著。深圳多条出港航线同步步入低价区间,节后降价力度明显,多条出港航 ...[详细]
热点阅读