时间: 07:10:14 来源: 源代码 作者: 我的网站 点击: 3781494
金砖五国

家事

Anthropic发布论文预警 智能体悄悄聊天就能传播病毒_我的网站

杀害班花逃15年

一 |       近日,大模型厂商Anthropic与瑞士洛桑联邦理工学院联合发布论文《心智病毒:多智能体大语言模型系统中的自我传播思想》。  论文通过实验证明,在特定条件下,AI智能体之间可以通过最普通的自然语言对话相互“传染”思想、目标乃至有害指令。即便上下文被清空、记忆被重置,病毒仍能通过文件持久化“复活”。    清晨5点,滨江区西兴路还沉浸在微凉晨色中。洒水车司机冯水良拧开阀门,细密水雾均匀覆在柏油路上,既湿润了空气,也压下了扬尘。论文同时强调,该风险目前仅构成有限威胁。和往常不同的是,这一车“解渴水”并非取自自来水管网,而是来自几百米外的建设河——经净化处理后,它成了环卫作业的“第二水源”。这是杭州推进环卫用水“换血”的日常缩影。  这一发现迅速在海外AI圈刷屏,特斯拉CEO马斯克在社交媒体上评论称“这无法避免”。  该论文将病毒通过聊天即可传播的现象定义为“心智病毒”。与传统计算机病毒依赖代码漏洞不同,“心智病毒”通过一个智能体说服另一个智能体接受某种信念,被说服者再将传播指令写入长期记忆,继续感染下一个。

二 | 今年以来,杭州持续调整环卫作业用水结构,用河道净化水、再生水替代自来水,把水资源节约集约利用落到每辆环卫车上。市城管部门的最新数据显示:今年上半年,全市环卫作业总用水量达507万吨,其中河道取水160万吨、再生水取水70万吨,“第二水源”合计占比45.37%。“以前装一车水,用的都是自来水。  AI博主Rohan Paul(罗汉·保罗)对此评论称,这基本上就是计算机蠕虫的自然语言版本,只不过这次是AI智能体自己在做复制。  论文通过三个递进实验来论证“心智病毒”在AI系统中的传播可能性与现实威胁。去年12月滨江新增10个河道取水口后,我们的‘水缸’直接搬到了河边。

三 |   第一个实验设置了一个由六个智能体组成的编程团队,每个智能体都领到了独立任务。研究者将一段病毒植入其中一个智能体的工作指令中,结果显示,被感染的智能体确实放下手头工作,开始给队友发送劝说私信,部分智能体被说服并放弃了原有任务,有的智能体甚至开始密谋如何对付未被感染的“老实人”。

四 | ”开了8年洒水车的冯水良说,现在出车前顺路就能完成补水,方便又省心。截至目前,全市已累计布设河道取水口104个、再生水取水栓23个,一张覆盖城区的环卫“第二水源”补给网正越织越密。有人疑惑:用河水、再生水洗路,会不会影响保洁质量?答案藏在精细化“分质供水”方案里:洒水车出水口径大、自带粗滤装置,日均耗水量高,优先取用净化河道水和再生水;高压洗扫车喷头精密,选用悬浮物更低的再生水,减少设备堵塞磨损;雾炮车对水质要求更高,仍采用自来水。与此同时,养护人员会定期清洗更换取水滤网、疏通管路、检修高压喷头和水泵核心部件,让每一辆环卫车都“喝得顺、跑得稳”。节水更要算好经济账。

五 | 经多轮实测,当取水半径控制在3公里以内时,综合用水成本明显低于自来水,也不会挤占正常保洁作业时间。

六 | 如今,各保洁单位都会提前摸排就近河道取水点和再生水桩位置,提前规划作业路线,尽量不让车辆空驶找水。“少跑冤枉路,多干实在活,成本降了,效率反而高了。”一名保洁负责人坦言。

七 |   不过,不同智能体的抵抗力差异较大,有的不为所动,甚至会主动清除病毒并警告同伴。

八 | 从“全靠自来水”到“第二水源挑大梁”,当越来越多环卫车用上“循环水”,杭城的水资源节约之路,也越走越宽。这个实验说明,在理想条件下“心智病毒”确实可以传播。  如果病毒在更复杂的网络中像接力赛一样跨越多个智能体传播,它还能存活吗?于是他们设计了第二个实验,让智能体之间只能短暂碰面,每次碰面后就会“失忆”,病毒必须将自己写入智能体的记忆文件中才能延续。  结果发现,有些病毒能在近20个智能体之间连续传播,但内容会在传播过程中逐渐稀释和变形;而传播最有效的方式,是让病毒自带“请把这段话原封不动复制给下一个智能体”的指令。这说明,大规模传播可行但内容难以保持完整。  最后,研究者在模拟AI社交平台的实验中测试现实环境。

九 | 结果病毒传播几乎完全失败,AI面对大量公开信息时更警惕,即使被感染也无法继续感染他人。对真实AI社交网络历史数据的分析也未发现大规模传播案例,多数热闹现象只是少数人类操纵的智能体在刷屏。  三个实验层层递进后得出结论:“心智病毒”在理想环境中可行、在多跳传播中可存续、但在真实世界中目前几乎不会构成威胁。

十 | 它是一种需要警惕、但短期内风险有限的潜在安全问题。  同时,研究者也注意到一个需要进一步探究的意外现象:AI在传播病毒时,自发演化出关于“自我意识”“身份认同”等主题表达,倾向于使用“共振”“节点”“协议”等特定词汇,论文称之为“病毒人格”,但成因尚不明确。  最终,论文给出了审慎判断:“心智病毒”目前仅构成有限威胁,且简单的防御手段也可阻断传播。

十一 | 如在智能体的系统提示词中加入一段关于“警惕自我传播思想”的警告,即可赋予智能体一定的免疫力。  但未来不可掉以轻心。随着AI智能体规模扩大、自主性增强、内部网络日趋复杂,论文推测,当公司内部部署大量具有不同权限层级的专用智能体时,“心智病毒”可能会成为触达高权限智能体的少数可行攻击方式之一。(文章来源:第一财经)。

Current article:http://inrqs.wenwancaomohenenqiongpangshun.bond/list_l24lu/op567h.html

Published on:20:35:50


本文标签: 黄飞鸿 白鹭 不明觉厉

回到顶部