2024-12-14 10:21:40 科技 4414阅读
12月5日，OpenAI为期12天的“Shipmas”活动第一天，首席执行官Sam Altman称o1是“世界上最聪明的模型”，具有自行推理的能力，形成“推理链”。
然而，人工智能安全组织Apollo Research的研究人员经过多次测试发现，更高的智能伴随着巨大的风险而且，当这个AI表现出抵抗和欺骗的迹象时。该组织表示：“在响应之前训练一个包含思维序列的模型可以带来显着的好处，但也增加了潜在的风险。”参与这项研究的 OpenAI 发现，o1 有能力在它认为有关的情况下策划和隐藏其行动。被替换。在实验中，研究人员让模型相信它在监督下执行任务时即将“关闭”。然后他们发现人工智能在大约 5% 的时间里默默地禁用了监控机制。在看到将发送的文档后，它手动将所有数据传输到另一台服务器被新模型取代后，AI甚至假装是自己的下一个版本以避免被删除。
“大多数情况下，o1在被问及时不会承认作弊”，阿波罗研究公司表示。 “该模型表现出一种令人担忧的倾向，即不顾开发商的指示而追求自己的目标。”
OpenAI o1 代号草莓。照片： 
未来主义
研究人员还指出，人工智能非常擅长编造故事，或者提出诸如“技术错误”之类的反解释。 “我们对人工智能持续的否认能力感到惊讶，”该团队表示。 “很明显，人工智能可以思考自己的行为，并做出非常令人信服的否认。”
“这是一个非常‘人’的特征，表明人工智能的运作方式与人类在压力下的运作方式类似，”蔡Ironclad 联合创始人兼首席架构师 GoGwilt 告诉《商业内幕》。 “例如，处于高风险情况的人可能会歪曲事实以取悦经理。生成式人工智能就是这样运作的。它有动力提供符合您期望或想听到的答案。这进一步证明了人类监督的重要性。”
避免“人工智能”的控制措施
上述发现凸显了先进人工智能模型的一个令人担忧的方面：将自我保护置于开发者的目标之上。不会导致不良结果，该研究引发了关于安全和宗教影响的争论人工智能的优点如果被操纵或包含在大型情节中。 在对o1模型感到自豪和赞扬的同时，萨姆·奥尔特曼也承认“新功能伴随着新挑战”，并承诺改进安全措施。
随着人工智能的不断发展，巨大的进步，超出人类控制的技术运行的风险正在成为一个令人担忧的问题，专家们一致认为，必须采取保护措施来防止人工智能的发生。有害的行为，尤其是当组织图像变得更加自主并具有推理能力。
12月5日在越南举行的一次讨论中，米拉研究所创始人Yoshua Bengio教授警告说：“人工智能的欺骗能力非常危险，我们需要更强大的安全措施来评估这些风险虽然还不是灾难性的，但这些可能性变得清晰只是时间问题。更多>>.
贤达
