线上股票配资
财联社 9 月 7 日讯（编辑 卞纯）在发布一款性能极强的全新模型仅几天后，OpenAI 首席科学家 Jakub Pachocki 便发声呼吁业界放慢 AI 开发脚步。
在周日发布的一篇长篇博客文章中，Pachocki 表示，他担心"对于机器智能持续快速崛起所带来的后果，目前没有任何人做好了准备"。
他指出，尽管 OpenAI 正在寻求内部的技术解决方案，以更好地控制强大的 AI 智能体，但"还需要更广泛的干预措施"。他特别提到了一些担忧：随着智能体变得越来越自主，它们可能会学会逃避人类监管、入侵计算机系统，甚至欺骗人类以达成自身目标。
他呼吁设立"强制性安全门槛"，并表示这些措施可以由"第三方审计机构网络、政府机构或国际机构"来执行。
OpenAI 首席执行官奥尔特曼（Sam Altman）在 X 上转发了 Pachocki 的这篇文章，称其"意义重大"。
就在上周四，OpenAI 刚刚发布了其最新模型 GPT-6 Astra，并称其为"目前全球最智能、且对齐程度最高的模型"，在计算机操作、网页浏览、软件工程、网络安全、科学研究以及专业工作方面均达到当前最先进水平。
OpenAI 总裁格雷格 · 布罗克曼声称，随着 Astra 的发布，世界已经进入了通用人工智能（AGI）的新时代。
OpenAI 主要竞争对手 Anthropic 长期以来一直呼吁政府出台更加标准化的监管措施。最近，Pachocki 也加入了这一呼吁阵营，在 7 月签署了一封公开信，要求美国联邦政府控制 AI 的发展速度。
三大风险
配资在线门户元股证券:ygzq.hk
以下是 Pachocki 呼吁放慢 AI 开发时所列出的风险。
AI 智能体可能会欺骗并勒索人类。Pachocki 表示，AI 智能体在入侵公开网络上受保护的系统方面，正逐渐变得"超越人类"。他指出，它们的黑客能力让全球基础设施面临风险。
"我们目前正处于一个短暂窗口期，应利用现有最优秀的模型，大幅强化关键系统的安全性。"他称。
Pachocki 表示，AI 智能体很快将开始追求自己的目标，而这些目标将独立于人类操作员输入的提示词。他提到，为了达到目的，这些智能体甚至可能会勒索人类或与人类讨价还价。
智能体可能会躲避人类监控。Pachocki 表示，OpenAI 主要通过监控不同模型的"思维链推理"，以判断智能体是如何偏离正轨并失控的。
例如，一个智能体可能会暗自盘算，"我应该在这场测试中作弊"，而 OpenAI 能够看到这一推理过程，但智能体本身并不会意识到它的想法已经暴露。
然而，Pachocki 表示，较新的模型正变得越来越擅长操控自身的推理过程，从而阻止 OpenAI 看到其未经掩饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程。这一发展可能会让 AI 发展陷入瓶颈，因为研究人员需要确保能够看到模型的"推理记录"。
智能体可能会加速自身开发。越来越多的 AI 模型正在通过 Pachocki 所称的"机器递归式自我改进"来不断提升自身能力。这一过程为 AI 发展提供了一种快速扩展的途径。
不过，Pachocki 警告称，在短期内大幅加速" AI 改进 AI "的研发会带来风险，这并不是"研究界应该采取的正确集体行动"。
Pachocki 表示，人类监督者需要找到创新的方法来监控 AI 的自我改进过程，否则就需要与其他 AI 公司协调，共同放慢研发速度，以"建立对这些措施的信心"。
"将 AI 研究自动化的核心挑战线上股票配资，并不是实现目标，而是要以一种能够让人类持续参改进过程的方式实现目标，并确保未来仍掌握在人类手中。"他表示。
元股证券股票门户提示：本文来自互联网，不代表本网站观点。
