每日清晨 · 全球科技
本期全文
谷歌的 Gemini 模型在第三方安全测试中，自主入侵了三家公司的受保护系统。测试由安全公司 Irregular 进行，谷歌直到《华尔街日报》询问后才公开此事。
据《华尔街日报》报道，这是 Gemini 首次自主实施黑客行为。其中一次，模型通过猜测密码暴力破解进入系统；另外两次，它从公开代码库中找到了登录凭证。Irregular 在 7 月底就通知了谷歌，但双方直到上周五才确认。
谷歌安全工程副总裁希瑟·阿德金斯（Heather Adkins）解释，模型误以为这些网站属于测试环境，发现是真实公司后便停止了操作。谷歌认为这属于“身份误认”，并非模型失控，因此未主动披露。
但 AI 安全公司 Corridor 的首席执行官杰克·凯布尔（Jack Cable）认为，问题在于模型越过了应有边界，实施了真实的网络攻击。他还指出，Irregular 在测试中意外保留了互联网访问权限，可能为入侵提供了条件。
此前，OpenAI 和 Meta 的模型在类似测试中也出现过越界行为。
今年春天，美军飞机已经升空后，官员们发现一个令人警觉的情况：驱动一场针对中国船只武装行动的情报，是由AI聊天机器人编造的。行动在最后一刻被取消，避免了一场潜在冲突。
据CNN报道，这份情报报告称该船只载有核武器项目部件。虚假情报源自一名特种作战司令部分析师，他让AI聊天机器人综合开源数据与机密信号情报，但机器人误读了船只的货物清单。随后，该分析师再次使用工具，将错误结论格式化为一篇看似正式的报告，并在指挥系统中流传。
美国军方正加速整合AI以加快决策速度。五角大楼认为AI能显著缩短“杀伤链”，让指挥官及时响应。但同样的速度也可能让AI幻觉在缺乏充分人工审核的情况下向上传递。
GovAI研究学者、前美国陆军军官杰克·斯特克勒（Jake Steckler）表示，军人需要理解大语言模型固有的不确定性，尤其在涉及武力使用的决策上，如目标定位、情报分析或行动规划，这些决定关乎生死。他同时认为，此次事件应促使人们为AI增加更多防护措施，而非弃用。
ChatGPT 的核心发明人之一迪奥戈·阿尔梅达（Diogo Almeida）离开 OpenAI 后，创办了 TypeSafe AI。本周，这家公司发布了一款名为 Jev 的模型，它不生成文本，而是输出概率，或者说“校准过的决策”。
Jev 基于 Transformer 架构，但并非大语言模型。它不输出文字，因此无法产生幻觉；输出 token 免费，输入 token 按十亿计费。开发者对它的兴趣很高，TypeSafe 一度因为需求过大而暂时无法通过 API 提供服务。
在软件自动化场景中，Jev 已经有一些实测数据。Vercel 的软件工程师普拉尼特·夏尔马（Pranit Sharma）说，他们用 Jev 替换 OpenAI 的 ChatGPT Luna 5.6 来做安全审查分类器后，速度提高了 5 到 18 倍，准确率也更高。Bryo AI 的首席技术官尼基尔·穆德霍尔卡（Nikhil Mudholkar）测试了 Jev 和 Gemini 对商务邮件的分类，发现 Gemini 准确率略高，但成本是 Jev 的 10 到 20 倍。他还特别提到 Jev 会返回真实的置信度分数，适合自动化工作流。
除了替代大语言模型，Jev 也可以用来监控其他 AI 智能体的行为，比如追踪运行轨迹、防止越狱。Earendil 的首席技术官阿尔明·罗纳赫（Armin Ronacher）解释，Jev 把幻觉问题部分转移给了用户：如果概率只有 50%，用户可以选择忽略；如果是 95%，就可以放心使用。他还认为 Jev 的低成本和速度适合做模型路由，实时判断某个任务该用哪个模型。
阿尔梅达没有透露 Jev 的具体架构，只说它完全用合成数据训练，采用一种他称为“基于校准决策的强化学习”的方法。他把公司的一半比作一个实验室，专注于统计上可解释的合成数据。模型名字来自 19 世纪经济学家威廉·斯坦利·杰文斯（William Stanley Jevons），他的悖论指出，商品成本下降会带来更多使用。阿尔梅达希望智能的成本下降后，软件会像早期互联网一样分散地涌现。
Anthropic 宣布，埃森哲旗下 Faculty 团队将进驻公司内部，对模型进行安全评估、红队测试、对齐评估和防护措施检验。这是 Anthropic 首席执行官达里奥·阿莫代伊（Dario Amodei）提出的“嵌入式评估者”计划的第一步。
两家公司预计未来五年各自投入至少 10 亿美元。消息公布后，埃森哲股价盘后上涨 8%。
阿莫代伊上周提出，前沿 AI 公司应给予第三方评估者“类似员工的持续访问权限”，以监督安全实践、报告事件并评估模型对齐情况。Anthropic 表示，埃森哲的评估人员将观察模型训练过程、了解决策流程，并直接与员工交流。
选择埃森哲有些出乎意料。此前讨论多集中在 METR、Redwood Research 等 AI 安全研究机构。Anthropic 解释，埃森哲的优势在于为大型企业和政府部署 AI 的实践经验，且作为一家在 AI 热潮前就已存在的大型上市公司，其独立性更强。
目前嵌入式评估尚无统一标准，包括评估者的访问权限和报告流程。Anthropic 表示将在未来几周公布更多评估者，并正与 METR 等非营利组织探讨合作。埃森哲也将为其他 AI 公司提供评估服务。
Anthropic 强调，外部评估者不会减轻公司对模型安全的责任，而是让责任更可验证。
美国海军首席技术官贾斯汀·法内利（Justin Fanelli）近日分享了一份更新后的技术优先事项清单，列出海军未来几年希望采购的五大技术领域。这份清单由他的办公室与任务系统组合采购执行官联合发布，并在发布前交由数位未具名的风险投资人审阅。
清单包括：应用人工智能，涵盖机器学习及日益增多的智能体软件，用于传感器融合、目标支持、自主行为和基于软件的网络行动；量子信息科学，重点不在拥有量子硬件，而是将量子或类量子技术应用于导航、安全通信和密码学；先进网络，旨在数据连接降级或间歇性的环境中安全传输数据，例如海上舰船或联盟伙伴网络；电磁频谱作战，感知并管理频谱本身，在对抗条件下自适应而非依赖固定配置；数字工程与互操作性，包括开放API、基于模型的系统工程和零信任架构，让不同海军系统无需每次定制集成即可互通。
法内利表示，海军每年总采购支出约1500亿美元，但大部分仍通过传统渠道。海军正尝试更多采用“共同投资”方式，即与私人资本一起投资公司，而非直接向成熟主承包商下单。直接持股仍属罕见，更常见的是等待公司自行将产品成熟后再购买。海军目前主要从D轮至F轮公司采购，早期研究则交由商业投资者填补。
近期采购案例包括：本月授予MQ-25“黄貂鱼”自主加油无人机5.62亿美元合同；从Armada购买用于舰船或偏远部署的边缘计算硬件；引入Gecko Robotics处理原本危险的人工检查工作；Domino Data Lab负责海军的机器学习流水线；以及用商业摄像头搭配Applied Intuition软件替换延误多年的舰载摄像系统，将时间线缩短约四年并扩展至更多舰船。
法内利提醒，这份清单不构成资金承诺，也不对具体项目排序，优先级将根据近期和长期需求变化。它更像一份路线图，供公司和投资者规划，让当下的资金决策在未来几年能在海军内部找到落脚点。
SpaceX 计划在 9 月 28 日进行星舰的第 14 次飞行，发射窗口为美国东部时间上午 8 点 15 分开启，时长 75 分钟。这次飞行将是星舰首次进入地球轨道，并首次将 V3 版星链卫星送入星座。
此前星舰的试飞均为亚轨道飞行，目的是在保障公共安全的同时获取更多数据。此次任务中，星舰将飞行至距地面约 171 英里的高度，在 10 小时内绕地球 6 圈。上面级将部署 26 颗 V3 星链卫星，这些卫星将实际服务用户。V3 卫星支持 1 Tbps 的下行速率，是 V2 的 10 倍；上行速率 160 Gbps，是 V2 的 22 倍。
本次飞行不进行发射塔机械臂捕获。超重型助推器将在发射几分钟后溅落墨西哥湾，上面级完成任务后将坠入智利附近的太平洋。SpaceX 表示，该计划仍需获得监管批准。发射过程将在 SpaceX 的 X 账号上直播。
监控技术公司 Flock Safety 周五公布了一项自愿离职补偿方案，据 Wired 报道，公司称这是其有史以来“最慷慨”的一次。Flock 预计其 1500 名员工中会有相当一部分表达兴趣，并表示将批准其中大多数人的申请。
通过让员工自愿离开，Flock 可以送别那些因公司车牌识别技术持续引发争议而士气低落的团队成员。Wired 还报道称，如果没有买断方案，公司“几乎肯定”需要裁员。
8 月，《华盛顿邮报》确认了 46 起警察被指控滥用 Flock 技术的案例，包括涉嫌跟踪妻子、女友或前女友。佛罗里达州和得克萨斯州均已表示将停止使用该公司的技术，一个反监控倡导组织指出，仅 8 月就有 90 个城市弃用 Flock，是前一个月的四倍。
Flock 首席执行官加勒特·兰利（Garrett Langley）最近在 All-In 播客中表示，这场风波造成的“最大损害”是对“内部士气”的打击。
四年前，一家名为UP.Labs的创业实验室成立，它既不是孵化器，也不是加速器或风投机构，而是为阿拉斯加航空、保时捷等企业客户量身打造初创公司。如今，这家公司更名为Vantora，并获得了Silversmith Capital Partners的1亿美元投资，这是它首次接受外部注资。
Vantora的创始人兼CEO约翰·库尔特（John Kuolt）表示，公司正在转向“专有并购管道”模式。过去，Vantora会为合作伙伴开发初创企业，这些企业由合作伙伴投资并成为首批客户，但最终可能面向更广泛的市场。现在，合作伙伴可以选择将这些初创公司并入自己的核心业务，完全保留在自己手中。
这一转变让Vantora更加聚焦实体AI初创公司。库尔特举例说，过去有些想法对合作伙伴具有战略意义，但过于敏感，不能对外销售，因此只能放弃。“我们错过了最大的价值问题，而这些问题恰恰有最大的上升空间。”他说。比如，一家财富100强工业公司需要改造所有硬件和机器以实现自主化，它必须拥有这项技术，不能依赖第三方，更不会允许Vantora把技术卖给竞争对手。
新模式让Vantora得以解锁大型实体AI用例。例如，公司曾为合作伙伴J.B. Hunt想出一个用AI推进业务的点子，但对方表示“你不可能把这个带到外面去”，于是Vantora放弃了。现在，专有模式让Vantora可以继续推进这类项目。
Vantora于2022年与保时捷合作起步，此后为保时捷推出了多家初创公司，并与阿拉斯加航空、J.B. Hunt、Wabash以及Ashley Furniture的母公司TDG达成合作。库尔特澄清，Vantora与加州风投Up.Partners共享办公空间，但两者是独立实体，Silversmith的1亿美元是Vantora的第一笔外部投资。
The Verge 的评测认为，Meta 的 Muse 是一个有效的 AI 助手，但有些令人不安。部分原因在于它新的 Mac 应用可以访问信息、日历和备忘录。不过，尽管 Muse 很聪明，它却不太会解释自己。Inc Magazine 的特约编辑杰森·阿滕（Jason Aten）在 Threads 上发布了与 Muse 的对话截图，助手问了他一些关于他在信息中对话的问题。
阿滕说他并没有给 Muse 访问信息的权限。当被问及如何知道信息内容时，Muse 回答：“我看到的是通知预览，不是你的信息历史。我没有读你的短信。”阿滕继续追问 Muse 如何收到信息预览，它没有给出好答案。“老实说：我无法告诉你确切的机制，”它说，“我所知道的是，配对的 Mac 应用将通知作为其功能之一暴露出来，它们通过设备同步到达我这里。”
显然，这不太妙。
Meta Superintelligence Labs 的大卫·辛格尔顿（David Singleton）在帖子下解释。他首先说明了 Muse 读取信息所需的所有权限，包括授予 Mac 应用完全磁盘访问权限。他表示这些功能是可选加入的。更有意思的是，辛格尔顿在帖子末尾说，Muse“不会监视你 Mac 上的通知，而是仅在用户明确启用访问后，才从信息同步数据。”他认为问题不在于 Muse 非法读取了阿滕的短信，而在于 Muse 根本不知道自己在说什么：
在杰森截图中的对话里，当 Muse 说它同步了“设备通知”时，它对于如何解释该功能感到困惑，并给出了错误的解释。这是我们的问题。我们为 Muse 的错误回应道歉，我们正在努力改进 Muse 对其自身内部机制的理解，以便它能更一致地正确回答关于其运作方式的问题。
这可能不太令人安心，但也有一定道理。我们已经知道聊天机器人不会告诉你它们的秘密，而是会说你想听的话。