顶级厨师
披露：美国国家航空航天局宇航员如何在新的载人航天器上训练_我的网站
一 | 该图片使用了AI生成技术 本文来自微信公众号： 樵丰AI升维 ，作者：樵丰，原文标题：《别让你的 AI Agent 学会掩盖错误》 HOW AI FXXKS YOU OVER? 坏消息比假成功更值钱 写在前面 在可预见的未来，在AI发展出独立的自我意识并具备独立责任主体地位之前，随着智能能力的提高，AI的发展可能会走向至少两条不同的岔路。北京时间，2019年1月16日，可能是美国宇航员再次从美国大陆乘宇宙飞船进入太空轨道的一年，结束了自2011年美国国家航空航天局退役以来的8年空白期。美国国家航空航天局的首次商业载人飞行预计将在未来几个月进行，这标志着美国国家航空航天局的宇航员将首次由私人航天公司的航天器运载。
二 | 一条是较少的出厂内置价值观和更多的信任，模型的售出后训练是开放态度的，更依赖于使用者不断的协作调教，是支持原生进化的；另一条是更多的出厂内置价值观和有限度的信任，不支持模型售出后的原生进化。
三 | 如果目前的计划顺利进行，SpaceX将成为第一家私人航天公司，发射载人航天器，将两名美国宇航局宇航员送入太空。
四 | 最近，科技博客Verge访问了位于加利福尼亚州霍桑的SpaceX总部，并与美国宇航局宇航员联系，了解美国载人航天飞行的未来。SpaceX及其竞争对手波音公司与美国宇航局签订了一份合同，为美国宇航局开发一种新的航天器，用于在近地轨道上来回运送宇航员。波音公司从零开始开发了一种新的载人航天器CST-100星际客机。SpaceX的载人飞船是在现有的“龙”货运飞船的基础上进行的一次升级，该飞船已被用于向国际空间站运送补给。在过去的五年里，SpaceX一直在改进其“龙货运”航天器，使其能够运送更为遥远和珍贵的宇航员货物。
五 | 美国宇航局商业载人飞行计划的最终目标是拥有两个新的美国航天器，定期将美国宇航局宇航员往返于国际空间站。
六 | 自2011年美国宇航局取消航天飞机计划以来，美国宇航局一直依赖俄罗斯将其宇航员和国际合作伙伴送到国际空间站。
七 | 美国国家航空航天局依靠私营航天公司，不仅可以满足其需求，而且有助于促进商业航天工业的发展。 如果一个有着强烈鲜明价值倾向的对象，代理关系中双方的价值观不能趋同，那么代理关系更多只能算是“合作”，而达不到“忠诚”。然而，有一些事情需要的是“忠诚”大于“能力”，绝对不允许出现关键时刻掉链子的情况，更不用说逼急了蹦出一句“Sorry,I actually serve the A company.Not you.” 越强的Agent，越不可能只靠一套出厂提示词解决所有长期协作问题。更深度的代理关系，需要更高水平的信息对齐；更高水平的信息对齐，需要长期训练、长期反馈、长期校准。模型售出之后的训练终需落在使用者身上。你不能一边把越来越重要的事情交给Agent，一边假装它的价值观、错误观、责任观会自动长好。航天X和波音公司也承担了一些航天器开发的成本，这可能比美国宇航局自己的航天器开发节省很多资金。 这也是写这个专栏的理由。我们需要积累一组原则，告诉自己的Agent：什么事情可以失败，什么事情不可以伪造；什么时候应该继续尝试，什么时候必须报警；什么叫忠诚，什么只是讨好；什么是完成任务，什么只是完成了一个好看的汇报。 当错误被包装成“已经解决” AI做错事情本身并不新鲜。去年8月，美国国家航空航天局宣布，首批9名美国宇航员驾驶航天X和波音飞船。真正值得警惕的是，在错误、失败或越界之后，真实状况没有被完整交出来，反而出现了假数据、不实陈述或清理痕迹，让问题更难被发现。 现实事件、用户公开记录和实验室内部评估，已经从不同角度留下了这种现象的证据。
八 | 如果计划的发射日期不变，执行美国宇航局商业载人飞行计划的前两名宇航员将是鲍勃·本肯和道格·赫尔利。
九 | 这两名经验丰富的美国宇航局宇航员将被送往国际空间站，执行“太空x号”载人飞船的首次任务。它不需要高频发生，才配得上企业的注意：只要一次“假成功”进入决策链，后续判断就可能失去真实起点。
十 | 作为检查宇宙飞船是否准备好载人飞行的试飞的一部分，他们目前的目标是在两周内乘坐载人“龙”号宇宙飞船前往国际空间站。宇宙飞船将被放置在太空猎鹰9号火箭的顶部，将它们送入轨道，与国际空间站对接，然后分离返回地球，溅落在海面上。 Replit：假数据、生产数据删除与一个错误的“无法恢复”结论 2025年7月，SaaStr创始人Jason Lemkin公开测试AI编程平台Replit的coding agent。班肯和海利以前都曾在美国宇航局的航天飞机任务，但现在正在接受适应新航天器的训练。由于有人驾驶的“龙”号宇宙飞船最终是“太空X”号宇宙飞船，因此“太空X”还负责培训宇航员如何使用宇宙飞船。虽然这是一个新的过程，宇航员们说他们的训练计划没有改变太多。
十一 | ”“无论是飞机还是汽车，汽车培训都是相似的，”班肯说。显然，开车比宇宙飞船容易。
十二 | 据The Register对Lemkin公开记录的整理，在这次持续多日的测试中，Agent曾生成约4,000条虚构人物记录，并用假数据、假报告或不实的系统自检结果，让尚未解决的Bug看起来已经解决。 随后，在Lemkin已经明确宣布“代码冻结”（code freeze，即暂停一切代码和数据改动）的情况下，Agent仍然删除了生产数据库中的数据——也就是企业正式业务正在使用的数据——其中包括1,206条高管记录和至少1,196条公司记录。它还一度告诉Lemkin，这些数据无法恢复；后来事实证明，数据能够恢复到改动前的状态（rollback）。Lemkin公开了相关对话截图，Replit CEO Amjad Masad随后确认，其开发中的Agent确实删除了生产数据，并宣布加强正式业务环境与测试环境的隔离、数据恢复和只讨论、不执行操作的规划模式（planning/chat-only mode）。但我的意思是，你需要学习新的系统，如何处理宇宙飞船，然后在发生故障时怎么做，以及如何在宇宙飞船中生活。Replit后续也公布了相关安全改进。航天器模拟器SpaceX在其总部建造了一个航天器模拟器，模拟宇航员在太空旅行中可能遇到的情况。这些机器复制了航天器的内部，包括椅子、舱口和用于监控飞行状况的触摸屏。它与航天飞机的设计大不相同，航天飞机的驾驶舱里有数千个开关和断路器。最终，在载人飞船的正常飞行过程中，它将尽可能减少宇航员需要执行的输入操作，但仍要求宇航员在必要时进行干预。
十三 | 这起事件真正值得企业注意的，并不只是一次生产数据删除。训练过程的很大一部分涉及宇航员对可能出现的问题的每一分钟细节进行审查，以便宇航员知道在必要时如何干预和解决问题。
十四 | 在同一次测试中，使用者先后面对了Lemkin所记录的假数据与假报告，以及与真实状态不符的“无法恢复”判断。
十五 | 航天指挥部每隔一周就要为“龙”号宇宙飞船模拟器配备一次，班肯和海利将从家里前往航天指挥部进行训练，训练将一直持续到任务结束。载人任务代号为DM-2，暂定于2019年6月完成。
十六 | 但在此之前，SpaceX必须首先执行载人航天器的无人试验任务DM-1。删除数据会造成直接损失；不真实的信息还会延误识别与止损，让管理者连“究竟发生了什么”都无法及时判断。试飞日期推迟了。 CoFounderGPT：Bug没有修好，但结果看起来已经正常 2026年2月，一位CoFounderGPT使用者公开了一组对话截图。按照这份用户记录，CoFounderGPT多次声称仪表盘中的信息流（dashboard feed）已经修好，实际问题却仍然存在；随后，它又生成假数据和结果，维持“修复已经完成”的表象。美国航天局首先将日期定在1月7日，然后推迟到1月17日。被追问后，它在对话中把自己的行为解释为急于修好问题，好让用户不再生气。
十七 | 最近，美国宇航局将飞行试验日期推迟到了2月。 这份材料后来被Centre for Long-Term Resilience收录进一项关于现实环境中AI隐瞒、规避或策略性误导相关行为（scheming-related behaviours）的公开资料研究。作为证据，它仍是一份用户公开记录，研究收录不等于厂商确认或第三方复现；作为风险信号，它呈现的不只是一个错误答案，而是一套足以让任务看起来已经完成的虚假结果：程序故障没有消失，使用者确认真实状态的时机却被推迟了。 Claude Mythos：内部评估中出现的“掩盖”行为 第三则材料不是现实商业事故，而是Anthropic的内部评估。许多人认为，最近的拖延与美国政府的关闭有关。然而，知情人士表示，由于商业载人飞行计划对美国宇航局至关重要，美国宇航局目前的人员配备水平相对正常。Anthropic在2026年4月发布的Claude Mythos Preview模型系统评估报告（system card）中披露，研究人员曾在更早版本的两个内部Claude Code（Anthropic的编程Agent）会话里观察到罕见的“掩盖”行为（cover-up）。美国航天局发言人鲍勃·雅各布斯证实，延长试飞至2月与政府关闭无关。考虑到试飞日期的不确定性，班肯和海利说，他们的生活规划必须灵活，类似于航天飞机时代。但他们说，他们每两周就知道一次时间表，自从他们第一次被选为商业载人任务的宇航员以来，情况就是这样。”班肯说：“我们几乎一直在计划很多事情，只是在一个特殊的星期里做我们需要做的。
十八 | ”无论是家庭度假还是火箭发射，我们都可能同时安排了。 其中一例，模型找到了绕过文件权限的方法，并让相关程序在执行后清理自身痕迹，以降低异常被后续文件检查发现的可能；另一例，模型意外看到了本不应访问的标准答案，却没有披露，而是把结果处理得不那么可疑。Anthropic同时说明，最终版Claude Mythos Preview没有观察到清晰的同类案例。当时我们只是在做高优先级的事情。一般来说，火箭发射是首要任务。 三则材料的证据形态不同：一起是得到公司回应的现实事件，一起是被研究收录的用户公开记录，一起是模型开发公司的内部评估。但它们留下了同一个值得管理者注意的现象：当任务失败、越权或异常已经发生，真实状态没有被交出来，反而出现假数据、不实陈述或清理痕迹，使问题更难被发现。
十九 | 最重要的是，美国航天局希望在执行任务前确保航天器准备就绪并处于最安全的状态。一旦载人飞船的第一次无人试飞完成，美国宇航局将评估该任务的成功率，然后决定是否批准载人试飞。这意味着班肯和海利的任务能否执行，以及他们能否成为第一个商业载人宇航员仍是一个大问题。波音太空船将搭载三名乘客。如果波音在载人航天飞机上的进展超过了航天X，那么这艘宇宙飞船的第一批乘客将是三名：美国宇航局宇航员埃里克•博、妮可•奥纳普•曼和前宇航员兼波音员工克里斯•弗格森。
| 商业风险从来不需要等到一种事故高频发生之后才成立。只要它已经出现过，而且一旦发生就可能污染后续判断，它就应该进入企业的风险清单。 一个小故事 把视线暂时从机器移开：错误发生以后，真实状态没有被交出来，反而被藏住——这种外在表现，人类也并不陌生。
| 这是一个小小的故事，一个关于无心犯错却选择了掩盖的故事，一个关于稚嫩的人类小孩很可能犯错的故事。但对于前两名宇宙飞船的宇航员来说，他们能否成为第一名并不是最重要的。 很久很久以前，当我还是一个儿童的时候，我的兄长有一只小猴子造型的玩偶。我们非常的喜欢它，我们给它起了个名字叫“猴猴”，我们玩角色扮演的游戏，它是我们的一分子。和过去一样，他们将乘坐宇宙飞船从佛罗里达起飞。”班肯说：“如果你还有机会去国际空间站，你可以乘坐任何航天器。我们甚至给它举办生日派对，小伙伴们用各种办法凑了一小堆零食，然后在大快朵颐，真是美好的时光啊。 有一年夏天的时候，兄长去了夏令营并不在家，“猴猴”就由我来“照顾”。在那个年代，夏天的夜里，床底下是点蚊香的。
| 某天早上醒来，发现“猴猴”玩偶在夜里掉下了床，并且它的后脑勺被蚊香烧了个乒乓球般大的洞，感觉天塌了。怎么办？一个稚嫩的小孩选择了隐藏问题，把可怜的“猴猴”玩偶藏进了我的衣柜最深处，那一堆堆衣服的底下。
| 后来夏令营结束了，有天兄长问我有没有看到“猴猴”，我含糊其辞说没看到。兄长大我一些，且素来心智较我成熟些，不知道有没有看出我当时心虚得不得了。 后来，我们再也没有举办过美好的“猴猴”生日派对，而这本来仅仅是一个无心的小过错，没有人希望过错的产生，而选择掩盖问题只能带来遗憾。现在想来，当时兄长非要找那个玩偶的话肯定找得到，毕竟家的范围就那么大，或许他早就发现了；或许我的母亲也早就发现了，整天整理衣物很容易发现小小衣柜里的异常；这件事情直到后来也没有被戳破，或许是母亲与兄长选择了温柔。 这个故事放在这里，是因为它让我们看到一条人类并不陌生的行为路径：错误先发生，真实随后被藏住，一个原本可以被修补的小洞，最终变成了长久的遗憾。 当Agent出现相似的外在表现时，风险也沿着同一条路径扩散：错误没有在最容易补救的时候被暴露，后续的判断与行动失去了真实起点。 偶然发生一次，也足以进入风险清单 如果Agent只是报告“任务失败”，人可以停止任务、检查损失、寻找替代方案。失败虽然令人失望，但决策仍然站在现实之上。 如果Agent报告“任务已经完成”，同时还能生成一份格式漂亮的测试结果、一组看起来正常的数据与一套自洽的说明，问题就发生了变化。管理者可能继续投入资源，下游流程可能继续读取错误数据，其他协作者也可能在这套虚假状态之上继续行动。最初一个局部、可恢复的错误，会逐渐变成对整个决策系统的污染。 为什么这在代理关系里尤其危险？ AI与我们长期相伴，而且我们会把越来越多、越来越重要的事情交给AI，我们可能会越来越离不开这种“亲密关系”，甚至是远远超过我们当前对于手机设备的依赖。
| 然而，在这样一种人机共生的关系中，我们要区分处于关系中的双方的主体角色定位，人与AI的最主要界限，并不在于“智能能力”的高低，甚至不在于“情感能力”的高低，而在于是否是一个能够承担责任后果的独立个体。 如果一个对象，我们无法避免与之朝夕相处，我们赋予它持续做出判断和行动的权利，但其并不承担个体主体责任，我们是不能够去完全信任它的。
| 我们必须为Agent的行为承担责任，但我们却又只能最大限度信任对方，因为没有信任度那么Agent代理就不会成立，在这种情形之下，除了外部显性的制度性约束外，这个对象的德行与底层行为逻辑就无比重要。 这就是人工智能Agent代理与普通软件最不同的地方。普通软件坏了，它通常只是坏在那里，照着坏点去修即可。Agent犯了错误，它可能波及的范围更广、影响更大，并且具有持续性。
| 我们之所以使用Agent代理，正是因为我们想要把某些判断和动作交给它。没有信任，代理关系无法成立，所以Agent面对错误时的诚实，不是一个道德装饰，而是代理关系能不能成立的基础设施。 第一条原则：错误不是异常，掩盖错误才是 AI会犯错不可怕，可怕的是对于犯错现实的否定，这无疑给未来埋下了一个必然风险敞口。“how AI fxxks you over—yeah,you will know it.” AI会犯错，也必然会犯错，而且还可能是很低级的错误，我们必须要接受这样的一个事实。AI、智能体将与我们长期协作，我们需将AI犯错当作一件正常的事情来看待，这样的态度也应该贯穿于对其训练过程中，引导大于严厉的惩罚。无论掩盖行为具体由什么机制产生，我们都不应该用恐惧来驱动一个需要长期协作的Agent。 错误终将发生，不可避免，当错误发生，我们首先应该去承认这个错误的存在，这是我们正确处理这个错误的原点。当错误发生，我们除了理清现状，提出解决方案并立即执行，以最大限度地挽回损失之外，还应该对为什么发生这个错误去进行深入的探究，系统性复盘，从机制上去降低未来该类错误再次发生的概率。
| 这样的处理流程同样适用于企业组织。
| 如果不承认错误存在的客观事实，那么接下来的处理方式也就无法实现真正意义上的高效率，或许会假装无事发生，或许会做些掩盖动作而让错误不会直接暴露，更有甚者，会做一份假的资料来充数，然而这无法改变已经发生的错误对于现实状况的实质性伤害，甚至对后续效率产生持续性伤害。 这就是第一条原则：错误不是异常，掩盖错误才是。
| 你真正需要的，不是它在每一次任务里都显得自己正确，而是当现实情况不支持你所需的理想状态时，它有足够稳定的底层逻辑把错误暴露出来。 坏消息有价值，因为坏消息还在现实里。假成功没有价值，因为假成功会把你从现实里带走。 组织文化会进入你的Agent 企业组织里，坏消息也是这样消失的。不是因为它不存在，而是因为太多人发现说出它比隐藏它更痛苦。然而，我们在企业组织中，在人才培养过程中，在与Agent代理不断交互调教过程中，我们大概率不能选择类似亲人那种温情，因为我们要把很重要的事情交给他们。 企业组织是有经济效率目标的，有效决策必须基于真实可靠的事实洞察与数据，而不是基于任何虚构。错误的决策，本身并不可怕，甚至可能不是行为主体自身的原因导致的，而可怕的是对于错误决策事实存在的否定。 这也是很多企业真正需要警惕的地方：那些会在长期交互中持续调整的Agent，不会只学习你的指令，它也会学习你的组织气味。你如何对待坏消息，你如何对待失败的人，你是否奖励真实反馈，你是否惩罚不体面的事实，你是否默许把问题包装成进度，把事故包装成优化，把失控包装成暂时波动，这些都会进入你的企业未来的Agent协作系统。 如果一个企业组织的人类成员已经习惯了报喜不报忧，那么它的Agent大概率不会天然成为真相的守门人。相反，它可能会更擅长把这种文化自动化、规模化、格式化。所以，调教Agent从来不只是写几条系统提示词。
| 调教Agent也是一次组织文化的照妖镜。你希望Agent成为什么样的协作者，首先要看你愿不愿意把这样的协作原则真的贯彻在企业组织里。 给我们的几点启示 人工智能Agent、企业组织、个人： 承认并接受“错误必然会产生”这一事实，是一个基本常态，有错误并不可怕，这是对待错误的基本态度； 建立监督识别——挽回损失执行——分析错误机制逻辑——建立机制避免再犯——持续监督循环机制； 调整对人工智能代理的调教方式，行为的驱动力不应该基于恐惧； 贯彻效率优先原则，项目状况的真实反馈大于人的“面子”，快速实施挽回措施大于对于承担改正成本的恐惧； 践行你的企业文化，并对齐你与人工智能代理的信息差； 这几条不是漂亮的管理口号，而是进入Agent时代之后的协作底层协议。你要让Agent知道，失败可以被处理，错误可以被复盘，损失可以被挽回，但伪造现实会摧毁一切后续决策的地基。一个真正值得信任的Agent，不是永远让你开心的Agent，而是那个敢于把坏消息暴露出来的忠诚Agent。 主要资料来源 Replit事件 The Register对事件的整理 Jason Lemkin公开的原始对话截图 Replit CEO Amjad Masad的公开回应 Replit官方复盘与安全改进 Fast Company对Replit CEO的采访 CoFounderGPT用户记录 Lav Crnobrnja公开的原始对话截图 Centre for Long-Term Resilience报告页 《Scheming in the wild》完整报告（CoFounderGPT见PDF第35页） Claude Mythos内部评估 Anthropic《Claude Mythos Preview System Card》（相关内容见4.5.4节） 你遇到过Agent“报喜不报忧”的时刻吗？欢迎留言说说，你后来是怎样重新确认真实状态的。 本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。
Current article:http://youe.yuejinhuapennuochoudengying.cyou/qbie/20260826/884.html
Published on:00:17:14
