这些年,有个观点一致让我费解,
那就是“人在回路中”,英文 Human in the Loop, HITL。
随着生成式人工智能的发展,尤其是随着AI 治理受到更多人的关注,这个说法就更加常见。
每每读到这种表述,我都并不十分清楚它到底在表达什么?什么是“回路”?人要在回路中做什么?怎么做?
早上读到一篇很有深度的文章,作者是 Jeppe Klitgaard Stricker。
Jeppe Klitgaard Stricker 是丹麦奥尔堡大学(Aalborg University)临床医学系的行政负责人(Head of Administration),同时从事生成式AI与高等教育领域的写作、演讲和咨询工作。
他经营自己的博客站点 The Future of Higher Education。
10月28日,他发表了一篇题为《人在回路中,究竟在做什么?》(The ‘Human in the Loop’ Is Doing What, Exactly?)的文章。
文章开头,他这样写道:
我读过的几乎所有高等教育领域的人工智能战略或政策文件都包含类似的说法:生成式人工智能应该负责任地使用,并且需要“人在回路中”。“人在回路中”这个说法旨在让我们放心,我们的思考不会被外包给机器,或许也是为了确保在情况失控时,有人能够及时制止。无论机器生成什么,都会有具备健全人格判断力的人进行把关。
他接着指出,“但仔细观察就会发现,这句话描述的是一种位置,而非一种活动。它告诉我们人在这一切中处于什么位置,但却没有说明人在那里具体在做什么,也没有说明这个回路的实际运行方向。”
文章最重要的五个观点
1. 批准并不等于判断
这是全文最重要的论点。
作者指出,在传统的人机协作中,我们通常认为:AI负责提供信息和建议;人类负责判断和决策;AI是副驾驶,人类是机长。
但现实可能已经发生了变化。
AI不仅生成答案,还在越来越多地决定:我们应该关注什么问题;什么信息值得进入视野;哪些方案看起来合理;应该按照什么顺序处理问题;以及哪些选择值得优先考虑。
当结果交到人类手中时,问题的框架、信息的组织和备选方案的范围,实际上已经由AI在很大程度上预先确定。人类所做的,可能只是从AI提供的选项中选择一个。
作者强调:选择别人已经设定好的选项,与自己定义问题,是两种完全不同的认知活动(Choosing among options someone else has framed is very different from framing the question yourself)。
2、自动化偏见正在侵蚀人的警觉性
文章引用了自动化偏见(Automation Bias)的研究。
其基本机制是:当人们发现自动化系统经常给出正确答案时,会逐渐减少主动核查。 尤其值得注意的是: 系统越可靠,人类可能越不愿意检查它
这产生了一个悖论:
– AI越好用,人类越容易依赖;
– AI越准确,人类越容易放松警惕;
– AI越流畅,人类越难发现错误;
– AI越频繁地提供合理答案,人类越容易接受偶尔出现的错误。
作者有一个很有力量的表达: 包装精美的垃圾信息和真正可靠的推理,可能以同样自信的语气出现(Polished rubbish and sound reasoning arrive in the same confident voice)。
这对学校教育尤其重要。
学生使用AI时,可能并不是不知道AI会犯错,而是逐渐失去了主动验证的习惯。
3、控制权与责任正在分离
这是文章中另一个非常值得关注的观点。
作者指出:AI可能已经承担了越来越多的实际控制工作,但人类仍然承担最终责任。 例如,一个大学教师使用AI设计课程,
AI完成:学习目标建议;教学内容组织;教学活动设计;学习评价方案;个性化反馈。
教师最后检查并批准。
如果课程设计存在偏差,责任仍然由教师承担。
但是,教师真的理解每一个设计决策背后的依据吗? 真的具备独立判断这些设计是否合理的能力吗?
作者指出,签字批准并不意味着真正拥有判断力,它只是明确了责任归属。
这里存在一个值得警惕的结构性矛盾: AI拥有越来越多的过程控制权,人类却继续承担最终责任。
这也提醒我们,AI治理不能仅仅依赖最后一道人工审核。
4、真正的危险可能是问题框架被悄悄塑造
我认为这是全文最有深度的部分。
作者认为,生成式AI的影响不只是它告诉我们什么答案,更在于它影响我们如何提出问题。
例如,教师询问AI:“如何提高学生的学习效率?”
AI可能围绕效率、时间管理、学习任务和自动化反馈提出一系列建议。
但它可能没有追问:我们为什么如此重视效率?学生是否真正理解了所学内容?哪些看起来低效的学习过程其实不可替代?学生是否拥有独立思考的机会?
换句话说,AI不仅可能影响我们的答案,也可能影响我们的问题意识。
作者把这种现象与他此前讨论的 Sponsored Knowing 联系起来。
值得注意的是,作者并不是说AI一定有意操纵人类,而是说问题框架可能由训练数据、模型行为、产品设计、提示词、信息来源和人机对话共同塑造。
这是一种更隐蔽的影响。
我们可能没有被告知应该怎么想,却越来越习惯接受别人(或AI)提供的思考框架。
5、真正的人类参与,必须能够脱离AI
这是文章的结论,也是我认为最值得教育工作者记住的一句话:
他说,“只有当一个人能够随时走出人机协作流程,并且仍然知道自己应该做什么时,他留在回路中的价值才真正成立。”(A human in the loop is only worth something if that human could step out of it and still know what to do)。
这句话实际上提出了一个非常重要的教育命题:我们培养的究竟是能够监督AI的人,还是离开AI仍然具备独立判断能力的人?
这两者并不相同。
这是一篇篇幅不长、但很有思想价值的文章。
它真正挑战的不是AI是否应该有人类监督,而是一个更深层的问题:
人类仍然在工作流程中,是否就意味着人类仍然在思考、判断和掌控?
这篇文章对AI时代的教师教育、高等教育和学习评价都有很重要的启发。
但如果从研究者的角度分析,
我认为三个问题值得商榷,还需要进一步讨论:
第一,不能把AI提供框架与人类失去能动性完全等同
人类思考从来不是完全独立的。
教师使用教材、研究者使用理论框架、医生使用诊断系统,都受到外部工具和知识结构的影响。
AI的问题不在于它影响了人的思考,而在于这种影响是否透明、是否可以质疑、是否可以修正。
因此,在我看来,教育不应该追求完全不受AI影响的思考,而应该培养对思考框架的反思能力。
第二,人工审核并不必然低于AI自主判断
作者对 Approval 的批评是成立的,
但我们也需要区分机械批准与专业审核。真正有学科知识、能够独立验证证据的人,即使面对AI提供的框架,也可能做出高质量判断。
所以,问题不仅是人是否在回路中,还包括:
人的专业知识是否足够?是否有时间?是否拥有否决权?是否能够获得原始证据?
第三,不能把脱离AI的能力作为唯一的教育目标
文章强调人类必须能够 Step Out。
这一点我很赞同,但还需要补充:
未来重要的能力不仅是独立工作,也包括与AI共同完成复杂任务。
我们需要培养两种能力:
Independent Agency: 没有AI时,能够独立思考、判断和行动。
Augmented Agency: 有AI时,能够有效利用AI,同时保持自己的目标、判断和责任。
真正的教育目标不是让学生拒绝AI,
而是让学生在使用AI时不丧失主体性。
您说,是这个理不?!

黑冠夜鹭 Photo by Johnnie Walker