继续持续关注教育人工智能。
前几天,Financial Times 报道,人工智能聊天机器人通过了商学院的MBA考试,一时间,全球媒体热议。
美国宾夕法尼亚大学沃顿商学院是全球世界顶级商学院之一。ChatGPT顺利完成了沃顿商学院的MBA考试,取得了优异成绩,展示了人工智能能够与人类媲美甚至更好地执行某些人类智力活动。
Christian Terwiesch 是宾夕法尼亚⼤学沃顿商学院的 Andrew M. Heller 教授。
他是沃顿商学院运营、信息和决策系教授兼系主任,宾夕法尼亚⼤学⻨克创新管理研究所联席主任,并在宾夕法尼亚⼤学佩雷尔曼医学院任教。
Christian Terwiesch 在运营管理和创新管理⽅⾯的研究颇有建树,他文章经常出现在许多全球领先的学术期刊上,从《管理科学》到《新英格兰医学杂志》等等。
Christian Terwiesch 是⼀位屡获殊荣的教师,在 MBA 教学和⾼管教育⽅⾯拥有丰富的经验。
1月17日,Christian Terwiesch 在沃顿商学院麦克研究所官网上,发布了题为《ChatGPT3 会获得沃顿商学院 MBA 学位吗?基于Christian Terwiesch (terwiesch@wharton.upenn.edu)在运营管理课程中的表现的预测》的白皮书。
在这份长达26页的白皮书中,Christian Terwiesch 教授回顾了ChatGPT3在任教的《运营管理》MBA课程期末开始中的表现,并分析了人工智能对商学院教育的意义和启示。
因为有 Christian Terwiesch 教授的详细试题以及 ChatGPT的具体表现,这份白皮书显得尤其有价值。
在《白皮书》中 Christian Terwiesch 指出:
OpenAI 的 Chat GPT3 展⽰了⼀种⾮凡的能⼒,可以使⼀般⾼薪知识⼯作者的某些技能⾃动化,特别是 MBA 毕业⽣担任的⼯作中的知识⼯作者,包括分析师、经理和顾问。
Chat GPT3 展⽰了执⾏专业任务的能⼒,例如,编写软件代码和准备法律⽂件。
《白皮书》的⽬的是记录 Chat GPT3 在典型 MBA 核⼼课程《运营管理》的期末考试中的表现。试题被上传⽤于期末考试设置,然后进⾏评分。
Chat GPT3 的“学术表现”可以概括如下:
⾸先,它在基本运营管理和流程分析问题(包括基于案例研究的问题)⽅⾯做得⾮常出⾊。不仅答案正确,⽽且解释⾮常好。
其次,Chat GPT3 在 6 年级数学⽔平的相对简单的计算中有时会出现令⼈惊讶的错误。这些错误的规模可能很⼤。
第三,当前版本的 Chat GPT ⽆法处理更⾼级的过程分析问题,即使它们基于相当标准的模板也是如此。这包括具有多种产品的流程和具有随机效应(如需求可变性)的问题。
最后,ChatGPT3 ⾮常擅⻓根据⼈类提⽰修改其答案。换句话说,在最初未能⽤正确的解决⽅法匹配问题的情况下,Chat GPT3 在收到⼈类专家的适当提⽰后能够⾃⾏纠正。
考虑到这种表现,Chat GPT3 在考试中的成绩应该是 B 到 B-。
这对商学院教育具有重要意义,包括考试政策的需要、注重⼈与⼈⼯智能协作的课程设计、模拟现实世界决策过程的机会、教授创造性问题解决的需要、提⾼教学效率等等。
在《白皮书》的最后一部分,Christian Terwiesch 教授重点,从六个方面分析了人工智能对商学院教育的意义和启示:
1、注意 ChatGPT3 能做什么和不能做什么;Be mindful of what Chat GPT3 can and cannot do.
的确,尺有所短寸有所长。ChatPGT,或者其他聊天机器人或更高级的人工智能,它们总归是人类智慧的结晶,它有自己的优势,也有自己的短板。
2、学校和教师仍然必须向学生教授基础知识和基本技能;
Christian Terwiesch 教授指出,无论是商学院教师或⼩学教师,作为教育⼯作者,我们仍然必须教授基础知识和基本技能。
3、积极应对学生基础知识考试作弊;
4、通过教授如何评估一个现成的行动计划,来模拟工作场所。
MBA 课程是专业学位,它可帮助学⽣为在商界的职业⽣涯做好准备。
因此,Christian Terwiesch 教授认为,商学院教育可以让 ChatGPT3 扮演智能顾问的⻆⾊,他总是有⼀个“优雅”的答案,但往往是错误的。
这样,商学院教学就拥有了发展该技能的完美训练场。
5、让学⽣使⽤ ChatGPT3,但同时提⾼作业⻔槛;
6、要求学⽣想象新事物⽽不是调整旧事物;
Christian Terwiesch 教授认为指出,ChatGPT3 的知识本质上是建⽴在综合之上的。即使我们要求它进⾏创造性的问题解决,Chat GPT3 也将始终停留在由它过去所⻅所定义的解决⽅案空间中。
7、不要害羞使⽤ ChatGPT3 来提⾼教学过程的效率;
Christian Terwiesch 教授解释说,编制期末考试题,他通常需要⼤约 20 个⼩时的⼯作,他的助教需要另外10 个⼩时来测试考试,并为其编写解决⽅案。
现在,他可以将他的准备期末开始题的时间减少到 10 个⼩时,⽽助教投入的时间也减少到 5 个⼩时。
换句话说,他们在“考试写作操作”中的⽣产⼒提⾼了 100%。
Christian Terwiesch, “Would Chat GPT3 Get a Wharton MBA? A Prediction Based on Its Performance in the Operations Management Course”, Mack Institute for Innovation Management at the Wharton School, University of Pennsylvania, 2023.
转发、点赞、随心赏
给您分享Christian的白皮书(英文)
今天大年初四
祝福您心存善念,福气无边