今年的AECT年会 (2019 AECT International Convention)正在美国内华达州的拉斯维加斯举办，会议的正式日程是从10月21日到10月25日。
会议的内容满满当当，有超过500个经过同行评审出来的有关教育技术领域内各个不同主题的报告，规模相当庞大，为此会务组还专门开发了一个APP来帮助与会者更方便地找到自己感兴趣的报告。
AECT年会注册报到处（Photo by Jeremy）
我的报告被安排在了会议的第四天也就是24号进行，但是，之所以这么早来，全是因为要参加我接下来要介绍的这个工作坊。 这个有关元分析 (meta-analysis)的工作坊是由来自佛罗里达大学 (University of Florida) 的Albert Ritzhaupt教授和来自肯尼索州立大学 (Kennesaw State University) 的Matthew Wilson教授共同主持，整个工作坊从上午的8:30开始一直持续到下午到3:30左右 (中间有一个小时的午饭时间)。在整个过程中两位教授配合非常默契，Albert教授主导，Matthew教授配合。
Matthew 和 Albert 在主持工作坊
（Photo by Jeremy Fan）
他们首先介绍了什么叫做元分析以及元分析和系统性综述 (systematic review)的区别与联系，概括起来就是“元分析肯定属于系统性综述，但系统性综述不一定是元分析”。两者之间最大的区别就是前者在后者的基础上加入了定量分析的部分。而这部分定量分析只占整个工作量的10%左右，90%的工作聚焦于文献的定性分析部分，其中包括：1. 研究问题的确定；2. 文献筛选的标准 (标准的确定于研究问题息息相关)；3. 文献的搜集(如何确定关键词是其中的关键)；4. 文献质量的评定；5. 文献的整理与编码；6. 计算并报告效应量 (effect size)；7. 进行元分析。每一个步骤中都包含大量的细节，但是由于篇幅有限，不可能面面俱到。在下面的总结里面，我就只介绍我认为对我启发意义尤其大的部分。文献筛选的标准的制定与研究问题的关系非常紧密，而这一标准在正式进行文献搜集之前就应该确定好，在进行标准制定的时候最后向比自己更有经验的同行请教，同时跟自己的同事进行头脑风暴，依据自己的研究问题确定筛选标准。Albert教授他们刚刚发表的一篇文章中的筛选标准很有代表性 (Cheng, Ritzhaupt, & Antonenko, 2019)：
他们这篇文章是对翻转课堂对学习效果进行的元分析，所列的标准中非常重要的一点就是“应该包含效应量或者至少提供充足的信息可以让别的研究者计算出效应量”。筛选标准看起来非常复杂，事实也确实如此。标准的制定需要研究者对某一领域有一定的了解，并且对要做的元分析研究的结果有一个基本的判断。筛选标准制定好了之后就可以着手去搜索文献了(前提是已经确定好了搜索用的关键词)。文献的搜索与筛选可能是元分析或者系统性综述研究中最花费时间也最挑战研究者耐性的阶段了，因为你可能会面对成千条搜索结果，当然，这些搜索结果不可能都满足文献筛选的标准。怎么确定这些结果符不符合标准呢？通用的做法就是研究者去读每一篇文章的标题和摘要去进行初步的筛选，通过第一轮筛选的文章会被全文下载下来。之后，研究者需要更加深入地去读每一篇文章，参照筛选标准去进行第二轮的筛选，比如上面的例子中，作者在进行初选之后，开始检查那些文章是不是采用了实验研究或者准实验研究，有没有报告效应量或者至少提供充足的信息以便作者计算出效应量等。整个过程是一步步递进的系统性工程，其中一个步骤出错都可能导致全盘皆输。PRISMA框架是进行系统性综述或者元分析研究时最常用的指导框架：
这个框架非常的有指导性意义。所有的系统性综述或者元分析研究中都要求报告这个流程图，这是增加研究可信度的一个很重要的标准。在计算效应量的时候，Albert教授他们推荐了一个网站，里面集成了所有可能用到的效应量计算方法，方便好用，贴在这里。在今天的工作坊中，他们还推荐了两款开源的用于元分析的软件，分别是:JASP: : https://www.jamovi.org/download.html
一天的工作坊下来，感受最大的两个字就是“烧脑”。
但是，经过这激烈的几个小时，对于研究我又有了一些更深的感悟：研究就像是我们平时最任何事情一样，都要有一个周密的计划，研究是一个系统性的工程。做完研究之后如何向读者报告，该如何更好在文章中去呈现自己的研究同样是一个极大的学问，我们应该从读者的角度出发去思考怎么去行文才能让他们更加容易明白并信服。其实说白了，可以假想自己的读者对你的研究领域一无所知，那么，你的工作就是尽可能伸入到每一个细节并且以一种简单易懂的语言向读者去呈现，说到头，这又是一个系统性工程并且是长久的积累。如何有效并且高效地传递信息简直不能更加重要。说点题外话，会议的地点是在拉斯维加斯一个著名的度假酒店举办的，酒店的名字叫做Westgate Resort & Casino (建议多看两遍酒店的名称)。
Westgate Resort & Casino （Photo by Jeremy）
大家可能想起来拉斯维加斯的第一反应就是那里的赌博业盛行，的确，我也是这么想的。我想可能会有专门的赌场供人娱乐吧。但是，事实发现我想的还是简单了，拉斯维加斯呈现给我的第一眼是这样的：
Photo by Jeremy
哦，对了，那些机器是赌博机，照片里面呈现的只是一部分。哦，还有，这是在航站楼里面！！！到了酒店之后，第一眼看到的是这样的景象：
Photo by Jeremy
是的， 整个酒店一楼大厅全是这样的赌博机，还有那些在赌神电影里面常见的情景—一群人拿着筹码骰子，有专门的人发牌。这个酒店已经开业50年了，现在，我想想酒店真的名副其实：Westgate Resort & Casino。
Reference：Cheng, L., Ritzhaupt, A. D., &Antonenko, P. (2019). Effects of the flipped classroom instructional strategyon students’ learning outcomes: A meta-analysis. Educational TechnologyResearch and Development, 67, 793–824.https://doi.org/10.1007/s11423-018-9633-7
感谢自留地驻北美记者范奕博的报道！敬请留意后续报道！
微信公众号回复“元分析”，给你看工作坊讲义