心理学论文纠错惹争议

yinfuhua

心理学论文纠错惹争议4 g. u, ]. E& T& ~* |: _
来源:科学网 / 作者:宗华 / 2017-12-04
: h, N8 `+ M' s  V  i+ @
! |- C+ w, l! z- `5 ]% i# [/ Z最新研究发现，statcheck 在 95% 的情形下能获得正确结果，但批评者并未被说服。0 v# I+ N# K& L3 o2 Y+ C  ~4 `
' Q+ _8 m) [' E$ E
当荷兰研究人员研发出一种旨在标记心理学论文中统计错误的开源算法时，科研界对此作出的反应褒贬不一，尤其是在该免费工具读取了上万篇论文并将结果在网上公布后。很多人质疑这个名为 statcheck 的算法的准确性，或者认为该做法相当于在公开羞辱科研界。
0 M8 ?4 i6 u- b6 R但实际上，statcheck 的研发者在一篇日前发表于预印本服务器 PsyArXiv 的研究中宣称，该算法可在超过 95% 的情形下获得正确结果。一些外部人士对此表示赞同，并且呼吁将其作为常规应用。“最新论文令人信服地表明，statcheck 确实很靠得住。”格罗宁根大学心理计量学家 Casper Albers 表示。不过，其他人仍未被说服。4 `* A0 D/ e! y' m( r
Statcheck 是由蒂尔堡大学方法学家 Michèle Nuijten 和阿姆斯特丹大学心理计量学家 Sacha Epskamp 在 2015 年研发的。它能搜索论文，以寻找按照美国心理学协会（APA）规定的标准格式发表的数据，并且利用它们计算具有争议性但被广泛用于测量统计显著性的 p 值。如果计算得出的 p 值同研究人员报告的结果不同，该工具会将其标记为“不一致”；如果报告的 p 值低于常用的 0.05 阈值而 statcheck 获得的数据并没有，或者与之相反，它会将其标记为“极其不一致”并且可能对文章结论提出质疑。错误的 p 值越来越被视为心理学的一个大问题。Nuijten 认为，大多数源于人类的错误，但 statcheck 无法区分不端行为和诚实的错误。0 Y$ N% l' }' K3 X' Y8 a* [
在一项 2015 年的研究中，Nuijten 和同事利用 statcheck 读取了 3 万余篇心理学论文，发现一半论文至少含有一处数据上的不一致，1/ 8 的论文出现“极其不一致”的现象。去年，Nuijten 在蒂尔堡大学的同事 Chris Hartgerink 利用 statcheck 分析了 5 万多项心理学研究报告的近 70 万条结果，并将其自动公布在发表后同行评议网站 PubPeer 上。同时，论文作者收到了邮件通知。一些研究人员对这种反馈表示欢迎，但德国心理学会（DGP）表示，公布的内容引发了不必要的声誉损害。普林斯顿大学心理学家、心理科学协会前会长 Susan Fiske 将此项努力视为“一种骚扰”。类似研究仅开展了一次。自此以后，研究人员再未公开利用 statcheck 读取论文。- U  C) j8 E6 z# }7 U4 S% q( `7 P
Statcheck 是否公平部分取决于它的准确性。“如果事实证明自动检查在 99% 的情形下是准确的，那么它确实很不错。如果准确度仅有 90%，我会对现有流程非常不满意。”牛津大学发育神经心理学家 Dorothy Bishop 曾对《撤稿观察》网站表示。
1 M8 g0 {9 W" g, e8 ]在最新发表的论文中，研究人员利用 statcheck 分析了 49 篇文章。而在一篇 2011 年发表的论文中，Nuijten 的同事曾手动核实了这些文章中的统计数据不一致问题。他们发现，该算法的“真阳性率”在 85.3%~100%，“真阴性率”在 96%~100%。整体来看，这些数据意味着 statcheck 在 96.2%~99.9% 的情形下从提取的结果中获得了正确答案。
" w( f" ?4 h$ c% G& e. u) m研究人员还尝试解决另一种批评意见：当将合理的统计修正应用到数据中时，statcheck 经常出现错误。通过寻找特定关键词，研究人员发现，这类修正比其在此前论文中估计的更加普遍。同时，修正数据并非不一致性的主要源头。) H& I3 W5 [" l$ W1 o9 v  }
凯泽斯劳滕大学实验心理学家 Thomas Schmidt 对此持谨慎态度。他在日前发表于 PsyArXiv 的评论中指出，由于 statcheck 仅在 APA 风格的报告中起作用，因此该算法仅能计算 61% 的统计数据测试中的 p 值。根据 Schmidt 的计算，statcheck 的“灵敏度很差”，仅为 52%。“它无法作为一种研究工具被普遍接受，当然也无法用于对海量论文进行的纯自动扫描。”对此，Nuijten 表示，其团队从未宣称 statcheck 能处理所有报告的统计数据，最新研究的重点在于核实该算法在处理其识别出的数据时表现得有多好。$ S$ V% N- h7 r2 C
DGP 秘书、马尔堡大学心理学家 Mario Gollwitzer 如今对该算法表示信服。他认为，尽管论文永远不应当仅基于 statcheck 获得的结果而被驳回，“但我们相信，作者应当在将论文提交给杂志前利用该算法扫描文章内容”。
- J5 C2 h; p' |1 K一些人已经这样做了。Nuijten 介绍说，自从开发者在 2016 年 9 月将 statcheck 作为一款网站应用程序发布，已有 1.8 万余名访客获取了该程序。“statcheck 能非常迅速地检查很多统计数据，并且辨别出可能存在问题的数据子集。”位于弗吉尼亚州的开放科学中心执行理事 Brian Nosek 表示，“这是一种巨大的效率收益。”
4 v  W7 @' ]& f4 K# y: y! k/ n8 |一些新的心理学期刊已将 statcheck 作为其同行评议过程的一部分。Nuijten 则设想将该算法扩展到其他学科，比如生物医学科学。“statcheck 并不完美。”它的开发者自豪地表示，“但已非常接近完美。”
0 R/ v9 Z3 B( l0 @9 n" l$ R2 q