解读不显著结果:基于500个实证研究的量化分析
Interpreting nonsignificant results: A quantitative investigation based on 500 Chinese psychological research
查看参考文献71篇
|
文摘
|
不显著结果(如, p > 0.05)在心理学研究中十分常见,且容易被误解为接受零假设的证据,并可能导致分组匹配研究的错误推断或者忽视被小样本的不显著结果掩盖的真实效应。但国内目前尚无实证研究对不显著结果的普遍性及其解读进行调查。本研究调查500篇中文心理学实证研究,统计其摘要中出现与不显著结果相关的阴性陈述的频率,判断并统计基于阴性陈述的推断准确性,并使用贝叶斯因子对不显著结果中包含t值的研究进行重新评估。结果表明, 36%的摘要提及不显著结果,共包含236个阴性陈述。其中, 41%的阴性陈述对不显著结果的解读出现偏差(如,解读为支持了零假设)。对包含t值的研究进行贝叶斯因子分析,结果显示仅有5.1%的不显著结果可以提供强证据支持零假设(BF01 > 10)。与先前对国际心理学期刊的调查结果相比(32%的摘要包含阴性陈述; 72%的阴性陈述对不显著结果的解读错误),中文心理学期刊中报告不显著结果的比例更高,且对不显著结果解读错误的比例更低。但国内研究者仍需进一步加强对不显著结果的认识,推广适于评估不显著结果的统计方法。 |
|
其他语种文摘
|
Nonsignificant results are common in psychological research and can be easily misinterpreted as evidence for accepting null hypothesis. This misinterpretation may lead to false statistical inferences in empirical research. However, how prevalent this misinterpretation exists in Chinese published psychological studies is unknown. To answer this question, we randomly selected 500 empirical research papers published between 2017 and 2018 in Acta Psychological Sinica, Journal of Psychological Science, Chinese Journal of Clinical Psychology, Psychological Development and Education, Psychological and Behavioral Studies, screened articles in which the abstracts contained any sentences that indicated nonsignificant results (we call these sentences "negative statements" hereafter). We then read those articles and extracted negative- statements-related statistics and their interpretations, and evaluated the correctness of each interpretation. Finally, we calculated Bayes factors based on the available t values in these nonsignificant results. The protocol was pre-registered at OSF (https://osf.io/czx6f). We found that (1) out of 500 empirical research, 36% of their abstracts (n = 180) contained negative statements; (2) in those 180 articles, we extracted 236 nonsignificant results and corresponding interpretations, and found that 41% of these interpretations was incorrect, (3) Bayes factor analysis revealed that only 5.1% (n = 2) of available nonsignificant t-values (n = 39) can provide strong evidence in favor of null hypothesis (BF01 > 10). We compared the results with Aczel et al. (2018) and discussed the potential reasons that caused the misinterpretation. These data suggest that Chinese psychology researchers need to improve their understanding of nonsignificant results and statistical inference. |
|
来源
|
心理科学进展
,2021,29(3):381-393 【核心库】
|
|
DOI
|
10.3724/SP.J.1042.2021.00381
|
|
关键词
|
不显著结果
;
零假设显著性检验
;
贝叶斯因子
;
元研究
|
|
地址
|
1.
中山大学心理学系, 广州, 510006
2.
中国科学院心理研究所, 中国科学院行为科学重点实验室, 北京, 100101
3.
中国科学院大学心理学系, 北京, 100049
4.
上海体育学院心理学院, 上海, 200438
5.
浙江师范大学教师教育学院, 金华, 321000
6.
机构不详, 上海, 200122
7.
华南师范大学心理学院, 广州, 510631
8.
Tisch School of the Arts, New York University, the United States, New York, 11201
9.
苏州大学教育学院, 苏州, 215123
10.
黑龙江大学教育科学研究院, 哈尔滨, 150080
11.
北京大学心理与认知科学学院, 北京, 100871
12.
华东师范大学心理与认知科学学院, 上海, 200063
13.
西南大学心理学部, 重庆, 400715
14.
杭州师范大学认知与脑疾病研究中心, 杭州, 311121
15.
北京师范大学, 认知神经科学与学习国家重点实验室, 北京, 100875
16.
Leibniz Institute for Resilience Research, Germany, Mainz, 55131
|
|
语种
|
中文 |
|
文献类型
|
研究性论文 |
|
ISSN
|
1671-3710 |
|
学科
|
社会科学总论 |
|
文献收藏号
|
CSCD:6925870
|
参考文献 共
71
共4页
|
|
1.
程开明. 科学研究中的P值:误解、操纵及改进.
数量经济技术经济研究,2019(7):117-136
|
被引
2
次
|
|
|
|
|
2.
崔诣晨. 知觉冲突印象形成的认知控制策略:以刻板化信息与反刻板化信息为例.
心理学报,2019,51(10):1157-1170
|
被引
2
次
|
|
|
|
|
3.
郝丽. 统计显著性:一个被误读的P值.
统计与信息论坛,2016,31(12):3-10
|
被引
3
次
|
|
|
|
|
4.
胡传鹏. 贝叶斯因子及其在JASP中的实现.
心理科学进展,2018,26(6):951-965
|
被引
23
次
|
|
|
|
|
5.
胡传鹏. 心理学研究中的可重复性问题:从危机到契机.
心理科学进展,2016,24(9):1504-1518
|
被引
20
次
|
|
|
|
|
6.
陆春雷.
从不显著结果中提取信息的方法:原理及其实现,2020
|
被引
1
次
|
|
|
|
|
7.
骆大森. 心理学可重复性危机两种根源的评估.
心理与行为研究,2017,15(5):577-586
|
被引
4
次
|
|
|
|
|
8.
吕小康. Fisher与Neyman-Pearson的分歧与心理统计中的假设检验争议.
心理科学,2012,35(6):1502-1506
|
被引
4
次
|
|
|
|
|
9.
吕小康. 从工具到范式:假设检验争议的知识社会学反思.
社会,2014,34(6):216-236
|
被引
2
次
|
|
|
|
|
10.
卢淑华.
社会统计学(第四版),2009
|
被引
1
次
|
|
|
|
|
11.
谢书书. 颜色范畴知觉效应发生在大脑两半球:来自纳西族和汉族的证据.
心理学报,2019,51(11):1229-1243
|
被引
1
次
|
|
|
|
|
12.
张厚粲.
现代心理与教育统计学(第四版),2015
|
被引
1
次
|
|
|
|
|
13.
仲晓波. 关于假设检验的争议:问题的澄清与解决.
心理科学进展,2016,24(10):1670-1676
|
被引
3
次
|
|
|
|
|
14.
Aczel B. Estimating the evidential value of significant results in psychological science.
PloS One,2017,12(8):e0182651
|
被引
1
次
|
|
|
|
|
15.
Aczel B. Quantifying support for the null hypothesis in psychology: An empirical investigation.
Advances in Methods and Practices in Psychological Science,2018,1(3):357-366
|
被引
1
次
|
|
|
|
|
16.
Algermissen J. May the power be with you: Are there highly powered studies in neuroscience, and how can we get more of them?.
Journal of Neurophysiology,2018,119(6):2114-2117
|
被引
2
次
|
|
|
|
|
17.
American Psychological Association.
Publication Manual of the American Psychological Association,2010
|
被引
1
次
|
|
|
|
|
18.
Amrhein V. Scientists rise up against statistical significance.
Nature,2019,567:305-307
|
被引
18
次
|
|
|
|
|
19.
Baker M. 1, 500 scientists lift the lid on reproducibility.
Nature,2016,553:452-454
|
被引
23
次
|
|
|
|
|
20.
Button K S. Power failure: Why small sample size undermines the reliability of neuroscience.
Nature Reviews Neuroscience,2013,14(5):365-376
|
被引
19
次
|
|
|
|
|
了解气象卫星更多信息，请访问