“实验是科学向自然提出的问题,测量是答案。”——马克斯·普朗克。这句话强调了可靠答案在科学中的重要性。在 2024 年,确保我们的研究持久是关键。我们必须专注于让研究在所有领域都具有可重复性。

许多研究未能通过重复性检验,给科学带来了很大的问题¹。社会科学受到的冲击尤其严重,2008 年只有少数几项研究经得起重复检验¹ 。这表明我们需要更好的方法,并像开放科学框架所建议的那样,更多地分享我们的工作²。

我们将研究为什么这么多研究无法重复以及如何解决这个问题。让我们共同努力,确保我们的研究在未来几年内都是可靠的。

关键精华

  • 可重复性是信任科学发现的关键。
  • 许多研究,特别是社会科学领域的研究,是无法重复的。
  • 之类的工具 开放科学 框架有助于共享和检查研究。
  • 良好的方法对于可靠的结果至关重要。
  • 共同努力和共享资源有助于解决可重复性问题。
  • 了解研究中的偏见可以使其更加值得信赖。

了解研究中可重复性的重要性

研究中可重复性至关重要,它是科学可靠性的关键。当结果能够重复时,其他研究人员就可以进行验证。这对于严谨的科学至关重要。

可重复性是指从相同的数据中获得相同的结果。可复制性是指从相同的实验中获得相同的结果。这有助于我们更好地理解研究。近年来,许多研究都面临着重复性问题,这表明科学领域存在一个重大问题³。

研究表明,要使研究结果具有可重复性,就必须在重复实验中保持可靠性。遗憾的是,很少有研究能够重复进行,从少数到大多数都有<sup> 4 </sup>。这表明我们需要加强科学教育,尤其是在像疫情这样的健康危机期间<sup> 5</sup>。

为了解决这个问题,我们必须重视开放科学。这意味着广泛共享数据和代码。通过这种方式,研究人员可以携手合作,提高科学的可靠性和研究的诚信度。

科学出版物的可重复性现状

化学、生物学和心理学等许多领域都面临着科学研究可重复性方面的重大问题。超过70%的研究人员难以重复他人进行的实验,这表明存在一个严重的问题<sup> 6 </sup>。计算和流行病学等领域也存在这个问题,这些领域的研究结果往往无法得到证实<sup> 7</sup>。此外,人们也对现有规则在多大程度上能够提高研究的可靠性表示怀疑<sup> 7</sup>。

超过半数的受访者认为可重复性危机十分严重,因此要求改进研究方法并提高研究的开放性⁶。例如,公开研究方法可以提高研究结果的准确性,这表明仔细核查的重要性⁸。论文至少要经过两轮评审,以确保其方法严谨且公开透明⁸。

即便采取了这些措施,仍然存在诸多障碍,例如证明研究可重复性所需的成本和时间。能够使用相同的数据重复实验是检验研究结果是否正确的关键⁶。这意味着我们需要努力降低不确定性,并为发表可信的科学论文奠定坚实的基础。

导致低重复率的关键因素

多种因素导致研究结果难以重复。其中一个主要问题是沿用旧的研究方法而不加思考,这往往会导致错误的数据解读。例如,美国制药行业在2019年投入了83亿美元用于研发,但由于研究设计和实验室方法存在缺陷,面临诸多挑战<sup> 9</sup>。

新奇效应也发挥了作用,使结果看起来比实际情况更好。这种偏见会因为事物是新的就改变结果。这表明,我们必须保持研究标准的清晰和公正。

约 27.6% 的研究因设计不佳而失败,36.1% 的研究因实验室材料不足而失败<sup> 9 </sup>。小样本通常缺乏足够的数据得出可靠的结论,这使得研究更加困难<sup>10</sup>。专家表示,注重重复研究有助于解决这些问题,并改进研究<sup> 9 </sup> 。

因素对可重复性的影响百分比
有缺陷的研究设计27.6%
数据分析和报告问题25.5%
实验室规程不完善10.8%
低于标准的生物试剂36.1%

通过解决这些问题,我们可以使我们的研究更加可靠。这将有助于我们得出值得信赖的科学发现。

研究诚信:永恒研究的基础

我们深知,科研诚信是确保科学研究可信度的关键。它关乎制定严格的伦理研究规则,从而确保我们秉持开放和负责的态度,并帮助我们开展值得信赖、可供他人参考的研究。

诚实地列出作者名单是其中的关键一环。长期以来,作者署名方式一直存在问题,导致情况不明朗¹¹。我们需要明确的规则并严格遵守,才能解决这个问题。

当我们追求最高的诚信标准时,我们就会看到学术不端行为的危害。令人遗憾的是,越来越多的研究论文因为诸如伪造图片之类的问题而被撤稿<sup> 12</sup>。每一个案例都加剧了人们对科学发现的质疑,也表明我们必须严格遵守规则。

设定高标准不仅能提升我们的研究质量,还能建立公众信任。制定严格规章制度指导学生的学校,表明他们重视把事情做好¹¹。这些努力有助于营造一个诚实透明的社区氛围。

通过重视科研诚信,我们确保研究结果可重复验证。这不仅对现在有益,对未来也大有裨益,能够营造一个值得信赖的研究蓬勃发展的环境。让我们继续坚持以伦理科研为基础开展工作。

伦理研究中的研究诚信

科学严谨性:对于重复研究意味着什么

科学的严谨性是研究的关键,它确保研究结果可以重复。这意味着使用严格的方法来获得准确的结果。例如,Knudtson 等人 (2019) 的一项研究发现,72% 的人认为核心设施有助于使研究结果可重复13。

核心设施对生物医学研究至关重要,它们提供先进的技术和专业知识<sup>13</sup>。Chang 和 Grieder (2015) 指出,增加对这些设施的投入可以提高研究效率。这表明我们需要资源来支持深入的研究<sup> 13</sup>。

质量检查对于保持高水平的研究至关重要。Ritter 和 Fowler (2001) 以及 Tabb (2013) 指出,我们需要在实验室和临床研究中采用严格的方法。这有助于解决早期研究阶段经常出现的问题<sup> 14</sup>。

为了提高研究的可靠性,作者应分享有关材料和测试的详细信息。清晰地报告数据、使用正确的统计方法以及提供数据公开信息至关重要。使用箱线图和小提琴图展示数据有助于更好地理解数据¹⁴。

研究方式正在发生变化,顶级期刊正在制定分子和细胞研究报告的新标准。此举旨在解决报告质量差的问题,并确保采用可靠的研究方法<sup> 14 </sup>。如需了解更多关于如何使研究可重复性的信息,可以参考一些指南,这些指南解释了不同的方法和技术<sup> 15</sup>。

方法论文献:研究人员的最佳实践

将研究方法记录下来是确保研究结果可靠性的关键。它能让其他人尝试获得相同的结果,从而建立公众对科学的信任。清晰的步骤有助于遵循可重复性标准,并使研究更加完善。

研究表明,《自然》系列期刊上的生命科学文章正变得越来越透明。它们在随机化试验、盲法和样本量规划方面遵循更完善的规则。约25%的研究人员经常使用详细的检查清单,78%的研究人员偶尔使用<sup> 16 </sup> 。

对于未来的研究而言,妥善记录代码和数据至关重要。一项综述发现,共有 62 项研究,但只有 41 项研究提供了数据,且只有 31 项研究能够运行其脚本¹⁷。这表明我们需要改进方法记录工作。

  • 确保文档清晰:使用标准化协议进行数据收集和分析。
  • 采用跨出版商的报告框架:专家组正在定义最低标准以提高可重复性16.
  • 使用版本控制系统:Git 等工具可以帮助管理随时间推移的变化,为我们的工作提供更清晰的历史背景18.
  • 利用容器化平台:Docker 等解决方案可以捆绑代码、数据和计算环境,从而简化结果的可重复性18.

遵循这些最佳研究实践可以强化我们的研究方法,并为未来的发现奠定坚实的基础。将我们的方法详细记录下来有助于达到可重复性标准。

代码共享:促进透明度和可重复性

在当今的研究世界中,共享代码是使研究清晰且可重复的关键。通过共享我们的算法和方法,我们让其他研究人员可以检查我们的工作,甚至对其进行补充。

研究揭示了一个严重问题:2016 年至 2021 年间,超过一半的论文没有共享分析代码<sup>19</sup>。只有少数文章的代码组织良好。缺乏良好的组织,就难以验证结果。清晰的代码库是协作和验证结果的关键。

现在越来越多的期刊开始推动代码共享。例如,《美国统计协会杂志》(Journal of the American Statistical Association)发起了一项可复现性倡议,要求作者共享代码、数据和工作流程细节。这使得其他人更容易验证研究结果<sup> 20</sup>。

使用 R、RStudio 和 rmarkdown 等工具有助于将分析、结果和代码关联起来,从而降低研究结果可重复性的风险<sup> 21</sup>。这些方法可以显著提高研究结果的复现成功率。然而,令人遗憾的是,仅有 34% 的已审查研究能够被复现,这表明我们面临着巨大的挑战<sup> 21</sup>。

我们建议使用 GitHub 等网站来共享代码。这既方便研究人员存储他们的工作成果,也方便其他人访问。这体现了代码共享在科学领域的重要性,并有助于提高研究的透明度。

有了更完善的代码共享指南,我们就能创建一个更加开放、可复现的研究空间。这将有助于鼓励创新和团队合作。

数据归档:为子孙后代保存研究成果

有效的数据归档是确保研究成果安全且易于长期访问的关键。采用最佳的数据归档方法,不仅有助于当前的研究,也为未来的研究打开了大门。将数据存储在遵循严格规则的可靠场所至关重要。这不仅有助于保障研究成果的安全,还能让其他人利用我们的工作和想法。

携手保护数据能够提升科学的可靠性。例如,一项研究探讨了七种提升不同领域研究可靠性的方法。研究发现,制定清晰的规则能够增强研究的可信度<sup>22</sup>。访谈表明,保持开放的态度能够建立人们对研究的信任。研究某些期刊也揭示了如何改进研究、提升研究可靠性,从而鼓励其他研究者效仿<sup> 22</sup>。

数据归档

但是,挑战依然存在。一项生物信息学研究发现,只有11%的文章可以重复发表,这表明我们需要改进数据处理和访问方式<sup> 23</sup> 。许多研究人员使用电子表格进行工作,这可能导致错误,凸显了良好数据归档的必要性<sup>23</sup>。使用免费软件可以使研究成果更容易共享,从而帮助更多人参与其中<sup> 23</sup>。

总之,致力于数据存档对科学的未来至关重要。通过保护我们的数据,我们才能确保我们的研究成果在未来数年内保持价值。

归档方法存储容量无障碍服务
科学笔记最高可达 2 TB(具体取决于计划)免费版本为博士生提供 10 GB
Mendeley/Endnote各不相同,未指定参考管理,有限的数据存储

研究的可重复性:确保您的工作在 2024 年经受住时间的考验

我们深知可重复性在研究中的重要性。它能确保我们的研究成果经得起时间的考验。运用可重复性策略有助于研究成果的长期有效性,而不仅仅局限于最初的结果。如今,我们专注于能够提供可靠结果的方法。

近期研究表明,要使研究结果可重复,尤其是在化学领域,需要采取五个关键步骤。这些步骤包括使用误差线来表示不确定性,这有助于我们更好地理解数据<sup> 24</sup>。此外,将数据放在补充信息中有助于我们将研究结果与以往的研究进行比较。使用已知标准进行明确的测试可以将我们的结果与以往的研究联系起来,从而增强我们工作的可靠性<sup> 24</sup>。

即使面临挑战,例如将不同领域的可重复性结果整合到材料化学中,我们也应该适应。在提出新想法和确保工作可重复性之间找到平衡至关重要。我们还需要思考如何利用时间来重新开展过去的研究<sup> 24</sup>。

令人担忧的是,只有大约三分之一的研究能够在第一次尝试时完全重复<sup>25</sup>。这促使我们探究为什么有些研究无法重复。大多数失败源于随机因素,部分则源于导出过程中的人工错误<sup> 25</sup>。这些事实促使我们改进工作方式,使我们的方法更加清晰、完善。

展望未来,在科研教育中教授可重复性至关重要。这不仅对我们自身有益,也对整个科学界大有裨益。通过公开我们的方法并分享我们的工作,我们可以确保研究的可靠性<sup>24,25 </sup>。我们的目标是确保我们的研究在未来仍然具有意义,并在未来数年内激励他人。

开放科学在增强可复制性方面的作用

开放科学正变得越来越流行,研究方法、数据和结果都得以自由共享。这种方式便于他人检验我们的工作。通过公开共享,我们确保研究的可靠性和可信度。

在开放科学中,合作至关重要。研究人员现在正积极推动诸如研究注册、数据共享以及向所有人开放研究等举措。这些步骤有助于其他人重复我们的工作,并建立一个强大的科学共同体<sup> 26</sup>。

有人担心开放科学可能会拖慢我们的速度或限制创造力。但是,我们必须解决这些担忧,以保持研究的活力和灵活性<sup>26</sup>。诸如注册报告和跟踪变更等做法有助于确保我们的工作能够被轻松核查。

像预防研究协会这样的组织正在大力推动这些变革。他们建议出版关于开放性的特刊,以表明我们都支持这一理念<sup> 26 </sup>。本次演讲阐述了让我们的研究公开透明、易于核查的重要性,这有利于所有人。

通过选择开放科学,我们确保我们的研究是可靠和诚实的。我们正齐心协力,通过开放的对话和共享的知识推动科学进步。

复制研究:从过去的失败和成功中学习

回顾以往的重复性研究有助于我们提升研究的严谨性。许多心理学研究未能重复其最初的研究结果,这引发了人们对早期研究可信度的质疑。

关键在于我们如何衡量这些研究的成功。有时,即使研究结果没有达到统计学上的显著性,也会被认为是成功的。这就引发了关于成功含义的争论<sup> 27</sup>。

了解哪些因素能够成功实现重复性研究至关重要。预测算法可以准确预测研究的可重复性,成功率在 65% 至 78% 之间<sup> 28</sup>。过去十年间,通过全基因组关联研究 (GWAS) 发现了数千个与疾病相关的基因位点。这凸显了使用大样本和进行全面验证的重要性<sup> 29</sup>。

方法论的透明度是确保研究结果可信的关键。支持开放材料、数据和预注册的工具至关重要。正如一些顶尖心理学家所指出的,这些工具有助于构建透明的研究文化<sup> 28</sup>。像布莱恩·乌兹这样的研究人员也在探索预测研究可重复性的技术解决方案。这旨在引导我们开展更符合伦理的研究<sup>28</sup>。

重复性研究让我们既能从失败中吸取教训,也能从成功中学习。它们为我们提供能够指导未来研究的洞见。我们需要同时关注成功和失败,才能从中学习。这有助于我们改进研究设计、分析和研究方法。通过这样做,我们可以为未来的研究奠定更坚实的基础,使其经得起推敲,并推动科学进步。

结语

我们研究了可重复性在科研中的重要性。它是确保科研工作可信可靠的关键。高达70%的研究人员都曾面临如何使科研工作可重复的难题<sup> 30</sup>。这表明我们需要强有力的研究方法和开放的工作方式。

自动化等工具可以通过减少错误和使事情更加一致,使我们的实验更加可靠31。分享我们的数据和我们进行研究的方式有助于建立团队精神和对我们结果的信任32。

致力于使研究可重复,不仅对我们现在有帮助,而且为未来树立了良好的榜样。通过关注可重复性,我们可以使科学变得更好、更可信。这对社会上的每个人都有帮助。

常见问题解答

为什么可重复性在研究中很重要?

可重复性是关键,因为它可以让其他研究人员检查我们的研究成果。这确保了科学的可靠性和可信度。

可重复性和可复制性有何区别?

可重复性是指从相同的数据和分析中获得相同的结果。可复制性是指进行相同的实验并得到相同的结果。

导致重复率低的一些关键因素有哪些?

低重复性是由于使用旧方法、偏见、小样本以及统计能力不足。

研究人员如何改进他们的方法论文献?

为了改进文档,请使用清晰、标准的方法来收集和分析数据。确保所有步骤都有详细记录并共享。

数据透明度在研究可重复性中起什么作用?

数据透明度是关键。它让其他人可以使用和检查数据。这确保研究结果可以可靠地重复。

代码共享如何有助于研究的完整性?

共享代码让研究人员可以分享他们的方法。这使得研究更加透明,并帮助其他人检查研究结果,从而提高研究的完整性。

数据归档的最佳实践是什么?

对于存档数据,请使用受信任的存储库并遵循数据标准。妥善记录数据集,以便于访问并确保其安全。

开放科学举措如何增强可复制性?

开放科学推动方法、数据和结果的共享。这创造了一个可以普遍复制的空间,使科学更加可靠。

我们可以从过去的复制研究中获得什么见解?

回顾以往的重复性研究可以给我们带来经验教训,指导我们未来的研究更加可靠和可信。

源链接

  1. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8265723/
  2. https://nap.nationalacademies.org/read/25303/chapter/9
  3. https://en.wikipedia.org/wiki/Reproducibility
  4. https://nap.nationalacademies.org/read/25303/chapter/3
  5. https://hdsr.mitpress.mit.edu/pub/hn51kn68
  6. https://blog.ml.cmu.edu/2020/08/31/5-reproducibility/
  7. https://hdsr.mitpress.mit.edu/pub/0r4v4k4z
  8. https://www.psychologicalscience.org/publications/psychological_science/ps-submissions
  9. https://www.bio-rad.com/en-us/applications-technologies/are-costly-experimental-failures-causing-reproducibility-crisis?ID=4ab22faf-bef3-cf71-fb92-2d603980d393
  10. https://metasub.org/research-integrity-and-reproducibility/
  11. https://nap.nationalacademies.org/read/1864/chapter/4
  12. https://www.enago.com/academy/
  13. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6959150/
  14. https://www.frontiersin.org/journals/cardiovascular-medicine/articles/10.3389/fcvm.2022.913612/full
  15. https://libraryguides.unh.edu/RCR/rigorreproducibility
  16. https://www.csescienceeditor.org/article/three-approaches-to-support-reproducible-research/
  17. https://www.mdpi.com/2624-5175/6/1/1
  18. https://stackoverflow.com/questions/4092425/ensuring-reproducibility-in-an-r-environment
  19. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11232620/
  20. https://magazine.amstat.org/blog/2024/06/03/jasareproducibility/
  21. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10969410/
  22. https://hdsr.mitpress.mit.edu/pub/f0obb31j
  23. https://academic.oup.com/bib/article/24/6/bbad375/7326135
  24. https://www.nature.com/nature-index/news/david-sholl-five-simple-ways-to-make-your-research-more-reproducible
  25. https://blogs.worldbank.org/en/impactevaluations/how-make-sure-your-research-paper-reproducible-evidence-55-papers-guest-blog-post
  26. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9283153/
  27. https://elifesciences.org/articles/92311
  28. https://www.ipr.northwestern.edu/news/2024/an-existential-crisis-for-science.html
  29. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10869125/
  30. https://automata.tech/blog/how-to-ensure-lab-reproducibility-with-automation/
  31. https://academic.oup.com/gigascience/article/9/6/giaa056/5849489
  32. https://link.springer.com/article/10.1007/s11121-022-01336-w