没有同行评议的 arXiv 如何识别伪科学？

ArXiv 重塑了科学的大门——将门推得更开——但总有人要被困在门外。

撰文  KATE BECKER

翻译  金庄维

审校  赵维杰

xxx.lanl.gov，这个网址散发着诱人的神秘气息——似乎和政府机密相关，或许还不止。

然而事实却恰恰相反：它由洛斯阿拉莫斯国家实验室进行管理（的确是政府机构！），是个开放存取的预印本大仓库。学术论文的开放存取兴起于上世纪90年代，至今仍在改变着学术出版业。

这个网站其实就是 arXiv（读作“archive”）：原网站早已被转移到了大家熟知的新地址：arXiv.org，并由康奈尔大学图书馆负责管理。ArXiv 上有大量的论文预印本，它们是尚未经过同行评议的论文草稿，或是不打算发表在期刊上的文章。当然，论文在发表后也能以修订版的形式出现在 arXiv 上。截至2016年7月，网站上的预印本数量超过一百万篇，主要集中在硬科学方向：数学、计算机科学、定量生物学、计量金融学、统计学，以及最主要的，物理学。

ArXiv 之父，物理学家 Paul Ginsparg 于1991年创建了arXiv，当时他只希望收录约100篇科研论文。然而随着投稿如洪水般涌来，他只好求助于计算机程序，对文章进行半自动化处理。为了学习编程，他参加了十几场机器学习研讨会。Ginsparg 现在是康奈尔大学物理学与信息科学教授。

ArXiv 是30年前的科学家梦寐以求的文库：全库检索、随时随地都可访问、免费发表和阅读、包含几乎所有经典论文。在今天这个我们可以一边在星巴克排队，，arXiv 的出现或许会显得稀松平常，然而事实上，这是一场不折不扣的革命。

诚然，arXiv 使学术界受益良多，但鲜为人知的是，它必须回答一个适用于所有学科的棘手哲学问题：哪些文章值得读？什么是科学？

ArXiv 出现之前，预印本只在小型学术圈中通过人工或者邮件分发。论文得过上几个月才能正式发表在学术期刊上，而这些期刊只能在大学图书馆找到。ArXiv 使这个“竞技场”民主化：无论是顶尖大学德高望重的教授、不知名机构日夜奔忙的博士后，还是发展中国家缺乏资助的学者，你的新想法都可以被其他研究者立即看到。

Paul Ginsparg 于1991年创建了 arXiv，那年他35岁，是洛斯阿拉莫斯的物理学家。他起初只是想把大约100篇论文分享给几百位电子邮件订阅者。但到1992年夏天，他收到了1200多篇论文投稿，可谓喜忧参半！Ginsparg 并不打算仔细审阅所有论文，但他希望每位读者都能找到最感兴趣的文章。所以他开始将这些论文分门别类，并且召集到越来越多的审稿人，他们都是为学术界服务的志愿者。

这些是科学吗？

ArXiv 的宗旨是收录的论文应该“让研究人员感兴趣、与学科相关并且有价值”。随着网站规模和知名度越来越大，arXiv 开始吸引学术圈外的文章，但是这些文章大多不满足要求。它们压根就不是科学，连伪科学也算不上（伪科学尚可被检验并驳倒）——它们高调地宣称推翻了爱因斯坦、牛顿和霍金的理论，发现了物理和超能力、UFO 之间隐蔽的关联，而文章中几乎没有数学推理和实验依据。

ArXiv 的默认立场是接收所有文章。Ginsparg 表示，论文也遵循无罪推定原则。但是浏览这些不科学的论文会浪费研究人员的时间。另外，arXiv 的读者中有越来越多的记者和政策制定者，真假论文“共处一室”会引起他们的困惑。因此，审稿人必须对每篇文章做出判断：这些是科学吗？

大多数 arXiv 用户对审稿人的判断感到满意，但也有人抱怨论文被扔在一旁，特别是处在学术边缘的一些研究人员会控诉 arXiv 的审稿人忽视非主流想法。

ArXiv 审稿人面对的不是个新问题。早在1959年，科学哲学家 Thomas Kuhn 就把这个问题概括为“必要的张力”：传统学术界限和自由研究之间的冲突。Kuhn 认为，科学要想前进，两者缺一不可。但如果新颖的想法常在不同学科的夹缝中产生，无法归类的靠谱论文又是否会被误判为假论文？

ArXiv 的审稿人可没那么多时间进行 Kuhn 式的反思。很多读者每天都刷 arXiv，网站希望他们总能看到最新的文章。所以 arXiv 从一开始就强制实行“24小时更新”原则：每个工作日下午4点（美国东部时间，相当于北京时间第二天早上5点）前收到的论文一般在当晚8点（北京时间第二天上午9点）上线。审稿人得在不到一天的时间内决定每篇文章的命运：拒绝还是有待进一步审查。

Ginsparg 注意到了这种忙碌的日常工作，他想到可以利用计算机程序协助处理大量投稿，让志愿者轻松些。

真科学确实会被误判

Ginsparg 最初的目的很简单：设计一种算法，将论文按学科分类，为审稿人省去浏览误投稿件的麻烦——有些稿件会在提交时被错误分类。几个小时后，新程序就诞生了，它能接收一篇新文章，提取关键词，统计每个词出现的次数，通过“学习”过去人工的分类方式对新论文进行分类。Ginsparg 没有预先设置关键词表，而是通过算法做出最佳选择。因为审稿人会对每个分类进行检查，算法能够得到即时回馈，并且逐步完善，实现每天对几百篇投稿逐篇处理。

然而他没有想到，这种分类方法有个神奇的“附加属性”：它能区分出“好”论文和“坏”论文！ArXiv 意外地将“必要的张力”付诸了实践，它是如何做到的？

审查了成千上万篇文章之后，分类算法掌握了真科学的信号：语言。通过学习科学语言，程序可以用与审稿人类似的方式对文章进行判断。被拒绝的论文不符合科学语言规范：偏离可能非常明显，例如把不同学科的内容胡乱拼凑在一起；也可能不易察觉，像“ or ”、“ it ”和“ that ”之类无意义词的错误分布。

学术编辑、审稿人和科研人员在判断论文好坏时早已关注到了语言问题。卡迪夫大学的科学社会学家 Luis Reyes-Galindo 表示，arXiv 反映了学术界的特性，将学界内外区分开来。

伪科学也有其特定的语言风格。加州大学河滨分校的数学物理学家 John Baez 设计了“民科指标”，将文章按37个“民科特征”进行打分：全部大写的单词每个给5分，宣称工作“处在‘范式转移’最前沿”给10分，宣称有个“革命性理论但没给出具体的可检验预言”给50分。当然，最后一项和语言关系不大。

无罪推定。ArXiv 的创建者 Paul Ginsparg 对大量涌入的文章采取这种态度。截图显示2016年10月，仅天体物理方向 arXiv 就接收了1058篇论文。而每年只有不到1%的文章因为伪科学被拒。

语言能够分辨论文好坏是有原因的。受过正式科学训练（包括4年大学，更长时间的研究生和博士后）的作者不仅掌握了一些基本事实、思考和实验的方法，还学会了特定的交流方式。“成为科学家的关键在于科学语言：知道如何表达、演讲。” Reyes-Galindo 说道。

ArXiv 不会自动拒绝被算法判为“异常”的文章：它们被做上标记，等待进一步的人工审查。作为人类智慧成果的承载者，科学应当由内容而非风格进行衡量，所以有人争论说，通过词汇识别外行并将他们拒之门外的做法不够稳妥。举例来讲，成绩蜚然的交叉学科研究人员怎么办？

“早在互联网出现之前，我们就看到过奇怪的非主流工作。”麻省理工物理学家 David Kaiser 说，“但它们中的一些的确是沙子里的黄金。”现在很多习以为常的物理定律在当时看来简直不可思议：日心说、场能够传递相互作用、数学公式描述的物理定律等等。现代量子理论中有些不可或缺的研究在上世纪70年代根本不受待见：晦涩难懂，像是磕药后的胡言乱语。

Kaiser 在2011年出版的新书《嬉皮士如何拯救了物理学》中写道：“很多现在占据量子信息科学核心地位的想法诞生于反主流文化运动。这个运动中还有汤匙弯折心灵感应、东方神秘主义、LSD 致幻之旅、中情局灵魂追梦、‘水瓶时代’狂热等稀奇古怪的‘探索’。”为量子计算、量子加密和量子隐形传输奠定基础的物理学家采用的方法并不时髦，并且处于学术边缘，但时间证明了它们的价值。“我很怀疑早期那些丰富多彩的想法能否被 arXiv 接收。” Kaiser 说道。

现在也一样，靠谱（至少不是离经叛道）的想法确实偶尔会被 arXiv 误判。“在我熟知的领域内就有三个例子：专业的物理学家，包括声誉良好的教授的论文被拒之门外或标记审查。”圆周理论物理研究所的物理学家 Lee Smolin 说。

审稿人的判断

很多据理力争才使论文出现在 arXiv 上的研究人员不愿谈起伤心往事，他们担心被拉入黑名单。日内瓦大学的资深物理学家 Nicolas Gisin 却是个例外，他在2015年12月公开为两位学生申冤。他们向 arXiv 提交了一篇关于黑洞的文章，结论不同寻常：物质不可能掉进黑洞。同时，这两名作者并不属于黑洞研究的学者圈。但是 Gisin 觉得他们的计算非常清楚，逻辑也很清晰。“我很欣赏他们的勇气，敢于逾越物理学不同研究方向间的壁垒。”他在维也纳量子光学和量子信息研究所的博客上写道。

苦等几个月后——在 arXiv 快速更新的世界里这简直就是永恒——论文被拒了。系统标记了论文，随后审稿人把文章毙掉。这两名学生的第二篇论文同样被拒，但这回快多了，Gisin 认为他们上了黑名单。

Ginsparg 否认 arXiv 有黑名单。他并未参与 Gisin 学生的文章审查，但在读过他们的文章后，他觉得里面存在基本错误。发表于 EMBO 期刊上的一篇关于 arXiv 的文章中，Ginsparg 提到了这件事，他表示，arXiv 的审稿人为鲁莽的研究生避免了不必要的尴尬。

Ginsparg 解释道，arXiv 的自动筛选系统可能标记曾经投稿被拒的用户，也会拒绝用别名再次提交的被拒论文。ArXiv 还为用户提供申诉流程：作者可以要求被拒文章由原先的审稿人重审，如果再次被拒，作者还可以要求由仲裁审稿人进行第三轮审查。如果被拒论文随后被同行评议的期刊接收，arXiv 也会重新接收这篇论文。但是 Gisin 的学生没有申诉，论文最终被 Physics Letters A 接收后也没再放到 arXiv 上。

尽管偶尔引起争议，arXiv 的标准还是相当宽容的。Ginsparg 表示，去年只有不到1%的投稿由于内容问题被拒，而且很多像 Gisin 一样的批评者仍然是网站的忠实用户。

但是 arXiv 的处理程序仍然不够透明。“arXiv 对投稿者的人身保护不够。” Kaiser 说道。审稿人拒绝论文时只会按照 arXiv 的标准模板发送拒信，没有更多具体的解释。“被拒后的申诉过程也令人失望，”Smolin 说道，“根据我所了解的几个例子，他们的申诉流程不够完善，也没有遵循最专业的做法，这与 arXiv 在物理界的重要地位并不相称。”

在接收和拒绝之间，还存在一个中间选项：存疑论文被归类到“general physics”（“gen-ph”）中。说得好听点，gen-ph 收容了无法与其他类别完全匹配的论文；说得难听点，这就是个垃圾场。总之，审稿人可以借此躲避拒稿带来的纠纷。但是对于很多作者而言，被发配到 gen-ph 和被直接拒绝一样让人难堪。有个研究人员告诉 Reyes-Galindo，把他的论文分类到 gen-ph 中就像是在故意降低文章的影响力。不过 gen-ph 只占 arXiv 的一小部分：从2014年7月到2015年6月，arXiv 接收了超过10万篇论文，其中只有302篇被发配到 gen-ph。

对于 arXiv 的失望催生了另一个预印本网站：viXra。这个新网站由英格兰独立物理学家 Philip Gibbs 创建。每个人都可以在 viXra 上贴东西，但是网站禁止“粗俗、诽谤、抄袭和危险导向”的内容。有些人能在这里找到论文的容身之所，对他们而言，viXra 是知识的避难所。但在学术界的很多人眼里，viXra 更像错位玩具岛：古怪和破旧玩具的流放地。（对于 viXra，Ginsparg 讥讽道：“这个网站太棒了！下一回再有人问为什么 arXiv 需要筛选机制时，我们就向他们推荐 viXra。”）Gibbs 在 viXra 的博客上发表了包含17部分的回顾文章“正确的民科”，他认为 viXra 作为历史档案，保留了走在时代之前的想法的雏形，也许这些想法能在将来得到承认。

何谓科学？大家往往认为这是互联网带来的新问题。但 Kaiser 认为 arXiv 正在试图解决的是古老问题——“必要的张力”的放大版。长久以来，学者总是抱怨：需要一种工具来帮助人们规范出值得关注的科学范围。ArXiv 重塑了科学的大门——将门推得更开——但总有人要被困在门外。

原文链接：http://nautil.us/issue/41/selection/what-counts-as-science

阅读更多

内容合作请联系

keyanquan@huanqiukexue.com

这里是“科学美国人”中文版《环球科学》服务科研人的微信号“科研圈”。我们：

· 关注科学进展与科研生态

· 推荐重要前沿研究

· 发布科研招聘

· 推送学术讲座与会议预告。

欢迎长按二维码关注。