为何优化？

2006年，Netflix[1]面向全世界举行了一场竞赛。任何个人或者团队，如果能够将Netflix原本的电影推荐模型的准确率提高10%，将会获得一百万美金的奖金。来自于全世界各地的大学生，研究员，及爱好者们参加了这次竞赛[2]。在比赛开始后的三周，有40多支队伍参加。然而，即使是掌握最优模型的团队也只能在Netflix原模型的基础上提高5%的准确率。

当准确率的提高停滞了好一段时间后，各个团队发现了一个“利器”。通过几乎不需要过多思考的模型叠加（英文叫Ensembling），优化后的模型准确率往往要高于被叠加的模型。比如，一个叫Rookies的团队，通过叠加Paul Harrison（排名较在他们之后的一个队伍）的模型，将团队的准确率从6.31提高到了6.75—显著且不费力的改善。谁说天下没有免费的午餐？

仿佛发现了金矿一般，所有的团队都开始疯狂“吸纳”其他团队的模型。到最后，参与决赛的队伍的模型都是组合了其他队伍的结果。获百万大奖的KorBell队伍更是结合了107个不同的模型；而第二名的队伍名是When Gravity and Dinosaurs Unite，这个队伍结合了Gravity和Dinosaur两个队伍各自的模型—它的名字就说明了一切…

大学排名也是一种模型。QS Ranking的排名者认为评价一个大学，雇主的评价，大学的师生比例都是重要的方面；而由上海交通大学主持的排名则完全没有将雇主评价和师生比例纳入排名考量中。在其他方面，不同的排名也有其自己的侧重点。按照Ensembling的思路，那我们何不把这几个模型也叠加一下，获得一个更准确的排名？

另外，在同一个排名上，有些大学的名次每年都会有比较大的变化。比如在2013年，UCL在QS排名上排名世界第四，超过牛津大学和一堆美国名校。到了2020年，UCL排名降到了世界第八；虽然很多人仍然不认可UCL这个成绩，但是比起2013年，算是容易让人接受了许多。我们再来看看University of Sussex的排名。在泰晤士排名（Times Ranking）上，该大学2011年的排名为世界第79，超过了University of Manchester的排名（第87）。到了2020年，该大学的排名到了世界第146。我们应该怎么看待如此大的变化呢？如果今年申请大学时，某个学校的排名在世界前100内，在几年后开始找工作时，它的排名会不会掉到100名以外？怎么才能知道这个学校最“靠谱的”排名？一个比较简单粗暴，但是非常有用的方式就是取平均。

取平均这个看似简单方法和Ensembling一样有着深刻的数学内涵和数学支撑。因为篇幅原因我们在此不详细展开，有兴趣的可以看文末的参考文献。从概率的角度来说，我们可以说每次排名，一个学校的名次都有一些错误（error），通过把连续几年的名次平均下来，这些error很大程度上可以相互抵消，从而得到一个没有错误的排名。用一个比较含糊的术语来讲就是regression to the mean (回归平均)。

基于以上两点，我们可以通过简单但非常有效的方式来优化目前市面上的大学排名。

如何优化？

这次的优化可以大致分为两个步骤。第一步我们通过平均各个大学在各个排名上历年的排名来得到其稳定的名次。第二步则是结合各个排名的名次得出一个最终排名。因为数据的原因，这次优化仅包含英国的大学。

数据

通过互联网，我们获取到四个相对权威的大学排名，分别是：QS排名，Times排名（也称泰晤士高等教育世界大学排名），ARWU（软科世界大学学术排名），US News 排名。而每一个排名我们能够获取到的历年数据不太一样。对于QS排名，我们可以获得过去八年的排名数据，Times 过去十年，ARWU过去六年，而US News仅仅一年。

在第一步的排名合成上，不同年份的名次在最后形成的排名中所占比重不一样。我们认为，过往的排名应该占有更低的比重。因此，以下是具体的年份比重（从最早到最近）：

QS：               5%, 5%, 10%, 10%, 15%, 15%, 20%, 20%

Times：          5%, 5%, 5%, 5%, 10%, 10%, 10%, 10%, 20%, 20%

ARWU：        10%, 10%, 10%, 20%, 20%, 30%

US News：     100% （仅有一年数据）

此外，除US News排名外，其他排名都有采用分层排名，比如排名301-400之间的学校统一标注为301-400，而不是具体的排名。对于这样的数据，我们取中间的数值为该学校的排名，即301-400取350。

若要获取原始数据，请关注我们的公众号并留言“英国排名数据”。

优化后的排名

潜在的问题

优化的结果可能在以下几个方面存在问题：个别排名的数据不足，部分数据的处理方式主观，以及Ensembling模型的应用。首先是数据的不足。US News的排名数据只有一年，其他三个排名的数据有五年以上。如果四个排名都能有五年以上的排名数据，由此产生的排名会更加准确，或者说更加接近实际情况。此外，伦敦大学卫生和热带医学学院（London School of Hygiene & Tropical Medicine）只在US News和ARWU中有排名数据。在实际数据的处理中，该学校的排名也就结合了这两个排名的数据。

然后是数据的处理方式可能存在争议。将301-400视作350并不存在严格的理论基础，而是一种直觉所建议的处理方式。如果有经过研究证实更好的处理方式，会让排名优化更具科学性。

另外，在将多个年份的排名整合为一个排名时，每个年份所占的比重（weight）的决定也较为主观。我们在此处采取了一个逐渐增加的比重制度，即随着年份越靠近现在，其所占比重也越高。也许一个权重一致的方式会给出不一样的结果，而这个结果也同样具有参考价值。

最后，不管如何针对已有的排名进行优化，排名本身就具有争议。由于学校之间存在很多不同，比如公立私立之分，文理侧重不同等，把他们放在一起比较并不严谨。我们并不推荐读者将任何一个排名，以及任何一个“经过优化”的排名作为唯一的判断标准。

附录

附录一 文献列表

https://towardsdatascience.com/two-is-better-than-one-ensembling-models-611ee4fa9bd8

https://static.aminer.org/pdf/PDF/000/294/514/random_decision_forests.pdf

Kahneman, D., 2013. Thinking, Fast And Slow. London: Penguin.

附录二 排名数据来源

QS Ranking: https://www.topuniversities.com/qs-world-university-rankings/methodology

Times Ranking: https://www.timeshighereducation.com/world-university-rankings/2020/world-ranking#!/page/0/length/25/sort_by/rank/sort_order/asc/cols/stats

ARWU Ranking: http://www.shanghairanking.com/index.html

US News Ranking: https://www.usnews.com/education/best-global-universities/rankings

P.S. 文章配图为Jan Brueghel the Elder描绘的海德堡大学的远景。海德堡大学在德国声名赫赫，但是在多个排行榜上并没有取得特别突出的成绩。在排名这个竞赛中，海德堡大学是一个“错位者”的代表。

[1] 创建于1997年。

[2] 其中有一支来自中国的队伍叫做WXYZConsulting，他们的成员是Wei Xu和Yi Zhang。