人类和其他动物在不断变化的环境中适时适机进行决策，这底层的算法是什么？发现其中的机制对于完成序列决策（比如国际象棋和迷宫导航）尤其重要。

过去20年，大部分致力于解决多步骤问题的研究，都关注强化学习（RL）的两类算法，即无模型（MF）和基于模型的（MB）算法。

MF和BM都将决策形式化为长期奖励预期与不同的候选行动之间的关系，但在表示（representation）和计算方面却不尽相同。

MF vs. MB两者的对立使人产生了这样一种观点，那就是在决策的速度和准确性之间有明显的tradeoff：MF将预计算长期行动值直接存储起来，而MB算法则更加灵活，会通过对短期环境的建模来重估行动值，但这样对计算力有更大需求。

长期以来，由于这种速度和精度之间的tradeoff，人们一直以为要实现自主化、仔细思考（deliberation）和控制，需要消耗很多计算资源。同时，MF也被视为适应不良习惯和强迫行为（比如吸毒）的原因。

尽管有实验证明人类和其他动物在某些情况下的决策能够彻底打败MF选择，但极少有证据表明人类大脑是如何进行MB重计算的，甚至人类大脑究竟有没有进行MB重计算。

实际上，在MF和MB之间完全可以有其他的计算路径（shotcut）来合理解释很多现有的实验结果。

为此，普林斯顿、NYU、达特茅斯学院、DeepMind兼UCL以及哈佛大学的研究人员，设计了两项实验，探索了大脑决策时是否使用了存在于MF和MB之间的算法，以及这种算法与MF、MB之间的异同。相关论文《The successor representation in human reinforcement learning》日前在Nature子刊《自然-人类行为》上发表。

研究人员发现，人类决策时确实会用到MF和MB之间的中间算法。他们在论文中具体研究了其中的一类重要算法，基于后继表示（successor representation，SR），将长期状态预测存入缓存中。作者预计，这些发现将为计算科学、电生理学和神经影像学研究开辟新的途径去研究评估机制的神经基础。

具体说，研究人员通过实验设计，区分使用SR和MB的计算，重点关注人类是否存储了有关未来状态的长期预期。结果发现，MF策略不存储状态的任何表示，并且在决策时也不计算状态表示（参见图1和图2）。另一方面，MB策略存储并且会检索一步表示（one-step representations），因此决策时间的计算需求会更高。然而，SR缓存了一个多步骤转换的“粗略映射”到智能体以后期望访问的状态。在决策时使用这些缓存的表示，SR在奖励重估中做出了比MF更好的决策，但不能解决转移重估，而MB在所有重新估值方面都做得一样好。另一种可能性是将SR与其他策略相结合，也即论文中所说的“混合SR策略”。混合SR策略可以将半计算的轨迹粗略表示与MB表示或重放相结合。

图2.在奖励和转换重估测试中，模型预测和检索到表示的原理图

所有混合SR策略将比转换重估的纯SR策略更好（但比MB差）。具体来说，相比预测过渡重估，混合SR策略在预测奖励重估时准确性更高，反应时间更快。MF或MB都的预测性能都没有展现出这样的不对称性。

作者通过两项研究实验测试并确认了他们的猜测，为人类行为中的强化学习里的SR提供了第一个直接证据。

摘要

神经科学中强化学习的理论侧重于两个算法族。无模型算法将行动值存入缓存，这样做虽然便宜但不灵活：因此，无模型算法是自适应习惯和适应不良习惯的候选机制。另一方面，基于模型的算法通过从环境模型中重建行动值来实现计算成本的灵活性。我们研究了一类中间算法，后继表示（successor representation，SR），缓存长期状态预期，将无模型的效率和基于模型的灵活性相结合。虽然以前关于奖励重估的研究将无模型算法与基于模型的学习算法区分开来，但这种设计不能区分基于模型和基于SR的算法，后两种都预测了奖励重估的敏感度。然而，改变过渡结构（“过渡重估”）应该有选择性地损害SR的重估。在两项研究中，我们提供的证据表明，人类对奖励重估与过渡重估的差异敏感度与SR预测一致。这些结果为一种新的灵活选择神经计算（neuro-computational）机制提供了支撑，同时为习惯引入了更细微，更认知的看法。

AI 模型在瑞文推理测试中表现超过了美国人的平均水平

前一段时间，美国西北大学的研究团队开发出了一个新的计算模型，能够在标准智力测试中达到人类水平。这项研究对于让 AI 像人类那样“看”并理解这个世界有重要意义。

让我们先看看什么是“人类水平”——研究所用的智力测试是瑞文标准推理测验（Raven's Standard Progressive Matrices，简称 SPM），由英国心理学家瑞文（J.C.Raven）于1938年创制，在世界各国沿用至今，用以测验一个人的观察力及清晰思维的能力。它是一种纯粹的非文字智力测验，所以广泛应用于无国界的智力/推理能力测试。

从 2002 年到 2006 年，英国心理学教授 Richard Lynn 和芬兰政治学教授 Tatu Vanhanen 在超过 80 个国家和地区进行了一次 IQ 调查，得出了所谓的“国家（和地区）平均 IQ”——这一结果引发了大量争议，对这一结果的诠释需要非常小心。

这是在调查中排名前 10 位的国家和地区，其中有不少名词是并列的。我们可以看到，中国香港和新加坡的国家平均 IQ 最高，达到 108。中国的国家平均 IQ 是 105，和日本并列第三。排在第二的是韩国（106）。美国的国家平均 IQ 是98，排在第9。

本文末尾，我们附上了  80 多个国家和地区的国家平均 IQ 排名。

图像识别只有能够为后续推理所用才有其意义

模型的开发者是西北大学 McCormick 工学院的电气工程和计算机科学教授 Ken Forbus 和前西北大学心理学博士后研究员 Andrew Lovett 。这一研究发表在了《心理学评论》（Psychological Review）上。

Ken Forbus 介绍说：“相对于成年美国人来说，该模型能够达到第 75 百分位，高出平均水平。人类感觉困难的问题，模型一样会感到困难。这显示出它具有和人类认知相似的一些特性。”

Forbus 的实验室开发了一个称为 CogSketch 的人工智能平台，能够解决视觉问题和理解图形，并给出即时、互动的反馈。新模型就是在这一平台上开发而成的。

CogSketch 还引入了一个基于西北大学心理学教授 Dedre Gentner 的结构映射理论的类比计算模型。Gentner 因该理论获得了 2016 年的 David E. Rumelhart 奖。

解决复杂视觉问题的能力是人类智力的重要特征之一。开发具有这一能力的 AI 系统体现了符号表征与类比在视觉推理中的重要性，并可能弥合计算机同人类认知之间的鸿沟。

上图是瑞文标准推理测验中的一道题目。根据题目中所展示的元素之间的关系，答题者被要求在空缺中填出应有的图形组合，选项一般有 6 - 8 个。

聪明如你，一定闪电般做出了选择。

这两道题是测试中比较难的——无论是对于人类还是对于 AI 来说，但它们无疑难不住关注新智元的你。

有兴趣做一套瑞文测试？可以去这里：http://www.ravensprogressivematricestest.com。一共有 60 道题。

“瑞文测试是现有的对心理学家所说的“流体智力”——即抽象思维、推理、模式识别、解决问题和判别关系的一般能力——的最佳测试方法。”Lovett 说，他目前在美国海军研究实验室担任研究员。“我们的研究结果显示，对流体智力来说，灵活运用关系表征，并进行对比和再次阐释的能力非常重要。”

使用和理解复杂关系表征的能力是高级认知（higher-order cognition）的关键。关系表征连接了实体和概念，比如“钟表在门上方”或“压力差导致了水的流动”。这类比较对于制造和进行类比至关重要。而这正是人类赖以解决难题、做出取舍以及描述他们身边世界的关键方法。

Forbus 说：“目前绝大多关于视觉的 AI 研究都集中在对象识别或场景标记，而非推理。但是识别只有能够为后续推理所用才有其意义。我们的研究对于更广泛地认识视觉推理有重要意义。”

构建用类比推理解决视觉问题的模型

模型的开发者 Ken Forbus 和 Andrew Lovett 在《心理学评论》（Psychological Review）上发表了研究报告，题为《Modeling Visual Problem as Analogical Reasoning》。

研究者表示，类比也许是人类智能的一个里程碑。通过比较两个领域并确定其结构的共同点，可以推导出有用的推论、得出有启发性的抽象结果。类比可以驱动科学发现，当年 Rutherford 就曾提出的电子围绕着原子旋转，就像卫星围绕着太阳旋转一样。但它也在我们的日常生活中扮演了重要的角色，让我们将过去学习到的经验应用到当下，比如，解决物理问题，选择电影观看或考虑购买新车一样。

类比的力量在于它的抽象本质。我们可以比较两种截然不同的情景，基于其关系结构的共同点，将我们在一种场景中学到的东西应用到另一种场景中。鉴于这种高度抽象的思维方式及其在人类推理中的重要性，当研究人员想要测试个人的推理能力时，他们往往依赖于具体的视觉任务，这可能令人感到意外。

图1

图1描述了 Raven Progressive Matrices (RPM)智能测试中的一个问题例子。这一测试要求参与者在一个三行三列的矩阵中对图像进行比较。RPM 被设计用于衡量被测试者的演绎能力（也就是在复杂的模拟环境中发现模式的能力），这一术语近期被另一个叫“流体智能”的词取代。近10年来，这一术语依然非常受欢迎，因为在预测被测试者的行为表现商，它取得了较大的成果，而且不仅是在视觉测试集，还包括口语的和数学的数据集等。

图2

一个视觉测试为什么能在衡量通用的问题上会有如此好的效果？解决问题？研究者认为，去掉其固有的本质，RPM测试了个人进行高效的类比的能力。RPM与类比之间的联系在图 2 中得到了良好的证明。

上图展示了 RPM 测试题（模拟题）的“智能考察点”，即所谓的 Carpenter rules （Carpenter 等，1990），以及研究者所开发的模型在解题时所采取的策略。

在这种分析中，视觉（或者几何学）、口语和数学的类比方法都围绕着 RPM 进行聚合，这意味着，二者之间有着强大的关联，所以从整体上能对二者进行衡量。确实，RPM 能被看成是一个复杂的几何学类比问题，其中被试者必须定义首先出现的两张图片和顶层最上面一张图片之间的关系，进而计算出一个能在底部产生类比联系的图像。与这一说法相一致，Holyoak 和同事展示了，在进行类比的地图绘制和检索时，高的 RPM 表现要求更少的协助。

此外，一项脑成像研究的元分析发现，言语类比，几何类比和矩阵问题产生了可能与关系推理相关的常见脑区，也就是左侧前额叶前额叶标记。

上图展示了 RPM 测试题（模拟题）的“智能考察点”，即所谓的 Carpenter rules （Carpenter 等，1990），以及研究者所开发的模型在解题时所采取的策略。

研究者认为，支持有效类比的机制和策略也是支持视觉问题解决的机制和策略。为了测试这个说法，他们使用一个完善的计算模型，即结构映射引擎（RPM），对人力资源管理的绩效进行了模拟。虽然中小企业最初是为抽象类比而设计的，但越来越多的证据表明，其基本原则也适用于具体的视觉比较。RPM提供了测试大规模测类比在视觉思维中起作用的机会，并确定在SME提供的类比映射之外执行此任务所需的组件。特别是，考虑到感知和再现表现的双重挑战：你如何以支持抽象类比思想的方式来表达具体的视觉信息，当图像失调时如何改变表示？

上图展示了 RPM 测试题（模拟题）的“智能考察点”，即所谓的 Carpenter rules （Carpenter 等，1990），以及研究者所开发的模型在解题时所采取的策略。

这种方法还使研究者能够获得有关 RPM 的新洞见。通过去除模型执行某些操作的能力，并将由此产生的错误与人类成绩进行比较，研究者可以确定是哪些因素在让一道问题变得更容易或更难。如下所示，当（a）问题必须更抽象地表达或（b）需要复杂的重新表征操作时（complex rerepresentation），问题往往会变得更困难。最后，研究者关注的是，RPM 中的抽象思维和重新表征是否可能泛化到其他类比任务，从而成为人类智力的核心。

研究者详细地描述了 RPM，包括一个此前已经构建好的计算模型。之后，研究者提出了他们的理论框架，展示了类比推理如何更广泛地映射到 RPM和视觉问题的解决上。然后研究者描述了基于这一框架的计算模型。

国家平均 IQ 排名

9月3日，2017摩根大通中国壁球公开赛上演了罕见的“双德比”，四名来自埃及的选手包揽男子组和女子组的冠亚军。最终，女子世界排名第一的努尔·艾尔舍比尼和男子世界排名第14的雷米·阿施沃分别战胜同胞，举起冠军奖杯，2017摩根大通中国壁球公开赛在迷人的上海外滩夜色中完美收官。本届赛事凭借高水平的对抗、高品质的运营和服务赢得了国际职业壁球协会（PSA）首席运营官 Lee Beachil的高度评价，他表示，“中国壁球公开赛在PSA系列赛中的地位将变得更加重要。”

2017摩根大通中国壁球公开赛是国际职业壁球协会（PSA）的顶级赛事之一，本次赛事由国家体育总局小球运动管理中心、中国壁球协会主办，盛力世家（上海）体育文化发展有限公司和上海盛力瑛才体育文化发展有限公司共同承办。赛事得到了冠名赞助商摩根大通，以及高级合作伙伴英菲尼迪、上海半岛酒店，赞助商人头马君度、海德的大力支持。华尔街见闻作为首席媒体合作伙伴，对赛事进行了全程跟踪报道。

当晚率先进行的是女子决赛。经过前三轮的淘汰赛后，埃及选手努尔·艾尔舍比尼和诺兰·乔哈尔站在了决赛场地，这是一场一边倒的比赛，三局比赛中努尔完全占据主动，尽管她在首局比赛中膝盖擦地受伤，移动受到了一些影响，但实力强劲的她最终仍以3比0战胜诺兰拿到了冠军。

随后进行的男子决赛中，来自埃及的阿里·法拉格对阵同胞雷米·阿施沃，前者世界排名第五，后者世界排名第14，但正如法拉格所说，世界排名算不了什么，世界前15水平都十分接近。果不其然，这场比赛从开局就陷入了胶着状态。经过5局苦战，最终，雷米艰难拿下赛点，从而以3比2赢得全场比赛的胜利，摘得本次比赛冠军。

2017摩根大通中国壁球公开赛共有来自12个国家和地区的56名选手参赛，其中包括12名男女世界排名TOP10的选手，大量高水平选手参赛使今年的赛事精彩程度大大提升。高水平的赛事吸引了众多合作伙伴的加盟，长期以来一直坚定支持壁球运动的摩根大通也在今年成为了中国公开赛的冠名赞助商，这是该项赛事首次获得冠名赞助。赛后，摩根大通亚太区主席兼首席执行官欧冠昇分别向努尔·艾尔舍比尼、雷米·阿施沃颁发了冠军奖杯。 “能够把壁球运动推广到全球更多的国家令我们引以为豪。过去九年，摩根大通连续冠名赞助在纽约举办的‘摩根大通壁球冠军锦标赛’。我们十分荣幸在中国也能够成为‘中国壁球公开赛’这项卓越运动赛事的冠名赞助商。正如壁球运动一样，中国市场蓬勃兴旺、振奋人心，因此中国是我们推广壁球运动的最佳选择，最能体现我们对壁球运动一直以来的热爱。我们深信比赛结束后，在我们的客户、员工以及当地社群中也会涌现出一批壁球运动的爱好者，”摩根大通中国区主席兼首席执行官李一表示。

今年继续支持中国壁球公开赛的东风英菲尼迪联手组委会特设了“英菲尼迪挑战者奖”，来自新西兰的男子选手保罗·科尔和同样来自新西兰的简·金凭借其在比赛中表现的挑战精神获得了该奖项，东风英菲尼迪市场营销与公关部部长Tim Heile先生表示，英菲尼迪是一个自带挑战基因的豪华汽车品牌，中国壁球公开赛所倡导的运动精神与英菲尼迪品牌的’挑战者’精神高度契合，我们希望通过与不同领域的佼佼者展开密切合作，持续为消费者打造一系列创新的品牌及产品体验平台。

按照中国公开赛的传统，获得冠军的努尔·艾尔舍比尼和雷米·阿施沃在比赛举办地上海半岛酒店11层露天平台上高举冠军奖杯拍照留念。自半岛酒店成为中国公开赛决赛场地以来，每一年的冠军都会在这里留下了一张以夜色中外滩迷人景色为背景的夺冠照片，这些照片已经使上海这座国际化都市的标志性美景永久镌刻在壁球运动的历史上。“很高兴连续第四次支持壁球中国公开赛并提供决赛阶段场地”， 作为中国壁球公开赛忠实的合作伙伴，上海半岛酒店综合项目总经理及常务董事张荣耀先生表示，“国际顶级壁球高手再次在半岛空间面积达1,098平方米、外滩中最宽阔的汇中套间私人露台展开对决，外滩和黄浦江沿岸壮观景色一览无余，带来无懈可击的观赏体验。壁球作为深受职场精英喜爱的一项时尚健康运动，与半岛崇尚的极致体验和品质生活一脉相承。 四年来上海半岛酒店与赛事一起成长，共同见证了壁球运动在中国的日益发展壮大。”

2017摩根大通中国壁球公开赛高水平的竞赛、精彩的赛事呈现以及高品质的赛事服务赢得了国际职业壁球协会（PSA）首席运营官 Lee Beachil的高度评价，“壁球在中国正处于高速发展的阶段，过去几年，我们欣喜地看到，这项赛事凭借高水平的运营和独具魅力的景观赢得了球员和相关合作伙伴的高度评价，越来越多的高水平运动员选择到这里来参赛，本身就说明了这项赛事的吸引力。此外，每一年到上海来，我们都能看到喜爱壁球和愿意参与壁球运动的人越来越多，这让我们感到非常开心。我们相信，在中国国家体育总局以及上海市政府各相关部门的支持下，中国壁球公开赛在PSA系列赛中的地位将变得更加重要。”

据悉，为了更大范围地普及壁球的文化，展现壁球运动的魅力，中国壁球公开赛今年通过10家网络平台进行了赛事直播，创下了赛事创办以来的直播平台纪录。第四年承办中国壁球公开赛的盛力世家创始人兼CEO李胜对壁球未来的前景充满了信心，他表示，随着中国壁球公开赛影响力不断壮大，来沪参赛的顶尖高手也在不断增加，为我们带来了精彩的高水平壁球对抗，竞争十分激烈，“我们希望通过精彩赛事的呈现和丰富的传播手段，让壁球文化真正在中国生根发芽，并逐渐成为一种被大众所接受和喜爱的健康生活方式。我们相信，在PSA、国家体育总局小球运动管理中心、上海市体育局、黄浦区政府以及包括摩根大通在内的合作伙伴的大力支持下，壁球在中国的发展前景值得期待。”

作为2017摩根大通中国壁球公开赛的首席媒体合作伙伴，华尔街见闻全程报道了此次赛事，为大家带来众多独家精彩内容。

壁球被誉为“华尔街第一运动”，其变化莫测的球路正应了金融市场瞬息万变的行情。而击球人快速反应、准确回击的特点也正是华尔街见闻所一直追求且引以为傲的核心导向。 

截至目前，壁球运动已在185个国家和地区开展，参与人数超过2000万人，其中壁球职业运动员人数已超过800人。相信有华尔街见闻全天候全球金融信息平台的助力，壁球运动文化将不仅限于华尔街，更会在有「中国华尔街」美誉的上海生根发芽。作为2017摩根大通中国壁球公开赛的首席媒体合作伙伴，华尔街见闻将会和您一同见证这个改变的发生。

关于摩根大通集团

摩根大通集团（纽约证券交易所：JPM）是一家全球领先的金融服务公司，管理资产达2.6万亿美元，业务遍及全球，在投资银行、个人及小型企业金融服务、商业银行服务、金融交易处理及资产管理等领域均享有领先地位。作为道琼斯工业平均指数的成份股，摩根大通通过旗下摩根和大通品牌为美国数百万计的私人客户以及全球众多知名企业、机构及政府客户提供服务。

关于摩根大通中国

摩根大通自1921年开始其在华业务。在中国，摩根大通为客户提供广泛的金融服务，涵盖企业和投资银行、商业银行、资金服务、市场和投资者服务以及资产管理等领域。目前，我们通过在北京、上海、天津、广州、成都、哈尔滨、苏州、深圳及中山的业务网络及分支机构为中国本土及跨国公司、金融机构和政府机构提供全方位的金融服务。

关于盛力世家

盛力世家是中国发展最稳健、最快速的体育IP开发、管理、运营公司。公司由创始人兼CEO李胜于2010年创立，2016年获得华人文化投资。目前，盛力世家成功独立打造和承办运营了“冰上盛典”、“拳力联盟”、“挑战100”、“北京跑”、“沸雪”、“斯巴达勇士赛”、“中国壁球公开赛”、“中国击剑俱乐部联赛”等业内知名IP，形成了以赛事为核心，集运动员经纪、青少年培训、传播矩阵等资源和服务于一体的整合营销平台；盛力世家同时致力于促进国际体育文化和资源交流，与包括国际奥委会、国际田联等国际体育组织、经纪机构形成了良好的合作伙伴关系，还拥有ITTF国际乒乓球联合会的数字媒体版权。

QS世界大学排名（英文：QS World University Rankings），是由教育组织Quacquarelli Symonds（QS）所发表的年度世界大学排名。排名包括主要的世界大学综合排名及学科排名。另外，QS还推出了独立的地区性排名，即《QS亚洲大学排名》、《QS拉丁美洲大学排名》及《QS金砖五国大学排名》，而这些地区排名的准则与比重都与原本主要的世界大学排名不同。

今天英国高等教育资讯和分析数据提供商QS发布了最新2018年世界大学排名，我们第一时间为大家整理了2018年QS世界大学TOP100的完整排名，同时附上了去年排名的情况，供大家进行参考和对比。

通过分析最近一期的排名，我们可以看到以下几个变化和特点：

1. 麻省理工学院（MIT）连续六年排在榜首，紧随其后的是三个美国其他大学（斯坦福、哈佛和加州理工大学）。尽管目前全球排名前10的学校没有新的大学入围，但是中国有六所大学进入世界大学前100.同时，俄罗斯大学首次入围百强名校。

2. 近年来，俄罗斯大学受益于政府资助和投资，在今年的排名中的24所俄罗斯大学，与去年同期相比，只有两所大学排名下降，而其他大学在排名上都有一个显著的提升。

3. 许多西欧国家的排名都有所上升，特别是意大利大学开始崛起，有两所新的学校入围世界排名前200名大学。

4. 拉美地区的国家，例如，阿根廷和巴西在排名上都所有进步。阿根廷的布宜诺斯艾利斯大学现在排名世界第七十五，而巴西的圣保罗大学的排名已经高达第一百二十。

5. 在中东，沙特阿拉伯排名前四的大学，相比去年，排名都有大幅提升。

6. 此次，也是QS发布的第14届QS世界大学排名，共有来自84个国家和地区的959所大学参加了排名。

看了以上的排名，大家心里面应该比较清楚自己心仪学校的所在位置。但参考的时候不能一味迷信，要结合自身的特点和排名的参考标准来选择大学。QS世界大学综合排名重历史、重积累、重声誉、重学术，但缺少变化与发展，不能反映当然最新的状态。这个时候，我们可以参考另外一个排名，即TIMES综合排名。我们可以结合两个排名进行参照和对比，同时借鉴连续三到五年的排名，观察变化趋势，以得出规律来判断某一所大学当前的实力与地位。

随着机器学习蓬勃发展，新的研究领域不停地出现。除了创造并解决新的问题之外，现有的应用其实也可以从机器学习大为受益。Salesforce 近期的一篇论文就介绍了利用机器学习，无需学习SQL语言就可以在数据库中进行查询。 AI 科技评论把相关报道编译如下。

SQL在编程领域被提到得越来越少，但是SQL语言的学习曲线仍然陡峭，这就让很多人放弃了尝试直接和关系型数据库打交道。CRM 软件服务商 Salesforce 的人工智能研究团队就从自己的业务开始下手，探索如何让不具备 SQL 知识的人通过机器学习打开数据库操作的大门。

在他们近期的论文「Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning」（Seq2SQL：用强化学习从自然语言生成结构化查询语句）中，构建了一个机器学习中典型的序列到序列模型。在其中用到的强化学习让模型在翻译自然语言到SQL数据库查询语句任务中取得了让人眼前一亮的成果。

这就意味着，在实际应用中用户可以直接问系统：“橄榄球高校巡回赛排名第一的是哪支队伍”，系统就会自动查询对应的数据库，然后告诉你答案是密歇根大学队。正如下面这张动图示意的？

Salesforce 研究员 Victor Zhong，也是这篇论文的第一作者，介绍说：“一个正确的查询语句其实可以有好几种写法。如果给系统里输入一个自然语言的问题，对应的查询语句可能会有两三种。我们用强化学习来鼓励系统选用能够查询到相同结果的语句。”

随着自然语言的提问里包含的单词变多，可以想象这种机器翻译任务也会很快变得非常复杂。应对方式就是，对于每一个缺失单词的可能翻译数目施加的限制越多，翻译任务就会变得越简单。Salesforce 的研究人员们就利用了这种想法，他们对系统的提问里、数据库标签里和典型 SQL 查询语句里能够包含的单词做了一些限制，从而简化了翻译系统的设计难度。

让 SQL 平民化其实也不是新鲜事了，Tableau 最近收购了创业公司 ClearGraph，后者的业务就是提供用英语而不是SQL语言查询数据的方案。

Victor Zhong 补充说：“有的模型直接在数据库上做操作，但是如果提问一个关于身份证号的问题就会有潜在的隐私问题。”

除了论文里的方案本身，Salesforce 的这项研究还有一个贡献是他们构建的 WikiSQL 数据集，他们的翻译模型就是用这个数据集训练出来的。他们首先从 Wikipedia 采集了HTML表单，这些表单就成为了随机生成的 SQL 查询语句的基础；他们从这些查询生成了对应的问题，然后把问题放到亚马逊 Mechanical Turk 众包平台上让人类把它们改写成自然语言。每个改写后的句子都会被确认两次，而且还安排了单独的人指导这些确认过程。最终构成的 WikiSQL 数据集也是目前所有同类数据集中最大的一个。

随着越来越多的公司开始在不同的环境中进行试验和部署机器学习，展望一下未来的系统是极好的。今天，典型的序列是收集数据，学习一些底层的结构，通过部署一种算法，系统地捕捉到你学过的东西。收集，准备，和丰富正确的数据 — 特别是训练数据 —这是必不可少的，应该说收集反馈数据仍然是想要使用机器学习公司的一大瓶颈。

未来的人工智能系统将依赖于持续学习，而不是离线训练的算法。人类以这种方式学习，人工智能系统也将越来越有能力这样做。想象一下第一次前往一间办公室并且被障碍物绊倒。下一次你再去到那个地方 — 也许只是几分钟以后 — 你很可能就会知道要当心绊倒你的物体。

有许多应用和场景具有相似探索性质的学习。设想一个Agent与环境相互作用的同时，为了完成一些指定的任务，努力学习采取什么样的行动，以及要避免哪些行为。我们已经看到了强化学习（RL）近期的一些应用。在RL中，目标是学习如何将观察和量度映射到一组动作上，同时试图最大化一些长期回馈。（RL这个术语经常用来描述一类问题和一组算法）虽然深度学习获得了更多的媒体关注，但在大家熟知的AI圈子里，有许多有趣的关于RL的新事态发展。研究人员最近将RL应用于游戏，机器人，无人驾驶，对话系统，文本摘要，教育和培训，以及能源利用。

图1.强化学习包括学习将观察和量度映射到行动上。

正如深度学习正在慢慢成为数据科学家工具集的一部分一样，类似的情况也正在持续学习上发生。但是为了让数据科学家参与进来，工具和算法都需要变得更容易被接受。这将需要一套新的工具和算法—不同于过去监督学习的工具和算法。持续学习需要一组工具，这些工具可以运行和分析大量涉及复杂计算图形的仿真模拟，理想情况下，应该有一个很低的延迟响应时间。

图2.持续学习的典型工具集（或者“堆栈”）。来源：Ben Lorica.

加州大学伯克利分校RISE实验室的一个团队最近发布了一个开源的分布式计算框（Ray）,它补充了强化学习所需的其他部分。在像自动驾驶汽车这种复杂的应用中，涉及多种传感器和测量，因此，能够快速并行地探索和模拟运行将具有极大的优势。Ray允许用户运行带有一个Python API的并行模拟，这对于数据科学家来说更易用（Ray本身主要是由C++语言写的）。我在RL文章中写关于Ray的内容，是因为它通常是针对Python用户的容错，分布式计算框架。Ray的创建者使其他人很容易使用Python在Ray上编写和运行自己的算法，包括常规的机器学习模型。

为什么需要一个机器学习库，什么样的算法对持续学习重要？回想一下，在RL中，需要学习如何将观察和量度映射到一组动作上，同时试图最大化一些长期回馈。最近RL的成功案例主要使用基于梯度的深度学习，但是研究人员发现了其它的优化策略，比如推演可能会有所帮助。与监督学习不同，你是从训练数据和客观目标开始，在RL中仅有稀疏的反馈，因此像神经进化的技能，随着经典的梯度学习下降而变得更有竞争力。还有其它相关的算法，可能成为用于持续学习模型标准集合的一部分（例如，最近应用于扑克牌游戏中最低限度减少悔牌的可能性）。Ray的创建者正在收集一个库，这个库实现一组共同的RL算法，它通过一个简单Python API的函数变的更容易使用。

大多数公司仍在学习如何使用和部署标准（离线）的机器学习，所以讨论持续学习可能是不成熟的。开始这场讨论的一个重要原因是，这些技术对于将AI带入到你的组织是必不可少的。与其他任何新的技术和方法一样，其出发点是确定用例，在这种情况下，持续学习可能比现有的离线方法更具有优势。我提供了一些例子，这些例子已经部署了RL或者研究取得了可喜的成果，但是这些例子可能与你的组织运作相去甚远。一组已经使用强盗算法（推荐内容或评估产品）的公司可能很快会确认用例，并且成为早期的用户。用于开发AI教学Agent的技术可能拓展到许多涉及扩张人力的应用领域（包括软件工程）。

许多公司意识到，在大多数情况下，机器学习模型在部署到生产后不久就开始退化。好消息是许多AI初创公司正在他们的产品中构建持续学习。公司可能在不久的将来开始使用RL。

Facebook今天在研究blog上发布了一篇文章，介绍了自己的超大规模图分区优化算法SHP。这是 Facebook 为了处理自己的规模过大的图分区问题开发的方法，而且在大规模优化问题中确实发挥了作用。这项研究的论文也已经被数据库领域著名国际会议 VLDB 2017（Very Large Data Bases）收录。AI 科技评论把这篇介绍文章编译如下。

对Facebook来说，每天它要服务的用户是十亿级别的。为了支持这种规模的访问量，Facebook 需要在许多个不同的层次上设计分布式的负载。Facebook 在全球建立了多个数据中心来提升用户访问的可靠性、容错性，以及改善延迟。不过单个托管服务器的容量和计算资源总是有限的，Facebook 的存储系统需要在多个托管服务器之间共享数据，批量计算任务也需要在上千个工作站形成的集群上运行，以便提升计算规模、加快计算速度。

这些系统的核心是一系列小安排，就是决定如何把请求、数据条目、计算任务等等任务元素分配给数据中心、托管服务器或者工作站等等计算小组中的某一个。能够分配任务的方法有无数种，但是不同的分配方法带来的响应时间和服务质量可谓天差地别。

要考虑的第一个方面就是负载平衡：如果某一个计算小组已经过载了，它就没办法达到原定的响应时间或者服务水平。对于给定的负载分布，总还有进一步优化的潜力，因为很多的事情在同一处做的效果都比分开做的效果更好。比如把两个经常需要同时访问的数据放在同一个存储托管服务器上就能够提升会用到这些数据的查询性能。

平衡图分区（balanced graph partitioning）就提供了一种有用的方法来处理任务背后的工作量分配问题。在这种方法中，图里的节点会被分给多个“bucket”中的一个，代表着计算项目会被平衡地分配给多个计算小组中的一个，整个过程中还持续对任务的某些特征进行优化，比如单个小组内的任务相似性。以前Facebook就在文章中介绍过他们如何用平衡图分区的方法达到了前所未有的系统表现，在他们的新论文「Social Hash Partitioner: A Scalable Distributed Hypergraph Partitioner」中，Facebook 介绍了一种分区二分图的新方法，它能够让扇出（fan-out）最小化。这种新方法在Facebook的许多分布式负载优化任务中都发挥了效果。Facebook 把基于这种方法形成的框架称作 Social Hash Partitioner (SHP)，因为它可以作为之前 Facebook NSDI 2016论文中的 Social Hash 框架的超图分区组件。

以下对 SHP 的亮点作逐一介绍

减少扇出

Facebook 研究员们研究如何减少扇出问题的起源就是分布式数据集中经常出现的碎片化问题。假设有这样一个情况，一个很大的数据集，其中的数据记录分布在许多个数据服务器上。对数据集的一次查询可能会用到好几条数据记录，如果这些数据记录分散在好几个服务器上，那么就需要给这每一个服务器都发送查询才能够应答原来的查询。这样一来，把数据记录分配给不同的服务器的方式就决定了处理一个查询的时候需要发起的新查询的数目；这个数字就被称作这次查询的“扇出 fan-out”。扇出低的查询就可以执行得更快，因为过程中需要与一个较慢的服务器沟通的可能性更低，而且也通过减少沟通计算量的方式降低了整个系统的负载。所以，一种常见的优化目标就是为数据集选择一种数据分配方法，让不同的查询所需要的数据直接存放在同一个地方。

图1就给出了分别用生成的访问请求和真实的请求测试后的系统表现。

图1

在图中，纵坐标t代表了系统的平均延迟。可以看到高扇出的请求承受的延迟也更高。具体来说，40左右就是很高的扇出值了，如果降低到10，这个查询的延迟就可以达到平均值。

碎片化存储问题可以建模为一个二分图分区问题。图2中，数据条目和需要访问它们的查询被表示为二分图中的顶点，然后要把数据分为k个组；分的过程中每个组要分到近似的数据量，而且每个查询需要连接到的不同的组数目的平均值要越小越好。

图2

找到低扇出的分区

找到一个图的优化分区往往是一个很难计算的问题。一种典型的启发式方法是从一些初始的平衡分区开始，在一个迭代过程中对某些顶点的分配做局部小调整，逐渐提高分组的效果。在每轮迭代中，每一个顶点都会估计把自己换到其它分组里面去的偏好，这个称作“收益 gain”。如果新的收益比目前分配方式的收益高，就可以尝试在保持总体负载平衡的情况下把这个顶点移到另一个组里面去。

不过，这个方法用在扇出优化里面的效果很不好，图3中就是一种出现问题的情形，图中标出的V1和V2分别在两个组之中。

图3

每个查询 (q1, q2, q3) 都刚好访问了两个分组，所以平均扇出就是2。但这并不是最优分组，因为如果把顶点3、4和5、6交换位置的话就会把q1和q2查询的扇出降低为1，平均扇出就会降低为1.33。然而，从每一个顶点自己的角度看来，把自己更换到另一个分组里面去并不会有更高的收益，所以需要用到这个节点的扇出就不会得到任何优化。

Facebook 的新研究改善了这种状况，他们把优化目标变得“平滑”：不再假设一个查询需要求出所有所需数据的扇出，而假设它会以一个概率p访问每个数据条目。这样就把每个顶点从分组 i 更换到分组 j 的收益 v 表示为：

图4

其中的 N(v) 是访问 v 的一组查询，n_i(q) 是查询 q 在分组 i 中访问的数据条目数量。采用了这样的收益估计之后，顶点就更容易表现出对含有同类查询的分组的偏好，即便在执行了这样的更换之后也没有降低实际扇出。

这样，论文中的算法就可以表示为如下的形式：

1. 初始化一组平衡的分组（比如随机）

2. 重复如下步骤直到收敛

1. 对于每一个顶点 v

1. 根据以上的方程，找到移动收益最高的分组 j

2. 记录下顶点 v 有想从当前分组 i 移动到新分组 j 的意愿
   

2. 对于每一对分组 i 和 j

1. 找到有从 i 到 j 的意愿的顶点和有从 j 到 i 的意愿的节点，更换它们

优化效果和大规模问题的表现

扇出最小化问题等效于一个平衡超图分区问题。目前就有一些超图分区框架，但是Facebook的图规模太大了，现有框架都处理不了。

Facebook 在 Apache Giraph 构建了他们的解决方案，而且为图的大小和理想的分组数目做了精心的设计：顶点运动的评价可以用分布式的方式完成，而且发生在当前顶点与其它顶点沟通过任务分配之后。同样地，顶点更换的操作也可以用分布式的方法完成，成对的小组 (i,j) 可以分布在不同的托管服务器上，或者用概率选择对更换的决定做近似。在实际应用中，Facebook 的研究人员们发现以分布式方法实现的算法能够处理的图要比其它现有方法能处理的最大的图还要大100倍，同时还无需牺牲优化质量。

图5展现了算法的运行时数据（SHP的两个变体 SHP-2和 SHP-K）并与其它现有的分区框架进行了对比。测试内容包含在三个不同大小的图（边的数目不同，从一千万到五十亿）和不同的分组数目中的表现。在小规模的优化任务中，SHP往往是完成得最快的那个；而对于大规模优化任务，SHP是唯一一个能够在合理的时间内求出一个优化方案的参赛者。

图5

图6展现了SHP和其它框架的优化质量的对比。由于网络真正的最优平均扇出目前并不能确定，所以图中展示的是各个结果高出现有最优算法的百分比。在大规模优化任务中，SHP的效果是最好的；不过在小规模优化任务中，SHP最多可以比现有算法中最好的结果差12%。

图6

结论和拓展阅读

扇出减少模型可以在Facebook的许多基础优化问题中起到作用，比如数据碎片化、查询路由和索引压缩。从 SHP 开发成功之后，Facebook 就经常用它来解决具有十亿节点和万亿条边的图扇出优化问题，内部实验表明在分布式系统上使用 SHP 的数据分配方案可以把 CPU 消耗下降一半之多。这篇论文也被收录在了 VLDB 2017。SHP 也已经作为一个 Giraph 应用开源，可以用在优化任务和教育中。