迷你特工队,念念不忘,陌陌-班级公共讯息发布-有爱的集体-重创美好明天

频道:趣闻中心 日期: 浏览:240

作者:思源、李亚洲

最近,南京大学周志华教授、俞扬教授、钱超博士出书了一本名为「演化学习:理论与算法发展」的专著。在这本书中,总结了作者在这个主题上近二十年的研讨成果,并从理论到算法概述了它对现在机器学习研讨的含义。

现在,该书已在 Springer 官网正式上线,且开放了本书榜首章的拜访,为期一个月。

书本地址:https://www.springer.com/cn/book/9789811359552

书本简介

本世纪初,本书榜首作者周志华与其合作者展开了「选择性集成」的研讨,经过从一批练习好的神经网络中选择一个子集进行结合,泛化功能乃至优于结合一切神经网络。该工作中引入了一种名为遗传算法的演化算法(Evolutionary Algorithm, EA)。

周志华以为,演化算法作为一种强壮的非经典优化办法,可能对许多机器学习使命都有用。但那时候,演化算法基本上都仍是纯启示式的,理论气氛稠密的机器学习社区并不喜爱这一类办法。周志华信任演化算法在运用中奥秘成功的背面必有理论解说,并决议开端研讨。周志华的学生俞扬、钱超也相继投入该范畴的研讨,这一研讨便是十几二十年。

最开端研讨演化算法时,作者们遇到了许多困难。正如俞扬所说:「从 2005 年硕士入学开端,抱着演化算法理论这个硬骨头就开端啃。这个范畴真是四处不巴结,让我深入体会了什么叫冷板凳。即使是在演化核算范畴里,关于搞运用的来说,理论太滞后,没有辅导含义,乃至重视理论发展的人都很少。而放在整个人工智能范畴里,更是困难,其时演化核算就现已是在尖端会议上冷下去的话题了。」

经过周志华等研讨者的共同尽力,现在演化学习现已不再是彻底短少理论支撑的「形而上学」,其要害成分上现已有了理论成果,而且对算法规划能够给出必定的辅导,使得演化学习成为一个有理论基础的研讨范畴。总而言之,这本书大部分内容都是三位作者在曩昔近二十年里取得的研讨成果,值得一读。

内容概要

机器学习之所以称之为「学习」,很大程度在于模型会经过最优化办法逐步「学习」一些新知识。但现在干流模型常常要求方针函数是接连、可微的,否则的话梯度下降办法难以有用。这是一个很强的要求,甭说可微的方针函数,在一些机器学习使命中乃至都难以界说清晰的方针函数。

这时就能够考虑运用无需清晰给出方针函数方法的演化学习技能。而演化算法确真实许多运用中发生了令人冷艳的成果。不过因为演化算法的「启示式气氛」过分稠密,许多成果都是经验性的,短少理论支撑。最近许多研讨者都在尽力处理这个问题,而这本书则介绍了这方面的一系列探究与研讨工作。

本书包含四部分内容:

作者们期望第二部分的通用理论东西能够协助到有爱好探究演化学习理论基础的读者;期望第三部分的理论成果能够加深读者对演化学习进程行为的了解,而且供给一些关于算法规划的见地;此外,作者们还期望第四部分的算法能够有用地用于机器学习实践运用中。

作者简介

本文作者首要有三位:

周志华,现任南京大学人工智能学院院长,南京大学核算机科学与技能系主任、南京大学核算机软件新技能国家重点试验室常务副主任、机器学习与数据发掘研讨所 (LAMDA) 所长,校学术委员会委员。周志华是 ACM、AAAI、AAAS、IEEE 和 IAPR Fellow,首要从事人工智能、机器学习、数据发掘等范畴的研讨工作。

俞扬,博士,南京大学教授,博士生导师。首要研讨范畴为人工智能、机器学习、强化学习。2011 年 8 月参加南京大学核算机科学与技能系、机器学习与数据发掘研讨所(LAMDA)从事教育与科研工作。俞扬取得了 4 项世界论文奖赏和 2 项世界算法比赛冠军,当选 2018 年 IEEE Intelligent Systems 杂志评选的「世界人工智能 10 大新星」,获 2018 亚太数据发掘「青年成就奖」,受邀在 IJCAI'18 作关于强化学习的「青年亮点」陈述。

钱超,南京大学,博士。首要研讨方向为演化核算与机器学习。以榜首作者在 AIJ、TEvC、ECJ、Algorithmica、NIPS、IJCAI、AAAI 等世界一流期刊和会议上宣布二十余篇论文。获 ACM GECCO'11 最佳理论论文奖、IDEAL'16 最佳论文奖,担任 IEEE 核算智能学会 Task Force on Theoretical Foundations of Bio-inspired Computation 主席,当选中国科协「青年人才托举工程」。

什么是演化学习

关于大部分读者而言,机器学习和梯度下降现已是老朋友了,但演化学习却相对生疏。咱们能够将各种机器学习算法总结为三大首要模块,即如下所示的模型表征、模型优化和模型评价。

原书图 1.1:典型机器学习进程的三大组成模块。

咱们很简单了解,ML 需求支撑向量机、神经网络或决策树等算法构建模型空间,然后在练习数据上运用学习算法找更好的处理方案。当然,在找最优模型的进程中,模型评价会将模型的好坏直接反馈给学习算法,然后辅导学习的持续进行。

那么 EA 在机器学习中处于什么方位呢?依照维基百科的描绘:「演化算法启示自生物的演化机制,模仿繁殖、骤变、遗传重组、天然选择等演化进程,然后对最优化问题的候选解做演化核算。」所以,演化算法对应于上图的学习算法,它是一种模仿天然演化的「学习进程」。

所以演化学习究竟是怎样进行的,它会不会也有这样一个全体结构?后边咱们将介绍该书榜首章描绘的演化学习。

演化学习的首要流程

演化算法(EA)是一大类启示式的随机优化算法,它遭到了天然演化的许多启示。一般 EA 会考虑两个要害因素来模仿天然进程,即变异繁殖(variational reproduction)和择优选择(superior selection)。虽然演化算法有许多不同的完结,例如遗传算法(GA)、遗传规划(GP)和进化战略(ES),但典型的 EA 首要能笼统为以下四个过程:

1. 生成一组初始解(称为种群/Population);

2. 根据现有的种群繁殖一些新的解(solution);

3. 移除种群中相对差的解;

4. 回来第二步并重复运转,直到遇到了中止规范。

这四步能够构成演化算法的首要流程:

原书图 1.2:演化算法的一般结构。

演化算法实例

在运用 EA 处理最优化问题之前,咱们需求决议怎么表明解(solution)。例如,假如问题是从基准会集选择一个子集,那么一个解能够天然地表明为一个布尔值(0 或 1)向量。如下图 1.3 所示,{v1, v2, . . . , v8} 的子集能天然地表明为长度为 8 的布尔值向量。其间第 i 个元素为 1 意味着选择了 v_i,因而 {v1, v3, v4, v5} 能表明为 (1, 0, 1, 1, 1, 0, 0, 0)。

原书图 1.3:表明解的一个事例。

根据解的表征办法,EA 经过图 1.2 所示的循环就开端了演化。在循环演化进程中,EA 会保留解的整个种群,并经过迭代繁殖新的子孙解而不停地更新种群。骤变与重组(或称为穿插)是繁殖的两种常见操作办法。骤变(Mutation)会随机修正一个解以生成新的解。

如下,图 1.4 展现了布尔值向量所发生的单个元素骤变,即随机选择一个元素,并将其修正为另一个布尔值。

原书图 1.4:布尔值向量解上的单比特变异。算法首先会随机选择 Parent 解上的一个方位,然后改动该方位的布尔值,并生成子孙解。

重组会混合 2 个或多个解以生成新的解。下图 1.5 展现了两个布尔值向量所完结的单点重组,即随机选择一个方位,然后交流该方位后边的值。

原书图 1.5:两个布尔值向量上的单点重组。算法随机选择两个 Parent 解的某个相同方位,并交流该方位后边的值而生成两个子孙解。

新生成子孙解之后,咱们需求运用习惯度函数(fitness function)衡量它们的好坏。假如咱们运用某些选择机制,从老种群的解、新生成的子孙解中择优选择,那么就能构建新的种群。当满意中止规范时,演化周期就完毕了。现在有一些中止原则,例如是否有满意预界说质量的解、核算资源的预算上限(例如运转时刻)、或解不会跟着迭代的进行持续提高。

从整个迭代进程中能够看到,EA 在求解最优化问题时,它只需求以某种办法表明解,并能够对解的好坏进行评价,然后能够查找更好的解。因而,EA 在没有梯度信息、乃至在没有清晰方针函数时都能运用,它只需求存在某种办法能经过试验或模仿评价解的好坏就行。因而,EA 被视为一种通用的最优化算法,咱们乃至能以「黑盒」的方法处理某个最优化问题。

因为通用特点,许多研讨者现已运用 EA 来处理机器学习中的杂乱最优化问题。例如,EA 能够用来最优化神经网络,包含衔接权重、架构和学习规矩。这种演化的人工神经网络模型能完结非常好的功能,乃至能比美手动规划的模型。但是,虽然演化学习现已取得了许多成功,但它短少坚实的理论基础,也很难遭到机器学习社区的广泛认同,本书介绍了作者们为此作出的尽力。

附全书目录

本文为机器之心报导,转载请联络本大众号取得授权。

声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。