清华大学未来实验室高峰：“道子智能绘画系统”背后的科学、艺术融合之路 | ccf-亚博电竞网
雷锋网按：2018 全球人工智能与机器人峰会（ccf-gair）在深圳召开，峰会由中国计算机学会（ccf）主办，雷锋网、香港中文大学（深圳）承办，得到了宝安区政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流盛会，旨在打造国内人工智能领域最具实力的跨界交流合作平台。
雷锋网ccf-gair 2018 延续前两届的“顶尖”阵容，提供 1 个主会场和 11 个专场（仿生机器人专场，机器人行业应用专场，计算机视觉专场，智能安全专场，金融科技专场，智能驾驶专场，nlp 专场，ai 专场，ai 芯片专场，iot 专场，投资人专场）的丰富平台，意欲给三界参会者从产学研多个维度，呈现出更富前瞻性与落地性相结合的会议内容与现场体验。
大会最后一天的ai 专场汇聚了美国德州农工大学数据挖掘实验室主任、计算机学院终身教职系列助理教授胡侠，永辉云计算联合创始人兼cto胡鲁辉，乂学教育首席科学家崔炜，中兴力维首席技术官曹友盛，清华大学未来实验室博士后、博云视觉联合创始人高峰等重量级嘉宾。他们分别就各自在零售、教育、安防、艺术等领域的人工智能探索与实践做了精彩分享。
其中，高峰作为最后一位演讲嘉宾压轴登场，分享了对于“科学与艺术跨界融合”的独到见解。他从机器人erica和达芬奇的蒙娜丽莎说起，一路娓娓道来。
高峰认为，科学和艺术不仅可以而且很有必要相通与交融，并对这一理念进行积极实践，开发出了“道子智能绘画系统”。“道子”学习大量国画名家的作品后，可以创作出极具风格的国画作品。
为了比较这套系统在中国画风格迁移与市面上其他主流风格迁移模型的效果水平，高峰所在的团队还专门邀请了近百位专业画家和评论家进行主观评价实验，最终证明“道子”系统确实比其他现有模型表现更好。这一研究成果成功被国际多媒体领域顶级会议acm multimeda 2018所录用发表。
不过高峰也表示，ai无法取代人类的艺术创作，而且目的也不是取代人类艺术家，因为人类的艺术创作是文明中不可缺少的重要组成部分。机器创作的艺术也许属于机器的文明，人类创作的艺术才属于人类文明。
他介绍，未来他希望“道子”能逐步建立属于自己的情感和记忆机制，更有真性情。目前道子创作的艺术主要还是给人类看的，希望以后它可以不必顾及人类的感受，创作更不受限制，发挥自己的想象力创造出给机器看的艺术，从而创造属于机器自己的文明和艺术。
以下是他的全部演讲内容，雷锋网做了不改变原意的整理与编辑：
大家好，我是清华大学未来实验室的博士后高峰，今天和大家分享一下关于人工智能与艺术的跨界探索与思考。我的报告题目是“科学与艺术的跨界融合”。
首先，科学与艺术可以互相融合吗？是水火不容？还是水乳交融？我们都知道，在考大学的时候，通常一个学生要么选理科要么选文科，或者干脆就是当艺术生参加艺考，这给我们一种错误的印象，就是科学和艺术是两个相互孤立的不相关领域。
考上大学之后，学理科的人会突然发现一件很郁闷的事，就是很难找到女朋友，自己也不够浪漫，不够多才多艺，所以就特别羡慕学艺术的男生，然而他们却不知道，其实学艺术的更羡慕你们能找到工作。于是最终文理科之间形成了一种互相羡慕嫉妒恨的不友好鄙视链。
其实，从有人类文明那天起科学和艺术就从未分离过，物理学家李政道认为：“艺术和科学的共同基础是人类的创造力，它们追求的目标都是真理的普遍性。”画家吴冠中认为“科学探索宇宙之奥秘，艺术探索感情之奥秘，奥秘与奥秘间隐有通途。”
左边这是日本科学家做的机器人erica，右边这是意大利文艺复兴时期艺术家达芬奇画的年轻版蒙娜丽莎，它们一个是科学的产物一个是艺术的产物，但却似乎有着某种奇妙的相似之处，或许是她们微笑的方式，或许是它们都在探索真理。
有趣的是右边这幅画的作者达芬奇本身也是一名杰出的科学家，下面这个是他设计的一些科学手稿，而左边这个erica机器人的作者黑石浩也经常受邀一些艺术展览，他本人也很奇怪，觉得自己明明是科学家，为什么这多艺术方面的展览邀请他，其实他做的这些机器人本来就已经是艺术了。下面这张获奖的摄影作品拍的也是这个erica机器人。所以科学与艺术是可以跨界互融的。
并且有人统计过，在近百年诺贝尔奖中，有41%的获奖者属于交叉学科。尤其在20世纪最后25年，95项自然科学奖中，交叉学科领域有45项，占获奖总数的47.4%，也就是将近一半。所以说科学与艺术是可以并且很有必要相通与交融的。
本着交叉跨学科创造价值的初衷，在2017年12月，清华大学校长邱勇成立了未来实验室，由我的合作导师徐迎庆教授担任实验室主任，我是未来实验室第一个博士后，未来实验室本着不断创新、探索未来领域，突破学科壁垒的使命感，深入展开跨学科交叉研究与学术交流，产生引领性原始创新重大研究成果，推动学科建设和发展。我们的主要研究方向包括：未来智造、未来教育与医疗、未来人机物融合、未来人居、和未来材料。所以我的目标就是模糊掉科学与艺术之间的界限。
下面我介绍一下我这五年来做的一个人工智能绘画系统，之前该系统一直没有一个贴切的名字，最近想出来他叫“道子”似乎比较合适，就是我国唐代著名画家，被誉为中国画圣的“吴道子”名字中的道子。所以全称就是“道子智能绘画系统”。相信大家都很好奇它的绘画水平如何，到底能画成什么鬼样子，下面一起来欣赏一下它创作的中国画作品。
这是道子在学习了数百张徐悲鸿画的马和真实马的照片后，画出的马的绘画图像作品。我们可以看出这已经完全不是某些手机风格化滤镜所能够达到的专业水准和程度了，它不但学习到了徐悲鸿对于马蹄子、尾巴、鬃毛等地方的艺术化水墨处理习惯，还保留了真实马的姿态内容，可以说是真的很智能了。学计算机的同行可能知道，在计算机图像领域，风格迁移技术是一个经典问题，做油画、卡通风格迁移的多，而做中国水墨画风格迁移的很少，因为中国水墨画的变形比较大，难度比较高，但是中国画是我们民族传统文化资源的重要组成部分，是我们的国宝，我觉得值得在人工智能时代用技术去继承和发展。道子的这些人工智能绘画是中国传统文化资源在当下时代的创新探索。试图体现笔墨在当下的时代性全新演绎。
这里展示的是大概的原理，最左边是一张马的照片，最右边是一张徐悲鸿画的马，中间是道子系统生成的绘画图像。以马蹄部分为例，道子确实学习到了徐悲鸿的艺术变形习惯，虽然照片上的马蹄是一团黑，但生成的绘画上马蹄却用了留白和墨线勾轮廓的技法，能做到这一点我也很惊讶。另外马的鬃毛部分也和输入照片有了很大不同，按照徐悲鸿的风格习惯对于鬃毛的长度和飘逸程度都做了艺术夸张的表现手法。总体来说确实将徐悲鸿的一些风格很好地学习到了。并成功运用到了绘画创作中。
所以道子的价值主要体现在它是中国传统文化资源（也就是中国画）在当下人工智能时代的创新探索，通过计算机科学与绘画艺术的跨界，开拓了人与机器共同创作艺术的新模式，提高民族文化自信心，促进中国文化向世界输出，推动文化产业的良性发展。
当然，也许大家心里还是会觉得，这和手机里某风格化滤镜还是没啥本质区别。实际上还是有一些的，因为我们专注于研究传统中国画中的风格技法和审美方式，对留白、笔墨、线条等三方面做了专门的深入优化设计，使得我们的道子系统更懂中国画。为了比较我们这套系统在中国画风格迁移与市面上其他主流风格迁移模型的效果水平，我们专门邀请了近百位专业画家和评论家进行主观评价实验，最终我们的道子系统确实比其他现有的更好，这部分的研究成果也成功被国际多媒体领域顶级会议acm multimeda 2018所录用发表。当然话说回来，手机里的艺术风格化软件或滤镜也很好，比如美图秀秀、prisma什么的，我自己也很喜欢使用，如果在座有来自这些或其他软件应用的同事们，也欢迎找我洽谈合作，把道子工程化后嵌入你们的软件里。
这是道子在学习了数百张山水画家黄宾虹作品后，根据风景照片创作的绘画图像。我们可以看到，房子、山、以及远山处理的都比较有点意思。说实话，这要是给我这张照片，让我按照黄宾虹的画法画的话，我也确实画得不会比这个更好。
很多人问我为什么要创造道子人工智能绘画系统，故事要追溯到5年以前，虽然我从小到大都是学理科的，也得过英国高级数学竞赛金奖，从本科到博士都读的是纯计算机科学专业，但我从三岁开始就用几乎所有的业余时间画画，所以我的绘画水平在专业画家里也不算弱，这是我2013年画的古典写实油画，除了西方古典写实油画以外，我还画中国传统工笔画。
这是我画的中国工笔画。所以周围的朋友们每当追女友、结婚或是搬新家的时候，都习惯性地找我，想让我给他们画画，重点是还不想给钱，这一点让我也很烦，于是我就想能不能让人工智能学会我的画风来替我免费画画？
于是就有了道子这个人工智能绘画系统。后来越做越深入，越做越着迷，也渐渐发现这件事不但能让更多人了解中国传统绘画文化，提高文化自信心，还能够促进中国文化向世界输出，推动文化产业的良性发展。力求打造一个最懂中国画的ai系统，探索中国传统文化资源在当下人工智能时代的创新可能性。
道子系统是从我们在实验室养活河虾开始的，这个交叉领域的特定任务的基准数据集较少，缺乏优质数据集平台，于是我们决定亲自构建数据集和采集图像数据。为了采集到鲜活生动的河虾自然图像，我设计建造一个专门的小型水族箱图像采集环境，可以拍摄到没有阴影的特定角度的活虾照片。这是一些设计图纸，这是最终建造的图像采集环境。最终我们采集到了一些很高质量的齐白石画的这种虾的自然图像。还有泰国斗鱼的自然图像。然后我们又找到了160张齐白石画的虾，还有1905张齐白石其他绘画图像。
基于这些数据设计了一个神经网络，能够将一幅画的内容与风格剥离开，从而进行自然图像到艺术图像的风格迁移。后来我们又训练了徐悲鸿的马和黄宾虹的山水画等不同的风格模型。
风格迁移技术一直是计算机科学图像领域的一个经典问题，基于纹理转换、cnn、gan等技术理论的模型有很多很多，而我们这个主要是专注于中国画的风格研究，包括我们对留白、笔墨、线条等三方面做了专门的优化，使得我们的道子系统更懂中国画。道子大概的原理是将一幅绘画图像的风格与内容剥离成两个独立元素，进行量化。以画一幅虾的水墨画为例，未经艺术处理的虾的自然图像（虾的照片）可以看作是“内容”，而画家的个人风格习惯或者说艺术处理方法可以看作是“风格”，由内容加风格最终产生了根据虾的自然图像艺术风格化之后的水墨画虾。当内容与风格相互剥离之后，我们就可以把任何已知画家的风格赋予一幅自然照片，使之在保留照片内容的基础上生成具有该画家风格的艺术图像。
有几个关键的代表性事件，道子系统开始于2013年，大约在2014年时候道子成为了北京大学艺术长廊项目的绘画讲解员，前来参观北京大学艺术长廊的观众可以通过下载我们的app，对展出的绘画以图搜图进行扩展阅读了解更多信息。
之后2016年开始，道子系统正式上岗中国美术家协会，为美协举办的所有全国性比赛进行查重及亚博电竞网的版权保护工作。在此之前，中国美协长期受到一稿多投的困扰，苦于没有有效的监管手段，很多绘画参赛者反复画同一幅画或稍加篡改后投稿，屡次违规入选或得奖，违背了比赛鼓励创新的初衷和比赛规则，但却靠人力很难甄别，自从道子系统上岗以来有效解决了该问题。到了2017年，我们的论文被国际多媒体领域顶级会议acm multimedia 2017录用并作口头报告，2018年我们的最新成果再一次在acm multimedia 2018录用，连续两年在这方面国际领先。
前不久我们的道子系统还为意大利前总理伦奇画了像，由我亲自赠送，得到了伦奇的欣赏并且赞不绝口。
很多专业画家得知了道子系统以后，都很焦虑，问我是不是想用人工智能取代人类画家。其实不是的，人类画家与道子之间目前是共同创作艺术的关系，其中人类画家主要负责取材和构图，而道子负责艺术风格化。在没有道子之前这三个步骤通常都是由人类画家完成，而现在有了道子的辅助，人类画家可以开拓想象力、创造力，共同创作出更满意和有创新性的艺术作品。
随着人工智能的发展，越来越多声称可以创作艺术的ai系统，但它们无法取代人类的艺术创作，而且目的也不是取代人类艺术家，因为人类的艺术创作是文明中不可缺少的重要组成部分，机器创作的艺术也许属于机器的文明，而我们人类创作的艺术才属于人类文明。
未来，我希望道子逐步建立属于自己的情感和记忆机制，让它更有真性情。另外目前道子创作的艺术主要还是给人类看的，我希望以后它可以不必顾及人类的感受，创作更不受限制，发挥自己的想象力创造出给机器看的艺术，从而创造属于机器自己的文明和艺术。
最后，向大家展示一幅我和道子共同创作的人工智能艺术作品，它的名字叫做《人工智能技术挽救了一场人间悲剧》，这是一个发生在真实中的故事，我的创业公司博云视觉参与的青岛公安的智能安防项目中，2018年1月21日下午5点，青岛某公安分局接到报警电话，有一位母亲在广场上专心玩手机的时候孩子丢了，人工智能安防平台立刻调取了事发地点周边摄像头视频，对报警时间前后时段视频进行图像搜索，发现这个丢了的孩子是被一个有犯罪前科的男子拐走上了一辆黑色轿车，随后对此黑色轿车进行目标追踪，发现停在一家旅馆楼下，立刻部署警力在该旅馆将此嫌疑人抓获，救出被拐儿童。挽救了一个差点破碎的家庭，避免了一场人间悲剧的发生。这整个过程由于人工智能技术的辅助，从报案到抓捕在一小时内完成，如果嫌疑人逃离市区，就很难追踪抓捕了。我们在这个案件破获中使用到的图像搜索和目标追踪技术和我们做的风格迁移用到的神经网络非常接近，所以说人工智能技术在很多场景中都可以得到应用，我把这个破案的场景用人工智能技术做成了一幅绘画作品，原汁原味地表达了当下人工智能技术与人类社会的关系，人工智能技术虽然不像我们想象的那么全能，甚至有些时候像个白痴一样毫无智能，但在某些时候它确实挽救了一些人间悲剧的发生。
我们团队的主要骨干大概有二十多人，包含计算机科学家、艺术家、工程师、艺术理论研究者等等。除了我以外还有北京大学的段凌宇教授、王亦洲教授、清华大学的徐迎庆教授，他们都是计算机视觉领域的权威专家。另外还有北京大学的周辰博士、麻岱迁、何斌、楼燚航、白燕、刘之博、苏嘉俊、王一同、王秋斯，他们是优秀的计算机算法研究者，主要负责算法开发迭代工作；还有来自中国传媒大学的郭子淳博士，他是优秀的导演和艺术哲学研究者，主要负责ai艺术理论的梳理与研究；还有来自我的创业公司“博云视觉”的冯栋博士、陈杰博士、张永祥、梁良、冯阳、侯箫，他们是优秀的软件工程师，负责系统软件的开发实现。以及来自天津美术学院的新锐工笔画家郭泉、中国美术学院的魏倩颖，主要负责绘画相关数据的标注与整理。
以上是我的全部分享，谢谢大家。
