PKU Geeklab | 北京大学AI+艺术暑期工坊作品展

网友投稿 2019-09-04 13:31

以CMU开源算法库“Openpose”为典型代表。通过深度学习技术,Openpose先将一段人类的舞蹈动作视频转化成人体关键节点的二维坐标表示,再将其转化成三维动作并作为机器 人的动作指令,从而实现人类舞蹈到机器人舞蹈的映射。 分为四组各自有不同情节与风格。

                     组一. 《I?Robot?》

https://cdn.china-scratch.com/timg/190906/13310350R-0.jpghttps://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

“我是谁”

https://cdn.china-scratch.com/timg/190906/13310461M-2.jpg

“第二自然”中的生命形态会是以什么样的方式而存在?当一个机械体或者说一个机械生命以什么样的标志来判定它是不是有智能或者是成为一个生命体,可能有图灵测试或者是其他的很多种办法。

从薛定谔的角度来看,既然人可以通过吃喝、呼吸新陈代谢等方式让自己的能量维持到平衡,有没有可能当机械的生命,当他懂得跟人一样,学习人和自然的新陈代谢的方法,虽然自己是机械结构,但仍然会像所有自然生命一样,从新生到自我意识的产生,从对自我的认知到思考与周围环境的关系,从顺从人类的驯服到对世界的反抗,最后像所有生命体一样,面临能量衰竭,面对死亡。

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

                   组二. 《Yanshee太极》

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

白鹤亮翅

https://cdn.china-scratch.com/timg/190906/1331044416-5.jpghttps://cdn.china-scratch.com/timg/190906/1331053200-6.jpg

我们将古老的太极拳经典动作通过适当改变转化成机器人17个关节可以完成的分段任务。最后通过光线投影的方式创作了极富艺术感的黑白画面视频,将机器人Yanshee拟人化,他起点很低但是不懈努力,战胜了自己与外界的各种磨难。由弱到强,动作由简单到复杂,最终成为大师的故事。

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

           组三.《后摩登时代-魔性的一天》

https://cdn.china-scratch.com/timg/190906/1331061J0-9.jpghttps://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

唤醒自己

https://cdn.china-scratch.com/timg/190906/1331063K7-11.jpg

机器在智能感知、逻辑推理、抽象表达乃至情绪情感方面不断进步,终于有一天,出现了具有人类智慧和情感的智能机器人。它没有成为人类的威胁,而是成为了人类最为得力的助手。

通过利用 YanShee 机器人的硬件接口,我们实现了对机器人的控制。再利用以 Openpose 算法为代表的深度学习技术,通过捕捉视频中人类的舞动动作并经过三维重建,将结果映射为 Yan Shee 机器人的动作指令,从而实现 Yan Shee 机器人对人类舞蹈的模仿。 

在我们的方案中,我们设计了未来人类生活中和智能机器人助手交互的五个场景。并编排了响应的舞蹈动作和音乐背景,最后将其映射为 Yan Shee 机器人的动作指令,从而展现 了“后摩登时代魔性的一天”。

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

            组四.《Trip——机器人起舞之旅》

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

舞者

https://cdn.china-scratch.com/timg/190906/13310V461-15.jpghttps://cdn.china-scratch.com/timg/190906/133109A23-16.jpg

机器人往往给人机械、笨拙的印象,我们的目标是让机器人随人的舞蹈动作翩翩起舞,跳出柔美又有力量的舞蹈。过程中,我们经历了“拍摄舞蹈视频”,“机器学习抽取动作数据”,“控制机器人运动”三个步骤,最终重现出一段生动的机器人舞蹈!    

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

LOOK 2

智能机器人艺术工坊

                        

                           《郁》

https://cdn.china-scratch.com/timg/190906/1331115056-19.jpghttps://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

从鱼而起

https://cdn.china-scratch.com/timg/190906/133112N49-21.jpg

机器鱼的出现引发了艺术组对于环境与自然的深思,技术的加持使展览得以实现。通过对于机器鱼的外形再造,希望可以达到代替观赏鱼的效果,从而解放鱼类被禁锢的命运。也希望通过此次展览能唤起人类对于鱼类生物的重视,了解到鱼类也需要自由,不应为满足人类娱乐等私欲而付出自由的代价。旨在呼吁人与自然和谐共处。 

它摆动尾鳍避开人试图抓它的手,像一个真正的生物那样灵巧,却不是出自鬼斧神工的大自然,而是由人类之手造就。仿佛人类又向造物主进了一步,它的生命律动正通过机械躯体传递。当我们凝视它时,它或许也在用摄像“眼睛”凝视我们。

https://cdn.china-scratch.com/timg/190906/1331125204-22.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

LOOK 3

混合现实艺术工坊

                        组一.《生》

基于ue4引擎与magic leap结合的混合显示效果的设计与实现

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

人的思想可视化

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/1331151337-26.jpg

我们想要通过这个作品尝试通过AR技术,想象模拟人和树之间的沟通,来增进人们对自然的体验。项目主题”生”既是静态的”活着”,提醒我们那些被做成各种工具的树木曾经都是真实的生命存在;生也是动态的“重生“,昭示着万物顽强不息的生命力,纵然人类进入工业时代以来对自然造成了诸多破坏,但我们仍然乐观地相信,只要我们重拾对自然的敬意,这些破坏仍然可以得到修复。

https://cdn.china-scratch.com/Public/Home/images/grey.gif

作品沿着人思想的可视化推进。本项目是一个可交互的增强现实项目,将图像识别技术与立体雕塑相结合,利用对真实物体空间坐标的跟踪定位,达到虚拟信息和真实场景的无缝叠加。

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

                组二.《我们与海的约定》

https://cdn.china-scratch.com/timg/190906/13311a934-29.jpghttps://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

横贯海洋的心流之旅

https://cdn.china-scratch.com/timg/190906/133120C50-31.jpg

这里的约定我们预示着人与自然最初的平衡。但是现状是人类社会越来越以牺牲自然来换取经济利益的发展,过度捕杀、排放污染物质、海洋垃圾越来越多等等。

我们本次的交互意在让人们通过AR的展现形式,让人们对于结果进行反思大自然、海洋是包容的,同时也是一面人类反观自己行为的一面镜子。

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

LOOK 4

数字雕塑交互艺术工坊

                      组一.《触与名》

https://cdn.china-scratch.com/timg/190906/1331221191-34.jpg

https://cdn.china-scratch.com/timg/190906/1331234a2-35.gif

https://cdn.china-scratch.com/timg/190906/13312452O-36.gif

第一件作品《触》探索了内部和外部的关系,创作之初提出了疑问,什么才是触摸的边界?用坚硬的材料和柔软的光影发生形态的链接。光,活动雕塑,互动影像共同组成作品材料,在内外关系的改变中,形态衍生出了非常丰富的情感体验。 

https://cdn.china-scratch.com/timg/190906/1331256015-37.jpg

https://cdn.china-scratch.com/timg/190906/1331252W7-38.gif

第二件作品《名》三角形截取郅敏老师作品《玄武》的部分,模拟作品原本带有的纹样进行3DMapping的投影创作 采用玄武蛇龟的运动形态结合星象变化,无名万物之始,有名万物之母,在三角的稳定态下进行了一系列的自然运动规律的算法与艺术形态探索。 

https://cdn.china-scratch.com/timg/190906/13312A358-39.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

                   组二.《数据的形状》

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

北斗星

https://cdn.china-scratch.com/timg/190906/13312I405-42.jpghttps://cdn.china-scratch.com/timg/190906/13312Q955-43.jpg

这是一次数字雕塑的深入尝试,数字成型(机器)与手工二者差别:人手 无法对称,均衡,不同机器:对称,均衡,相同依托于客观数据为基础,从形体上来说削弱主观的想象,依照数据生成形态,?点、线、面、体。计算机数字成型的原理,因此我们也沿用这个逻辑,选取连点成面,连面成体的方式构思。星座,北斗,天蝎。

河流,采集河流的XYZ三个维度的数据,围绕入海口旋转360度,形成一个类似于盆的容器,然后3D打印呈现出具体的形状。河流本来就是装水的容器,同时也装载很多内容,比如水产品,交通,贸易等等,十分丰富和厚重。人类文明皆是延河流起始,它就像是一个文明的容器。         

星座恒星生命周期中,一度逐渐膨胀,通过次巨星的阶段,直到达到红巨星的状态。其演化必定以三种可能的冷态之一为终结:白矮星,中子星,黑洞。这件作品就是模拟星体膨胀到一定程度边界接触,交叉所形成的形体。通过电脑建模再用3D打印机打印出来。

https://cdn.china-scratch.com/timg/190906/13312W155-44.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

LOOK 5

智能可交互虚拟人工坊

                    组一.《AI》虚拟分身

https://cdn.china-scratch.com/timg/190906/13312U035-46.jpghttps://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

分身“小罗”

https://cdn.china-scratch.com/timg/190906/1331293b3-48.jpg

我们最终发现想做的是一个能让人类自身审视自己、了解自己的虚拟人,其具有艺术与智能结合的特色。也希望一个有自己某些显性特征的虚拟人能引导一个人来正确面对人生,专属于自己的一个自我。通过景深摄像头扫描其中一位同学模型后用maya构建人物。

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

    组二.《该昵称被占用》《此账号已注销》

                     

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

地球某处

https://cdn.china-scratch.com/timg/190906/1331293507-51.jpghttps://cdn.china-scratch.com/timg/190906/1331294060-52.jpg
作品《该昵称已被占用》,表达了一种数字时代虚拟空间中的“人口危机”。事实上,网络空间存在着大量的社交机器人,这些机器人和真人的表现无异,同样会起一个漂亮的网名,写一个精致的自我介绍,也同样会发布看法,发表态度。这些虚拟社交机器人的存在,不禁让我们产生了对网络空间数字个体的真假之疑。我们所面对的,我们所交互的,我们所赞美和唾弃的,究竟是一种什么样的存在?网络世界千人千面但孰真孰假?于是我们使用了人工智能算法,对东亚人特征进行模式提取,之后随机生成了许多三维的东亚人头,这些三维人头面部各异,是网络世界无数虚拟身份的真实写照。      作品《此账号已注销》斯人已去,但一句在社交媒体上的高赞评论,一条曾经被艾特的微博,一首被翻唱的歌曲,这些存在于网络世界中的数字痕迹,却仍然漂泊于数字世界的比特流中,不断被转发、被复制、被移动,在一种动与静的轮回当中,反复生产着新世界的信息。我们对人体模型赋予了布料材质,将其进行了重力环境下的力学解算,任其收缩、下垂、扭曲和坍塌,最终得到这个挂在圆轮上的景象。它将坐落于数字比特的洋流之中,见到它的人,一定会说“看,这又是一个被注销了的数字人”。
https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

LOOK6  未来科技艺术工坊

                  组一.《造物主的沙滩》

https://cdn.china-scratch.com/timg/190906/1331293592-54.jpg

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

创世纪

https://cdn.china-scratch.com/timg/190906/13313035G-56.jpg

人类之所以是人类。并不在于我们和其他生命或机器有什么不同,而在于我们从来就和所有东西就没有什么不同。如果说机器是「0」和「1」编码虚拟出的人类,那么人类也不过是由脱氧核糖核苷酸编码成的蛋白质机器人。如同地方各文化中的神碉,人类成为了当代造物的主轴,一端连接着神性,一端连接着人性;一端连接着自我,另一端连接着我们的造物。

https://cdn.china-scratch.com/timg/190906/1331306062-57.jpg

在造物主的沙滩上,由数字编码的生命和脱氧核糖核酸构建的生命正静静地在生命的海洋中游动着,一切都是那么平静。起源与终结在此处交汇,静静地在缸中流淌。

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

                  组二.《黏菌乐队》

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

有心跳、会呼吸

https://cdn.china-scratch.com/timg/190906/133133K27-61.jpghttps://cdn.china-scratch.com/timg/190906/13313364b-62.jpg

脉动的生物性信号通过arduino转化为电信号,此时的电信号被输出为蜂鸣器的振动频率,也就是电子单音,又将信号传输进chuck,通过编程,将不同频率的声音经过编辑赋予了不同的音效,此时,黏菌控制的音乐输出基本完成。加上交互的动作,通过生物电原理,将盛有水和导线的玻璃球悬于空中,只有观众触摸到玻璃球时,就会发出有节奏的电子音。通过processing的声音可视化编程,转化为可以同步发生变化的抽象动态图像。整个作品,是声、光、机、电多维度的结合。将我们的作品理念:人与生物共存和为微小生物争取话语权,体现的淋漓尽致。

https://cdn.china-scratch.com/timg/190906/1331343316-63.jpg

在展示作品的同时,我们还加入了黏菌的生长视频和用粒子对黏菌生长进行的模拟视频,以及一台用来展现黏菌内部生命活力的显微镜,还有一台3d打印机在打印由黏菌音乐转化而来的三维实体。


https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

                    组三.《机器人葬礼》

https://cdn.china-scratch.com/timg/190906/1331346137-65.jpghttps://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

死亡与永生

https://cdn.china-scratch.com/timg/190906/133135AV-67.jpg

“你本是尘土,仍要归于尘土。”想象了未来时空中,以信息形态存在的人类失去了肉身,而作为死亡象征物的机器尸体获得了普遍性,祭奠死者的仪式也便具有了公共性。

https://cdn.china-scratch.com/timg/190906/13313525Z-68.jpg

使用processing程序语言调用视觉传感器,捕捉观众的实时影像,映射在作为电子墓碑的显示器上。观众凝视作品时,自己的形象便会呈现在电子墓碑上,与装置共同构建未来死亡仪式的场景

https://cdn.china-scratch.com/timg/190906/13313559E-69.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

                     组四.《长乐未央》

                         未来AI与人类命运的反思

https://cdn.china-scratch.com/timg/190906/1331045144-1.jpg

何去何从

https://cdn.china-scratch.com/timg/190906/1331362A5-72.jpghttps://cdn.china-scratch.com/timg/190906/13313K091-73.jpg

“长乐未央”借用影视作品中机器人与人类相杀的画面,结合敲击木鱼这一符号语言,试图表现未来人类存在被机器人所毁灭的可能性。强调了”时间永恒、万物对长乐的追求永恒、机器人世界取代人类世界后仍然使‘长乐’延续“这一核心创作理念。旨在引起人类的反思和对人类的警示。

https://cdn.china-scratch.com/Public/Home/images/grey.gif

https://cdn.china-scratch.com/timg/190906/133104C48-3.jpg

大结局

经过六天的学习、讨论和实践,北大AI+艺术暑期工坊在极客实验室落入尾声。同学们根据兴趣爱好报名,以1+1>2的方式聚合来自不同高校、不同学科人才,发挥学科特长,优势互补组成跨学科创作团队,根据工坊主题自主创作。我们鼓励天马星空、奇思妙想的创作观念与创造力,其宗旨创造美好的“AI+艺术”作品。

工坊花絮

https://cdn.china-scratch.com/timg/190906/1331414605-76.jpghttps://cdn.china-scratch.com/timg/190906/1331413O7-77.jpghttps://cdn.china-scratch.com/timg/190906/1331423E1-78.jpghttps://cdn.china-scratch.com/timg/190906/1331423559-79.jpghttps://cdn.china-scratch.com/timg/190906/13314243A-80.jpghttps://cdn.china-scratch.com/timg/190906/133143E05-81.jpghttps://cdn.china-scratch.com/timg/190906/1331435324-82.jpg

本次工坊指导老师彭锋、田英一、陈宝权、谢广明、许捷、雷鸣、郅敏、高峰、刘燕西、张海涛给予同学们课程支持, 各工坊为了能如期完成作品展览,同学们主动积极加班加点,工作热情甚至午夜。这既是一次旅途的结束,也是一次全新征程的起点。

实验过程

https://cdn.china-scratch.com/timg/190906/133144L42-83.jpghttps://cdn.china-scratch.com/timg/190906/1331444S2-84.jpghttps://cdn.china-scratch.com/timg/190906/1331454617-85.jpghttps://cdn.china-scratch.com/timg/190906/1331453011-86.jpghttps://cdn.china-scratch.com/Public/Home/images/grey.gifhttps://cdn.china-scratch.com/Public/Home/images/grey.gif

作品展览与结课仪式的顺利开幕离不开每位同学的辛勤劳动和探索精神,同学们特别感谢北京大学给大家这样一个相聚的平台,有机会和许许多多有趣又有才的同学们,并肩探索这趟惊奇旅程。在短短的时间里相知相识,共同攻克难关,建立起深厚得友谊!

美好结局

https://cdn.china-scratch.com/Public/Home/images/grey.gifhttps://cdn.china-scratch.com/Public/Home/images/grey.gifhttps://cdn.china-scratch.com/Public/Home/images/grey.gifhttps://cdn.china-scratch.com/Public/Home/images/grey.gifhttps://cdn.china-scratch.com/Public/Home/images/grey.gifhttps://cdn.china-scratch.com/Public/Home/images/grey.gif

光阴似水总是匆匆,快乐的时光尤其恍如过隙。同学们还有太多太多未完的遗憾。那么,不说再见,为着再见。

此地一为别,孤蓬万里征。离别是为了更好地重逢,祝福亲爱的同学们乘风破浪潮头立,扬帆起航正当时!

--end--

声明:本文章由网友投稿作为教育分享用途,如有侵权原作者可通过邮件及时和我们联系删除:freemanzk@qq.com