0tao

研究使用机器学习来增加抽象绘画造型的创造力。在这一系列的工作中，在自动化抽象构图的构思得到了发展。 最初手工绘制了一套256个抽象形状的套装。然后用代码从绘画中提取这些形状，然后随意地将形状与新颜色并置，创造出潜在的抽象构图。使用TensorFlow图像分类（Inception v3）功能训练了我喜欢的抽象作品，对抽象绘画的数十万个想法进行排序和排名。然后手工涂上了优选的评分。完成绘画后，根据未经训练的初始分类命名每件作品，如：泡泡糖 米其林 爆米花。这一系列最初是为了美学和其原创性而创作。 这一系列的绘画是我第一次使用机器学习作为一种技术来策划和分类绘画作品。我用机器学习软件： 从我现有的抽象绘画中提取形状 然后自动创建新的作品 然后创建新的调色板以应用于形状 然后策划哪些我最想要的 该软件已创建了880,000多种组合物。我一直在测试不同的分类过程，同时开发新的绘画处理方法，包括：线性回归，随机森林，决策树，K-Means集群和Google TensorFlow。项目最迷人的方面是对个人主观偏好和抽象构成的深入了解程度。 通过绘画行为记录学习过程也很有趣。绘画被视为一种有价值的资源密集型过程，而软件处理则相对较快。艺术家正在花费宝贵的资源来绘制瞬时算法的结果。 这些画作的标题是基于谷歌未经训练的TensorFlow Inception分类模型。“未经训练”意味着它是从谷歌下载的，并没有接受我的特定任务的培训。未经训练的Tensorflow Inception模型将图像分类为对象，因此软件会提示抽象绘画可能是什么。有趣的是，再看看抽象艺术，并考虑它是如何被视觉解释的代码。

绘画鸡是一款基于人工智能先锋Marvin Minsky 马文·明斯基 和艺术家保罗 · 克利提出的哲学原理的机器人绘画作品。明斯基在他的“心灵社会”一书中提出，我们的思想不是单一的超级智能，而是一系列较小的智能，它们根据需要浮出水面并相互竞争以解决问题。根据明斯基的理论， 绘画鸡 是一支由生成艺术机器人组成的团队。用于创作这幅画的所有美学决策都是由超过20个独立的创作算法制作的，这些算法相互竞争以控制画笔并最终绘制出画面。由于这种竞争，艺术作品的方向事先是未知的，结果波动很大，因为传统的AI和深度学习都尝试了多种风格和方法。为了帮助实验，机器人还遵循了艺术家保罗克利的创作过程概念。 克利将艺术反馈循环描述为艺术家在画布上制作标记的过程，然后在创建下一个标记之前退一步评估标记，一遍又一遍，直到绘画完成。像人类艺术家一样，制作这幅画的机器人一次只画一次。每次笔画都会向后退一步，拍摄并分析这幅画，以决定下一次笔触。经过三天的超过28,000次笔触和多次风格变化，一张逼真的肖像出现了。 learning techniques such as LSTM, pix2pix, pix2pixHD, RNN, Markov Chain, OpenPose and Detectron, as well as tools such as Canny Edge, PIL and SketchUp.

将绘画行为转化为演奏乐器。我训练了一个神经网络来识别我生活涂鸦中出现的形状。在进行一副带有网络摄像头的眼镜时，可以识别触发昆曲录音的形状。表演在一段特定时间内展开，在白布上用木炭条画出的一种轨迹然后擦除，这与机器学习程序在训练和学习的不同时期所经历的重复相呼应。因为每个轨道都在同一个空间中重新绘制，所以随着时间的推移会形成痕迹，并会导致混乱，并且最终会产生熵增。 在开始时绘制的音轨将比在结尾绘制的音轨更清晰，更精确。 机器学习已经在你的日常生活中发挥了重要作用，它的作用只会越来越大。谷歌对亚马逊Alexa的搜索请求可能会涉及到一个隐藏的聪明的算法世界，但这些技术在更大的程度上徘徊：一个自我发展的人工智能世界。 深度学习和进行思考的神经网络正在成为数字技术不可或缺的一部分。通过扩展，人工智能对我们的世界经验产生越来越大的影响，作为一名艺术家，它是一种不容忽视的材料。提升机器学习技术并将其带入绘画。 例如在作品 音画声 中，艺术家自己的水墨画上训练神经网络，这些画作本身都是基于1943年电影白毛女的剧照。然后人工智能制作了训练过的电影版本;基于它认为应该遵循每一帧的图像类型，产生印象派的水墨内核和半遮蔽的面孔。 这篇文章不仅仅是一个技术演示，它还提到了关于叙事和记忆的问题 – 这些问题是如何在我们的脑海中以及机器中形成和错误形成的。 对于作品 音画声 （2016），我与作曲家合作，训练神经网络识别艺术家的生活绘画草图中的形状，然后将这些形状解释为取样于昆曲唱腔中的声音。 作为行为表演的框架，该作品包括我使用木炭在白色表面上制作线条。戴着一个嵌入眼镜中的摄像头，这些眼镜拾取我正在制作的形状，并将它们转换为处理过的人声杂音。 身体的前景，加上木炭的碎片，生命绘画的根源以及隐藏在其中的复杂计算过程，使得 音画声 成为一项特别令人印象深刻的调查，可以将其归类为人类表达。 艺术家审讯机器学习和人工智能有多重要？ 艺术可以做多件事。它可以为学术界或技术之外的人提供一种机器学习方式，特别是围绕它进行一些道德和伦理辩论。如果没有计算机科学界以外的人参与这些想法并对其进行审问，他们就会在泡沫中发展。 艺术也可以提出使用这种技术的新方法。我最近参加了一个会议，那里有很多关于科幻小说如何影响技术的讨论，我认为艺术有可能用机器学习来做同样的事情。最后，对我而言，在我的工作中，机器学习是一种工具，就像水墨或木炭一样。当您选择使用它时，它会执行不同的操作并提供不同的历史记录。它的重要性只会增加。忽略它似乎只是故意。 音画声 背后的最初想法是什么？ 我找出了两年的所有随手画，并扫描了它们。然后我把它们分成网格并使用一种称为t-SNE的东西来对标记进行分组（所有的对角线都在一起，所有的直线都在一起等）来计算出我最常用的标记是什么工作。然后我与作曲家一起思考这些标记听起来是什么样的。 “来自一个方向的线路会产生与来自另一个方向的线路不同的声音” 它不仅仅是关于绘制时线条的声音：绘画行为对于作品来说非常重要。绘图当然既是动词又是名词。它对过程作出反应 – 来自一个方向的线将产生与来自另一个方向的线不同的声音。半圆将开始一个可以平滑移动到整圆的声音。确保组成我通常绘制的形状的复合部分的所有声音在声音上一起工作实际上非常困难。 一旦我们将所有标记分配给声音，我们就会共同创建一个大约需要半小时绘制的分数，这同时是一个表演和一个表示法。因为我知道标记和声音之间的关系，所以我几乎可以用它来演奏爵士乐。 我们努力工作以确保声音 – 歌唱音阶 – 与中等木炭相匹配。女性声音上下起伏，变得更响亮，更安静，能够制作相当强烈的重痕并擦掉它们，感觉合适。声音的短暂质量与ch的短暂性质相匹配

神经科学家多年前发现，召回记忆的过程激活了与创造记忆的行为相同的过程。每当我们记住某些东西时，我们也会积极地重新创造它。物品的痕迹探讨了历史被记住并通过过去的时刻通过人工智能模型重新记住的情况，这些模型是通过德国国家他档案馆的材料进行培训的。  与任何其他方法相反，使用机器学习生成图像会为观看者创建不同的体验，期望，历史，痕迹和上下文。我对这些训练可能采取的形式以及如何看待这些形式发生了兴趣。我在这里使用机器学习作为一个过程，使我能够强调出自“红崖歌女”的核心思想一部基于无声电影的3分钟动画。每个画面仍然是由神经网络创建的，该神经网络已经被我制作的水墨画进行了完整的训练。使用三个单独的神经网络 – 第一个在原始框架的画作上进行训练，第二个在第一个网络的结果上训练绘制，第三个在第二个结果的图像上进行训练。通过控制电影原片，我的绘画和这种技术形式之间产生互惠和反馈，我能够提高和强化电影的原始图案，并释放记忆的逃逸面，以创造一种部分机器的神秘感。 以这种方式工作，我对将机器编程为像人类一样绘画或者制作不被承认起源的图像并不感兴趣 。数字艺术的闪亮之处在于，机器人的质量似乎存在于中性世界的混乱中，然而，我感兴趣的是相反的方法：如何使用冷酷的，无菌的和算法性的媒介来维持和强调人的触觉。通过使用基于原始胶片的手工数据集进行费力的创造，然后通过使用经过特殊修改的算法处理和再现这些数据集，我创建了一个循环和反馈系统，使用和增强机器学习作为工作材料和过程的组成部分。从手绘静止到第一次反馈到其“最终”形式的同步进展最终展现在三个连续的投影屏幕里。

“毛刺神经故障”是我在2017年6月开始探索的一种人工智能辅助创作技术，我通过随机改变，删除或交换训练过的权重来操纵训练有素的生成对抗网络。由于神经架构的复杂结构，以这种方式引入的故障发生在纹理和语义层面上，这导致模型以有趣的方式误解输入数据，其中一些可以被解释为自主创造力的一瞥。这个过程的一个有趣的方面是，在一侧，相同的输入数据可以产生非常不同的结果，这取决于故障，同时由相同的故障模型链转换的不同输入数据将产生连贯的样式并显示相同的语义错误解释。 我在这个过程中使用的生成对抗网络和训练代码借用了像素转换和高清像素转移的基本概念，但是通过我过去几年的研究和实验已经演变成我自己的定制架构，让我能够更好地控制细节并减少典型对抗网络的训练数量 。 所有输出都是从头开始完全生成的，不是对现有照片或绘画进行后处理或过滤（除了从现有材料中收集的面部标记等低维数据）。在我的过程中，我经常将多个GAN链接在一起，这些对抗网络已经过不同目的的训练：一些模型从生物识别面部标记生成面部，其他模型从图像生成面部标记，其他模型是“透射增强”对抗网络，从不完整信息中产生新细节和纹理。这些故障可以在其中一些模型中引入，并且根据它们的位置，在链条后面的模型试图“修复”或“治愈”事故，在这种情况下，他们的错误解释可以创造超现实主义的构成或者称之为“神经现实主义” 。 “毛刺神经故障”是一种通过随机改变，删除或交换训练过的权重来操纵完全训练过的GAN的技术。由于神经架构的复杂结构，以这种方式引入的故障发生在纹理和语义层面上，这导致模型以有趣的方式误解输入数据，其中一些可以被解释为自主创造力的一瞥。 我认为“毛刺神经故障”是一种艺术创作方法，可以从中进一步发展各种不同的系列或独立作品。 1. an AI combines different words together to generate an image of what it thinks those words look like  2. the AI then produces variants of those images by “breeding” it with other images,  creating “child” images  3. another AI shows the artist several “child” images, measuring his…

克里斯蒂行高价人工智能绘画拍卖的丑闻之后，机器作者的问题很快就出现了，很快被媒体和艺术商人所乐道。事实上，机器可能是艺术家甚至可以取代艺术家的想法，就像他们将取代所有其他工作一样，只是太诱人而不讨论：毕竟，制作艺术通常被视为所有人类活动中最人性化的。关于机器是否可以成为艺术家这一问题几乎同样受到欢迎：人工智能将最终告诉我们“是什么让我们成为人类”的想法。从历史角度观察，作者身份问题一直是用电脑创作的艺术的一种颇为流行的诠释。 我们可以说机器作为艺术家的问题与计算机一样古老。在他着名的1950年论文“ 计算机械与智能”中，艾伦·图灵撰写了关于机器创造力的问题： 我认为，机器不能引起意外的观点应归咎于哲学家和数学家特别受制于的谬误。这是一个假设，一旦一个事实被呈现给一个人，这个事实的所有后果都会随之产生。在许多情况下，这是一个非常有用的假设，但很容易忘记它是假的。这样做的一个自然结果是，人们假设仅仅通过数据和一般原则来解决后果是没有道德的。 换句话说，在图灵看来，机器是否具有创造性的问题是基于错误的印象，即创造力与后果的产生无关。在图灵的观点中，并对阿多诺进行了解释，我们可以说艺术家遵循直觉逻辑，这是一个直观的过程，但仍然像任何理性过程一样受到规则约束。因此，机器具有创造性并不是例外，但是规范和“机器可以创造性”的问题源于一个有缺陷的创​​意观念。 正是因为它有缺陷，作者身份问题几乎从未被AI艺术家自己提升。在佳士得的拍卖丑闻中出现的地方，它是人工智能艺术的技术参与及其对开源文化的接受的实用结果：媒体艺术和计算机艺术传统上不是开源代码或数据，因此才没有陷入类似道德问题。