将绘画行为转化为演奏乐器。我训练了一个神经网络来识别我生活涂鸦中出现的形状。在进行一副带有网络摄像头的眼镜时，可以识别触发昆曲录音的形状。表演在一段特定时间内展开，在白布上用木炭条画出的一种轨迹然后擦除，这与机器学习程序在训练和学习的不同时期所经历的重复相呼应。因为每个轨道都在同一个空间中重新绘制，所以随着时间的推移会形成痕迹，并会导致混乱，并且最终会产生熵增。
在开始时绘制的音轨将比在结尾绘制的音轨更清晰，更精确。
机器学习已经在你的日常生活中发挥了重要作用，它的作用只会越来越大。谷歌对亚马逊Alexa的搜索请求可能会涉及到一个隐藏的聪明的算法世界，但这些技术在更大的程度上徘徊：一个自我发展的人工智能世界。
深度学习和进行思考的神经网络正在成为数字技术不可或缺的一部分。通过扩展，人工智能对我们的世界经验产生越来越大的影响，作为一名艺术家，它是一种不容忽视的材料。提升机器学习技术并将其带入绘画。
例如在作品 音画声 中，艺术家自己的水墨画上训练神经网络，这些画作本身都是基于1943年电影白毛女的剧照。然后人工智能制作了训练过的电影版本;基于它认为应该遵循每一帧的图像类型，产生印象派的水墨内核和半遮蔽的面孔。
这篇文章不仅仅是一个技术演示，它还提到了关于叙事和记忆的问题 – 这些问题是如何在我们的脑海中以及机器中形成和错误形成的。
对于作品 音画声 （2016），我与作曲家合作，训练神经网络识别艺术家的生活绘画草图中的形状，然后将这些形状解释为取样于昆曲唱腔中的声音。
作为行为表演的框架，该作品包括我使用木炭在白色表面上制作线条。戴着一个嵌入眼镜中的摄像头，这些眼镜拾取我正在制作的形状，并将它们转换为处理过的人声杂音。
身体的前景，加上木炭的碎片，生命绘画的根源以及隐藏在其中的复杂计算过程，使得 音画声 成为一项特别令人印象深刻的调查，可以将其归类为人类表达。
艺术家审讯机器学习和人工智能有多重要？
艺术可以做多件事。它可以为学术界或技术之外的人提供一种机器学习方式，特别是围绕它进行一些道德和伦理辩论。如果没有计算机科学界以外的人参与这些想法并对其进行审问，他们就会在泡沫中发展。
艺术也可以提出使用这种技术的新方法。我最近参加了一个会议，那里有很多关于科幻小说如何影响技术的讨论，我认为艺术有可能用机器学习来做同样的事情。最后，对我而言，在我的工作中，机器学习是一种工具，就像水墨或木炭一样。当您选择使用它时，它会执行不同的操作并提供不同的历史记录。它的重要性只会增加。忽略它似乎只是故意。
音画声 背后的最初想法是什么？
我找出了两年的所有随手画，并扫描了它们。然后我把它们分成网格并使用一种称为t-SNE的东西来对标记进行分组（所有的对角线都在一起，所有的直线都在一起等）来计算出我最常用的标记是什么工作。然后我与作曲家一起思考这些标记听起来是什么样的。
“来自一个方向的线路会产生与来自另一个方向的线路不同的声音”
它不仅仅是关于绘制时线条的声音：绘画行为对于作品来说非常重要。绘图当然既是动词又是名词。它对过程作出反应 – 来自一个方向的线将产生与来自另一个方向的线不同的声音。半圆将开始一个可以平滑移动到整圆的声音。确保组成我通常绘制的形状的复合部分的所有声音在声音上一起工作实际上非常困难。
一旦我们将所有标记分配给声音，我们就会共同创建一个大约需要半小时绘制的分数，这同时是一个表演和一个表示法。因为我知道标记和声音之间的关系，所以我几乎可以用它来演奏爵士乐。
我们努力工作以确保声音 – 歌唱音阶 – 与中等木炭相匹配。女性声音上下起伏，变得更响亮，更安静，能够制作相当强烈的重痕并擦掉它们，感觉合适。声音的短暂质量与ch的短暂性质相匹配