巴赫旧约歌词谷歌首个AI版Doodle:向伟大作曲家巴赫致敬

2019-06-14

字体:

大中小

浏览:

文章简介：尽管无序NADE学习一组排序,但相关的采样过程仍然根据单个排序进行有效的采样.Uria等人提出统一选择一个排序,然后根据这个排序依次生成变量.作曲仍然是在一个单一的过程中完成的,没有经过任何迭代的改进.巴赫旧约歌词谷歌首个AI版Doodle:向伟大作曲家巴赫致敬在一个单一的过程中作曲难在哪里?假设从一张白纸开始,我们必须写下第一个音符,而且知道之后不能改动.这是一个艰难的决定:我们必须考虑未来所有的可能,这个音符必须是正确的.接下来,有了更多的音符之后,我们就能参考前后的音符做出决定.那么,如

尽管无序NADE学习一组排序,但相关的采样过程仍然根据单个排序进行有效的采样。Uria等人提出统一选择一个排序,然后根据这个排序依次生成变量。作曲仍然是在一个单一的过程中完成的,没有经过任何迭代的改进。

在一个单一的过程中作曲难在哪里?假设从一张白纸开始,我们必须写下第一个音符,而且知道之后不能改动。这是一个艰难的决定:我们必须考虑未来所有的可能,这个音符必须是正确的。接下来,有了更多的音符之后,我们就能参考前后的音符做出决定。那么,如果我们不必从无到有地进行作曲呢?如果我们从一开始就有一些音符作参考呢?

事实证明,我们可以通过吉布斯采样做到这一点!吉布斯采样是通过反复对单个变量重新采样,从联合分布中抽取样本的过程。可以用它来比喻反复修改乐谱的过程。在每一步中,抹去乐谱的某些部分并让模型重写。这样的话,模型一直都会有参考材料。尽管参考材料本身可能不断变动,也可能在之后的迭代中被重写。这没关系,因为模型当前的决策也不是一成不变的。渐渐地,乐谱就成了一首和谐的曲子。

更确切地说,这个过程可以叫做分块吉布斯采样,因为每次重新采样的不止一个变量。如果把概率分布想象成一幅风景画,可以看到处在合适位置的山峰被位置不当的巨大山谷隔开。大规模重新采样有助于通过较大的跳跃来探索可能性空间,而一次重采样一个变量往往会停留在附近的峰值上。因此,我们退火块大小:我们开始重写大部分的乐谱,以探索这个空间,然后逐渐重写得越来越少,以确定一个合理的乐谱。