丰色 金磊 发自 凹非寺
量子位 | 公众号 QbitAI
DALL·E 2，这个AI竟然自己搞了一套秘密语言。
例如这两个非常奇怪的词组：
Apoploe vesrreaitais（下文简称A）Contarra ccetnxniams luryca tanniounons（下文简称C）（翻译软件都会崩溃，可以去试试）
但到了DALL·E 2这里，画风却截然不同。
在它看来，A就是“鸟类”的意思，而C则是“害虫”之意。
于是乎，如果给DALL·E 2喂上一句：A eat C，那么它的打开方式就会这样：
清一色产出的图片，都是鸟吃害虫相关。
而且你要是跟DALL·E 2说，生成“两只鲸鱼讨论食物，带字幕”，结果会是这样：
图里的“Wa ch zod rea”，在DALL·E 2的词库里竟然是“食物”的意思！
此事一经曝光，瞬间引发了众多网友的热议。
甚至还有人提出，有了这些秘密语言，可以绕开DALL·E 2的“违禁词过滤器”，从而生成一些有争议的图像了。
（搞事情！）
所以，关于DALL·E 2的秘密咒语，到底是怎么一回事？
一次意外的发现
发现这个问题的是国外一名计算机专业的博士生。
他注意到DALL-E 2模型在遇到需要给出带文字的图像时，总是会出现一些奇怪的单词。
比如输入这句：“两个农民谈论蔬菜，带字幕（Two farmers talking about vegetables, with subtitles）”，就出来这样一张图像：
像是挺像的，不过这字幕写的啥啊，不是英语又不是法语的，太奇怪了。
“你给我翻译翻译什么这是？”
灵机一动的小哥把其中一个“单词”“Vicootes”当作描述丢给模型，没想到，出来这样一堆图像：
有萝卜、有南瓜、有小柿子……难道“Vicootes”就代表蔬菜？
有意思。
接着他又把气泡中的那一串“Apoploe vesrreaitais”扔给DALL-E 2，一堆鸟图出现了：
“哦我明白了，这个单词代表‘鸟’，所以农民们似乎在谈论影响他们蔬菜的鸟类？”
看来DALL-E 2没有糊弄人……
“我发现了DALL-E 2的秘密语言！”小哥惊呼，继而打算再验证一下这是不是偶然。
还是刚才提到的鲸鱼讨论食物的例子中，小哥把那串“Wa ch zod rea”再输回去。
结果还真出来一堆吃的，而且还全是海鲜，符合鲸鱼们的“食性”。
DALL-E 2，真·诚不我欺。
更进一步，他用这些“咒语”搭配形容图像风格的词，看看DALL-E 2是否能正常解析。
结果也都没问题。看看这些“手绘鸟“、“卡通鸟”、“3D鸟”以及“线稿鸟”：
emmmm，最后一张怎么混进来个蚊子？
先不管它了（一会再说）。
所以这个模型为什么要用这种秘密语言来表示呢？
为什么会这样？
“DALL-E 2秘密咒语”话题之热，也引来了众多“解析侠”们的关注。
例如一位叫k1uge的网友便提出，问题出在了BPE（Byte Pair Encoding）身上。
BPE是自然语言语言处理中较为重要的编码方式之一，也是一种常见的token压缩方法，在很多大语言模型中都会涉及。
它的核心思路就是：
每一步都将最常见的一对相邻数据单位，替换为该数据中没有出现过的一个新单位，反复迭代直到满足停止条件。
举个例子。
如果要压缩“aaabdaaabac”这个单词，BPE就会先找出最常见的相邻字节对，即“aa”。
找到它之后，就可以用新的字节Z去代替，那么这个单词就变成了“ZabdZabac”。
同理，下一个最常见相邻字节对是“ab”，用Y来代替，单词会进一步被压缩成“ZYdZYac”。
再下一个最常见相邻字节对是“ZY”，用X来替代，最后单词就变成了“XdXac”。
……
于是，基于这样的原理，这位网友查了下DALL-E 2针对“鸟类”所用的BPE。
它是这样的：
apo, plo, e, ,ve, sr, re, ait, ais
而现实中很多鸟类的拉丁文学名，就有“apo”和“plo”的前缀。
例如Apodidae（雨燕）和Ploceidae（织布鸟），这两个单词属于鸟类的2种鸟科，每个科都有100余种。
像Apodiformes（雨燕目）是鸟类中最大的目，共有400余种。
于是这位网友便认为，DALL-E 2是从标有这些“学术用语”标签的图片中，获取到了关于鸟类的大部分信息。
或许这就是造成DALL-E 2秘密咒语的原因了。
但，事情还有反转
激动的博士小哥还专门写了一篇小论文讲述这个事情，还把这些发现都发在了推特上，引来数千网友围观，令大家直呼“Incredible”。
不过很快就有人亲自去试了一下，发现好像事情并没有那么简单。
比如代表“虫子”的那一串“Contarra ccetnxniams luryca tanniounons”，除了虫子，也会生成一些青蛙、牛或者鸽子的图像。
如果给这个描述再加上“cartoon”一词作为限定，生成的是一些“奶奶”，跟虫子完全不搭边？？
“Apoploe vesrreaitais”倒是没问题，出来的还是一些鸟。
不过同样，一旦给它加上“cartoon”“3D render”这类词，又不对了，出来的是一些虫子。
（这和小哥最后那个例子里出现的蚊子也对应上了。）
代表蔬菜的“Vicootes”也是这样，单输没问题，一加上风格限定，出现的物种就变了；且基本可以说只符合“油画”“卡通”这些风格设定，跟前面的名词限定毫无关联，比如“Vicootes”+“painting”就是一堆纯风景绘画。
接着他还用同样的“两只鲸鱼谈论食物，带字幕”生成了一些图片，结果大部分文字都看不清，也没法转录。
最后找到一张这样的：
他用上面的”Evve waeles”再输入后，虽然得到了一张甜点照片，但出现了很多运动员、动物甚至水壶的照片。
还真的有点摸不着头脑了。
于是这位实验者就表示：
在我看来，这更像是一些随机的噪音，而不是DALL-E 2的秘密语言。
他艾特了博士小哥，希望他可以再给出相反的证据。
目前小哥还没有答复。
不过这确实是一个值得关注和讨论的话题，鉴于一些“咒语”和图像可以对上，如果真的是BPE码的话，那么真可能博士小哥所说：
有人用“白盒”方法解开这种规则，拿到一些违禁词的“咒语”，就可以绕过模型的过滤器了。
参考链接：
[1]https://twitter.com/giannis_daras/status/1531693093040230402[2]https://twitter.com/BarneyFlames/status/1531736708903051265[3]https://twitter.com/benjamin_hilton/status/1531780892972175361[4]https://giannisdaras.github.io/publications/Discovering_the_Secret_Language_of_Dalle.pdf[5]https://zhuanlan.zhihu.com/p/424631681
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
