跨物种造物，AI 将长颈鹿图片转换为鸟，还骗过了人类与机器

本篇文章2199字，读完约5分钟

当人们研究人工智能生成和检测图像的方法时，他们都需要定义一个研究课题。最近，康奈尔大学的三位研究人员丹尼尔·鲁伊斯、加布里埃尔·萨洛蒙和爱德华多·托德(eduardo todt)决定训练人工智能将长颈鹿的图片转换成鸟的图片，并使用gans生成新的数据来研究这种图像到图像的转换。本文还参加了沙滩上的电脑(cotb 20) 2020会议。

论文地址:arxiv.org/abs/2001.03637

目前，图像到图像的转换已经被广泛使用，包括从卫星图像生成地图到仅从轮廓生成完整的服装图像。在这篇论文中，研究长颈鹿转变为鸟类是相当具有挑战性的，因为这两种动物有不同的大小、结构和形状。他们训练了一个名为instagan的无监督跨域转换模型，该模型接收了大量长颈鹿和鸟类的图片。

Instagan是由韩国科技学院和浦项科技大学的研究人员于2019年提出的，相关论文Instagan:实例感知的图像到图像翻译也获得了iclr2019的认可。

最后，鸟成品保留了原始图片的布局和背景，但只将长颈鹿直接转换成鸟。应该强调的是，生成的鸟类并不存在，这只是instagan创造的结果。

用边肖自己的话来说，这篇论文的创新之处在于，“我们这次不是把苹果变成橘子，而是把大象变成香蕉。”在无监督的图像到图像的转换之前，大多数例子是将站立的狮子变成躺下的，猫变成狗，马变成斑马，等等。然而，这些训练在规模和形式上是相似的，所以难度是不同的。

他们到底是怎么做到的？

有两个数据集用于训练 gan和生成相关图像:coco(上下文中的公共对象)和 caltech-ucsdbirds 200。coco数据集中有超过91种类型的328，000张图片，其中2546张和 101张长颈鹿图片分别被选择用于训练和验证，而从另一个鸟类数据集中caltech-ucsd birds 200-2011 中，80%被选择为9414张。

每幅画都能看到长颈鹿和鸟的轮廓。人工智能的主要工作是把长颈鹿变成鸟，另一部分是判断它看到的图片是真的鸟还是假的长颈鹿-鸟。

然后开始训练。大多数参数与 instagan初始文件中的参数相同。通过双线性插值，长颈鹿和小鸟数据集的图像大小被调整为 256x256，并且gpu训练需要近三周的时间(如果使用两个NVIDIA rtx 2080 gpu，时间可以减少到一周半)。

instagan 在训练中使用的损失函数包括:最小二乘gan损失、循环损失、上下文 损失和身份损失，这些损失根据它们在最终结果中的重要性进行加权。循环损耗的重量最高。lsgan 也是如此，因为它改善了收敛，减少了消失梯度问题，这需要超过100个纪元 才能实现良好的视觉效果并最大限度地减少损失。

经过三周的训练，他们得到了一个人工鸟图册。下图显示了图像到图像转换的一些示例。

您可以看到原始图像和遮罩，以及转换后的图像和遮罩。请注意，空和背景之间的姿态、安排都没有改变。也就是说，instagan 已经很好地学会了转换图像。在这些图片中，长颈鹿几乎是无障碍的，它们都侧身站着，现在鸟类出生在相同的位置。有趣的是，instagan 学会了一种有趣的“欺骗”方法——让深色的鸟与浅色的背景形成对比，从而更好地欺骗人类和机器辨别者。

接下来，让我们看看instagan生成的成品图。

一些转变产生了令人印象深刻的效果。Instagan学会了如何模糊顶部的景物，让它们看起来像微距镜头。虽然过渡的地方不是很光滑，长颈鹿的肩膀还在，但是人工智能已经巧妙地把它加工成了石头，所以我希望你不会注意到。

模糊背景的效果并不坏。在处理前景时，instagan 建造了一块木头作为鸟类的栖息地，突出了树枝和岩石裂缝等细节，还模糊了附近鸟类的脚。整个效果很自然。然而，一些照片仍然能隐约看到长颈鹿的肚子和腿，所以instagan把它们变成了绿色，可能是希望把它们误认为是树叶什么的。

当然，很多时候转换效果并不好。由于异常背景的影响，人工智能未能成功改变图像的外观。同样显而易见的是，人工智能移除长颈鹿的一般策略是将鸟的身体复制并粘贴到长颈鹿的头部、颈部和肩部，然后试图隐藏长颈鹿的腿。如果你带着这个想法看一些照片，你会马上发现长颈鹿的长腿还在，而且这个模型的很多失败都和长颈鹿的腿有关，很难掩盖。

为了评价生成图像的真实性和质量，边肖进行了定性和定量分析。定性分析是随机选取335幅fakeset图片进行评价。标准是转换质量、轮廓和纹理，只有两个选项——好的或坏的 。每个属性的最终分数是335张图片的平均分数，表示为0到1之间的分数(0表示质量差，1表示质量好)。如果属性的值等于 0.75，这意味着3/4图片在属性中表现良好，而1/4图片表现不佳。详见下表。

为了进行定量分析，他们使用了一个新生成的数据集，并分析了2546张图片。评估结果显示，有289张照片是垃圾(甚至没有检测到鸟类)，717张是不满意的(常用的)，F-分数遵循一个偏斜的正态分布，往往是最好的分数。

综上所述，本文的结论是fakeset实现了接近真实数据集的检测和分割结果。虽然大多数图像不是完全真实的，但是正确的转换比率也很高，并且检测和分割结果非常可信(高于80%)。这表明生成的图像足够逼真，并且能够经受住最先进的深层神经网络的考验，无论肉眼难以检测到。

雷锋网(公开号码:雷锋网)雷锋网