[论文记录] 2021 - ArtEmis: Affective Language for Visual Art

论文简介

原论文：ArtEmis: Affective Language for Visual Art¹

视觉艺术中的情感语言

论文地址：https://arxiv.org/abs/2101.07396

以下仅为作者阅读论文时的记录，学识浅薄，如有错误，欢迎指正。

论文内容

摘要

• We present a novel large-scale dataset and accompanying machine learning models aimed at providing a detailed understanding of the interplay between visual content, its emotional effect, and explanations for the latter in language.
  我们提出了一个新的大规模数据集以及相应的机器学习模型，为了详细理解有关视觉内容之间关联性及其情感效应，并用语言对后者进行解释。

• In contrast to most existing annotation datasets in computer vision, we focus on the affective experience triggered by visual artworks and ask the annotators to indicate the dominant emotion they feel for a given image and, crucially, to also provide a grounded verbal explanation for their emotion choice.
  与计算机视觉中现有的大多数注释数据集相比，我们关注的是视觉艺术作品触发的情感体验，并要求注释者表明他们对给定图像感受到的主要情感，同时，他们也要为选择的情感提供一个理由充足的语言解释，这一点很重要。

• As we demonstrate below, this leads to a rich set of signals for both the objective content and the affective impact of an image, creating associations with abstract concepts (e.g., “freedom” or “love”), or references that go beyond what is directly visible, including visual similes and metaphors, or subjective references to personal experiences.
  正如我们下面所展示的，这导致了大量有关图像客观内容和情感影响的信号，创建了与抽象概念（如“自由”或“爱”）之间的联系，或引出了一些从图片中不能直接看见的东西，包括视觉明喻和隐喻，或根据个人体验的主观延伸。

• We focus on visual art (e.g., paintings, artistic photographs) as it is a prime example of imagery created to elicit emotional responses from its viewers.
  我们聚焦在视觉艺术上（例如，画作、艺术照），因为它是被创作出来引发观众情感的主要例子。

• Our dataset, termed ArtEmis, contains 455K emotion attributions and explanations from humans, on 80K artworks from WikiArt.
  我们的数据集叫做ArtEmis，包含了在WikiArt中8万件艺术品上来自人类的45.5K件情感归因和解释。

• Building on this data, we train and demonstrate a series of captioning systems capable of expressing and explaining emotions from visual stimuli.
  我们基于这些数据训练和证明了一系列在视觉刺激下能够表达和解释情绪的文字说明系统。

• Remarkably, the captions produced by these systems often succeed in reflecting the semantic and abstract content of the image, going well beyond systems trained on existing datasets.
  值得注意的是，这些系统产生的文字说明通常能够成功地反映出图像的语义和抽象内容，远远超过了在现有数据集上训练的系统。

• The collected dataset and developed methods are available at https://artemisdataset.org.
  数据集和方法在：https://artemisdataset.org

1 介绍

• 本文试图更好地理解一件艺术作品的视觉属性、它可能产生的主观情感以及通过语言解释这些情感的方式之间的联系。

• 本文还设计了一个基于神经元的语音机器人（neural-based speakers），旨在模拟人类对视觉艺术的情感反应，并提供相关的解释。

（1）为什么关注于视觉艺术（visual art）？

1. 视觉艺术创作的目的就是为了引发观看者的情感；
2. 艺术品不像是自然图像，特别是一些抽象作品，它不能简单地用一个标签去解释。

（2）ArtEmis数据集的创新点

• 它包含了一些情感的语言解释，比如：
  • ‘her youthful face accentuates her innocence’,
    “她年轻的脸突出了她的天真”（心理学的联系）
  • ‘her neck is too long, this seems unnatural’
    “她的脖子太长了，这看起来很不自然”（主题特点）
  • ‘it reminds me of my grandmother’ or ‘it looks like blood’
    “这让我想起我的祖母”或“它看起来像血”（结合了观看者的个人经历）

（3）观者反应的主观性

• 一个人对于同一个视觉刺激可能有不同的标注，但是大多数观者的主要情感都是相似的；

• 下图为数据集中的一些例子，包括有关“鸟”的抽象语义和情感状态，每幅图片带有一个情感标注和语言解释（同样是鸟，但是感受不同）：
  

（4）情感解释的难点

• 神经科学家对于人类感是天生的（innate）还是习得的（learned）存在争论，这一点需要谨慎。

（5）情感语音机器人

• 在本文提出数据集上训练了一个基于深度学习语言生成的语音机器人；
• 在情绪图灵测试中表现得相当好。