CAN: Creative Adversarial Networks, スタイルの学習とスタイル規範からの逸脱による「アート」の生成（Elgammal et al., preprint, 2017）
みなさんこんばんは！
微かに混じり合う教育と心理学とアートを考えていますじんぺーです。
今日も論文を読んでいきます。
CAN: Creative Adversarial Networks, スタイルの学習とスタイル規範からの逸脱による「アート」の生成（Elgammal et al., preprint, 2017）
背景
■人間のアーティストが、過去のアートに関する知識をどのように統合して、新しい形を生み出すのかについては、ほとんど分かっていない
・芸術に触れることと芸術を創造することをどのように統合するかをモデル化する理論が必要
・創造的なアーティストは、どの時点でも、慣れに対抗するために、自分のアートの喚起力を高めようとするという仮説
■GANの目的に修正を加え，確立されたスタイルからの逸脱を最大化しつつ，芸術分布からの逸脱を最小化することで，創造的な芸術を生成できるようにすることを提案する
・アート生成エージェントのモデルを提案し、それを創造的にするためにGANの変形を用いて機能するモデルを提案する
・エージェントは、斬新でありながら、斬新すぎないアートを生み出そうとする
・覚醒度を高めるにはいくつかの方法がありますが、本稿では、スタイルの曖昧さやスタイル規範からの逸脱を高めると同時に、芸術として認められているものから離れすぎないようにするエージェントの構築に焦点を当てる
■Berlyneの理論
・"arousal "という心理物理学的な概念が，美的現象の研究に大きな関連性
・美学にとって最も重要な覚醒度上昇特性は、新規性、意外性、複雑性、曖昧性、不可解性であると強調した：これらを総称して「コラティブ変数」と呼んだ
・新しさ：今まで見たことのある刺激との違い
・意外性：刺激が予想と異なる度合いを意味する，意外性は必ずしも新しさとは関係なく、例えば新しさがないことが原因の場合もある
・複雑性：刺激内の特性であり、刺激内の独立した要素の数が増えるにつれて増加
・曖昧性：刺激に含まれる意味的な情報と構文的な情報の間の矛盾を意味
・いくつかの研究では，人は適度な覚醒能を持つ刺激を好むことが示されている
■マーティンデールは、芸術生産システムを導き出す上で、慣れの重要性を強調
・芸術家が同じような芸術作品を作り続ければ、それは直接的に覚醒の可能性を減少させ、したがってその芸術の望ましさを減少させる
・したがって、芸術生産システムは、どの時点においても、生産された芸術の喚起可能性を高めようとする
・大きく超越した刺激ではなく、わずかに超越した刺激が好まれる：マーティンデールはこれを「最小努力」の原則と呼んだ
■2種の曖昧性
1．コンピュータで生成されたアートは、通常、明確な図や解釈可能な主題を持たないため、ほとんどすべてのアートが曖昧になる可能性がある
・20世紀に開発されたいくつかの芸術スタイルは、認識できる人物や明確な主題がないにもかかわらず、人間はコンピュータで作られた芸術と人間が作った芸術を混同してしまうことはある
2．様式的な曖昧性
■Creative Adversarial Network (CAN)
・生成器が識別器から相反する2つの信号を受け取るように設計されており、3つのポイントを達成
1）新規性のある作品を生成する
2）新規性のある作品は、新規性が高すぎないように、つまり、分布から離れすぎないようにしなければならないし、そうでなければ、覚醒度が高すぎて、それによって、嫌悪系が活性化され、Wundt曲線によれば、負の快楽範囲に陥ることになる
3）生成された作品は、文体の曖昧さを増加させるべきである
・GANとの違い
1）識別器による「アートかアートでないか」の分類
2）判別器が生成されたアートを確立されたスタイルにどれだけ分類できるかという信号
結果と検証
■WikiArtデータセット3の絵画を用いて，ネットワークを学習した：このコレクション（2015年にダウンロードされたもの）には，15世紀から20世紀までの1,119人の画家による81,449枚の絵画の画像が含まれている
素材
■実在のアーティストの作品を2セット、機械で生成した作品を4セット
1．抽象表現主義者セット：25点
2．アートバーゼル2016セット：25点
3．DCGANセット1：64x64の解像度で生成された100枚
4．DCGANセット2：256x256の解像度で生成された76枚
5．スタイル分類CANセット（sc-CAN）：100枚
6．CANセット：125枚
実験1
■目的：人間のユーザーが、現在アーティストが生成しているトップレベルの創造的なアートと見分けがつかないようなアートを生成するシステムの能力をテストする
■手続き
・4つの画像セット(Abstract Expressionist, Art Basel, CAN, DCGAN(64x64))を使用し、各被験者が4つの画像セットから選んだ画像を一度に1枚ずつ見せ、質問した
・Q1：その作品は、アーティストが作ったものだと思いますか、それともコンピュータが生成したものだと思いますか？
・Q2：その画像の好き嫌いを、1（極端に嫌い）から5（極端に好き）の間で評価してもらう。
■参加者：Mturkユーザー18人がこの実験に参加し、1つの画像に対して10の異なる回答を得た
■結果
・予想通り、被験者は「抽象表現主義」のセットをアーティストが作成したものとして高く評価した（85％）
・提案した CAN モデルは，被験者がアーティストが作ったと思う画像の生成において，GAN モデルよりも優れていた（53% 対 35%）
・GAN よりも CAN で生成された画像に好感を持った（3.2 対 2.8）
実験2
■手続き
・画像を表示し、一連の質問をしてから、表示された画像が人間のアーティストとコンピュータのどちらによって生成されたものかを質問
・質問項目：「好感度」「斬新さ」「驚き」「曖昧さ」「複雑さ」「アーティスト or コンピュータ」
■参加者：Amazon MTurkを用いて行い、各画像に対して10件の異なる回答を得た
■結果
・質問1から5までは、各データセットの評価に大きな違いはない
・CANは、アーティストが作成したと被験者が思う画像の生成において、GANよりも優れていることがわかった（75％対65％）
実験3
■CANによって生成された画像がアートといえるかどうかに関連する側面を判断する
■手続き
・質問項目：「意図性」「構造」「コミュニケーション」「インスピレーション」
■参加者：21人のユーザーが参加し、各画像に対して10人のユーザーが回答
■結果
・抽象表現主義のセットでもアートバーゼルのセットでも，提案システムが生成した画像を本物のアーティストが作成した画像よりも高く評価（その差が統計的に有意であるのかは議論の余地）
実験4
■目的：スタイル分類損失とは対照的に、スタイル曖昧性損失をCANモデルに加えることで、斬新で審美的に魅力的な画像を生成する効果を評価する
■手続き
・CANセットとsc-CANモデルからランダムに選択され、ランダムな順序で並べられた画像のペアを見せた
・質問項目：どちらの画像がより「斬新さ」「美的魅力」
■結果
・被験者は59.47%の確率でCANの画像をより新規性が高いと選択し、60%の確率でCANの画像をより審美的に魅力的だと感じた
コメント
心理学・認知科学系の論文じゃないと読みにくさがすごい。被験者の数とか、統計的仮説検定なしとか、それでもOKなんだね、というあたりに分野の違いを感じている。確認しないといけないことも多いけど、貴重なデータではある！
論文
Elgammal, A., Liu, B., Elhoseiny, M., & Mazzone, M. (2017). CAN: Creative adversarial networks generating "Art" by learning about styles and deviating from style norms. ArXiv, Iccc, 1–22.
