カラー化が記憶を解凍するトリガー
AI技術で自動色づけした瞬間の驚き
109年前の日本,男の子をおんぶする少女。Arnold Gentheが1908年に撮影したもの。掲載するのは二度目,お気に入りの一枚です。ニューラルネットワークによる自動色付け。 pic.twitter.com/xSwOrdpeS0
— 渡邉英徳 (@hwtnv) September 13, 2017
こちらが元の白黒写真。Library of Congress pic.twitter.com/cf2NxAQK0E
— 渡邉英徳 (@hwtnv) October 2, 2017
───白黒写真をAI技術でカラー化する活動をされています。なぜカラー化に着目されたのですか?
10年ほど前からインターネット上に「ナガサキ・アーカイブ」「ヒロシマ・アーカイブ」といった戦災に関するデジタルコンテンツ(※1)を制作してきました。被害者の証言や、当時の写真などのコンテンツをデータにし、グーグルアース(※2)にマッピングして公開していました。
この作品については、証言のアーカイブとしては高い評価をいただいてきましたが、それに比べて写真への反響はいまひとつでした。ぼく自身、フィードバックを見てみても、これら写真のもつ価値が十分に伝わっていない、“ひとの気持ちに届いていない”といった感覚がありました。
なぜ届かないのか? それは、写真が白黒だったからです。
ぼくらはふだん、カラーでものを見ています。その分、白黒というだけで非現実感を覚え、不自然な世界になるのです。白黒写真は、不自然な形で現実を再現したもの。それが何十年も前、戦時中のものであればなおさら、今の自分とは関係ないと感じ、距離ができてしまいます。
そんなふうに感じていたところ、2016年に早稲田大学の飯塚里志先生、シモセラ・エドガー先生、石川博先生が開発されたAIによる白黒写真の自動色づけ技術(※3)を知りました。
さっそく試して、白黒写真がカラーになった瞬間、驚愕しました。それまで、まるで彫像のように見えていた「人物」が、突然生き生きとした、血の通った「ひと」になったように感じたからです。まさに凍っていたものが解凍されたかのように感じました。
───白黒写真の凍った印象が、解凍されるということですか。
はい。ストックされ凍り付いていた白黒写真に込められた「記憶」が、カラー化によってフロー化し、現在の時の流れに合流します。そこからコミュニケーションが創発します。このコンセプトを「記憶の解凍」と呼んでいます。
「原爆ドームと調査団」の写真の自動カラー化。「ヒロシマ・アーカイブ」より。こちらも早稲田大のサービスを利用。ほんとうにすごいと思う。 https://t.co/5aVTQMlCPGpic.twitter.com/qy7uVtuVZ6
— 渡邉英徳 (@hwtnv) October 30, 2016
たとえば、この原爆投下後の広島の市電をカラー化してツイッターに投稿したところ、この時期の広島に詳しい方から連絡があって「この時代の市電はこの色じゃなくて青かった」と教えてくれました。
他にも、1880年に撮影された京都の伏見稲荷大社の写真をカラー化しました。鳥居が木の色に変換されたことから、ぼくは「鳥居の色がこうなるところに、機械の限界を感じる」とコメントを添えてツイッターに投稿しました。ところがすぐに専門家に学ばれている方からリプライが付き、「当時は赤じゃなかったのでは」と。
また別の方からは「当時の(フィルムの)感光剤の特性から赤は黒っぽくなる感じがします」とも。このほかにも昔の鳥居は白木が普通だったとか。次々と情報が寄せられてきました。
137年前の京都・伏見稲荷。1880年に撮影されたもの。鳥居の色がこうなるところに、機械の限界を感じる。ニューラルネットワークによる自動色付け。 pic.twitter.com/0jzII89H2T
— 渡邉英徳 (@hwtnv) September 19, 2017
凍りついていた情報が“フロー”になる
いずれも見も知らぬひとたちからのリプライです。
元の白黒写真のデータが、たとえインターネット上のどこかにストックされていても、だれからも関心を払われなければ、凍り付いたままです。それがカラー化されることで、いろいろなひとが関心を持ち、コミュニケーションが創発されます。つまり写真にストックされていた情報がフローになって、われわれの生きている時代の時間に合流してくる。これが「記憶の解凍」です。それがこの写真の資料価値を高め、後世に受け継がれていくことにつながっていきます。
ぼくは、「本当は何色だったのか」「AIはどこまで真の色を復元できるのか」といった議論よりも、むしろこのコンセプトを重視しています。最近はさらに、AIが自動色付けしたものをベースに、できるかぎりの考証を加えて、カラー補正を施しています。
───なぜツイッターを利用されるのですか?
フェイスブックのように閉じがちなプラットフォームとは異なり、ツイッターでは、まったく予期しない人々とつながることができるからです。フィルターバブルを超えて、多元的な情報が集まるという点に、大きな可能性を感じます。
例えば、ぼくは日課として「○○年前の今日」という切り口で写真を選び、カラー化したものを投稿しています。
73年前の今日。1945年5月26日、子犬を抱く特攻隊員。中央が荒木幸雄伍長。鹿児島の万世飛行場で、出撃予定時刻の2時間前に撮影された。悪天候のため翌日出撃、戦死した。白黒写真のニューラルネットワークによる自動色付け。 pic.twitter.com/o7Zzb3ofhL
— 渡邉英徳 (@hwtnv) May 25, 2018
これは、今年の5月26日の投稿です。遠い過去の、見知らぬ人物でしかなかった特攻隊員が、ぼくらの身近にいる、知っている若者たちと同じようなひとに見えてきませんか? このことによって、こうした若者たちが辿った運命を、これまでとは違った視点でみられるようになるはずです。
実際、この写真には、さまざまなコメントが寄せられました。言ってみれば「右」からも「左」からも、多様な立場からの意見が、スレッドにつながっています。このころ話題になっていた、アメリカンフットボール部の部員たちと、この若者たちを重ねて捉えたようなコメントもありました。遠い過去のストーリーがカラー化されることによって、今日性を帯びるのだと思います。
ぼくたちは、遠い昔のことなどより、とにかく今日が大事、明日が大事、自分が大事というような、 “刹那的”な時代を生きています。白黒のカラー化は、過去のできごとに、意識をちょっと投げてもらうためのきっかけになり得ます。
記憶が掘り起こされる瞬間
───「ヒロシマ・アーカイブ」に掲載されている写真もカラー化されました。
パブリック・ドメイン化されている写真はすべてカラー化して、元の写真にマウスオーバーさせるとカラー写真に切り替わるようにしました。この仕組みによって、写真が“タイムマシンのようにはたらく”ようになったと思います。これも「記憶の解凍」のトリガーとして機能することを期待しています。
しかしぼくは最近、こうした「記憶の解凍」の仕組みは、ウェブコンテンツのように多数の人々に向けたものにだけではなく、もっと小さな、顔のみえるコミュニティにこそ活かせると考えています。
たとえば、「ヒロシマ・アーカイブ」の制作過程でこんなことがありました。ヒロシマ・アーカイブ」は、広島女学院高の生徒たちと共同制作したものです。アーカイブの証言収録を、地元の生徒たちが行なっているようすがしばしば報道されますが、最近は、カラー化でもコラボレーションしています。
昨年秋にワークショップを開き、高校生たちにカラー化の手順を教えました。するとその後、彼女たちが、なかなか粋なことをはじめました。
戦時中、広島の中島本町にお住まいだった濵井德三さんは、原爆が投下された日、疎開中で無事でした。しかしご家族はみなさん、亡くなってしまいました。でも、濵井さんの手元には、家族のアルバムが残っていた。その白黒写真を、生徒たちが濵井さんの目の前でカラー化したのです。
その中の一枚、お花見の写真をカラー化したところ、背後の杉並木の青々とした色彩がよみがえりました。それを見た濵井さんは、「杉鉄砲でよう遊んだなあ」と当時を思い出し、「長寿園までの道に弾薬庫があって幼心に怖かった」といった記憶まで語ってくださいました。カラー化がトリガーとなって、濱井さんの胸のうちに凍りついていた記憶が溶かされ、ことばとして流れ出したのです。
その後生徒たちは、カラー化した写真をアルバムにまとめてプレゼントし、濵井さんはたいへん喜ばれたそうです。このように、証言者の目の前でカラー化してみせ、お話のお礼として、実物のアルバム届けるという発想に、ぼくは強い感銘を受けました。地元の若者ならではの活動だと思います。
- ※1戦災に関するデジタルコンテンツ
- ・ナガサキ・アーカイブ
被爆者の体験談、長崎新聞社編纂『私の被爆ノート』、長崎原爆資料館などから提供された被爆直後から現代に至るまでの風景写真をデジタル地球儀上に一元的に表示した。被爆65年目の2010年に公開。
http://n.mapping.jp/index_jp.html
・ヒロシマ・アーカイブ
広島平和記念資料館、広島女学院同窓会、八王子原爆被爆者の会、中国新聞社などから提供された資料を、「ナガサキ・アーカイブ」と同様の手法で表示したもの。被爆66年後の2011年に公開。
http://hiroshima.mapping.jp/index_jp.html
- ※2グーグルアース(Google earth)
- Googleが提供するデジタルアース。2015年11月にWeb APIが廃止された。それ以降、渡邉さんの全てのアーカイブは、オープンソースのデジタルアースライブラリ「Cesium」に移行している。
・Google Earth
https://www.google.co.jp/intl/ja/earth/
・Cesium
https://cesiumjs.org/
- ※3AIによる白黒写真の自動色付け技術
- ディープラーニングを応用したディープネットワークを用いて白黒画像をカラー画像に自動変換する技術。早稲田大学の石川博教授の研究グループが開発。オープンソース。
http://hi.cs.waseda.ac.jp:8082/
記憶を未来に継承する「記憶のコミュニティ」
被爆者が広島の高校生に初めて語ったこと
───ここであらためて「ヒロシマ・アーカイブ」や「ナガサキ・アーカイブ」の取り組みをご紹介いただけますか。
ぼくが初めにデジタルアースをベースにして作ったデジタルアーカイブは「ツバル・ビジュアライゼーション・プロジェクト(※1)」です。この手法を応用して「ナガサキ・アーカイブ」「ヒロシマ・アーカイブ」、さらに「東日本大震災アーカイブ(※2)」など、戦災や災害のアーカイブを制作してきました。被災者の証言や写真、新聞社などから提供された多元的なデータを一元化し、オープンソースのデジタル地球儀上に重ねて表示しています。
こうすることでこれまで個々に“ストック”され、バラバラの粒子のように固定化していたデータが結びつけられ、現在と過去の関係が意識されるようになります。そして、一気に液体のように“フロー”となり、身のまわりの時間に溶け込んでいきます。ぼくはこれを「多元的デジタルアーカイブ」と呼んでいます。
───「多元的」とはどのようなことでしょうか?
さまざまな提供元からもたらされた、多様な資料という意味です。でも、もっと重要なのは、このアーカイブに関わる人々こそが、多様であり、多元的であるということです。さきほども触れましたが、たとえば「ヒロシマ・アーカイブ」は地元の高校生たちが、被爆者の証言を集めています。
2011年、被爆された冨士本君一さんのご自宅を訪ねて、彼女たちがインタビューした時のことです。冨士本さんは、今までだれにも話すことのなかった体験を、高校生たちに話してくれました。なぜでしょうか。インタビューの最後に冨士本さんは高校生たちにこう話されました。
「みなさん、熱心に次の世代に伝えようと思って頑張っているのを見て、頼もしい感じがしました」
もし、ぼくやプロのインタビュアーが冨士本さんを訪ね、デジタルコンテンツ化を打診したら、冨士本さんは話してくれたでしょうか。たぶん、だめでした。地元の若者が、ヒロシマの記憶を未来につなげたいという純粋な気持ちで聞きに来てくれたからこそ、話してくれたのだと思います。
被爆者と地元の高校生たち、そしてぼくたち。さまざまな世代、立場の「多元的」な人々が手を取り合って、証言を集め、アーカイブ化する。さらにその派生形として、例えば白黒写真をカラー化したりしながら、記憶を未来につなげていく。この運動体をぼくは「記憶のコミュニティ」と呼んでいます。
ひとの心に残ることが記録の保存につながる
───「記憶のコミュニティ」にとってもAIによる写真のカラー化は重要ですか?
重要だと思います。たとえば、やぶからぼうに平和活動に取り組もう、核廃絶などと呼びかけられても、そもそも興味がないひとには響かないかもしれない。でも、AIで写真に色付けしてみませんか、デジタルマップを使って、当時の広島の資料を見てみませんか、と言うと振り向いてくれる。歴史やイデオロギーではなく、技術と表現がきっかけになるので、多くのひとが参加しやすい。このことによって、老若男女や社会的立場を問わず、多様で多元的な人々が、手を取り合って取り組むことができるのです。
───5月に「人工知能(AI)を使った『記憶の解凍』」というワークショップを開かれていますね。
ワークショップでは、参加者ご自身がお持ちの写真を持参してもらい、目の前で、白黒写真がカラー化される瞬間を体験してもらいました。思い入れのある写真が、カラーになった状態で手渡されるのと、自らカラー化するのとでは、印象の鮮度がまったく異なります。みなさん、カラー化された写真を手に、しばらくその時の経験や体験を語り合っていました。
おそらく、ワークショップの参加者は、その後、ご家族や友だちに「今日、ちょっと面白いことをやってきたよ」と話し、写真を見せたり、あるいはソーシャルメディアに感想を書き込んだりすると思います。実際に、Instagramにワークショップの体験マンガを投稿したり、レビューをブログにまとめた方がいらっしゃいました(※3)。このようにジワジワと、ボトムアップの体験と記憶が拡がっていくほうが、マスメディアを介してトップダウンで伝わるよりも、身近に感じてもらえると思います。
被爆者がいなくなる世界に向けて
───デジタル化された記録を後世に残す方法についてはどのようにお考えですか?
デジタル時代の記録の残し方について、これまで取り組んだプロジェクトを通して、ずっと考えてきました。たとえば先ほど示した、特攻隊員の写真が備える意味と価値を、どう後世に伝えていけるのか。
この写真は、鹿児島県の資料館に展示されているものです。しかし今後、もし何らかの理由で閉館になったら、この写真も処分されてしまうかもしれない。でも、カラー化された写真がツイッターで何千リツイートもされた今は、スレッドに並んだオリジナルの白黒写真とともに、たくさんの人々の記憶に残っているはずです。そのことによって、このできごとを忘れたくない、さらには、オリジナルの写真を未来に継承していきたい、という意識も芽生え、拡がっていくのではないでしょうか。
そういった、過去の記録を大切にする意識が人々のなかに根づくことこそが、資料を後世に残していくためには、大事だと思います。それも、トップダウンの呼びかけではなく、ボトムアップに。「記憶のコミュニティ」の取り組みは、マスメディア的なアプローチではなく、小さなコミュニティをスコープにしていきたいです。
───今後、どんな取り組みを考えていらっしゃいますか?
先ほどお話した色付けワークショップも含め、「ヒロシマ・アーカイブ」などの取り組みから派生した、「記憶のコミュニティ」につながる活動を育てていきたいですね。
たとえば、ぼくの研究室の学生たちは、広島女学院高の生徒たちと協力して「ヒロシマ・アーカイブ」の副読本である「ワークブック」を制作しています。
これはもともと、生徒たちから提案されたプロダクトです。「ヒロシマ・アーカイブ」はスマホで見られて便利だけれど、その分、ささっと眺めて終わりになってしまい、心に残らない。だから旅のしおりのように、手元に残るものがほしいという。なるほどと思いました。平和学習のみで構成するとどうしても重くなるので、例えば、観光の情報も載せようじゃないか、とか。生徒たちからのボトムアップで生まれ、育っているところがいいです。と思いながら、ぼくは見ているだけですが。
糸井重里さんが率いる株式会社ほぼ日とは、「ほぼ日のアースボール(※4)」のARコンテンツのうち3点を共同研究・開発しました。これらのコンテンツは、ここまでに説明してきた「記憶の解凍」のコンセプトとは少し離れますけれど、身近に置いてあるバルーンの地球儀から地球的な視野につなげたい、という主旨で作られたものです。
ここに平和学習のためのコンテンツを載せることもできると思います。実際、広島女学院の生徒さんは、このアースボールの機能を応用した核保有国のマップを、国際会議で発表したりしています。どんなふうに発展していくか、楽しみですね。
デジタルアーカイブを体験するシステムとして「リキッド・ギャラクシー」に可能性を感じており、研究室に設置しています。スマホの画面は一人、パソコンのモニターはせいぜい数名でしか見られませんが、このシステムを使えば、多人数で同じコンテンツを体験できます。すると、どんな状況が生まれるでしょうか。
たとえば「ヒロシマ・アーカイブ」を体験しながら、「ここに○○さんの体験談がある」「ここが、かつての広島女学院だね」「この場所にたくさんの資料が集まっている」といった情報を全員で共有することができます。このことによって、資料をもとにしたコミュニケーションが創発し、記憶の解凍が促進されると予想しています。
───最後に、渡邉さんが「記憶の解凍」に注力する理由を教えてください。
約10年のあいだ、「デジタルアーカイブ」をつくり続けてきました。今回、デジタルアース技術からはじめて離れ、自動色付け技術を応用した活動をはじめた。このタイミングで、いままでつくったものを俯瞰してみると、ここに「記憶の解凍」という一本線が引けるな、と気づけました。
思い出してみれば、ぼくの両親はけっこう平和教育に熱心なひとたちで、小さい頃、広島平和記念資料館に連れて行ってくれたり、誕生日プレゼントに『はだしのゲン』を贈ってくれたりしたんですよね。しかも、マンガ版じゃなく、小説版。当時は「こんなのやだー」って思ったように記憶していますが(笑)そうした体験もぼくの血になっているのかもしれません、めぐりめぐって。
先の戦争を体験したひとも、被爆者もいない時代が、もうすぐやって来ます。未来の子どもたちは戦争や原爆の話を直接、体験者から聞くことができない。では彼らはどうやって、過去のできごとを知るのか。あいだをつなぐ世代のぼくたち自身が、過去の記憶を解凍し、記憶のコミュニティを形成して、記憶を継承していきたい。そのための活動を継続していきたい、と思っています。
- ※1ツバル・ビジュアライゼーション・プロジェクト
- 海面上昇による水没が懸念される、南太平洋のツバルに暮らす人々の体験談と島の風景写真などをデジタルアースに表示したコンテンツ。NPOツバル・オーバービューとの共同制作により、2009年公開。現在も新たなデータが加わり続けている。
http://tv.archiving.jp
- ※2東日本大震災アーカイブ
- 被災者の証言、被災地の写真とパノラマ画像を一元化し、デジタルアースの三次元地形に重ねて表示したもの。朝日新聞社『いま伝えたい千人の声』から抜粋した被災者証言などが顔写真とともにマッピングされている。
http://shinsai.mapping.jp/index_jp.html
- ※3参加者による投稿
- ・Instagram
https://www.instagram.com/p/BjTCUZEnOAQ/?taken-by=yuki.tubo
・ブログ
http://sensousouko.naganoblog.jp/e2265560.html
https://www.adjust.co.jp/service01/colorization/
- ※4ほぼ日のアースボール
- 株式会社ほぼ日が開発した、ビニール製の軽くて柔らかい地球儀。専用のアプリをダウンロードしたスマホやタブレットを地球儀にかざすと、さまざま情報が表示される仕組み。首都大学東京在籍時に「でこぼこ地球」など3つのARコンテンツを共同研究・開発した。
https://earthball.1101.com