イベントの理解と行為系列の産出および学習

Kuperberg, G. R. (in press). Tea With Milk? A Hierarchical Generative Framework of Sequential Event Comprehension. Topics in Cognitive Science.

自分の関心に近い領域の研究が出版されていたので、メモ代わりにここに残しておきます。このメモだけを見ても何のことかわからないと思うので, 興味がある方は本文を読んでください。

イベントとは何か？

イベントのコアな特徴として、多数の要素から構成されている(人、動作、モノ)、世界の状態の変化を切り取っている、終わり・区切りがある、時間の経過の概念として前提としている。　　　　　　　イベントを言語学的に捉えると、 “The woman in the kitchen made herself a cup of tea and then cleaned the fridge”という文章は紅茶を入れるのと、冷蔵庫の掃除をするという2つのイベントに分かれる。しかし、よくよく考えると、「紅茶を入れる」というイベントも 「ケトルに水を入れる」「ケトルのスイッチを押す」「紅茶のパックをポットに設置する」などのイベントの連続であると捉えることもできる。そのため、イベントは1つのように見えても連続している場合もある。

イベントスキーマ

私たちの日常経験を一般化した意味知識をスクリプト, スキーマ, フレームと呼ぶ。「紅茶を入れる」スクリプトというやつである。しかし, このスクリプトというものをいざ定式化しようとすると, なかなか難しいようである。あるスキーマには無数のイベントが組み込まれる可能性がある。例えば, 紅茶を入れるスクリプトには、「ケトルに水を入れる」「ケトルのスイッチを押す」「紅茶のパックをポットに設置する」「お湯を注ぐ」「冷蔵庫を開く」「ミルクをとる」「冷蔵庫を閉める」「ミルクを紅茶に入れる」などのイベントが含まれる。他にも、「ティーパックをポットに設置する」「お湯を注ぐ」「レンジでチンする」などもあり得そうである。さらに, 困るのがこうした個々の細かなイベントは「紅茶を作る」というスクリプト以外にも「ディナーの用意をする」「冷蔵庫を掃除する」などのスクリプトにも出現するものもある。つまり、スクリプトというのは個々に区別できるものが存在しているわけではなく、クラスターをなしていると考えられる (Schapiro, Rogers, Cordova, Turk-Browne, & Botvinick, 2013)

→この議論はBotvinick (2008)でもなされている

イベントを理解する

私たちは目の前で起こっている出来事をどのように理解しているのだろうか (しかも深く考えることなしに)。イベントの理解を可能にする1つの要因は予測である。私たちの次の行動が起こる前から次に何が起こるのかをimplicitに予測している。この予測を支持する理論的枠組みとしてEvent model (e.g., Radvansky & Zacks, 2011)と呼ばれるものがある。Event modelが何なのかを説明することは難しいが, それまでに起きたことに関する表象つまりイベントの履歴のようなものである (各分野で類似の概念は存在しており, 文章理解ではsituation model, 発話理解ではmessage, もっと広くいうとmental model (Johnson-Laird, 1983), contextual representation (Kuperberg & Jaeger, 2016))。このイベントの履歴に基づいて、私たちは自然と次の行動を予測している。この予測についてはERP研究で、予測しやすいものと予測しにくいものを比較することで実証研究がなされている (Kuperberg, 2016; Kutas & Federmeier, 2011)

イベントの分節化

私たちは先の予測に基づいて行為を理解している途中に, 予測に反することが起きると異なるEvent modelに移ったと考える。この切れ目というのがEvent boundaryである。このブログでも何度か取り扱っているので、省略するがJeffrey Zacks先生を中心にEvent Segmentation Theory として研究が進められている(Kurby & Zacks, 2008; Radvansky & Zacks, 2011; Zacks, Speer, Swallow, Braver, & Reynolds, 2007)。

この研究で取り組む問題

・私たちは他者の行為を見始めた時にどのようにEvent modelを構築するのか？

・「どのくらいの大きさの」予測誤差によりEvent modelは更新されるのだろうか？(予測との誤差が起きる時は常にEvent modelは更新されるのか)

・新しい出来事が始まった後の予測誤差によりEvent boundaryの存在に気づくことになるが, こうしたEvent boundaryは行為をしている最中から予測される可能性があるのではないか？→同様の主張はKosie & Baldwin (2020)が行っている

これらの問題を著者が作成したhierarchical generative modelsで検証する

Hierarchical generative models

モデルの基本原則 → ある事象を観測した場合には, 当然その事象を引き起こす原因が存在する(階層的には事象の上になるらしい)。この原因を仮説とした場合に、その仮説の確信度の強さ(信念と呼んでいる)も同時に存在する。この仮説の確信度を全て足していくと1になる。このある事象からその仮説を推測する過程を, ベイズルールを適用することで検討している。ここでは, 事前分布から事後分布へのシフトを確信度の更新としている。

著者らは, 3層の階層モデルを提案している。1層目では入力されるイベントを系列的に表象する (本文の図の方が以下の説明よりもわかりやすいはず)。2層目では, 個々のイベントを発生しやすそうなイベントクラスターを表象する。このイベントクラスターというのは目の前の状況やイベントそのものから惹起されたもう少し抽象的なイベント表象のようである。この第2層をまとめてEvent modelと呼んでおり, event modelの中ではイベントクラスターが更新されてゆく。3層目では2層目のEvent modelを発生しやすそうなgoalを表象している。重要な前提として, goalとイベントクラスターは互いに密接に関連しており, あるgoalと関連する知識がイベントクラスターとして表象される。このイベントクラスターにも頻度が存在していて, 「紅茶を入れる」というgoalに対しては, 「お湯を沸かす」というのは頻度の高いイベントクラスターにあたり, 「ミルクを入れる」というのは頻度の低いイベントクラスターにあたる。また, goalには達成されたという終わりの状態があることを想定している。

上記の各層の間ではインタラクションがある。流れだけを並べておくと, 2層から1層に対してtop-down predictive pre-activationと呼ばれるイベントクラスタに基づく予測がなされる。そして, 何か新しい出来事が起こると1層でその誤差が検知される(first-level bottom-up prediction error)(言葉としては予測誤差と書かれているが, 実際に1層では予測はなされていない)。その誤差が2層に伝わると,  implicit prediction errorと呼ばれるものとなる。first-level bottom-up prediction errorが最小となるまで, この繰り返しが続く。ほぼ同様の手続きは2層と3層の間でもなされる。

今までの研究でもEvent modelはワーキングメモリ内に保持されると考えられている。つまり, 先のモデルではワーキングメモリでの保持というのは第2層にあたる(え！第1層はどこにあるの？となった笑)。Event modelの中身にあたるのがイベントクラスターとなる(ややこしい)。ある女性が何をしているのかを理解しようとするとき, "this woman in her kitchen making herself a cup of tea and currently opening the fridge"というのがEvent modelらしい。そしてこのEvent modelからthe woman reaching for a range of possible items that can be kept in a fridge, as well as other possible upcoming eventsとなるのがimplicit probabilistic predictionsである。Implicitなので本当は言語化されないだろう。実際, 普段こういった場面で私たちも言語化は行わない。実は, この考え自体は今ままでの計算機モデルともかなり一致している(というよりもそのままでは？) (Botvinick & Plaut, 2004; Elman & McRae, 2019)。そして, このEvent modelから生まれるimplicit probabilistic predictionsは、私たちがどのように周囲の環境と相互作用するかについての空間的・機能的な知識と、現在の目標に基づいたイベントクラスタを検索することによって決まる。

この研究で取り組む問題への回答

・私たちは他者の行為を見始めた時にどのようにEvent modelを構築するのか？

→はじめの時点では予測がつかずuncertainな状態であるので, 目の前で起こっていることの背後にある仮説は何度も更新されることになる。ここでまず重要となるのは, 人が周囲の環境と相互作用するかについての空間的・機能的な知識である。具体的には, ある人が台所でケトルのスイッチを入れているという状況から, お湯を沸かして何かを作ろうとしていると推測できるということを指す。この知識をもとに第2層のEvent model内のイベントクラスタらを活性化させて, implicit probabilistic predictionsを作り出すようにする。

・「どのくらいの大きさの」予測との誤差によりEvent modelは更新されるのだろうか？(予測との誤差が起きる時は常にEvent modelは更新されるのか)

→ 誤差の大きさというよりも, ある目標に紐づくイベントクラスタから予測される行為かどうかでEvent modelが更新されるかどうかが決まる。「紅茶を入れる」event modelにおいて, 「冷蔵庫を開ける」行為は可能性は低いものの, ありうる行為。その場合は, Event modelは更新されない。逆に, 「スポンジを手に持つ」という行為が次にきた場合は, 「紅茶を入れる」event modelには含まれないので, Event modelが更新される。Event modelが更新される際には, Goalに立ち戻るらしい。そして, goalを変えることで, 関連するEvent model内のイベントクラスタも変更されるようである。

・予測との誤差というのは新しい出来事が始まった後のことであるが, こうしたEvent boundaryは行為をしている最中から予測されるものの可能性があるのではないか？　　　　　　　　　　　　　　　

→ここでは, goalに達成されたという終わりの状態を付与していることが活きてくる。終わりの状態がすでに予測できる状態であるため, 今現在行っている行為がgoalを達成するうえでどの段階であるかがわかる。そのため, 終わり近くになるとEvent modelが切り替わるEvent boundaryがいつくるかということも予想できてしまう。

Hierarchical generative modelsを拡張する

・3つの層にsubgoal層を設けている (このsubgoalを設けだすと, 第2層との概念的区別が曖昧になっていくような気がする)

・このモデルは, 行為系列の産出にも適用することができる (以前紹介したCooper, 2020と同様の主張)

→行為を理解する際との違いはあって, 理解する時の方が当然だがuncertainの状態になる, 自分の目標・興味の範囲内でしか他者の目標を表象しない, 自分では利用しないようなイベントクラスタの知識も他者の行動を理解する時には用いる

Hierarchical generative modelsと学習

このモデルでは, 学習はベイズルールに則る。ここでの学習というのは, Event modelの更新を指しているわけではなく, modelのパラメーター自体を更新することを指している。例えば, キッチンにいる女性がはじめはどのようなことをするかはわからないものの, その女性が紅茶をよく入れて飲む人だとわかれば女性の行動を理解する際に「紅茶を入れる」という目標とそれに伴うイベントクラスタを活性させるように重みづけをするようになる。

疑問点のまとめ

・イベントクラスタというのがいまいちピンとこなかった。結局, スクリプトのようなものになってしまっているような気もする。それぞれの目標に紐づいた確率が付与されているというのが新しいところなのだろうか。GoalとEvent modelを結びつけるような概念になっていることは間違いないし, その点は面白いが, もう少し洗練が必要では？

・このモデルでは目標の切り替えがevent modelの更新の主な原因となっているが, Event boundaryの研究では, 人や場所が変わるとevent modelが更新されるという知見とは対応していないように見える

・そもそもこのモデルではgoalはどこで表象されているのだろうか。そもそも表象もされていないのか。そのあたりは読んでいてもよくわからなかった。