大会初日 12月7日 その2
口頭発表1のあとは招待講演．
マウスの脳内シミュレーションとロボットの報酬進化 銅谷賢治
講演は講演者の所属する沖縄科学技術大学，および神経計算ユニットOISTの紹介から始まる．
- OISTではAIで柔軟で適応的なシステムを作ることと，脳はそれをどう実装しているかの両方を扱っている．
- AIの業界においては前世紀には専門家の知識を実装しようという流れがあり，それが挫折したあと現在ではビッグデータと統計学習を利用する方法が主流になっている．そこに知能を作るだけなら脳を知る必要はないという立場と既にそこにあるのだから調べた方がいいという二つの立場がある．
- そして実際には脳科学とAIは互いに影響を与え合って共進化している．
- 一つの例は視覚だ．脳科学における特徴抽出細胞，経験依存学習，場所処理細胞，顔認識細胞の発見とAIにおけるパーセプトロン，多層教師あり学習などの概念は影響を与え合っているのだ．
- もう1つの例は強化学習だ．古典的条件付け，オペラント条件付けをヒントにして発展したAIの分野ではTD学習において報酬の予測が重要であることが見いだされ，それはドーパミン細胞での報酬予測応答や線条体の行動価値発現の発見につながった．そしてそれはAI側のモデルの進歩につながっている．
- 先日とあるAIのカンファレンスで「AIは脳からさらに何を学ぶべきか」が議論された．私はこれについて，エネルギー効率（ヒトの脳は20Wで動作可能），データ効率（世界モデルと脳内シミュレーション，モジュールの自己組織化，メタ学習など），自律性，社会性だと思っている．
- このなかの自律性について：自律的な強化学習モデルを作る．学習者が状態を知覚し，行動し，その状態変化と報酬を予測し，実際の変化と報酬の誤差から予測モデルを改善していく．このようなシステムを回してみて面白いのは，押してもだめなら引いてみなとか急がば回れのようなことができることがあることだ．（頭の高さが報酬になっている起立ロボットが，試行錯誤で頭の高さが低いまま準備態勢に入ることを学習できることが説明される）これはディープラーニングとQネットワークを使った価値評価，行動選択，予測修正をおこなう囲碁プログラムでも見られる．
- この価値評価，行動選択，予測修正はおそらく脳にとっても重要だと考えられる．そして脳科学で最近わかってきたのは大脳基底核の部分でTD学習の強化学習が行われているらしいことだ．ここでは線条体，淡蒼球，ドーパミン細胞，視床が働いている．
- これをラットやマウスでフォローする．神経パターンを予測し，それと類似したパターンを出している細胞を探していく．特に最近は遺伝子操作で光学神経活動記録を行い特定ニューロンだけのパターンを見るとことができるようになっている．
- ここまでの話はモデルフリーの学習．記憶から学習していくもので，直感的反射的行動がまずあってそこから学習が進む．処理は単純だが試行錯誤が多数必要になる．
- これと異なりモデルベースの学習もある．これは予測を行う内部モデルを持つもので，先読みによる脳内シミュレーション，つまりやる前に考えるものだ．この学習によると柔軟な適応が可能だが，内部的な処理は複雑になる．（ここでスマホを2輪軸に取り付けて直立させるデモが紹介される）
- 脳内シミュレーションは行動による身体や環境の変化を予測する．過去の状態と行動から現在の状態を推定し，現在の状態とこれからの行動から未来の状態を予測する．結果や原因を予測する．これは思考，推論，言語，科学につながる活動だ．
- これを脳内で行うには学習アルゴリズムによる機能分化が必要になる．先ほどの基底核に加えて，内部モデルでは小脳と大脳皮質が関与し，教師ありモデルは小脳が，教師なしモデルは大脳が関与すると考えるとうまく説明できそうだ．（モデルフリートモデルベースの機能分化の差が図によって説明される）
- ではこれは本当にそうなっているのかを脳の活性部位で調べてみた．（ヒトの脳のMRIでのリサーチが紹介される．プランニングしているときには大脳皮質のほかに基底核の一部や小脳の一部で活動が見られる）
- さらにマウスの細胞レベルでも理論を捉えることができる．二光子励起顕微鏡を用いると皮膚から2ミリはいったところの様子がわかる．いつどの行動を予測したのか，実際の行動の予測とその感覚入力による修正を見ると予測修正はベイジアン的になされているようだ．（多くのニューロンのデータをとりそれをデコーディングすると距離の動的ベイス推定モデルと感覚の修正という仮説を支持する）
- パラメータはどのように設定されるのかという問題もある．今調べているのは将来報酬の時間割引率．電池パックを取りに行くロボットを作るとこのパラメータによりどこまでの距離なら電池パックを取りに行くかが変化する．割引率が小さいと引きこもって電池パックをなかなか取りに行かない鬱的な行動を見せる．
- では脳ではどのようにこの時間割引率が実装されているのか．鬱的な行動はセロトニンが大きく関与している．実際にマウスのセロトニンニューロンではこれを支持するデータが得られている．セロトニンによりマウスは待ち続けるようになるが報酬確率が高い場合には上書きされる．これは報酬の事前確率を高めるパラメータとするとよく行動を説明できる．このほかドーパミンは報酬予測に関するパラメータ，アセチルコリンは学習速度に関するパラメータ，ノルアドレナリンは探索刺激に関するパラメータに関わっているのかもしれない．
- ロボットの報酬系のデザインにこのような知見は利用できる．
- 生物においては報酬とは食糧や繁殖相手との接触になる．ロボットでは食糧を電池パックに，繁殖成功を接触した際のプログラムコピー（コピー成功確率が充電レベルに依存する）として実装できる．こうして学習パラメータの進化をシミュレートできる．成功が集団内の頻度に依存するような場合には多型の進化の結果が得られる．
- 自立AIエージェントは脅威になるだろうか．よくいわれるのは悪意を持った利用や誤作動だ．だからこれに対応することが重要になる．これは人間社会の解決がヒントになると思っている．チェックバランスと民主制の知恵を活かすといいのではないか．複数のオープンソースAIエージェントによる相互監視と連携などが考えられる．また脳では社会的価値志向性と扁桃体の活動に関係があることが知られている．こういうアンカーをAIに埋め込んでおくことも重要かもしれない．
Q&A
Q：多型はどのように進化したのか
A：コロニーの10〜20％で多型になった．初期パラメータを広くしていないと進化しないので，分岐進化ではないと思われる．
Q：AIと比べたヒトの特徴は何か
A：作業記憶が大きいところ，マルチステップでもうまくいくところ，抽象状態の定義ができるところがヒト特有だと感じる．
AIのリサーチと脳科学がどのように互いに影響を与え合っているかという話は面白かった．またコンピュータ上でなくロボット実物を使った進化シミュレーションの話は頻度依存型淘汰の結果と合わせて意表を突いていて印象深かった．
口頭セッション２
民話に埋め込まれた素朴動物学的知識 中分遥
- 民話の定量的分析の話をしたい．
- 民話はかなり古くからあり，類似民話の分析から少なくとも印欧祖語の時代に存在していたとされている．狩猟民族の会話のリサーチによると朝はいろいろなことをしゃべっているが，夜は80％がストーリーになる．
- ここで民話はある種の情報伝達（道徳規範，自然環境に関する知識）の機能を果たしているのではないかと考え，それを定量的に調べてみた．
- 民話にはいろいろな定義があり，たとえばFolktale, Mith, Legendに分けられたりする．ここでは民話集に収録されているものはすべて民話として分析した．
- データとしては国際民話抄録の動物民話を用いた．合計382話．モチーフについてはトムソンモチーフ分析にしたがった．
- この民話について登場する動物の共起分析を行い，さらにモチーフとの関連を調べた．
- （結果についての図を示しながら）これをみるとヒトとキツネ，ヒトとオオカミ，オオカミとキツネがよく一緒に現れること，キツネはニワトリや鳥と一緒に，オオカミはヒツジ，ヤギ，ブタと一緒に現れることがわかる．これらはキツネはニワトリを襲うリスクがある，オオカミはヒツジやブタを襲うリスクがあることを教示する機能があると考えることができる
- モチーフを見ると多いのは対立型（騙し）などと賢者と愚者型で，前者にはハイエナやジャッカルのような捕食獣とそれらが襲う獲物が登場し，後者にはウシやロバのような家畜がよく登場する．
- 結論として民話には現実の動物の対立が再現されていると考えることができる．物語形式の法が知識の伝達に役に立ったのだろう．
Q&A
Q：一つの物語が分岐して同じような話になっているのはあるか（それを考慮した定量分析になっているか）
A：元データで分かれたものは1物語として整理されている．
様々な嘘の噂を流す非協力戦略の下での協力の進化と社会ネットワーク構造について 中丸麻由子
嘘のパターンに注目した噂の機能のリサーチ 残念ながらSNSでの言及を控えて欲しいマークがついているのでここでの紹介は差し控える．
認知症は高齢者のストレス度を低下させるか？ 五十嵐友子
現在高齢者には不要あるいはむしろ有害な形で抗認知症薬が処方されていることが多いが，それをどうやって止めればいいかという視点からの発表．
- 認知症は多くの人にとっての恐怖だ．実際に予防商品は巷にあふれている．抗認知症効能をうたうサプリも無数にでている．そして医療現場で抗認知症薬は非常によく処方されている．85歳以上の認知症患者の85％に処方され，これは85歳以上人口の17％に処方されていることを意味する．
- そして問題なのはそれが漫然処方されている実態だ．多くの場合効果の検証なく延々と処方される（認知症の改善の検証事態が難しいという問題はある）．そして副作用の不全感からQOLを落としているのが実情だ．そしてそもそも抗認知症薬は認知機能が落ちてしまった中期後期の患者に投与されることは意図されていない．認知症の90％以上で抗認知症薬が意味もなく投薬されていると断言する専門家もいる．
- これには投薬のガイドラインがあり，判断アルゴリズムも提唱されているが，現場における問題点は投薬中止のタイミングが具体的にわからないということだ．
- ここでは介護現場から中止の目安（中止時期特定の根拠）を提示してはどうかということを話したい．
- 「長期抗認知症薬内複写のQOLは下がっているか」：これを調べるために介護現場の職員アンケートを行った．表情，会話の様子，身だしなみ，立ち居振る舞い，活動への参加意欲についてそれぞれの患者を10スケールで評価してもらう．これによると長期服用者の方が有意にQOLが低いことが示された．
- 「家族の認識が困難になるところが中止時点として妥当ではないか」：家族想起させるやや意地悪目の質問（昨日娘さん来てましたよね？など）をしてストレスを計測する．すると（1人の例外を除き）家族想起ができなくなる段階ではストレスが下がっていることがわかった．
- また実際に老人ホームなどでは，入所当初はみなそのホームに溶け込もうとするが，しばらくすると一定割合の入居者は他人と関わり合いを持とうとせずに単独行動をするようになる．これはあたかも単独性の霊長類の段階に戻ったようなものかもしれない．
- 以上のことから抗認知症薬の長期内服はQOLを下げており，どこかで中止する方が良い，そして中止時期は家族想起できなくなる時点（そこからは認知能力の低下がストレスにならない）がいいのではないかと考える．
- 単独性霊長類の段階に戻るのなら進化的に考えても無理して認知機能を保とうとする必要はないと考えられるのではないか．ただ家族にこの進化的説明が受け入れらレるかどうかについては慎重に考えなくてはならないかもしれない．
高齢の認知症患者に無意味でQOLを下げる抗認知症薬が漫然と処方されているというのは衝撃の事実だった．何らかの中止目安は是非設けた方がいいだろう．ただ最後の「進化的」云々にはかなり自然主義的誤謬が混じっているような印象で，フロアから厳しい突っ込みが入るかと思っていたが，進化的理由と適当の関係に関する質問があっただけで，それ以上の時間がなくそこはスルーされてしまった．
夕刻からポスター発表．これについては翌日にもポスターセッションがあったのでそこでまとめて触れることとしたい．
以上で大会初日は終了となった．
