社会の数理セミナー「有限集団における双行列ゲームの戦略の固定確率」および「ゲームが血縁者間で行われる場合の進化動学」

東工大の中丸先生は「社会」に関する数理モデルやシミュレーションモデルを内容とする「社会の数理セミナー」を東工大大岡山キャンパスで不定期に開催しておられる．
https://sites.google.com/site/mayukonakamarulab/home/semina-an-nei/she-huino-shu-lisemina

今回4月28日に大槻先生が血縁者間の進化ゲームの話をするというので，これは聞き逃せないと思い，何とか都合をつけて参加してきた．素晴らしい快晴でキャンパスはまさに初夏の雰囲気だ．

最初のお題は「有限集団における双行列ゲーム」．双行列ゲーム（bimatrix game）とは2人ゲームで，この対戦者間に非対称があって，利得行列が行と列に関して非可換になっているものをいうそうだ．

有限集団における双行列ゲームの戦略の固定確率　関口卓也

まず最初に様々な2人対戦型のゲームのカテゴリーについて解説がある．

まず対戦者が無限集団に属するか有限集団に属するかの違いがある．無限集団ではレプリケータダイナミクスで決定論的に議論できる．しかし有限集団では決定論ではなくマルコフ連鎖などの確率論の世界になる．また有限集団ゲームにおいて，淘汰の強さの前提や何を分析するか（長期的な平衡，固定確率など）についていくつかのカテゴリーを考えることができる．
これとは別に利得行列が両対戦者間で対称か非対称（双行列）かという違いがある．双行列ゲームでは行プレーヤー集団と列プレーヤー集団を別に扱う必要があることになる．
ここでは，これまであまり分析がされていなかった，「有限集団で弱い淘汰条件の下での双行列ゲームの固定確率分析」を取り上げる．

続いて分析のフレームが紹介される．

サイズMの行プレーヤー集団，サイズNの列プレーヤー集団を考える．戦略はそれぞれ2戦略（α1，α2，β1，β2）で，M人のうち何人がα1戦略をとっているか，N人のうち何人がβ1戦略をとっているかを考えると，とりうる状態はM×Nの格子平面で表される．
進化はモラン過程をとるとする．まず（M+N）人のうちにランダムに誰か１人を選びそれが死亡する．そして残りの（M+N-1）人のうちからゲーム利得に応じた形で１人選び（この選択確率式の中に淘汰の強さを設定するパラメータを入れ込む．今回の分析は弱い淘汰条件で行っている），それが複製を作る．
突然変異は考えない．だから一旦格子平面の縁に達すると内側へは移れない，4隅に来ると固定するので，この確率を考えることになる．

ここから固定確率を求める数学的な技の解説になる．合着理論を使ってパズルを解いていく様は美しい．そして任意の格子点から特定の隅の固定点への固定確率を与える一般式が得られる．応用例として有限集団最後通牒ゲームが解説される．（決定論的には現れない「平等な配分，平等提案のみ受け入れ」という戦略の固定確率が扱えるのがポイントということらしい．）

さらに一歩進めて「安定概念」分析の試みが紹介される．これは「安定」をどう定義するかに依存するところで，「どの格子からスタートしてもある隅への固定確率が中立確率より高く，その他の隅への固定確率が中立確率より低い」というシビアな定義を用いるとM，Nが大きくなるとそれを満たす安定は現れず，「どの格子からスタートしてもある隅への固定確率が中立確率より高い」という形に緩めると安定が現れうることが解説されていた．

独自の結果を得たということで数理的な部分が詳しく解説されていて，その技の冴えが面白かった．質疑応答では，固定確率がきちんと導出できている中で，何らかの定義を用いて「安定性」を議論することにどんな意味があるのかが問われていた．有限集団における議論はなかなか難しい．

続いて大槻の発表．

ゲームが血縁者間で行われる場合の進化動学　大槻久

今日は先行研究の解説が中心で，最後に少し自分の研究を話したいとのこと．

＜血縁集団と進化ゲーム＞
動物集団の多くは血縁集団であり，3個体以上で協力行動がみられることも多い．片方で，協力行動の進化については進化ゲームの形で分析されてきたが，伝統的には対戦はランダムマッチング型であり，血縁集団や社会規範がある際には対戦者の戦略は似通う傾向があると思われるが，それを反映できていない．
ではどうすればいいのか．これをうまく計算するのが私のような数理生物学者の仕事だ．

＜2人ゲームとレプリケータ方程式＞
まず2人ゲームを考える．ここでは2戦略，無限集団，集団構造なしの任意交配，1倍体生物（有性生殖でもよい，その場合には確率1/2でどちらかの遺伝子を受け継ぐ）を前提とする．
ここで利得行列は以下の通りとする．
$\bordermatrix{&A&B\cr A&a&b\cr B&c&d\cr}$

pを戦略Aの頻度とすると，それぞれの戦略の平均利得P_A, P_Bは以下の形になる．
$P_{A}=pa+(1-p)b$
$P_{B}=pc+(1-p)d$

するとレプリケータ方程式は以下の通りになる．
$\frac{dp}{dt}=p(1-p)( (a-b-c+d)p+(b-d))$

これは例えば協力行動について相手の利益をb, 自分ののコストをcとした囚人のジレンマを表す以下の利得行列において
$\bordermatrix{&A&B\cr A&b-c&-c\cr B&b&0\cr}$
レプリケータ方程式
$\frac{dp}{dt}=p(1-p)(-c)$
が得られ，cが正の値をとれば（つまり協力にコストがかかれば）協力は進化できなことが示されるということになる．

＜血縁淘汰と包括適応度＞
ハミルトンは，受け手が自分の血縁者であれば利他行動が進化しうることを示した．その際にキーになる概念が「血縁度」Rであり，これは遺伝子を共有する度合いを示している．（ここで血縁度を同祖性から解説）
ハミルトンの考えのポイントは，元々非協力の状態から協力に転じた際に生じる適応度の＜差異＞を問題にするということだ．ここは実に多くの誤解が生じるところなので注意されたい．そしてその差異を，自分の遺伝子への寄与を血縁度で重み付けして，足し合わせたものを包括適応度（inclusive fittness; W_IF）と呼び，それが正であればその行動が進化する．
$W_{IF}=\sum_{i}R_{i}(\Delta W_{i})$
これは2者間の場合には以下の式になりハミルトン則と呼ばれる．
$-c+Rb>0$

＜血縁者を含んだ場合のゲーム＞
では集団内に血縁者がいる場合に進化ゲームの動態はどうなるのだろうか．ここでポイントになるのはそのような場合には同じ戦略が出会いやすくなるということだ．これは同類マッチングと呼ばれ，子供が分散しない，自分と似たものと選択的にマッチングするなどにより生じる．

最初に血縁を進化ゲームに入れ込もうとしたのはメイナード＝スミスだった．（Maynard Smith 1978）
彼は単純に相手の利得に血縁度で重み付けをすれば良いと考えて，以下の利得行列を提示した．
$\bordermatrix{&A&B\cr A&a+Ra&b+Rc\cr B&c+Rb&d+Rd\cr}$

しかしこれは誤りだったのだ．（Grafen 1979）同類マッチングが考慮されて無く，さらに適応度を差異で見ることも行っていない．

ではどう考えればいいのか．ポイントは共通祖先を持てば戦略も同じになるということだ（無性生殖の場合にはまさにそのようになる．有性の場合には遺伝的な共通祖先を考えると同じことになる）．そしてRをこのような共通祖先を持つ確率だと考えると以下の戦略ごとの平均利得が得られる．
$P_{A}=Ra+(1-R)(pa+(1-b)b)$
$P_{B}=Rd+(1-R)(pc+(1-p)d)$

このレプリケータ方程式は以下の通りになる．
$\frac{dp}{dt}=p(1-p)( (1-R)(a-b-c+d)p+(b-d)+R(a-b))$

（ここでフロアから包括適応度との関係について質問が出て）
このレプリケータ方程式は包括適応度から導出されたものではない．Rを整理して無理矢理包括適応度的に解釈は可能かもしれないが，それはあまり意味が無いのではないかと考えている．包括適応度を用いるには，適応度の差異を考えなければならず，このようなabcd型の利得行列からそれを求めるのは難しい．ゲームについて直感に頼って包括適応度を利用しようとするとやけどしやすい．

この最後の大槻のコメントはなかなか深い．大槻は2006年の「A simple rule for the evolution of cooperation on graphs and social networks」という論文において，集団構造がある場合の協力の進化について（あるアプデート方式の元で）「ネットワークグラフの平均ノード数をkとおくと，b/c>k という条件で協力戦略が進化する」ということを報告し（さらに別論文で一次元円環モデルで精密に計算して集団が大きい場合にはb/c>2になることを報告している），その最後に「このルールはハミルトン則に似ている，これには意味があり，グラフのノード数は社会的関係度（relatedness）の逆数になるからだろう」とコメントしたところ，Alan Grafenから厳しい指摘（そもそもこの一次元円環モデルのケースは包括適応度でエレガントに導出できる．そしてそれをよく見るとb/c>2の2は社会的関係度から来るのではなく，アプデートの方式に由来することがわかる）を受けた経緯がある．（詳細はhttp://d.hatena.ne.jp/shorebird/20101030以降を参照）
実際に進化ゲームを包括適応度的に解釈するには，血縁度の問題の他にも適応度計算の問題があり，それは集団平均に対する相対的な問題になるので，戦略頻度に依存し，単純にペイオフ行列から導出するのが難しい場合がある．このあたりをもって「やけどしやすい」といっているのだろう．

ここからは大槻の得た結果についての発表になる．

＜n人2戦略ゲーム＞
ここまでは2人ゲームの話だったが，それをn人に拡張するとどうなるかを考察した．
2戦略の場合ゲームの利得は（行の数表示を戦略Aを用いている人数として）次のように表現できる．
$\bordermatrix{ & 0 & &k & &n-1 \cr A & a_{0} & \cdots& a_{k} &\cdots& a_{n-1} \cr B & b_{0} & \cdots& b_{k} &\cdots& b_{n-1} \cr}$

ここでは3人で行う公共財ゲームとボランティアゲーム（利得に閾値がある形の公共財ゲーム，ここでは3人全員協力して初めて成果が得られる協力の場合）を例にとろう．それぞれの利得行列は以下のようになる．

＜公共財ゲーム＞
$\bordermatrix{ & 0 &1 &2 \cr C & -C+\frac{1}{3}B & -C+\frac{2}{3}B &-C+B\cr D & 0 & \frac{1}{3}B& \frac{2}{3}B \cr}$

＜ボランティアゲーム＞
$\bordermatrix{ & 0 &1 &2 \cr C & -C & -C &-C+B\cr D & 0 & 0 &0 \cr}$

n人2戦略ゲームはランダムマッチングであれば，それぞれ戦略ごとの利得を2項分布を用いて簡単に計算できて，レプリケータ方程式に持ち込むことができる．では血縁者がいる場合はどうなるか．それぞれいろいろな血縁度を持つ血縁者，偶然戦略が同じになった人などを考えなければならず，非常に複雑だ．今回ここをうまく工夫して一般的な式を得ることに成功した．キーになるのは対戦集団の人々が合計何人の共通祖先を持っているかだ．n人の中からl人（小文字のL）を選んで，そのl人がちょうどm人の共通祖先を持つ確率をθ_l→mと表記する．するとn人の中からランダムにl人を選んだところそれが全員戦略Aをとる確率ρ_lは以下のようになる．
$\rho_{l}=\sum^{l}_{m=1}(\theta_{l\rightarrow m}\cdot p^{m})$

ここから戦略Aの頻度についての微分方程式を導くことができる．（時間の関係で導出は省略，関心ある人は論文に当たって欲しいとのこと）

これを上記公共財ゲームとボランティアゲームに当てはめると以下の方程式が得られる．

＜公共財ゲーム＞
$\frac{dp}{dt}=p(1-p)(-C+(1+2\theta_{2\rightarrow 1})\frac{B}{3})$

このθ_2→1というのは，2人が1人の共通祖先を持つ確率だから，まさに血縁度Rと同じである．だからこの式は
$\frac{dp}{dt}=p(1-p)(-C+(1+2R)\frac{B}{3})$
となり，Cは利他行動のコスト，後の括弧のなかの1は自分の受ける利益，2Rは後の２人が受ける利益に血縁度をかけたものということになり，包括適応度的に美しく解釈できる．

＜ボランティアゲーム＞
しかしボランティアゲームではこのような美しい形にはならない．θ_2→1だけでなくθ_3→1（つまり3人が同じ共通祖先を持つ確率）が残る．これはθ_2→1すなわちRから導出できない独立に決まる成分になる*1．つまりこのゲームの解決には単純な血縁度だけでは不十分で，より深い血縁構造の知識が必要になるのだ．このためこのようなゲームにおいては両親を共通する兄弟と片親のみの兄弟で，系の振る舞いが質的に異なることになる．

質疑応答でこの点についてさらに深い解説がなされ，利得行列が戦略をとっている人数に対して線形に決まっていれば方程式はRのみで表現できるが，非線形になるとより深い血縁構造の知識が必要になることが解説された．一般に利得行列の次数がd次だとするとθ_d+1の知識が必要になるという結果が得られているそうだ．
包括適応度理論が線形の世界の中での近似であることを踏まえると，非線形の世界では厳密には成り立たなくなる．だからn人協力成功の閾値があると，より深い血縁構造の知識が必要になるのだ．実務的にはこのような大きな非線形現象があればよく考えなければならないということなのかもしれない．
しかし後でよく考えてみると，実際の状況でこのようなはっきりした非線形があることは稀でないかという気もする．確かに3人集まって初めて狩猟に成功するような獲物もあるだろう．しかし利得行列を進化的な時間で平均して考えてみると，2人で初めて成功する獲物，3人で初めて成功する獲物，4人で初めて成功する獲物・・・とあるわけで，厳密には線形にはならないだろうが，かなり揺るやかな曲線になって近似としては十分ロバストになるような気もするし，さらに確かにθ_3→1はθ_2→1つまりRとは独立に決まるが，これも当該生物種の集団構造を前提にして進化的な時間で平均すると，θ_3→1をRから推測するある程度ロバストな近似式が成り立ちそうな気がする．というわけで現在の私の印象は，とりあえず進化の方向を見たい場合には，進化時間で平均してある程度緩やかで連続する傾きが期待できそうなことが多く，引き続きうまく適応度を計算してやれば包括適応度はかなりロバストに使えるのではないだろうかというところだ．いずれにせよこのあたりはなかなか深い．

参加して期待通りの充実したトークを聞くことができ，有意義なセミナーとなった．中丸先生を始め事務局の方には改めて厚く御礼申し上げたい．
東工大は最近正門周りが改築されて大変おしゃれになっている．