本書は応用統計学にも造詣の深い科学哲学者大塚淳による統計学の哲学の入門書になる．序章では本書について「データサイエンティストのための哲学入門，かつ哲学者のためのデータサイエンス入門」だとある．
これまで読んだ統計学の哲学についてはソーバーの「科学と哲学」がなかなか面白かった．本書ではソーバー本では扱っていなかった因果推論や深層学習についても論じられていて，そのあたりも勉強したいと思って手に取った一冊になる．
序章 統計学を哲学する？
序章では本書のねらいと構成が書かれている．ねらいとしては，上記の入門書というだけでなく，「統計は確固とした数理理論であり，そこに哲学的思弁が入り込む余地はない」とか「統計は単なるツールであり，深遠な哲学とは無縁だ」とかいう誤解を解きたいということが挙げられている．特に「なぜ統計のような数理理論が科学的知識を正当化するのか」というのは優れて哲学的な問いであるということが強調されている．構成としては存在論，意味論，認識論という哲学の議論を縦軸にとり，個別の統計的手法を横軸にとり展開されると予告される．ここで統計にかかる存在論，意味論，認識論については以下のように説明されている．
- 統計にとってまずデータが存在する．そしてそこから何かを推測するというのは1種の帰納推論であり，そのためには自然の斉一性と確率モデルとしてのデータ構造を仮定しなければならない．さらに因果推論のためには「潜在結果」を考察しなければならない．これらは存在論的な問題である．
- 統計は世界を数理的にモデル化し，確率命題として表現する．これをどう解釈するかは意味論的な問題になる．
- 最後に仮定され解釈された存在を実際にどのように推論するかは認識論の問題になる．頻度主義とベイズ主義の論争は意味論としての側面と認識論としての側面から解釈できる．
第1章 現代統計学のパラダイム
第1章では統計学全体の見取り図が提示される．現代統計学には「記述統計」と「推測統計」という2つの側面があるということでそこから解説が始まる．
＜記述統計＞
- 得られたデータを私たちに理解できるような形で記述して要約するための技術は「記述統計」と呼ばれる．要約する種々の指標は「統計量」と呼ばれる．
- 統計量には標本平均，標本分散，標本共分散，相関係数，回帰係数などがある．
- 実証主義（positivism）の考え方によれば観測されたデータをまとめることこそ科学の目的だということになる．実証主義者は観察されたデータのみに基づいてそれを整合的にまとめることが科学であるとし，直接観察できないような概念を排斥しようとした．エルンスト・マッハは「原子」や「力」などの概念にも噛みついた．カール・ピアソンは実証主義を引き継ぎ，「因果性」の概念を排斥しようとした．
- 記述統計は実証主義的な探求に具体的な方法論を与えるものとなる．
- このような実証主義に従えば帰納推論は不可能になる．帰納推論を行うためには「未観測の事象はこれまで観測された事象と同様だろう」という自然の斉一性を前提にしなければならない．
＜推測統計＞
- 自然の斉一性という仮定を確率モデルとして定式化した上で帰納推論を精緻化したものが「推測統計」と呼ばれる．得られたデータから確率モデルを推定し，そのモデルを媒介として未来のデータを推測する．この方法論はデータと確率モデルの二元論の上に立つことになる．
- この方法論が成り立つためには確率モデル記述のための数学的な枠組みとモデル推論のための方法論（認識論）が必要になる．
- 確率モデルにおいては，データの源としての「母集団（標本空間）」を想定し，その部分集合として「事象」を考える．確率は母集団に占める部分集合の大きさを測るものであり，いくつかの公理を満たす必要がある．（確率の公理，条件付き確率，独立性，確率変数，確率分布，確率密度，期待値などが解説される）
- 観測データはこの確率モデルからのサンプリング（部分的抽出）として理解される．帰納推論を行うためにはサンプリングは同じ確率モデルから独立のデータとして採られなければならない．これは独立同一分布（IID）条件と呼ばれ，「自然の斉一性」の具体的な内実ということになる．帰納推論が可能であることを示す理論的な柱は（IIDを前提とした）大標本理論である（大数の法則，確率収束，中心極限定理などが解説される）．
- 大標本理論は無限にデータをとれば真なる分布に近づくことができることを保証する．しかし現実のデータは有限である．有限のデータから帰納推論を行うために推測統計は確率モデルにさらなる仮定を加える．例えばパラメトリック統計では対象となる確率分布が特定の分布であることを仮定する．このような仮定として用いる候補としての分布の集合を「統計モデル」と呼ぶ．統計モデルは本当の確率分布の適切な近似であることが期待されている1種の道具ということになる．（いくつかの分布が解説されている）
- 仮定の分布を統計モデルとして置くメリットは，確率分布の推定をいくつかのパラメータの推定に帰着できること，様々なパタメータ仮説の元でのデータが得られる確率，つまり尤度が計算できるということだ．
- なぜ推測統計においては存在論を確率論という数理的な仕組みで表す必要があるのか．それはそうすることによって，どれだけの存在論的仮定の下でどのような帰納推論が可能になるのかを厳密に示すことができるからだ．多くの場合問題になるのは分布族（統計モデル）の仮定になる．
- 哲学者は，世界に存在すると私たちが想定し，それに基づいて思考や推論を行うような離散的な単位を「自然種（natural kind）」と呼ぶ．この自然種は学問分野によって異なりうる．そして分布族は統計学において自然種の役割を果たしている（今後これは本書内で「確率種」と呼ばれる）．様々な確率分布とその間の関係性は元素の周期表のようなものだと考えられる．
- このように直接観測できない自然種を用いて推論・説明を行うという推測統計は実証主義とは折り合いが悪い．自然種実在論者はこのように想定された「隠された存在」がどのように経験から推論されるかの認識論的手段を提供しなければならない．推測統計の本分はこの認識論にある．
有限データから推測するための追加仮定が確率モデルであり，その認識論こそが重要ということになる．概念が明晰に解説されていて導入としてわかりやすい．ここから個別統計手法ごとの解説になる．ベイズ統計からはじめるという順序はいかにも現代的に感じられる．
第2章 ベイズ統計
ベイズ統計の哲学的解説．ベイズ統計では与えられたデータに基づき，仮説の確からしさを逐次更新することで帰納推論を行う．ここではまずその確率の主観的解釈問題からはじめている．
- 前章で確率モデルを説明した．この数学的道具立てを現実の帰納推論の文脈でいかに具体的に解釈するか，つまりそもそも確率とは一体何のことであるのかは「確率の意味論」の問題になる．この点については異なる解釈が存在し，これがベイズ統計と古典統計の異なる土台となっている．このことについてはベイズ統計は主観主義，古典統計は頻度主義と呼ばれることが多い．ただしこの2つの立場は意味論だけでなくどのように帰納推論を行うべきかという認識論にも違いがあるので注意が必要である．
- ベイズ統計によると，確率とは推論者が当該の命題に関して有する「信念の度合い（degree of belief）」と解釈されるということになる．
- この信念の度合いをどう測るかという問題への1つの回答が「公正な賭け金」アプローチになる．これには恣意的だという批判もあるが，命題として表せるものはいかなるものにも確率を当てはめられるという利点がある．
確率を整理した後，ベイズ統計の仕組みが解説される．その仕組みはどのように正当化されるのかが認識論として議論される．著者はベイズ統計は正当化についての内在主義に立つのだと主張する．
- ベイズ統計では仮説についての信念の度合いを得られたデータを証拠として更新していくことで帰納推論を行う（尤度，事前確率，事後確率，ベイズ定理，確率変数の事前分布と事後分布などが解説される）．それには，まず与えられた問題を適切な確率分布/確率種によってモデル化する．すると仮説はこの想定された分布のパラメータについての仮説として定式化できる．そしてその分布の元でのデータの確率つまり尤度が求まり，ベイズ定理を応用することによりモデルについての信念を更新していくことができる．
- このようなベイズ推定は，ベイズ定理を用いることにより前提の信念の度合い（事前確率と尤度）に対して整合的な形で結論の信念の度合いを調整することを保証するということを意味する．これは「ベイズの確率計算は帰納推論についての1種の演繹論理なのか」という認識論の問題を提起する．
- 科学と認識論の結びつける鍵は「正当化」の概念になる．科学的知識を知識たらしめているのはそれが一定の手続と推論によって正当化されているという事実である．ではそれはどのような意味での正当化なのか．
- 現代認識論にはこの正当化についていくつかの立場がある．内在主義的認識論では「信念は既に正当化された信念からの妥当な推論によってのみ正当化される」と考える．外在主義的認識論では「信念はなんらかの客観的プロセスによりその正しさが担保されることにより正当化される」と考える．私はベイズ主義は内在的認識論として（古典統計は外在的認識論として）特徴付けられると論じる．
- 内在主義は正当化の条件を「その信念を持つ当人がその信念の理由ないし証拠をしっかり把握していること」とする．内在主義者は正当化を主体の有する信念間の関係性として理解する．ベイズ統計はベイズ定理を根拠付けについての推論規則とすることによりこの信念間の正当化プロセスに内実を与えるのだ．
- 現代哲学はさらに正当化について真理促進的な性質を期待する．内在主義の正当化概念については「信念間の整合性があるとしてもなぜそれが実世界と整合的かをどう担保するのか」という問題（遡行問題*1）がある．ベイズにおいては事前確率と尤度がどう正当化されるかが問題となることになる．
＜事前確率の正当化＞
- 事前確率の正当性はベイズ主義をめぐる論争の火種となってきた．ベイズ主義者の標準的な回答は「確かに事前確率が誤っている場合（基準率の誤謬）には1回のデータで正当化された結論にたどりつくのは難しい．しかしベイズ推論は信念のアプデートのプロセスであり，それを繰り返すことにより，より正確な結論にたどり着ける（そして無限回の遡行をなせば真理にたどり着ける）」というものだ．これはベイズ的正当化は漸近的に真理促進的であるという主張になる．
- しかし実際のデータは常に有限だ．ベイズ主義者はこれに対して「適切な事前分布を用いることで有限な正当化の連鎖を支えることができる」と答える．これは認識論的基礎付け主義と呼ばれる立場になる．この基礎付け主義には2つの方向性があり，1つはアプリオリに真理である知識を認める方向，もう1つは感覚により直接知覚できる情報を真実と認める方向だ．ベイズにおける基礎付け主義においては前者は「無差別の原理（何も情報が無い場合に全仮説に同確率を割り当てる）」，後者は「経験ベイズ（事前の調査や観測データに合わせて事前分布を決定する）」ということになる．
- 無差別の原理は事前分布の恣意的な選択を排除すること（間主観性の確保）に本分がある．これに対しては対象をどの確率変数によって記述するかによって無情報事前分布が異なってしまうという批判がある．
- 経験ベイズは「私たちは自らの信念の度合いを実際の物事の起こりやすさに一致させなければならない」という要請を明示的に示したものになる．ここには「実際の起こりやすさ」とは何か，「一致させる」とはどういうことかという問題があり，さらに実務的にはどの参照クラスを用いるかという問題が生じる．
- 経験ベイズによって推論の真理促進性を担保しようとするとき，ベイズ主義は「信念間の関係性（ベイズ定理の演繹性）」の枠組みの外に足を踏み出していることになる．それはいかに理にかなっているように見えようとも，それを理論的に厳密に正当化することには大きな困難が伴うことには留意が必要である．
この事前確率の正当化の議論はいかにも哲学者的で面白い．私の感覚では，むしろ「そうはいっても今何か推測しなければならない問題があるのだから（そして古典統計で推測するための枠組みを作る時間も予算も無いのだから），とりあえず使えそうな事前確率を入れてベイズで仕事を始める方が（恣意的であることを恐れて手を出さないよりも）有用だ」というプラグマティックな態度の方がベイズを使う場合の心情に近いような気もするが，それは哲学的には真理促進的な「正当化」とはいえないのだろう．
＜尤度の正当化＞
- 尤度の正当性は，統計モデル（確率種）の想定に依存する．扱う問題に応じて適切な確率種（尤度関数）を設定することが帰納推論の重要な課題になる．これは真なる分布に一致ないし十分に近似した分布を想定すべきであるという意味だ．（分布が一致していなくともベイズの更新プロセスは最終的に真理に到達しうるのだが，そのために必要なデータの数や収束率については知ることができない）
- 実務的に正しい確率種（尤度関数）が選ばれている保証はどのように得られるのか．それをアプリオリに保証する術は存在せず，事後的に得られたデータと参照して判断するしかない．この事後的プロセスはモデルチェックと呼ばれる．このチェック自体はベイズ的確率計算によってなされるものではなく，なんらかの検定や目視によってなされる．このプロセスは仮説演繹的な古典的検定理論のプロセスに近く，基礎付け主義的認識論とは一線を画するものであり，全体論的な性格を持つ．ここでもベイス的帰納推論を「信念間の関係性」だけによって完結させることができないことに留意が必要だ．
ベイズ定理を用いた信念の更新プロセスは哲学の認識論においては内在主義ということになるが，それだけでは実世界に当てはまるかどうかは保証されない．そのためには事前確率と統計モデル選択において実世界とのなんらかの関わりを作る必要があるが，それはベイズ統計の内在主義的論理の外側で処理せざると得ないということになる．明晰な解説だ．
第3章 古典統計
第3章では古典統計が扱われる．ここではネイマン-ピアソン流の仮説検定の枠組みが解説され，フィッシャーの枠組みは取り扱われておらず，少し残念なところだ．第3章でもまず確率の意味論から解説が始まる．
- 古典統計では確率を事象の相対頻度として客観的に定める．これは頻度主義と呼ばれ，確率は無限回の試行による収束値として定義される．
- これにより確率を現実世界に即して一意的に決定できることになる．ただし真の値は無限収束値なので，確率値はあくまでも仮定的なものにとどまる．さらに確率は「集まり」に対してのみ付すことができ，1回限りの事象の確率を論じることはできず，繰り返し試行する場合もその1回1回の確率を考えることはできないということになる．
- そして頻度主義においては「仮説が真である確率」という概念が意味をなさないことになる．
- このような頻度主義の確率の意味論は，帰納推論を進めるに当たってベイズ主義とは全く異なった認識論を要請する．
- 古典統計においては世界についてなんらかの仮説を立て，データとの当てはまりを見て，それを棄却するか保持するかを決める（仮説検定）．これはポパーの反証主義の考え方に親和的だ．ここで仮説が蓋然性を持つ主張を行う場合にはポパー的な後件否定の論証は適用できない．このような場合は仮説の尤度をその仮説が偽であった場合も含めて考慮することが必要になる．
- ネイマン-ピアソン流の古典統計では仮説の尤度と対立仮説の尤度と対にして検定を行うことになる．（ネイマン-ピアソン流の仮説検定の仕組みが，第1種，第2種の誤り，有意水準，検出力，p値，サンプルサイズなどの概念と共に概説される）
- こうした手続とその結果はどう解釈されるべきか．ベイズ主義と異なりこの検定はどちらの仮説が確からしいかを決定するわけではない．検定とはデータから帰無仮説の棄却ないし保持という二つの選択肢への関数なのだ．
- つまり検定とは一定のデータから判定を導き出す検査器具であり，はじき出される有意水準，サイズ，検出力という値は検査器具としての検定自体の性質であり，仮説の性質や（棄却や保持という）判断の確からしさの性質ではない．
- 検定理論が検定手段の長期的な信頼性に関わるものだとすると，科学知識の正当化とはどう関わるのか．
- その知識がどのようなプロセスを経て形成されたかに正当化の根拠を求める態度は信頼性主義と呼ばれる．これは信念主体の外側にある「信念の形成プロセスの信頼性」という客観的な事実に正当化の要素を認める外在主義的な認識論になる．信頼できる信念形成プロセスとは「仮にPが真でなければPと信じなかっただろう．仮にPが真であればPと信じただろう」という反事実条件を満たす形で事実を追跡するプロセスになる．
- 仮説検定のサイズと検出力は検定がどの程度この2つの反事実条件を満たすかを示す指標だと解釈できる．反事実条件では「ありとあらゆる可能世界の中で問題となる条件以外は現実世界とあまり変わらない世界」の集合が問題となる．頻度主義の仮説検定ではそのような可能世界集合の中で検定を行った場合にそのうちどのぐらいの割合で帰無仮説が棄却されるかを考えていることになる．
- この正当化はこの可能世界のあり方に本質的に依存する．統計的仮説検定はこの可能世界について現実世界と同じ統計モデルを有するがパラメータのみ異なっていると想定することで架空のサンプルの確率計算を可能にしている．つまり頻度主義とは可能世界のあり方を探る統計学なのだ．
- ではこのような検定により正当化された仮説には真理促進的な性質があるだろうか．それは外的な事実と一致するように信念を形成するプロセスにより形成されていることになるから答えはイエスということになる．
- ここに「再現性の危機」問題が関連する．頻度主義の正当化はあくまでプロセスの信頼性に依存する．正当化のためには，単にp値が低いだけではなく，科学探究においてその検定プロセス全体が正しく運用されているかどうかが問題になるのだ．この信頼性を支える条件の成否は通常隠されていて単純な指標で確認できるようなものではない．しかしこの外在主義的正当化が真理促進的であるためには常にその成否を問い続けることが必要なのである．
この部分の解説も面白い．古典統計では検定プロセスの信頼性こそが仮説の保持・棄却判断を正当化する．そしてそれはプロセス全体が問題になるため，p-hackingなどの問題を抱えることになるわけだ．なおここで先ほどベイズで尤度関数の正当化に関して取り上げられた「どの確率モデル（分布族）を想定するか」という問題は取り上げられていない．しかしやはり数理と現実との橋渡しに関して同様の問題があるのではないだろうか．
ここからはベイズ主義と頻度主義の対比が取り扱われている．
- ベイズ統計（および尤度主義統計）は尤度主義基準（仮説やパラメータの推論に関するすべての情報は観測されたデータに対する尤度関数の中に含まれているべきだ）を満たす．しかし頻度主義は満たさない．これに関連するのが「停止規則問題」になる．ベイズ主義者はこれをもって頻度主義にある恣意性だと批判する．これは信頼性主義認識論に共通する難問の1つの現れであり，「信頼できるプロセス」が様々な粒度で記述可能なことから生じる．これは（ベイズ統計における）事前確率の参照クラス問題と似た構造を持ち，原理的な答えがない問題なのだ．*2
- この尤度主義をめぐる論争はベイズ主義と頻度主義の認識論的な差異を明確に特徴付けている．内在主義者にとってデータは経験的推論がよって立つ唯一の土台であり，世界について知りうるすべてが含まれているべきことになる．しかし外在主義者にとってはデータだけではなくその獲得プロセスすべての信頼性が問題になるのだ．
- 何故このような「主義」の違いに目を向ける必要があるのか．それは帰納推論には純粋に論理的・数学的な分析のみには帰着しない不確かさとそれに対処するための「泥臭さ」がつきまとうからだ．それは「知っていることから知らないことを推論する」という非演繹的な試みを論理的に妥当な方法で行うことは本質的に不可能であるからなのだ．そして哲学的な考察は両主義共通の問題も明らかにする．それぞれの抱える問題はそれぞれの方法論がどのようにして現実世界と関わるのかということを軽視することから生まれている．これに対してはそれぞれの正当化概念を正しく理解することが有用になるだろう．
頻度主義検定が仮説の保持か棄却かを選ぶためのものだというのは理解していたつもりだったが，可能世界のあり方を探る方法論であると表現することもできるというのはスリリングだ．頻度主義とベイズ主義の論争はそれぞれの数理的仕組みがどう現実と関わるかが異なってくるところから生じているという指摘も味わい深い．
この第3章までで頻度主義とベイズ主義の論争は一旦整理され，ここからモデル選択，深層学習，因果推論が扱われる．
第4章 モデル選択と深層学習
古典統計もベイズ統計も自然の斉一性としてなんらかの確率モデルを仮定する．この確率モデルについて説明変数をどのように選ぶかというのがモデル選択の問題だ．深層学習はこのモデルを非常に複雑怪奇なものとして組み立てていると見ることができるということで一緒に論じられる．
- ここまでベイズ統計と古典統計が帰納推論の問題にどのような対処を行うのかを見てきた．この理解に従えば，これらの手法の有効性は「自然の斉一性」を前提としており，これを正しく認識すること，つまり確率モデルをより正しく認識するほど帰納推論をより良く解決できることになる．
- では予測という帰納問題において，より正しいモデルを選ぶことは常に望ましいか．真実と離れたモデルの方がよりうまく予測できるということはないのか．意外なことに答えはイエスである．
- 統計モデルとしてある分布族を所与とし，与えられたデータからパラメータθを推測する場合，仮説検定では特定のθについて仮説を立て，その成否を検討することになる．ここではそのような仮説を立てずにデータに最も適合するθを選ぶことを考える．この場合，尤度を最大化するパラメータ値（最尤推定量）を選ぶ手法を最尤法と呼ぶ．
- このように特定のデータに対しモデル調整をすることをモデル適合あるいは学習と呼び，そのようにパラメータが調整されたモデルと適合モデルと呼ぶ．モデル適合手法としては最尤法のほかに最小二乗法などもある．モデル適合手法は単に特定のデータに適合する仮説をピックアップしているだけで，その仮説の正しさについては無関心だ．
- ここで回帰モデルによる予測を考える．回帰モデルは目的変数を説明変数と誤差項の関数として表す．関数を決めるには，まず関数の形を大枠で決めてそのパラメータを調整することになる．このような回帰モデルは1種の確率種であり，パラメータの値は古典統計やベイズ統計を用いて推測することもできるが，最小二乗法や最尤法によって決めることもできる．どちらもある特定の確率種を正しく認識することにより予測を試みていることになる．
- ここで説明変数の範囲をどう決めるかによって複数のモデル候補が考えられる場合，どれを選ぶべきかという問題が生じる．モデル選択理論は最も予測力が高いモデルを選ぶための基準を与えるものだ．
＜AIC＞
- モデル選択理論の代表的なものは赤池の情報量規準（AIC）だ．これはモデルがノイズにまで過適合して予測力が下がる問題をパラメータ数を予測性能のペナルティとすることで処理するものだ．（AICについて概説がある）
- AICは過去データを余すところなく捉えるという意味で「より正しい」統計モデルが予測性能において常によいとは限らないことを示している．帰納推論を行うためには，対象となる物事を一定のレベルで同一視を行い，それ以上の詳細や差異を無視する必要があるのだ．AICはどのレベルで同一視すべきかを平均対数尤度の違いとして数値で表している．
- これは過去をうまく説明する「リアル」と将来予測に役立つ「リアル」が異なりうることを意味する．そもそも統計学が確率モデルを導入したのは帰納推論を可能にするためだった．つまり統計学の「リアル」には道具主義的な側面があり，そしてそれはプラグマティズムにもつながる．
- ここで何が役立つかは文脈によって異なる．AICでどのようなモデルが選ばれるべきかは手持ちのデータにより異なる（データ量が大きいとより多くのパラメータを許容する傾向がある）．これはしばしば統計的一致性の欠如として批判されるが，それはAICの目的にとっては問題ないと考えるべきだ．
本書の枠組みでは統計モデリングとしてどの分布族を選ぶかという問題は（ベイズ統計ではそれは内在主義の外側にあるという指摘だけで古典統計のところでは触れられず）基本的に取り上げられていない．ここは少し不満の残るところだ．統計モデリングとしてどうあるべきかという視点で，正規分布とその他の分布，一般化線形モデル，ベイズ統計モデリングとマルコフ連鎖モンテカルロ法あたりと絡めて解説してほしかったところだ．
＜深層学習＞
- 近年予測に特化したアプローチとして深層学習が注目を集めている．深層学習では膨大なパラメータ数からなる極めて複雑なモデル構造を持っている．（標準的なモデルとして多層ニューラルネットワークの概説がある）
- このようなモデルは巨大な回帰モデルとして捉えることができ，1つの確率種であることになる．そして実際に標準的な深層学習ではこのパラメータを最尤法*3で求める（モデルの学習）．その際には誤差逆伝播法が用いられる．この計算法には様々な技術的困難*4があったが，最近いくつかのブレークスルー*5により効果的な学習が可能になったものだ．
- 近時のAI，深層学習の成功と社会的ブームは，「真理から予測へ」という統計学の考え方のパラダイムシフトと見ることができる．複雑怪奇な深層学習モデルが真なる分布に到達することはほぼあり得ないだろう，しかしそうではあっても満足できる予測性能があればそれで十分だという考え方がブームの背景にある．そこでは問題はモデルの真偽ではなく有用性ということになる．これはプラグマティズム認識論と親和的だ．そのような認識の元で「分布の正しさ」や「真なる分布」という概念が不要になるわけではないが，それらは探求のゴールではなく有用な道具的仮定として使われることになる．
深層学習は1種の巨大で複雑怪奇な回帰モデルであるということになる．そしてその興隆の背景には「予測にとって有用であれば価値がある」というプラグマティズムへのパラダイムシフトがあると著者は指摘する．（先ほどにも少し指摘したが）このパラダイムシフトは（特にマルコフ連鎖モンテカルロ法の進展以降の）ベイズ統計にも表れているように思える．合わせて解説が欲しかったところだ．
ここから深層学習の正当化問題が取り扱われる．
＜深層学習と正当化＞
- 深層学習は様々な科学分野へ真理獲得のために応用されはじめ，いくつかの分野では事前知識なしに観測データのみから物理的に意味のあるパラメータや法則が発見できたことが報告されている．これまで古典統計やベイズ統計が担ってきた科学的知識の正当化の役割も今後は機械学習的な手法により担われるのかもしれない．これは正当化にかかる認識論的な問題となる．
- 深層学習による知識はどのような意味で正当化されるのか．1つの考え方はそれは1つの信頼できるプロセスだという外在主義的な基礎付けだ．しかし深層学習においてはモデルの信頼性を導く理論は未だ存在しない．それは標準的なデータセットをどれだけうまく処理できたかなどの方法で事後的にしか評価できないし，そのような評価もあくまで個別のモデルの信頼性に過ぎない．
- ではこのような属モデル的な正当化はどう考えられるべきか．私は道徳の徳認識論のように「適切に学習された深層モデルは認識的徳を持つ」と考えたい．
- この認識論のもとでは深層モデルの理解はそのモデルの徳/能力の解明に帰着する．それを理解するためにはモデルのどの特徴が真理促進性に貢献しているかを把握し，それがどのようなネットワーク構造によって実現しているかが明らかにされなければならない．この理解に向けて様々な試みがあるが，片方で「敵対的事例」などの例もあり，一筋縄ではいかない．
- これとは異なり正当化の根拠をモデルの内側に求めるというアプローチも考えられる．それは深層モデルが単に動物的知識（ただ知っている）を持つだけではなく反省的知識（なぜそれを知っているかも知っている）を持っていることを示さねばならない．しかし深層モデルがそれを持っているかどうかは明らかではない．「説明可能な人工知能」の研究はそれを目指したものだと理解できる．しかしこの問題にはクワインの「翻訳の不確定性」がつきまとうであろう．
深層モデルの正当化を徳認識論で何とかしようというのはなかなか強引な感じがするが哲学的にはそういうことなのかもしれない．要するに深層モデルは個別に信頼性を見なければならないということだろう．そして個別にどうやってみるのかの部分は基本的にオープンクエスチョンとなっている．なかなか難しいところだ．
因果推論
最後は因果推論が取り上げられている．ここは読みどころだ．
- ヒュームは因果関係について，時空的隣接，原因の時間的先立ち，恒常的隣接を条件に挙げた．この恒常的隣接は確率変数の従属性から理解できる．規則説は恒常的隣接に交絡要因の不在条件を含めることにより直接的因果を還元主義的に定義する試みだ．
- もしこれが可能であれば回帰分析によって（説明変数に交絡要因候補を加えることにより交絡の問題を処理しつつ）因果を決定できることになる．
- しかし規則説には大きな問題がある．それは共変量選択をどうするのか（どこまでの要因をモデルに組み込むか）が明らかではないことだ．いくら知恵を絞ってモデルを組み立てても想像も及ばない交絡要因が隠れているかもしれない．またM字構造などモデルに組み込んではいけない変数も存在する．シンプソンパラドクスはこの1つの表れである．
- どのように要因を選ぶかというのは実務的な問題であるとともに，認識論的問題でもある．それは正しく交絡要因をモデルに含むためには（これから推論しようとする）因果構造の知識を事前に持っている必要があるからだ．
- これは因果は確率で完全に定義できない，つまり因果関係はそもそも確率的関係ではないことを示唆している．因果を見るには可能世界にも目を向けなければならないのだ．
- 因果の反事実条件説とは，因果の条件は「もし原因Cがあったとしたら結果Eがあっただろう，もし原因Cがなかったとしたら結果Eは無かっただろう」であるとするものだ．これは因果は可能世界意味論により定められるということを意味する．
- このような反事実的条件は「無数の可能世界の中で，適例世界があり，それは反例世界のどれよりも現実世界に近い」ということを意味する．これは（少しややこしいが）私たちの因果についての日常的な用法と適合的だ．問題は私たちは反事実世界を観測することができないということだ．反事実条件説から因果を推論するには反事実的問いに答えなければならない．この問題は「因果推論の根本問題」と呼ばれる．反事実条件説は良い因果の意味論を与えてくれるが，認識論には無頓着なのだ．
因果と相関は異なるというのはよくいわれるが，ここではまず，確率的に理解する場合に交絡要因の不在を条件とし，そして因果を確率的関係として回帰分析するには「交絡要因を事前にすべて知ることはできない」という実務的，認識論的な難点があることを指摘する．そして反事実条件説に進むが，そこでは「可能世界の中で現実に近い」などという難しい議論が必須になる．ただここで著者は「反事実条件」と「交絡」の関係を整理してくれていない．ここは是非明晰な哲学的な解説が欲しかったところだ．
- 統計的な仮説検定の仕組みを対立仮説と観測データの間に因果的連関があるかどうかを推論する仕組みとして捉えることができるだろうか．このような仕組みで捉えた検定はある因果推論が信頼できるかどうかを決めるものになるだろう．しかしこの検定には統計モデルが正しいという前提がおかれている．つまり事前に想定された因果関係を用いて結果から原因を推論することしかできず，因果関係自体を推論できるものではない．つまり因果の推論は検定とは異なる手法で行われなければならない．
- 因果を推論する1つの方法は介入実験によりどのような交絡要因からも独立になるようなデータを集めることだ．これがフィッシャーの無作為化比較試験法（RCT）の骨子になる．RCTは因果推論の王道であり，因果関係についての科学的知見の多くはこれに頼っている．
- では介入操作のない観測データしかなければどうすればいいのか．それには「強く無視できる割り当て条件」を満たすデータを用いればよい．その1つの方法は交絡要因を傾向スコアとして把握して，それを用いて独立とみなしてよいデータ系列を抜き出す手法であり，ルービンの反実仮想モデルとして知られる．ただしこれも交絡要因を網羅的に取り込む必要があり，回帰分析の場合と同様に未知の交絡要因問題やM字構造要因問題が解決されるわけではない．とはいえ回帰分析に対して，交絡要因をモデルに取り込まず，傾向スコアに要約してパラメータ数を下げて柔軟なモデル構築を容易にしているという認識論的利点，因果関係を規則説からではなく反事実条件法から取り扱っているという意味論的な利点がある．
「強く無視できる割り当て条件」とか難しそうだが，それは結局交絡要因をある程度網羅的に把握できることが前提となる手法ということになる．ここからそれは哲学的にどう捉えられるのかの解説になる．
- 「共変量に主要な交絡要因が含まれ，M字構造要因が排除されている」という条件は，数理的に「強く無視できる割り当て条件」を満たすものだと理解できる．ではそれは哲学的にはどう理解すればいいのか．これは因果推論の存在論的含意の問題ということになる．
- 直感的には因果は「向きを持った影響関係」と理解されている．それは有向グラフで表すことができる．（ここで有向グラフを用いた因果グラフ，サイクルを含まない非巡回有効グラフ（DAG），経路のブロック，有効分離（d-分離）の説明がある）
- このような因果グラフで表された因果構造は変数上の確率分布とどのように関係するのだろうか．それを述べるのが因果的マルコフ条件になる．これは「変数が因果グラフ上で有向分離されるとき，それらは確率的に独立になる」と主張する．これは「因果が切断されたものは確率的に独立になる」という関係を示し，「確率的関係は背後にある因果構造から生みだされる」と考えると理解できる．それを定量的に示す式は構造方程式と呼ばれる．つまり私たちが「因果構造はグラフと構造方程式によって十全に表される」と考えるならばマルコフ条件が一般的に成立することになる．
- このような構造的因果モデルの利点は何か．1つは「介入」概念を形式的に定義でき，その結果を予測できるようになることだ．もう1つは「強く無視できる割り当て条件」がグラフ上で視覚的に分析可能になることだ（バックドア基準の利用）．
直感的な因果の認識を持ち出すのであれば，（私のような読者からは）ヒトの本質主義的傾向と「因果」の実在（存在論）あたりの議論を期待したいところだったが，そこはあっさりと「向きを持った影響関係」で済まされている．いずれにせよ「向きを持った影響関係」を示す因果グラフを用いても最終的に因果推論には交絡要因の網羅的な知識が事前に必要になるという制限が同じようにかかるということになる．
- このような議論は手持ちの因果グラフが正しい因果構造を捉えているということが前提になる．しかし現実的には大半のケースで対象変数間の因果的連関は未知だ．その中でデータから因果グラフをなんらかの方法で推測する必要がある．これは因果構造の認識論になる．
- このような推測は因果探索と呼ばれ，いくつかのアルゴリズムが提唱されている．これは「確率分布は因果構造からもたらされる」という前提から，データ上に残る様々な痕跡から因果構造を探るものだ．（例として忠実性条件を用いた方法が解説されている）このような方法はなんらかの前提を仮定することが必要だが，その仮定自体はその手法では正当化され得ない．外側で別の手段や知識によって正当化されるか，あくまで仮定として独断的に受け入れるしかない．
- 哲学者は20世紀中頃まで因果的説明と予測は本質的に同じであると考え，統一的な形式的枠組み（被覆法則モデル）を与えようとしてきた．しかしその後因果関係が確率的な関係ではないことが明らかになり，この試みは概念的な困難に直面することとなった．
- 因果推論とはなんらかの介入を行った結果を推測する試みであり，そこでは介入により斉一性が破られうることになる．だから因果推論は確率モデルを越えた道具立てを必要とするのだ．介入は現実世界から可能世界への写像であり，因果推論とはその写像の法則性を突きとめることだ．因果モデルとは与えられた確率分布と介入から介入後の確率分布を返す関数なのだ．そこでは現実世界と可能世界の確率分布の背後にある生成的な法則性を仮定して因果モデルとして表現することになる．
- つまり予測と因果推論は数理的に同じ手法によっていたとしてもその意味合いは異なる．片方が確率種であれば，もう片方は因果種とでも呼ぶべきものだ．私たちは問題に応じてその存在論的な態度を決定し，それに応じた認識論的手法を選択すべきことになる．
この最後の解説はスリリングだ．推測統計は自然の斉一性を確率モデルとして仮定する．因果推論はさらに可能世界の確率モデル間の関係を因果モデルとして取り込む必要がある．そしてそれは本質的に困難であり，様々な手法が提唱されてはいるがいずれもなんらかの仮定が正しいことが前提になるという限界を持つものにしかならないということになる．
終章 統計学の存在論・意味論・認識論
著者は最後に存在論，意味論，認識論という軸に沿ってまとめをおいてくれている．理解を確認するために大変役に立つまとめになっている．
＜存在論＞
- 推論や説明のための素材についての前提を本書では統計学の存在論と呼ぶ．
- もっとも基礎的な素材はデータであり，記述統計はデータのみに基づいてその特徴やパターンを記述する．
- 帰納推論を行うためにはデータの背後にある「自然の斉一性」の仮定が必要になる．これを数理的にモデル化したものが確率モデルになる．予測とはその確率モデルで固定された1つの世界の中における帰納推論になる．
- 因果推論を行うにはさらにたくさんの可能世界がありそれらの間にある種の法則的な関連性があることまで想定する必要がある．因果モデルはこのような可能世界の確率モデル間の関係性を表すものだ．因果推論はより深いレベルの存在論的前提を要請するのだ．
- 私たちの目にはデータより深い層は隠されており，多くの統計的実践においてはそれについてなんらかの単純化されたモデルを立てて推論を行うことになる．これは自然についてなんらかの分節化を行っていることになる．
- このような分節化を何のために行っているのか．自然を忠実にモデル化するのか，なんらかの目的に役立つようにモデル化するのか．モデル選択においてはこの存在論的シフトがもたらされる．そして極めて複雑怪奇な深層学習モデルがどのような存在論を持つのかという問題は，（存在論が他者理解の根幹にある以上）その社会的応用において重要な課題になるだろう．
＜意味論＞
- 意味論は仮定された数理的存在物が現実の世界とどのように対応しているのかに関わる．それはモデルの解釈や表現の問題だ．
- 意味論は存在論の各層において生じるが，統計学で特に問題になってきたのは確率の意味論だった．確率の意味論は確率モデルと現実の橋渡しに関するものであり，統計の数理的探求が自然の探求になっていることを最終的に担保するものだ．
- 「XがYの原因である」という因果命題が何を意味しているのかが因果の意味論になる．反実仮想モデル，構造的因果モデルなどの各因果モデルはそれぞれの仕方でこの問題に回答を与える．
＜認識論＞
- 本書では統計学の推論的営為を認識論と呼ぶ．推論は与えられていないものを知ろうとする試みであり，本質的な不可能性を抱えている．ここから統計的推論の結果はどのような意味で正当化されているのかという認識論的な問いが生まれる．
- 本書ではベイズ統計を内在主義的認識論，古典統計を外在主義的認識論として対比させた．このような視点に立てば両主義の論争は正当化概念をめぐるものとして整理できる．
- ベイズ統計には内在的整合性がどのようにして現実世界との一致を保証するのかという問題があり，これを解決するには与えられた信念体系の外部を考慮する必要がある．
- 古典統計における仮説の棄却判断は検定プロセスの信頼性により担保される．そしてその信頼性はp値などの指標によっては表せない．常に信頼性について外的な検証が不可欠なのだ．
- モデル選択や深層学習などのアプローチは，認識の正しさではなく予測のパフォーマンスに価値を置く立場であり，認識論的プラグマティズムであると評価できる．そしてそのようなアプローチに対してもその正当化の根拠を問うことができる．本書ではその視座の1つとして徳認識論を取り上げた．
以上が本書の内容になる．ベイズ統計と古典統計についてもこれまで読んだ本とは異なる視点からの解説があり，勉強になったし，深層学習や因果推論については（少なくとも日本語では）あまり類書がなく大変貴重な本だと思う．いろいろとスリリングな読書体験を与えてくれる一冊だ．
関連書籍
ソーバー本．私が読んだ初めての統計学の哲学に関する本．なかなか歯ごたえがある本だ．ここではフィッシャー，ネイマン-ピアソン，ベイズが対比されて解説されている．私の書評はhttps://shorebird.hatenablog.com/entry/20130811/1376182928
三中による統計演習の書籍化本．私の書評はhttps://shorebird.hatenablog.com/entry/20180610/1528591977
ベイズについてはこの本が面白い．私の書評はhttps://shorebird.hatenablog.com/entry/20131228/1388183026
