「Risk Intelligence」 第2章 あなたのRQを測る その2 

Risk Intelligence: How to Live with Uncertainty (English Edition)

Risk Intelligence: How to Live with Uncertainty (English Edition)


エヴァンズによるRQテスト.受けてみると自分が判定した正答率予測と実際の正答率の差をプロットしたキャリブレーションカーブが得られる.


私のもの(再掲)


エヴァンズはRQのリサーチの最大の発見は「RQは特定領域については訓練で大きく上昇させられる」ことだと指摘している.そしてそれを示す最もよい例は天気予報士と医者の比較だという,実は天気予報士の予想についてのRQは非常に高く,医者の診断についてのRQは低いのだそうだ.両者のキャリブレーションカーブも示されているが,医者のそれはひどいものだ*1エヴァンズは理由を以下のように整理している.(なおこの2番目と3番目は学習理論からも肯定されるそうだ)

  1. 天気予報士は確率で表すことが義務化されているが,医者はいくらでも曖昧に表現できる.
  2. 天気予報士は型にはまった少ない質問に対して継続して答えているが,医者はいろいろな質問に答える
  3. 天気予報士へのフィードバックは素早く確実だが,医者はそうではない

要するに同じ種類の問題に対するフィードバックのある継続的なトレーニングが重要だということだろう.これはRQだけではなく様々な認知課題にも共通しているように思われる.なおアメリカでは一部のメディカルスクールで確率的診断の方向に動いているそうだ.日本ではどのような状況なのだろうか.


ではギャンプラーについてはどうだろうか.
これもブリッジプレーヤーについてのリサーチがある.エキスパートプレーヤーとアマチュアプレーヤーの両トーナメントで各ゲームの最後のビッディングの際に自分の手に最終的に役が付く可能性を確率評価してもらう.比較を行うとRQはエキスパート89,アマチュア74*2と有意な差があった.特に0〜20,80〜100%のところに自信過剰があるかないかが異なる.このあたりの自信過剰は克服しにくいということだろう.


では前章で出てきたエキスパートの予想は外れるというテトロックのリサーチはどう解釈すればいいのだろうか.エヴァンズは,テトロックの質問は,かなり特殊,個別的で一回限りのものだったので訓練の効くようなものではなかったということだろうと推測している.


RQが高められるというのはいいニュースだ.では実際に訓練でRQを高めるという実践例はあるのだろうか.
この点で有名なのは1970年代のシェル石油の地質学者へのトレーニングだ.
最優秀の地質学者を雇っても確率40%と予測された鉱区での実際の成績は10%程度だったことに困惑した経営陣は新しいプログラムを導入した.過去の油田探査のデータを見せ,原油が採掘できる確率を答えさせ,実際の成績をフィードバックする.これを繰り返すことにより地質学者の予測精度は向上した.


しかしエヴァンズによるとこれは例外で,ほとんどの企業はビジネスでRQトレーニングを行わない.エヴァンズはこれは不思議なことだとコメントし,上手くいきそうな業界や仕事の例(IT,銀行と貸し倒れ,情報当局,出版社と本の成功,法廷弁護士,軍隊,人事採用)を出している.


日本でもこのようなトレーニングはあまり行われてはいないようだ.人事採用に関しては日本企業は文系のサラリーマンが人事異動で突然人事部に配属されるためか採用方式や研修内容については過去事例の踏襲か人事コンサルの受け売りで,どのような採用方法でよい人材が採れたのかを後に検証するフィードバックを行っている企業は私の知る限りない.さらに新卒採用で多くの企業が(IQ型のテストに加えて)心理テストを行っているが,これは全く理解に苦しむ*3.確かにエヴァンズが言うように採用時にRQテストを受けさせる方がはるかに合理的だろう.
また銀行業と貸し倒れでいえば伝統的な審査部は融資OKかNGかの二択で仕事をしているし,リスクマネジメントとしては重回帰や遷移行列などを用いたモデルに頼っており,個人的なRQのトレーニングには無関心であるように思われる.



象牙の塔の外にでる>


というわけでエヴァンズはここにビジネスチャンスを見つけ,実践を行うことにしたのだ.


きっかけは2010年にある企業から問い合わせを受けたことだったようだ.そこで全社的なリスクマネジメントのやり方について相談を受ける.その企業のRMはよくあるタイプのもので,損失が発生する可能性のあるリスクについて生起確率とインパクトを定性的に3区分してマトリクスを作りそれを元に管理するものだった.エヴァンズはこれは,最初に推定された生起確率を見直しなく最後まで使う点と,定量的に議論しない点で問題があると考えた.
実際には全員にRQテストを受けてもらい,自分たちに自信過剰リスクがあることを理解したうえで,マネジメントを確率,損失額双方について定量的にするようにアドバイスしたそうだ.
この結果,生起確率が小さく結果が重大なタイプのリスクにより配慮するようになり.BCPの予算も確保しやすくなったそうだ.


このような定量的に評価せず,3区分ぐらいでカテゴライズするやり方は日本でも標準的な手法だろう.指摘されてみると定量評価の方が望ましいのは明らかだ.とはいえ損失額はともかく,確率推定を定量的に行うのは普段そういう訓練を受けていないと難しそうだ.だから標準的な手法もこうなっているのだろう.そういう意味ではRQトレーニングは企業の内部統制としても重要な問題になるのかもしれない.


なおエヴァンズはこの仕事を行って予想外の発見があったことにも触れている.それは企業のリスクマネジメントにおいては一般的に多くのリスクは過剰に評価されるのだが,プロジェクトの遅延リスクだけは過小に評価されることだ.エヴァンズはこのようなバイアスがあることがわかれば外側から補正できるとコメントしている.
これはなかなか興味深い問題だ.おそらくこれもインセンティブの問題が大きいのだろう.他のリスクは外的要因に基づくので,リスクを過剰に評価しておいた方が自分の責任が後に追求されにくくなるのに対して,プロジェクトの遅延リスクは自らの能力にも起因するので,そもそもの自信過剰バイアスが現れるのに加えて,その場で責任追及が始まるかもしれないためにこうなっているのだろう.


エヴァンスはRQテストを受けて自分の自信過剰傾向を認識し,定量的に物事を考えるだけでも物事は違ってくるのだとコメントし,なぜ自信過剰バイアスがありどう補正するかを次章以降で考えようと本章を締めくくっている.


自信過剰傾向は認識するだけではなかなか克服できないことが知られているが,それを乗り越えるいろんな具体的やり方が次章以降のテーマということになるのだろう.




 

*1:原因の1つはフォルスネガティブな診断を避けようとするバイアス(これ自体は患者が病気にもかかわらず治療を受けられない方がリスクが高いので合理的だ.エヴァンズは医者の立場からも医療過誤訴訟を考えると合理的だとコメントしている)の可能性が高いが,それにしてもカーブが寝過ぎだ

*2:マチュアといえども経験を積んだプレーヤーであり,この判断がゲームに勝つ上で重要なのでRQは高めになる

*3:正直に答えるインセンティブがないアンケート調査に何の意味があるのだろう?