コロナ騒動が始まって以降「エビデンス」という言葉を目にする機会が増えた。
エビデンスとは科学的根拠や証跡を意味する言葉であり、割と昔から使われている。
だが最近ではあまりに多用されるようになったため、
「エビデンス、エビデンスうるさいわ！」
と感じている人も多いのではないだろうか？
正直ボク自身も「エビデンス」を“うざい”と感じる機会が増えてきた。
今回はその理由について語っていこう。
「エビデンス」をうざいと感じる2つの理由
「エビデンス」がうざいといっても、その理由は大きく2パターンあるように思える。
おそらく多いのは”横文字アレルギー”を持つパターンではないだろうか。
要は
「エビデンスなんて横文字を使わずに日本語で言え！」
という主張だ。
しかし申し訳ないが、この記事ではそういった人たちの期待する話は書かない。
むしろ僕は横文字アレルギーの人たちを過去にガッツリ批判しているので、横文字が嫌いな人からすれば僕も”うざいヤツ”の一人と言っていいだろう。
この記事でもチョイチョイ横文字が出てくるので、血圧が上がる前に引き返すことをおすすめする。
(くれぐれも↓の記事は読まないでね)
関連記事 「横文字がうざい」という主張からは加齢臭がにじみ出ている
なぜエビデンスがうざいのか？
では僕はなぜ「エビデンス」をうざいと感じるのか？
それはエビデンスという言葉を好む人間の多くが、自らを“情強”(情報の収集能力に長けている)と認識しているからである。
だが皮肉なことにエビデンスという言葉を多用する者ほど情報リテラシーが低い傾向があるのだ。
こう書くと
「エビデンスに基づいて判断することの何が悪いの？」
と疑問に思う人もいるだろう。
そんなあなたは既に“カモ”になっているかもしれない。
「それってあなたの感想ですよね？」
ネット上で目にする「エビデンス」とは具体的になにを指しているのか？
それはおもに統計、論文、実験結果だ。
エビデンスという言葉を乱用する者の多くが、こうしたものを“客観的な事実”であると確信している。
「なんかデータとかあるんですか？」
「それってあなたの感想ですよね？」
という言葉の流行も、データを絶対視する人間が多いことの表れと言えるだろう。
だがハッキリ言って、現在ネット上に存在するデータの半数以上はデタラメといっても過言ではない。
統計の数字なんていくらでも操作できるし、論文や実験結果もその信憑性はピンキリなのだ。
統計の大半は信用に値しない
統計で人を騙す方法としてもっとも簡単なのが定義を変えることである。
たとえば以下の記事では、定義を拡大することで数字を操作しているのが一目瞭然だ。
働く女性の6割 職場で性被害
(前略)報告によると、視線、言葉、行為などにより、職場で性的な被害を経験したと答えた人は59.7％あった。その中で、具体的には「愛人になれ」「ホテルへ行こう」など言葉での被害は48.8％。「いやらしい目つきで体を見られた」「スカートをめくられた」などの痴漢的な行為が97.5％。(後略)
朝日新聞1990年8月19日
見出しだけ見ると、かなりの割合の女性が職場で性被害にあっているように感じるかもしれない。
だがよくよく見ると疑問点がいくつも出てくる。
- 「愛人になれ」「ホテルへ行こう」などの“など”には具体的にどんな言葉が含まれているのか？またそれはどんな文脈で言われたのか？
- 痴漢的な行為97.5％のなかに「いやらしい目つきで体を見られた」という極めて主観的であいまいな表現があるのだが、これを「スカートをめくられた」と同じ行為にまとめるのはおかしくないか？そもそも「いやらしい目つき」とはどんな目つきなのか？
【1】では「言葉での被害」の定義を、【2】では「痴漢的な行為」の定義を広くすることで、実際よりも数字を高くしている可能性が考えられる。
たとえば【2】でいえば、常識的に考えると「スカートをめくられた」よりも「いやらしい目つきで見られた」のほうが発生率ははるかに高いと見ていいだろう。
つまり「痴漢的な行為」のパーセンテージはこの曖昧な項目、あるいは“など”に含まれる未知の項目によって大幅に引き上げられていると推測できる。
このように定義を拡大する(本来含めるべきでないものを加える)ことで、実態以上に数字が大きくなることを正への誤分類と呼ぶ。
数字が大きければ大きいほど社会的な関心を集めることができるので、活動家は意図的に正への誤分類を増やす。
そしてメディアも視聴率(アクセス数)さえ取れれば何でも構わないので、とにかく注目の集まりそうなトピックを報道する。
刺激的なもの、不安を煽るもの、義憤を掻き立てるものは彼らの大好物だ。
無回答バイアス
さて、先の例にはまだまだツッコミどころがある。
そのひとつが回収率だ。
回収率とは調査対象のうちの何パーセントから回答が返ってきたかという確率を指す。
先ほどのアンケートは全部で3万部作られ、労働組合などの協力により全国の女性に届けられた。
だが実際にはそのうちの6,500人、つまり約22％しか回収できていない。
「6,500人も集まれば十分多いじゃないか？」
と思う人もいるかもしれない。
だが統計学では回収率が60％を下回る調査では大きな偏りが発生する可能性があると考えられている。
通常こうしたアンケートは、被害にあった人ほど積極的に回答する傾向が強い。
逆にその話題に関心のない人ほど無回答率が高くなる。
つまり回答した2割の女性の意見は、母集団全体の意見とかけ離れている可能性が大きいということだ。
こうした偏りを無回答バイアスと呼ぶ。
ネットアンケートの9割以上は無価値
最近では自分に都合のいいネット調査を引用して「これが世論だ」と主張する者が少なくない。
ひどい場合には自分のフォロワーに対してアンケートをとり、その結果を「国民の総意」だと吹聴する人間もいる。
言うまでもない話だと思うが、こうしたアンケートは回答する人間と回答しない人間の属性に大きな偏りがあるため何の価値も持たない。
(……しかし恐ろしいことにそれを本気で信じてしまう人間がネットには山ほどいるのだ)
ここ数年でいえば、小室圭さんの結婚に対する世論調査は無回答バイアスの好例だろう。
「女性自身」というしょうもないゴシップ誌の調査では結婚に反対する声が約70％という結果だったが、国民全体を対象とした読売新聞の調査では反対は約33％しかいなかった。
大手新聞社のランダム調査でもバイアスがないとは言えないが、ネットや週刊誌のいい加減なアンケートよりははるかに実態に近い数値が出ていると見ていいだろう。
解釈の誤り
同じデータであっても解釈はいかようにも可能だ。
たとえばこんな調査報告があるとする。
街で男女1,000人に調査を行った。彼らにダイエット食品を週にどれだけ食べるかを質問し、同時に肥満度も計測した。その結果、ダイエット食品を多く食べる人ほど肥満度が高いという結果が出た。
結論：ダイエット食品を食べると太る
結論がおかしいことは自明だろう。
ダイエット食品を食べるから太るのではなく、もともと太っているからダイエット食品を食べるのだ。
これは逆の因果と呼ばれる誤りである。
この手の勘違いは非常に多く、
「～ほど〇〇になる」
という目を引くトピックはしばしば逆の因果であったり、疑似相関であったりする場合が多い。
疑似相関とは、一見2つの事象のあいだに因果関係があるように見えるが、実はその原因が第三の変数にあることを意味する。
その他
そのほかにも
- 質問の言い回しや順序によって回答を誘導する
- サンプル(標本)が少ない
- 自分の望む回答が得られそうな相手を選ぶ
- ごく一部の極端な例を典型例であるかのように喧伝する
- 都合の良いデータだけを選ぶ(チェリーピッキング)
- 偏った選択肢を作る
などといった問題のある統計は山ほど存在する。
これらはいずれも信用に値しない。
エビデンスレベル
医学の分野ではエビデンスレベルと呼ばれる基準が存在する。
1から6まであり、基本的には数字が小さいほど信憑性が高いとされている。
- レベル6・・・専門家の意見
- レベル5・・・症例報告
- レベル4・・・症例対照研究、コホート研究
- レベル3・・・非ランダム化比較試験
- レベル2・・・ランダム化比較試験
- レベル1・・・システマティックレビュー、メタ解析
コロナ騒動では“専門家の意見”を(とりわけ最初のころは)無批判に信じる者が多かったが、エビデンスレベルとしては「6」であり最下層の信憑性である。
ちなみにマウスを使った動物実験はそれ以下であり、一時期話題になった「富岳」を使った実験も同程度かそれ以下の信憑性と思われる。
無論エビデンスレベルが低いからといって必ずしも誤っているわけではない。
また逆に高いエビデンスレベルのものでも、より信憑性の高いデータが新たに生まれることで結果が覆されることは少なくない。
エビデンスとしての論文
論文もその信憑性はピンキリである。
通常、科学的事実が確立されるには以下のような手順を踏む。
- 同じ分野の研究者がその論文が出版に値するかどうかを判定する(査読)
- 出版後、多くの論文はほとんど参照されることなく忘却される
- 重要な論文や話題性の高い論文であれば、多くの研究者から吟味･批判される
- 以上の3段階を通過した論文のみが総説論文などで言及され、教科書等にも掲載される
最後の段階まで行けば信憑性は高いと思われるが、それでも後に新たな事実によって覆されることはしばしばある。
つまりどんな信憑性の高い論文であれ「とりあえず暫定的に受け入れる」だけであって、疑いようのない事実ではないのだ。
また、【3】までたどり着かない論文がほとんどだということも頭に入れておきたい。
人は見たいものしか見えない
科学哲学者のN.Rハンソンによれば、「見る」という行為には「対象をなにかとして見る」ことが含まれているという。
以下はウサギにもアヒルにも見えることで有名な絵だ。
この絵では一方を見ようとすればもう一方が姿を消す。
ウサギとして見ようとすればウサギにしか見えず、アヒルとして見ようとすればアヒルにしか見えない。
「エビデンス」にしても同様だ。
ある主張を肯定しようと思えば肯定するエビデンスしか見えず、ある主張を否定しようと思えば否定するエビデンスしか見えない。
納得のいかない主張を「敵の主張」として見れば、結論ありきの不毛な議論しか生まれない。
知的に誠実であり続けるためには、相手の主張を疑うのと同じ熱量で自分のうちにある常識にも疑いの目を向ける必要がある。
「疑う」とは頭ごなしに否定するのではなく、かといって鵜呑みにするのでもなく、あらゆる角度から吟味する態度を指す。
エビデンスなんてあくまで判断材料の一つに過ぎない。
信憑性の低い情報があふれる現代では、情報を集める能力ではなく捨てる能力こそ重要になるだろう。
