YouTubeでしばしば心身系の健康に関する動画を見るのだけど、メンタリストDaiGoから専門YouTuberに至るまで、システマティックレビュー(SR)及びメタアナリシス(MA)をエビデンスレベルの最も高い報告として引用しているのを目にする。
科学においてエビデンスが前提なのは当然なのだけど、このエビデンスレベルという考え方を素人向けに紹介するのはリスクも感じる。「メタアナリシス論文で〜と報告されています」と言えば無条件に信用してしまう人が多いのではないだろうか。
エビデンスレベルが高いというのは、いわば媒体の特性を説明するようなものであって、そこから発信される内容自体の信頼性を担保する概念ではない。エビデンスレベルが高いということは、総括的な役割を持つ研究だと言い換えられると思う。当然きちんとした内容なら見合った信頼性はあるのだけど、それはどのような手法の研究でも、きちんとした内容であればエビデンスレベルに関わらずその役割に応じた信頼性はあると言える。
何が言いたいのかと言うと、SRにも質が低く信頼性に乏しいものはあるということ。実際のところ私は詳しくないのだけど、例えば少し検索したところ、東京農大の上岡洋晴教授が「機能性表示食品制度におけるシステマティック・レビュー消費者庁による検証事業の前後比較評価」というのを発表しているのが出てきた。その中でAMSTARなどを使ってSRの質の評価を行っている。他にはSRをSRしたものもある(良質な有害事象報告は、システマティックレビューといえども半分程度/BMJ)(原著https://www.bmj.com/content/348/bmj.f7668.long)。これら自体の内容については私は評価できないけれども、少なくともこうしたものの存在は、評価される対象である程度にはSRの質にはバラツキがある、という現状を示唆している。
エビデンスレベルで最も低いのは専門家の意見だと説明するのもよく見られる。テレビに出てくる専門家等は信用するなということであり、これは全くその通りだし、引用元を明らかにしたYouTuberの方が相対的にマシなことも多々ある。ただ結局のところ、大元の文献のエビデンスレベルが高くとも、それを紹介する人間によってはテレビの専門家の意見レベルにまで落ちることがある。
例えば私は中田敦彦のYouTube大学が割と好きでたまに見るのだけど、あれは中田が読んだ本の内容を要約して紹介するというもので、中田は別に知識があって批判的に本を読めるわけではない。前知識なしで初めて読んですぐに紹介することもある。なので動画を見ただけでは中田が本の内容を正しく理解し要約できているかはわからず、その時点では信頼性は最低レベルなのである(本自体の信頼性は別として)。まあ、それはそれとして中田の語りは流石に面白いので、本の紹介番組として受け入れている。
同じようなことがメンタリストDaiGo等にも言えるし、医者や教授等の専門家にも言える。引用者が引用文献を理解できているか、引用文献に信頼性があるか、正しく引用しているかという複数のハードルがある。特に最後については意図的に歪める場合がある。引用と言えないほど悪質な場合を除いても、センセーショナルに言い替えたり自分の結論に都合のいい使い方をした結果、原典の本質がオミットされるのはよくある話だ。要するに、エビデンスの使い方は論者次第なのだ。原文ママの引用でも、文脈でいくらでも変わってくる。
エビデンスレベルの高い文献の場合は特に難しい。そのような総括的な文献の原典に触れて批判的に読み込むのは一般には無理なので(私も全然できない)、基本的にはそのような論者の言葉を通してしか触れることはない。そこにリスクがある。
健康論などでエビデンスをウリにする風潮はここ10年弱くらいで一気に増えたような気がする。というかエビデンスという言葉がここ5年弱くらいでかなり一般に浸透した感がある。それ自体はまあいいことなのだけど、何のために使われているのかというのが問題だ。
科学的に証明されている健康論、と言えばまず売れる。マウスで実験結果が出ましたとその辺の食品会社が言っただけでも科学的に証明されたと思う人は多い。少々批判的な人でも、論文で発表されたと聞けば信用しやすいし、エビデンスレベル最高のSRでこのように報告されていますと書けば、冒頭で書いたように無条件で信用する人がほとんどだろう。
何事もそうだけれども、物事のさわりだけ聞いて機械的に白黒はっきり判断したいという人は多い。気になったことをいちいち批判的に考えて吟味したり、バイアスを排除するよう努めたり、判断しづらいことを曖昧なまま保留しておくのは、大量の情報を浴びせられる現代では時間的にも心理的にもコストが大きい。咀嚼コストを極限まで下げて、さっさとわかりやすい結論を出して消化するのが、情報社会における一つの主流な付き合い方となっている。そうした人々へ、機械的に判断する物差しのひとつとしてエビデンスという概念が提供されている、という側面があるのではないかと思う。
しかし玉石混交の情報に振り回されないため重要なのは、そうした物差しで機械的に分類し簡単に評価せず、一つ一つを批判的に考えてきちんと評価すること、そして評価できない場合は保留することなのではないかと常々思う。当然これは先に書いたようにコストが高いので、この情報社会においては、触れる情報をカットすることも必要かと思う。10年くらいずっと言っているけれども。テレビを捨てたりネット断ちをしたりすると、意外にもこれが伸び伸びできて快適ではある。
ただ一方で最近思うことには、これはこれでいわゆるフィルターバブルのようなものを自ら作るような方向になるので、難しいところがある。完全にカットはせず、飛び込んでくる雑多な情報を認識はしつつも、それらを全て一旦保留して考えないでおくような心の動きを作れないかと、ここ数年試みている。カットするのを心の中にすら入れないイメージだとすると、こちらは心の中に思考のための部屋があるとして、そのドアの外に保留箱があり、そこに全部突っ込んでいるようなイメージだ。それこそ健康の話題なんかは全て、動画などを見ても内容は保留箱に直行させている。
実際のところ、自分が昔院生だった頃、MAに触れたことは一回しかない。MAを用いた文献をゼミで紹介したくらいだ。SRに至っては私の専攻分野では聞いた覚えがない(記憶喪失しただけかも)ので、たぶん医学方面でよく使うのだろう。健康の話題でよく見かけるし、検索した感じも医学系がほとんどだった。人間がサンプルだとあまり踏み込んだ実験ができないため、統計的手法が殊更重要になるのだと思う。
この手のエビデンス論になると基本的に統計の話が基本で、特に健康論の場合、メカニズム面の根拠はおざなりでイメージ論に終始することが多いのも残念なところではある。私は基本的にメカニズム面への関心が強い方らしい。
そういえば、現役時代にエビデンスというカタカナ言葉を使った記憶がないので、正直すわりが悪い。根拠でええやん。
話のまとめどころがわからず箇条書きみたいになってきたので、終わりにする。