結果の解釈における危険性についてはすでに触れた。著者らが心配するのは、相関関係を因果関係と誤解すること、相関関係を固定した事実と誤解することである。
たとえば、「米国の州ごとにある仮釈放審査委員会の半数以上が、仮釈放の判断材料にデータ分析による予測を採用している」し、「ビッグデータ分析を駆使して、特別な監視が必要な地区や団体、個人を特定している」警察署も増えている(237ページ)。著者らは「プライバシーの保護がきわめて困難になるばかりか、まったく新しい脅威を生み出すことにもなる」として、「特定の性質や習性を持っているだけでペナルティを受けかねないのである(226ページ)」と警告している。
予測された行為について実行前に責任を負わせることからして大問題だが、とりわけ、相関関係に基づくビッグデータ予測を使っていながら、個人の責任いついては因果的な判断を下している。問題の確認はここにある。(243ページ)
著者らは「予測主義の国は、福祉国家どころか過保護国家だ(264ページ)」として、個人についての予測に基づく介入を、すべきでないものと断定している。そして、個人の尊厳を守るためのビッグデータ時代の新たなルールとして「人間の関与を条件とすること」を挙げている。
ビッグデータ時代には、正義の解釈を広げて、人間の関与を確保する手段も含めなければならない。そうしなければ、正義という考え方が根底から揺らぎかねないのだ。人間による関与という条件を付ければ、ビッグデータの分析だけでなく、確実に実際の行動に基づいて我々の言動が判断される。実際の行為についてのみ責任を問われるべきであり、将来の行動の統計的な予測について責任を問われることがあってはならない。また、実際の行為について判断する場合もビッグデータだけで判断することがあってはならない。(262ページ)
予防拘禁のような非人道的な措置はあってはならないが、予備罪についてもデータだけでの適応はあってはならない。人間は理性と倫理観を備えており、自分を抑えることができる。その人間らしい能力に最大限の敬意を払わねばならない。
著者らはビッグデータによる予測を使う場合の原則として次の3項目を挙げている(263ページ)。
- 透明性:予測の基になったデータとアルゴリズムの公開
- 認定制度:専門の第三者機関によるアルゴリズムの健全性と有効性の認定
- 反証可能性:予測について反証できる具体的な方法の用意
さらに「人間の関与」という条件を担保し、個人責任から目をそらさないことが重要だとしている。
ビッグデータに頼りすぎる危険もある。
ビッグデータのメリットを聞いているうちに、本来不向きな分野にもビッグデータを応用してみたり、分析結果に過度な自信を持ったりするのが人間だ。(254ページ)
グーグルはデータ主義で、以前は採用時に大学進学適性試験(SAT)のスコアと大学卒業時の成績平均値(GPA)の提出を求めていた。しかし、それらのスコアが「独創的で適応力のある労働力のニーズを本当に反映できるのか」と著者らは疑問を投げかける。
博士課程中退組のラリーやセルゲイが、伝説のベル研究所に就職していたら、マネージャーになれるチャンスはあっただろうか。グーグルの基準に照らせば、ビル・ゲイツもマーク・ザッカーバーグもスティーブ・ジョブズも大卒ではないから、昇進どころか入社もできないのである。(250ページ)
私たちはビッグデータという新しい知の体系に慣れていかねばならない。