AI・ビッグデータの罠 (2)

（全体の目次はこちら）

AI・ビッグデータの罠 (2)

- 「類は友を呼ぶ、のか」 -

キャシー・オニール (著)
　久保尚子 (翻訳)
あなたを支配し、社会を破壊する、
AI・ビッグデータの罠
インターシフト

（書名または表紙画像をクリックすると
　別タブでAmazon該当ページに。
　以下、水色部は本からの引用）

を読みながら、
今、社会で使われている
AI・ビッグデータを利用した
システムが持つ問題点を学ぶ2回目。

前回書いた、
　＊　「エラーフィードバックがない」
に続くキーワードは、

keyword_2「類は友を呼ぶ、のか」

システムが導入される前から、
たとえば銀行家は、
借金を申し込みにきた人物を評価する際に、
住宅ローンを背負う能力とほとんど、
あるいはまったく関係のない
さまざまなデータポイントを検討していた。

人種による有利・不利の他、
父親に犯罪歴があれば不利になり、
毎週日曜日に教会に行く習慣があれば
有利になった。

このようなデータポイントは、
すべて代理データである。

財務責任能力を調べようと思ったら、
数字を冷静に検討すればいい
（まともな銀行家は
　必ずそうしていた）。

それなのにそうせず、
人種、信仰、家族関係と
財務責任能力とのあいだにある
相関を見ていた。

そうすることで、銀行家は相手を
「個人」として精査するのを避け、
「集団」の一員として見ていた　
－　統計学用語では
　　これを「バケット」と呼ぶ。

「あなたとよく似た人々」が
どんな人たちなのかを考えたうえで、
その人々が信用できるかどうかを
判断した。

このバケットの考え方は
システム作成時にも導入された。

つまり、eスコアのモデル作成者は、
「あなたは、過去に
　どのような行動を取りましたか？」　

と質問すべき時に、質問をすり替えて、

「あなたと似た人々は、過去に
　どのような行動を取りましたか？」

という質問の答えを探し出して
ごまかそうとしていたのだ。

この質問の差はどんな問題を
生むことになるだろう？

この2つの質問の違いは大きい。

たとえば、
移住してきたばかりで
質素な生活をしているが
非常に意欲的で責任感の強い人物が、
起業準備をしていて、
初期投資のために資金を借りようと
していたとする。

さて、
この人物に賭けてみようという人は
現れるだろうか？　

おそらく、移民という属性と
質素な生活行動をデータとして
取り込んだモデルでは、
この人物の有望さに気づけないだろう。

もちろん、代理データだから悪い
というわけではない。

念のために言っておくが、
統計学の世界では、
代理データは役に立つ存在だ。

類は友を呼ぶもので、確かに、
似た者同士は
同じような行動を取ることが多い。

（中略）

このような統計モデルは、
見かけ上は有用であることが多く、
うまく活用すれば、効率も収益も上向く。

だからこそ投資家は、
大勢の人をそれらしい「バケット」に
分類する科学的なシステムに
倍賭けする。ビッグデータの勝利だ。

問題は、起こりうる間違いに対して
前回も書いた通り
「適切なるフィードバックが
　かからない」
という点にある。

しかし、誤解され、誤ったバケットに
分類された人物はどうなるのか？　

そういうことは必ず起きる。

しかし、その間違いを正す
フィードバックは存在しない。

統計データを
高速処理するエンジンには、
学習する術がない。

選ばれた代理データは正しいのか？
「類は友を呼ぶ」と言えるものなのか？
他に適切なデータはないのか？
そして
バケットへの分類は
適正に行われているのか？

そういったフィードバックや
学習ステップがなくても
システムは数字を吐き出しながら
正常(!!)に動き続け、
正しさの確認すらできないような結果を
出し続けている。

恐ろしい話ながらも
思い当たる事例はいくつもある。
大きな問題の背景が
かなりはっきりしてきた。

（次回に続く）

（全体の目次はこちら）