AI・ビッグデータの罠 (1)

（全体の目次はこちら）

AI・ビッグデータの罠 (1)

- 「エラーフィードバックがない」 -

最近頓(とみ)に目にすることが多い
「AI」と「ビッグデータ」
技術面からではなく、
運用面からその問題を考えてみたい。

参考図書はこれ。

キャシー・オニール (著)
　久保尚子 (翻訳)
あなたを支配し、社会を破壊する、
AI・ビッグデータの罠
インターシフト

（書名または表紙画像をクリックすると
　別タブでAmazon該当ページに。
　以下、水色部は本からの引用）

本書には、
教育、広告、雇用、政治など
さまざまな分野で利用された、
または今も利用されているシステムが
いくつも登場する。

そういったシステムが
どんな問題を持っているのか、
どんな問題を引き起こしているのか、
具体的な例とともに
詳しく述べられている。

オニールさんは、問題のあるシステムを
大量破壊兵器のMassに数学のMathをかけて
数学破壊兵器
(Weapons of Math Destruction:WMD)
と名付けて連呼しているが、
当然のことながら、それらのシステムも
最初から兵器になるべく
開発されたわけではない。

最初はどれも有益なシステムを目指して
作られたものだし、
有益な部分が評価されているからこそ、
実際に利用されているわけだ。

なのに、いまやそれらが
単なる一システムの問題を越えて、
様々な社会問題の
基盤になってしまっている。

どうしてそうなってしまうのか、
そこがこの本の肝となっている。

詳細はもちろん330ページ強の
本書を参照いただきたいが、
いくつかキーワードを
ピックアップしながら、
この大きな問題の側面を学んでみたい。

私の視点で選んだキーワードは３つ。

keyword_1「エラーフィードバックがない」
keyword_2「類は友を呼ぶ、のか」
keyword_3「規模拡大が格差拡大を助長」

今日は、
keyword_1「エラーフィードバックがない」
について。

「解雇対象者」を選別するシステムを例に。

システムは、
貢献度が低そうに見える者を
「解雇対象者」として同定する。

こうして、相当な数の従業員が
不景気の最中に職を失った。

本文でも「見える」に傍点がついて、
強調されている。
「低い者」ではなく「低そうに見える者」
というのがキーだ。

業務への貢献度は
簡単な指標で定義することはできず
どう定義したところで
「低そうに見える者」としての
システム上の定義にすぎない。

ところが、
それに基づいて実際に解雇してしまう。

解雇対象者として同定され、
解雇された人が、次の職を見つけ、
いくつもの特許を生んだとしても、
通常、そのようなデータは
収集されない。

解雇すべきでない従業員を1人、
あるいは1000人解雇してしまっても、
システムはその過ちに気づけないのだ。

つまり、
「低そうに見える者」として
システムが選びだした候補者が、
　＊　対象者としてふさわしかったか？
　＊　解雇してはいけない人を
　　　選んでいなかったか？
というフィードバックがかからないまま、
使い続けられてしまう。

これは問題である。なぜなら、
エラーフィードバックがなければ、
サイエンティストはフォンレジック
(科学捜査的)解析を行うことが
できないからだ。

今回で言えば、誤った判別が
存在するという情報がなければ、
どこに間違いがあり、
どこを読み間違え、
どんなデータを見落としたのかを
解明できない。

判断に使うデータ自体も
また
判断の結果の正誤判断も
どちらもかなりあやふやなまま
運用されているシステムは多い。

システムというのは、
そういう学習を重ねながら
賢くなっていくものだ。

しかし、これまで見てきたとおり、
再犯予測モデルから
教師評価モデルに至るまで、
数多くの数学破壊兵器が、
実に軽率に、独りよがりな現実を
生み出している。

マネジャーは、モデルによって
算出されたスコアを真に受ける。

アルゴリズムのおかげで、
難しいはずの判断が
手軽に行えるようになる。

そうやって従業員を解雇し、
経費を削減し、
その決定の責任を客観的数字の
せいにすることができる

－　その数字が
　　正確かどうかにかかわらず。

どうして
「独りよがりな現実を生み出す」システムを
ここまで広めてきてしまったのだろう。

決定の責任を客観的数字の
せいにしながら、
運用しているのは人間だが、
そこに正しいフィードバックを
かけられなければ、
システム自体を
正しく成長させることはできない。

（全体の目次はこちら）