学習件数少な過ぎ。
同庁によると、システムは慢性的な人手不足に悩む全国の児相での利用を想定し、搭載したAIに約5000件の虐待記録を学習させた。傷の有無や部位、保護者の態度など91項目に情報を入力すると、虐待の可能性が0~100の点数で表示される。
試作モデルがほぼ完成し、今年度に計10自治体の児相に協力してもらい、過去の虐待事例100件のリスクを判定させる検証を行った。精度を各児相の幹部が確認したところ、100件中62件で「著しく低い」などの疑義が生じたという。
(中略)
開発が頓挫した理由について、複数の専門家は、事例ごとに態様が異なる虐待をAIが高精度で判定することの難しさを指摘する。AIの学習には膨大な量の記録が必要だが、今回の約5000件では少なかったとも分析している。
そうですね。5,000件は明らかに少ないだろ。分析というか、5,000件しかない時点で金を掛けるべきじゃない。何に10億円なのかはしらんけど、機械学習までやったというのは記事からわかる。
同庁関係者は「子どもの体重減少といった重要な項目が抜け落ちていた」と説明。また、91項目には該当の有無を入力するだけで、ケガがあった場合でもその程度や範囲まで記入する仕組みにはなっておらず、精度が低くなったとしている。
いや違うよ。だから導入失敗につながるんだよ。最初から失敗する導入方式じゃん。なんで金掛ける前にきちんと検討しない?91項目”も”あるからだよ。明らかに91項目に対しては5,000件が少ない。91項目あるってことは、その91項目を充足したデータを学習しなきゃいけない。それに5,000件のうち何割が項目充足している?まず学習データに疑義がある。作ったデータなのか実データなのかは分からないけど、学習データが少ないというのは間違いない。91項目がすべて最小の2値だとして全部の組合せは2^91じゃん。
児童虐待の判断って現時点では機械学習に馴染まないと思うけど、そもそもきちんと定量的にデータ化されているのかという問題もある。定性的なドキュメントデータはありそうな気はするけど(つまり、観察したとか相談の応対したという文はあるはず)。ある程度は類型化できるとは思うけど、児童相談所が扱っている件数からすると、データ化に問題があるだろ。
期間は原則2か月以内で、2022年度の虐待による一時保護件数は2万9860件。
一時保護件数=一時保護まで至った件数で約3万件/年度じゃん。一時保護まで至っていないけどなんらかの対応している件数とか、相談だけとかの件数を考えれば手が足りないというのはわかる。だからAIって話なんだろうけど、それならまずデータ作らないと。そのデータ作成要員を付ける形にしてでも。
学習できるデータまで頑張って5,000件っていう状況でお金を掛ける話じゃない。まずはそっちのデータ作成に時間と金を掛ける時期で、そこはツールを使える要員を別途投入していく話。
アノテーションやデータへのタグ付けは、近年、ビックデータと呼ばれるビジネスに役立つ膨大なデータの有効活用や管理を行うためにに必要とされています。また、業務の効率性向上に役立つとされるAIの機械学習に必要な教師データの作成においてもアノテーションが欠かせません。
近年、少子高齢化による人口減少を受けて、幅広い業種で人手不足が続いています。そこで注目を浴びているのが、ビックデータやAIの活用です。
金の使い方がおかしい。なんで機械学習させて失敗でしたとか言ってるわけ?一時保護だけで3万件/年度なのに5,000件で学習しました→ダメでしたって、多分大学のこの手の機械学習やってる研究室にいる学部生でも秒でNG出すだろ。
定量データに期待できないなら、(一時保護だけで)年3万件のテキストを一時保護に至らなかったものも含めてここ10年分くらい全部データ化してテキストマイニングしたほうがまだマシ。現状の各児童相談所がどの程度システム化されているか知らないけど、全部手書きだったら死ぬなw。ただ、それだと実際の判定に使える形にはならないか。いや、そこからエキスパートシステム構築すればいいのか。機械学習が流行りだからって、同じAIって呼ばれるカテゴリーでも昔ながらのエキスパートシステムが向いているなら機械学習を使わなきゃいけないわけでもない。
なんか、あるシステム作るために準備段階システム作る時点で遠回りだな。省庁の年度予算制度にそぐわない。
いずれにせよ、何年間かどこかの大学に研究費出して協同研究でやってもらうべきだろうな。それなら年度予算でも少しずつアップデートできる。
そもそも、こども家庭庁なんて現状の形ならいらんのだけど。現状の形ではこうやって無駄に公金をバラまくだけ。なんならこの無駄に使った10億円、実際の児童相談所に直接人件費とかで入れたほうが良かったくらい。
なんか面白そうな本だな。