品質の高いAIを開発し、それを活用して価値を生み出していくためには、さまざまな努力が求められます。例えば、ユーザーと協働した開発や、継続的な品質の管理、公平性などの倫理的な視点からの評価。子ども虐待対応という領域でサービスを提供するAiCAN社は、どのようなスタンスでAI開発に取り組んでいるのでしょうか。代表・髙岡に話を聞きました。

髙岡昂太／Kota Takaoka
教育学博士、臨床心理士、公認心理師、司法面接士。
児童相談所や医療機関、司法機関において、15年間、虐待や性暴力などに対する臨床に携わっている。
2011年千葉大学子どものこころの発達研究センター特任助教、学術振興会特別研究員PD、海外特別研究員（ブリティッシュコロンビア大学）を経て、2017年より産業技術総合研究所人工知能研究センター所属、主任研究員。2020年3月に株式会社AiCANを立ち上げ、2022年4月から同社CEOに就任。

ーー今日のテーマは「真に価値を生み出すAI活用の在り方」。髙岡代表は、以前登壇したシンポジウムでも話していたように、かねてより「AIは魔法の杖ではない」と警鐘を鳴らしていますよね。

児童福祉現場の深刻な人手不足と過大な業務負担を受けて、業務効率化のためにAIを導入する動きが、近年、急速に進んでいます。また、単純に職員の数が足りないだけでなく、2020年に勤続3年未満の児童福祉司が全体の半数を超える（※1）など、新人を育てるベテランの数が不足している状況下で、「人材育成」の観点でもAIへの期待が高まっています。
　※1：厚生労働省　全国児童福祉主管課長・児童相談所長会議資料
　令和2(2020)年度 児童相談所関連データ　p13「児童福祉司・児童心理司の勤務年数」

児童福祉の現場が直面する課題が注目されることや、さまざまなソリューションが生み出されること自体はとても喜ばしいことです。その一方で、開発・導入が性急に進められているケースも少なくないのではないかと懸念しています。AIを活用したことで子どもの安全が危ぶまれるようではいけないし、作り方や使い方の問題で「やっぱりAIって役に立たないね」と思われてしまうのも、非常にもったいない。

もちろん、「AIも、使い方を誤れば毒にもなりうる」というのは、子ども虐待対応の現場へAI搭載アプリを提供している当社も抱えているリスクです。大切なのは「本当に現場にとって役立つ、子どもの安全に資するAI」を開発し、適切に活用してもらうこと。児童福祉の課題解決に取り組む者として、同じ立場の皆様とは、そういった前提や知見を共有していきたい。「AIは万能ではない」というのは、世間にも浸透してほしいなと思います。

どんなに良い薬にも、必ず副作用がある

ーー「使い方を誤れば毒にもなりうる」というのは、どのような意味でしょう？

薬に例えるとわかりやすいかもしれません。違法なものもあれば、医薬品もある。きちんと基準を満たし、効果も安全性も認められた医薬品にも、必ず副作用があって、用法・用量を守らなければ危険につながります。当社のデータサイエンティストは、よく、自動車を例に挙げています。すごく便利な移動手段だけど、人の命を奪うこともある。

問題は、現在のAI開発において統一的な安全基準が確立されていないこと、そして、そもそも「AIの危険性」に目が向けられていないことです。例えば自動車なら、交通事故の多さが啓蒙されていますが、AIに関しては、急速な技術の発展もあって「こんなことができてすごい！」という便利さばかり注目されているように感じます。

AIが判断を下すわけではなく、意思決定の主体は人間です。ハンドルを握って車を運転するのが人間であるように、AIを使うのもまた人間です。我々作り手が適切なAIを開発することはもちろん、使い手にも正しい知識が必要です。

ーーなるほど。「AIの危険性に目が向けられていない」とのことでしたが、具体的に、どのようなリスクがあるのでしょうか？

まず、AIはそれほど万能な存在ではありません。あくまでも、事前に与えられているデータ、事前に学習している情報からしか出力できません。わかりやすく言うと「このAIは10種類の情報についてデータを与えられているけれど、人間は11種類目の情報を重要視している」ような場合、「AIの結果はこうだけど、わたしたちの感覚と違うぞ…？」と違和感を覚えることもあります。

今お話した例は、AI開発において重要な観点の一つである「どのようなデータがどれだけ与えられているか」ですが、AiCAN社では、適切にAIを活用してもらうために以下の3つの仕組みが確保されることが大切だと考えています。

まず、1つ目について。例えば、「子どもが家に帰りたくないと言っている」というアセスメント項目（注：子どもや家庭の状態を評価するためのチェック項目）があったとして、同じ場面を見ていても、チェックをつける人・つけない人とばらつきが出ることがあります。「お家に帰る？」と尋ねても黙っている子どもを見たとき、ベテラン職員は「よく見ると手が震えているし、きっと家に帰るのは怖いんだろう」と思っても、新人は「帰りたくないとは言わないから、大丈夫かな」と思ってしまったり。

このような場合、「ユーザーによってアセスメントが適切に実施」されているとは言い切れません。当社の提供するAiCANアプリの場合、職員の方々が子どもや家庭の調査を進める中で、こういったアセスメント項目を入力してもらい、そこで蓄積されたデータからAIが作られることになります。より正しい示唆を導くAIを開発するには、そもそも信頼性の高いデータを集める必要があるので、アプリの使い方以前に、ユーザー様へ「アセスメント研修」を行っています。

また、AIの予測精度を維持するには、開発するとき・その一度きりだけデータを集めるというわけではなく、定期的にデータを与えていくことが重要です。これが、2つ目の「定期的にAIを更新する」こと。ここでいう「更新」は、変化していく状況に合わせて、学習させるデータを選別したり、適切な結果を出すためにモデルの調整を行なったりすることを指します。

例えば、子ども虐待の対応件数は年々増えているのに、保護所の定員が変わらないといった理由で、一時保護が行われた件数も一定の場合、毎年保護率が下がっていくのは当然です。それを「毎年保護率が下がっているから、保護が必要な重篤ケースは減っているんだな」と捉えてしまったらおかしなことになりますよね。間違った解釈をしないよう、そういった背景情報を含む「量と質の担保されたデータ」を蓄積していかないと、適切な結果を出力できるAIは作れません。

そして3つ目に、AIの出力結果を適切に活用してもらうことが大切です。例えば「再虐待通告が発生する確率が5%」といった結果が出たとき、出力結果が意味するのは言葉の通りなのですが、「総合的な危険性も低い」という印象や誤った解釈を与えてしまうことがあるかもしれません。

AiCANサービスでは、AIが出力する複数の指標について、その意味や解釈の仕方をユーザー様へレクチャーする研修会を行っています。また、定期的にワーキンググループを開催し、ユーザー様からもさまざまな意見や疑問点を共有してもらうなど、AIの作り手・使い手が二人三脚となって、よりよい活用の在り方を探っています。

過去から学ぶ手段として、AIがある

ーー薬も、どんな病気にも効く万能薬はないですしね。病気や症状に合わせたさまざまな薬があるし、服用する人によって用量も異なります。

そうです。AIといっても、なんのために開発されたAIなのかであったり、その裏側で動いている技術もさまざま。「薬を作りたい」というより「この病気や症状を治したい」から薬が開発されるように、僕らも「子どもの安全」を実現するソリューションとして、AIを開発しているに過ぎません。

我々が解析しているデータは、これまで職員の方々が対応してきた子ども虐待事例の蓄積であって、いわば人間の経験値です。そこから導き出されるAIの出力結果というのは、先人たちのアドバイスのようなもの。

子ども虐待対応に限りませんが「これさえすれば大丈夫！」みたいな絶対の法則はないので、過去のさまざまな事例から学び続けることで、同じ失敗を繰り返さないことが大事。その学びの手段として、AI技術がある。今後もっといい手段が見つかったら、必ずしもAIじゃなくてもいい。未来の子どもたちへ活かすために、これまでの経験を皆で共有し、学び合い、知見を引き継いでいけたらいいなと思っています。

ーーなるほど、先輩から後輩へと受け継がれていくような…。冒頭でも、人材育成が追いついていないというお話がありましたよね。

はい。非常に専門性の高い仕事なのに、教育研修の機会も十分に取れていないのが現状です。子ども虐待対応は本当に難しくて、保護者が「これは転んだ怪我」と言っていても嘘かもしれないし、支援に拒否的であったり攻撃的な保護者とも対峙しなければいけない。そして短い時間の中で、子どもの命に関わる重大な判断を迫られる。

そんな現場で奮闘してきた職員の方々の知見を、仕組み化するお手伝いをしたいんです。ベテランの暗黙知を、新人にもわかるような形式知へと可視化していきたい。「チェックリストの中に明示されていなかったけど、実は職員の方々はこんな観点を見ている」ことがわかったら、新たにアセスメント項目として組み入れて、データを溜めていくことができる。そこから、またAIがアップデートされていく。

これは、AIやアプリを導入したら解決！という簡単な話ではなくて。我々がやろうとしているのは、とても地道で泥臭い作業です。まずは現場の業務に寄り添って、どんなことをやっているのか丁寧に紐解いていく。現場の方々が培ってきたノウハウを言語化して、未来へ引き継いでいくプロセスに伴走することで、一緒に「子どもが安全な世界」を目指したい。だから、僕らのサービスは「伴走型業務支援」なんです。

当社のデータサイエンティストが口にしているのは「なんのためにAIを利用するのか。誰の幸せを願ってつくるのか」。農家の方が土壌作りからこだわるように、我々も開発の基盤を整備するところから、実際にシステムを利用するユーザーや、最終受益者である子どもに至るまで、全体と本質を捉えて開発と実践を進めていきたい。それがガバナンス、「責任あるAIを実践する」ということにつながるのだと思います。今後も、誠実に開発を進めていくと同時に、適切にAIを活用していただけるように、ユーザーの皆様を全力でサポートしてまいります。

※本記事は、2023年3月10日掲載弊社サイトコラムからの転載です。

一緒に「子どもが安全な世界」をつくりませんか？

わたしたちは「すべての子どもたちが安全な世界へ変える」というビジョンを掲げ、子ども虐待の見過ごしをゼロにするべく、児童相談所のICT基盤を支えるプラットフォーム「AiCAN」を開発しています。AiCANは、自治体の虐待対応の現場でタブレット用Webアプリを活用していただき、業務を支援するサービスです。

▼AiCANについて、詳しくはこちら

現在すでに1自治体にサービス提供しており、今後さらに対象地域を広げていきます。
事業を拡大していくため、営業・CS職やフルスタックエンジニアを募集しています！

「子どもが好き」「子どもが生まれてから、色々考えるようになった」「確かに、行政ってデジタル化進んでないかも」「なにか世のためになる仕事がしたい」そんな小さなきっかけでもかまいません！
興味を持ってくださったあなた。まずは代表の髙岡とざっくばらんにお話しませんか？

▼代表のプロフィールはこちら

応募条件やプロダクトの開発環境など、詳細は募集ページをご覧ください。自分らしく働ける職場で、仲間たちと一緒に社会課題解決に取り組んでみませんか？あなたの応募をお待ちしています！

▼詳細はこちら

Twitterやストーリーで情報発信しています！

AiCANでは、定期的にストーリーを更新しています。会社をフォローすると、新たにストーリーが投稿されり・新たに募集が開始されたとき、Wantedly内で通知を受け取ることができます♪
ページを下にスクロールすると出てくる「フォロー」を押して、更新をお待ちください。

Twitter（@AicanInc）でも情報発信しています。
▼こちらから、ぜひフォローよろしくお願いします！
https://twitter.com/AicanInc?s=20&t=dJdtE9HnKz68poTCE6BOhg

ページの下に出てくる「いいね♡」や「シェア」ボタンを押していただけると、執筆の励みになります。
引き続き応援よろしくお願いします！