「AIでパパッと!」は甘かった。ニュース分類の「基準」ができるまで
こんにちは!大学院1年の杉本です。
今回は、『第216回HCI(ヒューマンコンピュータインタラクション)研究会』、第36回研究会「インタラクティブ情報アクセスと可視化マイニング」での学会発表までの、奮闘記をお話ししようと思います。
研究の出発点は、「ニュースを見ない人にニュースを見せたい」という思いでした。 遡れば、「自分が幸せになりたい→幸せの土台って健康と教養だよね→でも、教養を得る機会って環境に左右されちゃうな」という、超個人的な問題意識からスタートしています。
ニュースに関心がない人に、社会的に重要なニュースを届けるにはどうすればいいのか? その仕組みづくりに挑んだ私の、七転八倒の裏側を語ります!
点と点が繋がった!偉大な先行研究との出会い
「関心がない人にニュースを見せるための導線を作りたい」 そう意気込んでスタートしたものの、最初は「どうやってニュース同士を繋げるか」という具体的な方法が全く見えていませんでした。
そんな泥沼の中で、私は外部の専門家もいるニュース研究チームに飛び込み、ついに運命の出会いを果たします。 それが、「ライネマン(Reinemannら)」と「大森翔子さん」の先行研究です。
この研究では、ニュースを「ハードニュース(政治や経済などの硬い話題)」と「ソフトニュース(個人的なエピソードや感情にフォーカスした柔らかい話題)」に分類し、それを「トピック・フォーカス・スタイル」という3つの要素で評価する枠組みが提唱されていました。
これを知った瞬間、「これだ!!」と頭の中で点と点が繋がりました。 「記事一つ一つをこの基準でソフトかハードかに数値化できれば、身近なソフトニュースから硬いハードニュースへと繋げるシステムが作れる!」
この発見をまとめ、週に1回のゼミで発表したところ、先生から「今までで一番いい発表だった。よかった」と言ってもらえたんです! 先生や外部の専門家の方々に助けられながら、ようやく研究の確かな一歩を踏み出せた瞬間でした。
「LLM(AI)でパパッと分類!」…では解決できない
先行研究という最強の武器を手に入れた私は、「じゃあ、この分類基準を使って、LLM(AI)に記事を数値化してもらおう!」と考えました。最先端のAIを使えば、大量の記事もあっという間に分類できると思ったのです。
早速、約200記事のデータに対してLLMで数値と根拠を付与し、ニュース研究の専門家である外部の先生に「できました!」と意気揚々と確認をお願いしました。
自分では「完璧な基準ができた!これで研究が進む!」と完全に舞い上がっていたのですが……数日後、藤代先生からこんなメッセージが届きました。
先生からのメッセージ: 「おはようございます。ちょっと私の確認不足で、コーティングのやり方にズレがあったと思います。」
……頭が真っ白になりました。 一般人の私から見たら「完璧に分類できている!」と思っていたものは、専門家の目から見ると、先行研究の意図から全然ズレていて、一貫性もまったくない状態だったのです。
LLMを使って分類するだけでは、ニュースが持つ複雑な文脈(焦点が個人か社会か、表現が感情的かどうか)を正確に判断することは不可能でした。AIに丸投げできるほど、ニュースの分類は簡単なものではなかったのです。
長文DMの嵐!専門家との泥臭い壁打ち
ここから、私の本当の戦いが始まりました。AIに頼るのをやめ、「人間の目で見て、どうやって客観的な数値基準(コーディングマニュアル)を作るか」という、途方もなく泥臭い作業に足を踏み入れたのです。
先生に食らいつき、少しでも時間をいただいては議論を重ねる日々。
急遽ミーティングをお願いしたり、「将棋の王位戦の記事は『公的』として扱っていいのか?」「『誇示した』や『牽制する』といったワードは感情的なスタイルに入りますか?」など、自分で実際に記事を分類しながら出てきた細かな疑問を、長文のダイレクトメッセージで先生にぶつけまくりました。
実際のやり取りの一部(抜粋)
杉本:「『ライブ配信は不特定多数の人が見ている可能性があり、個人情報などの発信には十分気をつけるべきだと感じた』という注意喚起は、社会への帰結ではなく個人への注意喚起ではないでしょうか?」
先生:「迷うところですが、個人が注意すると帰結するものは個人側にたおしましょうかね。」
このように、記事の一つ一つのフレーズや文脈に対して、「これは個人か社会か」「これは感情的かそうでないか」を徹底的にすり合わせていきました。 マニュアルが細かすぎると本来のニュースの分け方からズレてしまうため、先行研究をベースにしながら、日本の文脈に合わせた体系的な基準を少しずつ、約1ヶ月の時間を経て、手作業で形作っていったのです。
「沖縄に行きたい!」から生まれた自作ツール(HCI研究会)
専門家との壁打ちの末、ようやく分類のための「マニュアル」は完成しました。 ……が、ここであることを思いました。
「これ、ズレたところをDMで先生に聞いてマニュアルを直して……って、手作業でマニュアルを完成させるのしんどすぎない!? もっと簡単に『基準(マニュアル)作り』ができる仕組みはないの!?」
私は「人がどこで迷い、どうして解釈がズレたのかを特定して、マニュアルを改善していくプロセス」をシステム化できるのではないかと思ったのです。
……ここでちょっと裏話をさせてください。 実はこの時、『第216回HCI(ヒューマンコンピュータインタラクション)研究会』が沖縄の宮古島で開催されるという情報を耳にしました。
「……どうしても、沖縄に行きたい!!!!」
その一心で発奮した私は、なんと学会の締切1週間前というギリギリのタイミングから猛スピードで「アノテーション(タグ付け)支援ツール」を自作。 「記事のどこを根拠にして判断したか」を段階的に記録できるツールを形にして先生に見せ、「これなら沖縄行けるよ!」とお墨付きをもらってから、ようやく本格的な実験をスタートさせたのです(笑)。
この沖縄への執念から開発し、HCI研究会で発表したのが『曖昧さを含む仕様書の改善を目的としたアノテーション支援ツールの検討』という、「ツールの開発」に関する論文でした。
ツールで解き明かした「ズレの正体」(SIG-AM研究会)
そして、自作したツールを使って実際に分類実験を行い、「なぜ専門家と一般人でニュースの解釈がズレるのか」を徹底的に分析した結果を、また別の学会で発表することになります。
それが、第36回研究会「インタラクティブ情報アクセスと可視化マイニング(SIG-AM)」で発表した、『ニュースのハード・ソフト分類における判断の齟齬とその要因分析』です。 自作ツールで集めたデータを分析した結果、解釈がズレる原因は単なる作業者の能力不足ではなく、専門家の「暗黙知」や、客観的事実と感情表現が入り混じる現代ニュース特有の「物語型」構造にあることを突き止めました。これは「ニュースそのものの分析」に切り込んだ論文です。
「ニュースを見せたい」という思いから始まり、AIの限界を知り、泥臭くマニュアルのベースを作る。基準作りをシステム化したい&沖縄に行きたい情熱でツールを自作し(HCI)、そのツールでの実験を通じてニュースの構造的なズレを解明した(SIG-AM)。
この遠回りに見える泥臭いプロセスが、結果的に2つの学会発表を生み、私のメインの研究テーマ(ニュース提供システム)へと繋がる非常に重要な土台になりました。