Wantedly VisitのMatching領域を担当している石崎です。この記事では、先週のRecSys2020で聴講した、推薦システムのバイアスに関するセッションをピックアップして3つご紹介します。

明日以降もRecSys2020の参加レポートを順次、社内のメンバーがブログとして投稿していきます。どうぞ、楽しみにしていてください！

4 Reasons Why Social Media Make Us Vulnerable to Manipulation

RecSys2020ひとつめのkeynotes "4 Reasons Why Social Media Make Us Vulnerable to Manipulation" についてご紹介します。ソーシャルメディアが認知的・社会的・アルゴリズム的なバイアスを引き起こし、誤情報に対して脆弱になる4つの理由について、インディアナ大学教授のFilippo Menczerさんから説明がありました。

1. Echo chambers

ソーシャルメディアを使うユーザは繋がっているユーザの意見に影響を受け、自分の意見とは異なるユーザとの繋がりを断つことで、閉鎖的で偏った意見が強化され、エコーチェンバーがおきます。

下のネットワークグラフの画像は、2014年のアメリカ中間選挙の時、Twitterユーザによってツイートがシェアされている状態を表しています。ノードがTwitterアカウントで、エッジがリツイートです。リベラルなユーザは別のリベラルなユーザの投稿をリツイートする傾向があり(左側)、保守的なユーザは別の保守的なユーザの投稿をリツイートする傾向があり(右側)、左右で分極化されエコーチェンバーが起きていることが確認できます。

https://theconversation.com/misinformation-on-social-media-can-technology-save-us-69264

紫の点はFilippoさんが所属するTruthy研究プロジェクトに関する誤情報を拡散しているアカウントを表しています。それは右側に偏って多く存在していることが分かります。偏った意見・バイアスが強化された空間では、フェイクニュースに対して脆弱になることがわかります。

ソーシャルメディア上でエコーチェンバーが起きるプロセスをシミュレーションできるサイトがあります。Filippoさんの研究室から作られたものです。3つのパラメータ、Tolerance(自分と異なる意見に対する許容範囲), Influence(どのくらい影響されやすいか), Unfriending(フォローを外す頻度)の値によって、結果が変わるとても面白いシミュレーションです。

2. Infomation overload

ソーシャルメディアでは、バイラル記事(バズってる記事)がたびたび見受けられます。これは、全体の情報に対しほんの一部の記事がだけが、何千何万という拡散によって多くの人に広まりまる現象です。

このようなバイラルは、ソーシャルネットワークという構造とユーザの限定的な注目によって、引き起こされます。ソーシャルネットワークにおいて情報過多の場合、コンテンツの人気度と品質との相関関係が低くなることがわかってます。下のグラフは x 軸が情報量、y 軸が注意力(ユーザがどのくらい探索的に情報にアクセスするか)の指数で、情報の品質をヒートマップで表しています。右下側は情報過多でユーザはあまり探索せずに情報にアクセスしている状態を示しており、そのような状況では情報の品質が低くなっている状態がわかります。

Twitter上での投稿が拡散されている状態が可視化できるサイトがあります。こちらもFilippoさんの研究室が作られたものです。ノードはTwitterアカウント、エッジはリツイートで、ノードの大きさは影響力の大きさ(そのアカウントの記事がリツイートされた回数)です。青が人間らしいアカウントで、赤がボットらしいアカウントで黄色は停止アカウントです。

https://iunetsci.github.io/HoaxyBots

上の画像のネットワークグラフは、2016年のアメリカ大統領選挙の時に、クリントンキャンペーンがオカルト儀式を行なっているというフェイクニュースが拡散されている状態を、このツールで可視化したものです。中心に位置する、多くリツイートされているアカウントが発信源であり、情報が増幅されていることがわかります。また、その拡散にボットアカウントが多く関わっていることがわかります。

3. Platform bias

ソーシャルメディアのプラットフォームでは人気を重視します。これは、群衆の知恵 (集団での判断は優れる) の考えに基づいており、多くの人が評価したものは品質が良いと考えられるからです。以下の図は、 x 軸がそのプラットフォオームはどのくらい人気のアイテムをおすすめするかを示し、y 軸が注意力(ユーザがどのくらい探索的に情報にアクセスするか)の指数で、ヒートマップ <q>の色で品質の高さを表しています。

https://www.nature.com/articles/s41598-018-34203-2

図の x 軸が 0.3, y 軸が 1 あたりが黄色になっており、非常に品質が高いことがうかがえます。この部分は群衆の知恵を表しています。しかし、x 軸が0.6を超えたあたりから品質が悪くなっているのがわかります。そのプラットフォーム上で人気のアイテムをより強く優先させることは、プラットフォームバイアスがかかって品質を悪化させることがわかります。

このようなソーシャルメディア上でプラットフォームバイアスに対抗し、品質が悪いコンテンツ、フェイクニュースを見分けるシミュレーションゲーム「Fakey」を、Filippoさんたちが作りました。このゲームでは、ニュースの見出し・説明・写真をみて、フェイクニュースだと思えばFact-Checkを押し、信頼できる情報と思えばShareを押して、ポイントを獲得するゲームです。iPhone, Androidで動作します。

https://fakey.iuni.iu.edu/

以下のグラフは信ぴょう性の低い記事が表示されたときに、ユーザがどのくらい Like/Share ボタンとFact check ボタンを押すかを示したものです。このゲームでは記事を Liked or Sharedした人数はランダムで表示され、High-Engagement は Liked or Sharedした人数が多い記事、 Low-Engagement はLiked or Sharedした人数が少ない記事のデータを表しています。Liked or Sharedした人数が多い記事ほど、誤った行動(Like/Shareを押す、Fact checkを押さない)を起こしやすく、Liked or Sharedした人数が少ない記事のほうが正しい行動(Like/Shareを押さない、Fact checkを押す)を起こしやすいことがわかります。

4. Manipulation

ソーシャルボットによって、フェイクニュースや質の低い情報が拡散されていることがわかっています。以下の図は2016年のアメリカ大統領選挙の時、Twitter上における信ぴょう性の低い情報を拡散するためのリツイート(紫色のエッジ)と、ファクトチェックをするためのリツイート(オレンジ色のエッジ)について可視化したものです。ノードがアカウントでエッジがリツイートです。

https://www.nature.com/articles/s41467-018-06930-7

このグラフを詳しく見ていくと、信ぴょう性の低い記事のリツイートが多いアカウントほど、ボットであることが確認されました。また、ボットは影響力のあるアカウントを利用して情報を拡散していることがわかっています。信ぴょう性の低い記事のリンクをつけたツイートに、フォロワー数の多い影響力のあるアカウントのメンション、もしくはリプライをつけて投稿する戦略をとっています。

https://www.nature.com/articles/s41467-018-06930-7

上のグラフは x 軸がバイラル記事のリンクが貼られたツイートをメンションつきで投稿したアカウントのボットらしさで、y軸がメンションされたアカウントのフォロワー数のグラフです。フォロワー数の多いアカウントがターゲットになっていることがわかります。ボットのツイートによって人間がどのような影響を受けるか、下のグラフで表されています。

ヒートマップは x 軸がリツイートしたアカウントのボットスコア(ボットらしさ)、y 軸がツイートしたアカウントのボットスコアです。ヒートマップの左半分のリツイート数(色)が y 軸上下で変化しないことから、人間はボットのツイートも人間のツイートも同じくらいリツイートしていることがわかります。また、bのグラフはリツイートしたアカウントのボットスコアごとのリツイート数の分布で、ここからリツイートのほとんどが人間によって行われていることがわかります。cのグラフはボットスコアが一定の閾値以下のアカウント(人間である可能性が高いアカウント)がリツイートしたアカウントのボットスコアごとのリツイート数の分布です。

これらのことから、ボットはフェイクニュースや誤情報の拡散を助長しており、人間はこのようなボットが発信する質の低い情報に対して、脆弱であることがわかります。

Tool

Filippoさんたちが作ったアプリをすでにいくつか紹介していますが、他にもあるので記載します。

Botometer
Twitterのアカウントがボットかどうかを判別する Botometer です。

Hoaxy
twitter上の記事やキーワードがどのように拡散されているかを可視化したツール Hoaxy です。 ちなみに、この記事のトップ画像はこちらのツールで "Wantedly" というキーワードでグラフ生成したものです！

BotSlayer
まだBeta版ですが、ボット検出の BotSlayer です。ボットが使用した、キーワード、ハッシュタグ、画像などのエンティティを抽出できるそうです。

Summary

• 認知的、社会的、アルゴリズム的バイアスの相互作用により、私たちは誤った情報に対して脆弱になります
• ソーシャルボットはこれらの脆弱性を悪用します
• 情報拡散ネットワーク、ボット、組織的キャンペーンを学ぶためのツールは、情報操作を理解し、それに対抗するのに役立つ可能性があります

Reference:
Filippo Menczer. 2020. 4 Reasons Why Social Media Make Us Vulnerable to Manipulation. In Fourteenth ACM Conference on Recommender Systems (RecSys '20), September 22–26, 2020, Virtual Event, Brazil. ACM, New York, NY, USA 1 Pages.

Bias in Search and Recommender Systems

RecSys2020ふたつめのkeynotes "Bias in Search and Recommender Systems" について紹介します。検索・推薦システムにおけるバイアスの影響について、元Yahoo Labs リサーチのVPで現在ノースイースタン大学の非常勤教授であるRicardo Baeza-Yatesさんからお話がありました。

Motivation

ほとんどのWebシステムは、ユーザのフィードバックによって最適化されています。ただし、ユーザーのフィードバックは、システムの選択によって偏ったものになっています (表示されているもののみにクリックができるなど) 。推薦システムの多くは機械学習を利用しているため、バイアスを強化してしまうことがあります (パーソナライズなど) 。さらに、これらのシステムが相互作用し、ユーザの行動ではなく別システムのバイアスを学習してしまうこともあります。このような検索・推薦システムにおけるバイアスの影響について知ることが今回の目的です。

Human Data has Bias

バイアスを取り除くには、データにどのようなバイアスが存在しているかを知り、バイアスがかかっていることに気づく必要があります。まず様々なバイアスを3つの異なるタイプで定義します。

Cultural Biases: Gender, Racial, Sexual, Age, Religious, Social, Linguistic, Geographic, Political
Educational, Economic, Technological
Statistical Biases: Gathering process, Sampling process, Validity, Completeness, Noise, Spam
Cognitive Biases: Self-selection

文化的バイアス(Cultural Biases)に焦点が当てられやすいですが、データにおける収集、サンプリング過程でのバイアスやノイズなどの統計的バイアス(Statistical Biases)にも注意する必要があります。これらのバイアスを考慮しないまま、バイアスのかかったデータを外挿してないか気をつけましょう。

What is being fair ?

そもそも "Fair" とはどのようなものか、という問いを考えます。これは技術的な問題ではありません。

Equality はみんなが等しいサポートを受ける状態ですが、よく見ると子どもはゲームを見ることができていません。これは平等という概念です。Equity はみんながその人に必要なサポートを受ける状態で、子どもは多くのサポートを受けゲームを見ることができています。 affirmative action (積極的格差是正措置) のコンセプトに基づいています。Justice は不平等な原因を取り除いたため、みんなサポートがなくてもゲームが見られる状態となっています。これらのどれが "Fair" でしょうか。推薦システムのユーザのバイアスを取り除くには、単にエンジニアがアルゴリズムを調整するだけでは不十分であるということを理解しなくてはいけません。文化的・認知的バイアスを認識する必要があります。

Popularity Bias in Recommender Systems

推薦システムにおけるバイアスには、人気バイアス・エンゲージメントバイアスがあります。ユーザは見たアイテムに対してしかアクションを起こさないため、システムが人気のアイテムばかりを表示する場合、人気のアイテムはインタラクションがつきやすく、人気ではないアイテムはインタラクションがつきにくくなります。その場合、ユーザのアイテム評価における欠損データ(以下の図のUnobserved preference)の発生が、そのアイテムの人気度に依存している状況になります(MNAR)。また、推薦システムで上位 k 件までのアイテムのAverage Precisionを評価指標とし、アイテム評価がアイテムの人気度(発見のしやすさ)に依存している場合、すでに人気のアイテムを上位にすることで評価指標が高くなるため、"人気アイテムがさらに人気アイテムになる"という、人気バイアスがかかります。

このようなバイアスを取り除く方法がいくつかあります。このKeynotesでは、それぞれの方法について詳しくは取り扱われなかったのですが、ResSysの他のセッションではバイアスを取り除く方法を紹介いるものがありました。この記事では次に記載したチュートリアル紹介で、バイアスの取り除く方法を記載しています。

• In the data: Rating split
• In the metrics: Stratified recall, Inverse propensity scoring
• In the algorithms: Unbiased learning

Second Oder Bias

例えばブログを書こうとした時、Web検索を使って情報を調べます。検索結果の上位にあるWebサイトのページのいくつかを参考にして、新しいブログを作ったとします。作ったブログのページの中に、参考にしたWebサイトのリンクを貼ります。問題は、この新しく作ったWebコンテンツが、検索ランキングの結果に依存するということです。検索エンジンのアルゴリズムによって、上記の人気バイアスと同じく、すでに検索結果の上位にあるコンテンツはリンクを貼られることで、ますます検索結果で上位に表示されて多くの人に見られるコンテンツとなる可能性が高まります。

User's Echo chambers in Recommender System

Filippoさんのkeynoteでも誤情報に対する脆弱性の原因と説明されていた、エコーチェンバー・フィルターバブルの問題についても言及しています。以下のグラフは推薦アルゴリズム(パーソナライズ)によって、どのようにユーザの関心の減退が起きるかを測定したグラフになります。y 軸がユーザの関心減退指数で、x 軸がタイムステップです。このグラフから言えることは、短い期間での積極的なパーソナライズ・最適化をすることはユーザの関心減退を引き起こし、エコーチェンバー、フィルターバブルにつながり、長期的な最適化にはならないということです。

https://dl.acm.org/doi/abs/10.1145/3306618.3314288

Interaction Bias

インタラクションに関するバイアスもあります。"プレゼーテンションバイアス" はユーザは見たものにしかクリックができないというものです。特に推薦システムはプレゼーテンションバイアスの影響を非常にうけやすく、上記の人気バイアスに関する説明でも記載しました。"ポジションバイアス"はコンテンツをサイト上のどの位置に配置するかで、ユーザからのインタラクションが偏るバイアスです。私たちは左上をよく見ていることが知られています。"ソーシャルバイアス" はアイテムのレビュー結果などで、たとえばAmazonレビューが 高評価アイテムのほうがクリックされやすいというバイアスです。
これらのバイアスはそれぞれ相互に影響しあっているので、非常に複雑です。

summary

• システムは、私たちの良いこと・悪いこと・醜いことを表す鏡です
• Webは全てを増幅させます。しかし、必ずそれは痕跡を残します
• 私たちは私たち自身のバイアスに気づく必要があります
• 悪質なバイアスのサイクルを止めるため、立ち向かわなければなりません
• Fairでいなければいけません
• まだ未解決な研究課題がたくさんあります

Reference:
Ricardo Baeza-Yates. 2020. Bias in Search and Recommender Systems. In Fourteenth ACM Conference on Recommender Systems (RecSys '20), September 22–26, 2020, Virtual Event, Brazil. ACM, New York, NY, USA 1 Pages.

Counteracting Bias and Increasing Fairness in Search and Recommender Systems

最後にチュートリアルの "Counteracting Bias and Increasing Fairness in Search and Recommender Systems" をご紹介します。検索・推薦システムにおいて、バイアスを取り外して公平性を向上させる方法についての説明がありました。

Fairness Strategies

３つの過程において、バイアスを外して公平性を高める戦略をとります。

Pre-processing
・ sampling from data: 全てのグループのアイテムがカバーされているか確認
・ balancing data: 少数グループのアイテムのカバレッジを大きくする (不均衡データへの対処)
・ repairing data: データの正確性を確保し、様々な影響を取り除く
In-processing
・ 目的関数に公平性を組み込みます. 一般的には正則化を行います
(Abdollahpouri et al., 2017; Yao & Huang, 2017; Beutel et al., 2019; Wan et al., 2020)
Post-processing
・ 公平性を改善するre-rankingを行う
・ Greedy Approachを使う
・ 制限付きの最大化をする
・ 多腕バンディットを使う

Utility vs Fairness

公平性を意識したシステムは、実用性(Utility)と公平性(Fairness)の両方で評価する必要があります。"Utility" はユーザが情報にアクセスすることをアシストすることです。例えばパーソナライズやランキングなど、ユーザが求めている情報にアクセスしやすくすることです。"Fairness" はそれぞれの情報が、ユーザからの注目を受ける機会が平等になるようなっていることです。それぞれを示す指標は以下の通りです。

Utility Metrics
・ 意思決定・精度: MAE, Precision, Recall, F1-Score, Hit rate
・ ランキングベース: MRR, nDCG
・ 多様性・新規性: α-NDCG, NRBP, ERR-IA, nDCG-IA

Fairness Metrics
・ Normalized Discounted KL-divergence (NDKL)
・ minSkew, maxSkew (Yang & Stoyanovich, 2017; Geyik et al., 2019)
・ Error-based (Kuhlman et al., 2019)
・ Fairness for probabilistic models (Diaz et al., 2020)

また、UtilityとFairnessの両方を考慮した最適化を行う必要があります。

Optimize Utility
・ Given: Fairnessに関する制約
・ Goal: Utilityの最大化
・ e.g. Precision最大化 s.t. |G1|=|G2| (statistical parity)

Optimize Fairness
・ Given: Utilityに関する最小閾値
・ Goal: Fairnessの最大化
・ e.g. エントロピー最大化 s.t. recall ≥ 0.7

Trade-offs

FairnessとUtilityがトレードオフの関係にある場合、パレート最適化を見つけたり、重みを調整することで対応します。理論的には、Utilityを最適化した場合、Fairnessが最適化されることもあります。トレードオフかどうかはデータとアルゴリズムによります。実際は、Utilityを最適化しただけでは強い不公平感につながります。Fairnessを取り入れることはシステムのUtilityを下げることになります。どちらが重要かは用途によります。

Reference:
Ruoyuan Gao and Chirag Shah. 2020. Counteracting Bias and Increasing Fairness in Search and Recommender Systems. In Fourteenth ACM Conference on Recommender Systems (RecSys '20), September 22–26, 2020, Virtual Event, Brazil. ACM, New York, NY, USA 3 Pages.

まとめ・感想

RecSys2020では、バイアスに関するセッションが多くあり、keynotesでもメインピックとして扱われ、推薦システムの課題としてとても重要視されていることがうかがえました。バイアスに関する複数のセッションを聴講したことで、推薦システムにおいてどのようなバイアスがかかる可能性があり、何が原因で、なぜ強化されてしまうのかを、色々な視点で学ぶことができました。推薦システムを作る上でバイアスに対して知識をつけて、適切に対処をすることは非常に重要であり、特に人気バイアスは推薦システムを作る上で非常に影響が強く、私も気をつけながらデータを取り扱っていきたいと思いました。 また、初めてRecSysに参加しましたが、参加させていただいたどのセッションも興味深く、社内のメンバーがワークショップで発表しているところを聞くことができて、とても刺激的なイベントとなりました！

次のRecSys2020参加レポートは Wantedly Visit データサイエンティスト関根さんのブログです。どうぞ、楽しみにしていてください！

最後に、現在Wantedlyでは一緒にデータサイエンティスト・機械学習エンジニアとして活躍してくれるメンバーを募集しています。少しでも興味を持っていただけたらぜひ以下の募集から「話を聞きに行きたい」ボタンを押してください。気軽に話を聞きに来ていただけたら嬉しいです！