ウォンテッドリーの推薦チームのメンバー4名で、推薦システムの国際会議 RecSys にオフラインで聴講参加しました。今年の RecSys2023 は 2023年9月18日から23日の5日間、シンガポールのサンテック・シンガポール国際会議展示場で開催されました。ウォンテッドリーでは推薦システムの最新の知見を取り入れることを重視しており、2019年から連続して推薦チームのメンバーが RecSys に参加しています。ただし、コロナの影響もありこれまでの参加の大半はオンラインでした。今回、ついに現地参加を実現し、オンラインでは得られなかった他の参加者との交流の機会を得ることができ、非常に有意義な時間を過ごせました。

本記事では、RecSys2023 の聴講参加の概要を報告します。後日、RecSys 参加メンバーによる特定のトピックについてのまとめや、プロダクト課題を解決するための最新知見を用いた実験報告を順次公開していく予定です。

RecSys 2023 の概要

RecSys は The ACM Conference on Recommender Systems の略称で、ACM（計算機学会）が主催する推薦システムに関する主要な国際会議の1つです。この会議には、推薦システムの研究を行う研究者や、Eコマースやメディア、HR など多様な領域で活躍するデータサイエンティスト・MLエンジニアが集まり、推薦システムに関する最新の学術研究成果や産業界での応用など、幅広い内容に関する発表や議論が行われます。

RecSys は今年で17度目の開催となり、総参加者数は997人、現地参加者数は724人で、去年とほぼ同数の参加者数となっていました。さらに、参加者の62%が企業からであり、推薦システムの実応用に対する関心が高いことがわかります。

基調講演

今回は3件の基調講演が行われ、そのうち2件は LLM に関するものでした。

1件目の講演では、マイクロソフト社のチーフ・サイエンティスト兼テクニカル・フェローであるJaime Teevanさんが LLM のプロンプトエンジニアリングに関するトピックを取り上げました。LLM の会話ログにはフィードバック、知識、プロセスなどのリッチな情報が含まれており、ユーザーが LLM に対してどのように反応しているかという情報が LLM 開発への示唆を与えていると述べており、Bing AIの開発者ならではの観点が印象的でした。

2件目の講演では、シンガポール国立大学 Tat-Seng Chua さんによる、推薦検索に対して LLM をどう組み込んでいくかについての指針が紹介されていました。本講演のスライドは公開されており、こちらのリンク(google drive) から閲覧することができます。

3件目の講演は Amazon の VPoML、Rajeev Rastogi さんによるもので、実応用における推薦システムの3つの課題「遅延フィードバック」「モデルの予測の不確実性」「推薦アイテムの非対称性」に焦点を当て、それぞれに対する機械学習ソリューションについて紹介しています。

チュートリアル・ワークショップ

RecSys では、メインカンファレンスのほか、特定のトピックに焦点を当てたチュートリアルやワークショップも実施されます。今年は18件のワークショップと6件のチュートリアルが2日間にわたって開催されました。一部は去年から引き続き開催されているものもありますが、新たに設けられたものも存在し、例えば2022年から特に注目が高まった LLM（Large Language Models）に関する「Tutorial on Large Language Models for Recommendation」というチュートリアルなどが開催されました。

以下に、参加メンバーが聴講したチュートリアル・ワークショップの概要を簡単に紹介します。

Tutorial on LLM for Recommendation

• 推薦システムへの LLM の応用に関するチュートリアル
• 本チュートリアルに参加したメンバーのポストはこちら

Tutorial: Customer Lifetime Value Prediction: Towards the Paradigm Shift of Recommender System Objectives

• 長期的なユーザーエンゲージメントの最適化に関するチュートリアル
• 極端なスパース性やロングテールなどの LTV 予測に関する課題や手法を紹介
• 本チュートリアルに参加したメンバーのポストはこちら

Tutorial: On Challenges of Evaluating Recommender Systems in an Offline Setting

• 推薦システムのオフラインメトリクスに関するチュートリアル
• オンライン時の状況との乖離などオフライン評価時の課題や対応について紹介
• 本チュートリアルに参加したメンバーのポストはこちら

Tutorial: Trustworthy Recommender Systems: Technical, Ethical, Legal, and Regulatory Perspectives

• 推薦システムの公平性、透明性、プライバシー、セキュリティに関するトピックを扱う
• 本チュートリアルに参加したメンバーのポストはこちら

Workshop: RecSys in HR

• HR領域における RecSys 活用に関するワークショップ
• HRというセンシティブな領域におけるAI活用のリスク、公平性、スキルやレジュメといった非構造化データの扱い、キャリアパスなどのHRドメイン特有のタスクについて議論・紹介されている
• 本ワークショップに参加したメンバーのポストはこちら

Workshop: IntRS(Interfaces and Human Decision Making for Recommender Systems)

• 推薦システムはユーザーの意思決定をサポートするものでありそのためには優れたインターフェースをデザインする必要がある、という趣旨のワークショップ
• 招待講演では、ユーザーの性格や感情といった要素を推薦システムでどのように取り入れるかを紹介
• 本ワークショップに参加したメンバーのポストはこちら

Workshop: DLP(International Workshop on Deep Learning Practice for High-Dimensional Sparse Data)

• 高次元かつスパースなデータの実応用に関するワークショップ
• 本ワークショップに参加したメンバーのポストはこちら

Research Papers・Industry talks

RecSys のメインカンファレンスでは、推薦システムの学術的な研究に対象を置く Research Papers と、企業における課題および実践的な解決策に焦点を当てた Industry talks が設けられています。Reserach Papers の採択数は 95 件（採択率は 19.6%）、Industry talks の採択数は 30 件（口頭発表 14 件、ポスター16件、採択率は不明） でした。Research Papers の投稿数は去年と比較して +100% 増加しており、それに伴い採択数も +144 %と増加しました。

以下に、参加メンバーが聴講した発表の一部を簡単に紹介します。

LightSAGE: Graph Neural Networks for Large Scale Item Retrieval in Shopee’s Advertisement Recommendation

• 信頼できるクリックログと CF を使って高品質なアイテムグラフを構築
• LightSAGE (PinSAGE + LightGCN) というアーキテクチャを提案、埋め込みを生成

Reproducibility Analysis of Recommender Systems relying on Visual Features: traps, pitfalls, and countermeasures

• 複雑なアーキテクチャやテキスト・画像・音声といったマルチモーダルな情報の活用により実験の再現性が困難
• 評価用ライブラリ ClayRS を拡張、画像を利用するアルゴリズムの再現を支援

Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation

• 短い動画を視聴するサービス (ex.TikTok) においてユーザーが動画をスキップして消極的にネガティブフィードバックを示す場合があり、これはユーザーの好みに関する重要な情報となる
• これらはポジティブアイテムに類似しておりそのままネガティブとして使うとランダムネガティブサンプリングよりも精度悪化してしまう問題への解決方法を提案

Identifying Controversial Pairs in Item-to-Item Recommendations

• Item2Item において、類似度が高くても推薦すると問題が発生し得るケースが存在する (ex. 結婚した人に対して離婚に関する本を推薦する)
• リスクの高いペアを見つけるモデルを作成し、推薦結果をフィルタリングする

Multi-task Item-attribute Graph Pre-training for Strict Cold-start Item Recommendation

• 厳密なコールドスタートの状況を想定して高品質なアイテム埋め込みを作る手法の提案
• アイテム - 属性グラフをモデル化、マルチタスク学習によって様々なデータソースの知識を反映させる

Track Mix Generation on Music Streaming Services using Transformers

• 音楽アプリのプレイリスト自動生成アルゴリズムを SVD → Transformers に変更
• Transformer によって推論が遅くなったが、ONNX の動的な量子化で対処
• オンラインテストでコールドユーザーへの効果を確認

HUMMUS: A Linked, Healthiness-Aware, User-centered and Argument-Enabling Recipe Data Set for Recommendation

• 栄養素情報、テキストレビュー、ユーザーとアイテムの相互作用などを含んだレシピ推薦用データセット「HUMMUS」を提案

Investigating the effects of incremental training on neural ranking models

• ランキングモデルの incremental training の効果検証
• コールドスタート問題の影響を受けやすいユーザー・アイテムやそのような影響を作りやすいモデルで、incremental training による改善幅が特に大きい

Trending Now: Modeling Trend Recommendations

• Amazon Primeビデオのトレンドカルーセルの改善
• 元々ヒューリスティックにやっていたものを目的変数を設計して最適化

The Effect of Third Party Implementations on Reproducibility

• GRU4Recのオリジナル実装と比較して、GRU4Recのサードパーティ実装のパフォーマンスを評価
• 多くのサードパーティ実装は重要要素のヌケモレなどあって性能劣化していることが分かった

Augmented Negative Sampling for Collaborative Filtering

• Augment した Negative Sample を導入することでロバストに学習させる

Adversarial Collaborative Filtering for Free

• CF の更新時に前 epoch と勾配のノルム差を正則化項に入れて、local optimize に陥らないようにする

MCM: A Multi-task Pre-trained Customer Model for Personalization

• Amazon によるマルチタスク用大規模事前学習済みモデルの作成と複数の推薦タスクでの評価を実施

Reward innovation for long-term member satisfaction

• Netflixの推薦システムは短期的なエンゲージメントではなく、長期的な会員満足度の最大化を目指している
• 長期的な会員満足度を最適化するための代理指標の設計と実装時の工夫を紹介している
• 参加メンバーによる論文まとめはこちら

How Should We Measure Filter Bubbles? A Regression Model and Evidence for Online News

• 実際のニュース Web サイトにおけるフィルターバブルの観察研究を実施

Everyone's a Winner! On Hyperparameter Tuning of Recommendation Models

• チューニングされた提案手法とチューニングされてない既存手法を比べるのはフェアでない、という課題感のもと、このような比較ではどの手法でもSOTAと報告される可能性があることを示した
• Eliot のような検証済みのライブラリなどがデファクトとなり、評価方法が研究コミュニティ内で統一されると一定解決できるのでは、と提案

What We Evaluate When We Evaluate Recommender Systems: Understanding Recommender Systems’ Performance using Item Response Theory

• 多くの研究論文では TopK (ex.nDCG@k) を評価をするが、TOPK には人気アイテムが頻出したり、ユーザのアイテム閲覧量により偏りが生じるので、IRT（項目反応理論）を使ってTopK 外の性能含め評価できる方法を提案

RecSys2023 で印象深かったこと

去年と比較した際の最大の差異は LLM といえるでしょう。「LLM × 推薦システム」は RecSys2023 において参加者の多くが関心を持つ非常にホットなトピックとなっており、先述の通り、チュートリアルが設けられたほか、基調講演3件中2件は LLM に関する内容でした。

下記のワードクラウドのスライド写真を見ると一目瞭然ですが、ワークショップやメインカンファレンスで採択された論文の多くは LLM に関するものでした。私が参加したワークショップ（RecSys in HR）のパネルでも、 LLM に関するテーマで議論が展開されていました。

LLMによるパーソナライゼーションは非常に大きなポテンシャルを秘めていると、多くの発表内容から感じられましたし、来年以降はこのトピックがさらに台頭し、より発展した研究報告や企業での実応用事例、新たな観点での議論が盛んになるだろうと予想しています。

次回の RecSys2024 について

RecSys2024 は、10月14日から18日までの5日間、イタリア・プッリャ州バーリで開催予定です。ワークショップとチュートリアルは、大学（おそらくバーリ大学？）で行われ、メインカンファレンスはペトルッツェリ劇場で行われるみたいです。劇場での学会開催はこれまで記憶になく、非常に楽しみです。

現地の様子

推薦システムに携わる様々な立場の方々との交流は、現地参加ならではの体験でした。普段話す機会のない海外の方々とも交流でき、また、同じ日本の企業で推薦システムの開発を進めている方々と知り合うことができました。推薦システムに関するトピックで議論が活発に行われる5日間となりました。

ワークショップ、チュートリアル会場（サンテック・シンガポール国際会議展示場3F）

メインカンファレンス会場（サンテック・シンガポール国際会議展示場4F）

ポスター会場（サンテック・シンガポール国際会議展示場4F）

バンケット会場（マリーナベイ・サンズのサンズ・エキスポ＆コンベンションセンター）

なぜ RecSys に参加したのか

4人のメンバーが現地で参加することになると、各メンバーがアサインされているプロジェクトの一時停止や現地参加のための費用など、オンライン参加に比べてコストはかなり大きくなります。それでも最終的に得られる価値が相応以上になるだろうと判断して現地参加に踏み切りました。

ウォンテッドリーでは、推薦システムを技術戦略上の最も重要な領域の一つと位置づけられています。推薦システムの成長はプロダクトの成長に直結しているため、この領域の最新技術傾向を把握することは重要です。最新の情報を取得することで、現在あるいは将来直面する大きな課題にどう対処すべきか、どのようにアプローチすべきかを考えるきっかけとなりますし、古いものから新しいものまで複数の技術を選択肢として持っておくことはプロダクト開発において非常に重要です。

特に推薦システムの開発に携わるメンバーのモチベーション向上という点で、現地参加は非常に大きな効果となったと思いました。推薦システムというトピックに満ち溢れた5日間、自社以外の推薦システムに携わる人たちとの交流や情報交換、議論を通じることは、メンバーにとって非常に良い影響でした。参加したことから得られる知識や経験が大きな糧となり、個々の技術力向上やプロダクトへの貢献度合いの向上に役立つことでしょう。

最後に、コストに対して価値に見合ったかどうかを判断するのは難しいものですが、少なくとも参加しただけで見合うものになるとは思いません。参加し、そこで得られたものをプロダクトに還元して価値に変えていく動きが重要だと考えています。具体的には、得られた知見や技術的課題に対して業務として実際のプロダクトで技術的チャレンジする機会を作っていく、などです。今回の RecSys 参加を1つのきっかけとして、プロダクト開発のさらなる洗練や大きな飛躍に繋げられたら、と考えています。

RecSys2023論文読み会の会場スポンサーをします

毎年 RecSys の参加者有志で企画されている RecSys 論文読み会ですが、今年も開催されることになりました。RecSys2023 の本会議やワークショップの発表者による自身の研究成果を紹介や、会議参加者が注目した論文の紹介が行われます。今回の論文読み会はオンラインとオフラインのハイブリッド形式で実施され、2019年以来となるオフライン開催が予定されています。

今回、ウォンテッドリーは本イベントの会場スポンサーおよび懇親会スポンサーを務めさせていただくこととなりました。勉強会・懇親会での参加者の方々との交流を楽しみにしております。ぜひ、オフラインでの参加登録をよろしくお願いします！

共により良い推薦システムを突き詰めていく人 Wanted

推薦チームが立ち上がって5年が経ち、チーム体制もある程度整ってプロダクトへの貢献が安定してきました。しかしながら、ウォンテッドリーの推薦システムの改善余地は相当に大きいものです。

私たちは「究極の適材適所により、シゴトでココロオドルひとをふやす」というミッションのもと、複数のプロダクトの開発及び運用をしています。非常に複雑な「人」と「シゴト」の関係を紐解き、データと技術を駆使して適材適所の仕組みを作り出す必要があり、これを実現するためには推薦システムという技術の進化が必要不可欠です。

私たちと一緒に、推薦システムという技術活用を促進して究極の適材適所を追求し続けるデータサイエンティスト・機械学習エンジニアの仲間を探しています。少しでも興味を持っていただけたら、以下の募集から「話を聞きに行きたい」ボタンをクリックしてください。また X(旧Twitter) の DM でも受け付けています。カジュアルにお話しできることを楽しみにしています！