🎶 My lastest Data engineering project : JP Music Trends Dashboard
Photo by Nichika Sakurai on Unsplash
After weeks of collecting data, building pipelines, and experimenting with sentiment analysis, I’m excited to share my final project from my Data Engineering bootcamp with Le Wagon.
This dashboard tracks emerging trends in Japanese music (J-Pop, anime songs, city pop…) by analyzing Reddit and YouTube data.
It surfaces rising artists, trending songs, and sentiment shifts — powered by a full data engineering pipeline and open-source AI models.
🔧 Tech Stack Highlights
- Airflow – ETL orchestration
- DBT – analytics engineering & transformations
- FastAPI – data ingestion via custom APIs
- Streamlit – dashboard frontend
- Docker – containerized development
- PostgreSQL – data warehouse
- NLLB-200 – Japanese → English translation
- Ollama (Mistral, etc.) – on-device LLMs for entity extraction, sentiment, trend detection & summarization
💡 Why this project?
As a data engineer and music lover living in Japan, I wanted to build something that connects my tech stack with culture and creativity.
This project is also the final capstone from my Le Wagon Data Engineering bootcamp.
🧪 Try it live:
👉 huggingface.co/spaces/florentbossart/jp_music_trends_fb
📁 Code: github.com/florent-bossart/social_media_tracker
🇯🇵 日本語版 | 日本の音楽トレンドを可視化するダッシュボード
数週間にわたってデータ収集・パイプライン構築・感情分析の実験を重ねた結果、最新プロジェクトを公開しました！
このダッシュボードは、Reddit や YouTube の投稿データを分析し、日本の音楽シーンにおける新しいトレンドを可視化するものです。
注目され始めたアーティストや楽曲、感情の変化などを捉え、オープンソースのAIモデルとデータエンジニアリングパイプラインで実現しています。
🔧 使用した技術スタック
- Airflow：ETLワークフローの自動化
- DBT：データ変換と分析モデリング
- FastAPI：API経由でのデータ取得
- Streamlit：ダッシュボードのフロントエンド
- Docker：開発環境のコンテナ化
- PostgreSQL：データウェアハウス
- NLLB-200：日本語→英語翻訳（Meta AI）
- Ollama（Mistral等）：オンデバイスでのエンティティ抽出、感情分析、要約、トレンド検出
💡 なぜこのプロジェクト？
日本在住のデータエンジニアとして、音楽とテクノロジーを繋ぐプロジェクトを作りたいと思ったからです。
また、これは Le Wagonデータエンジニアリングブートキャンプの卒業制作としても位置づけています。
🧪 ぜひ触ってみてください：
👉 huggingface.co/spaces/florentbossart/jp_music_trends_fb
📁 GitHub：github.com/florent-bossart/social_media_tracker
If you're into data pipelines, open-source LLMs, Japanese music — or you're hiring for data roles — I’d love to connect!
データエンジニアリングや音楽トレンド分析に興味のある方、お仕事のご相談なども大歓迎です！
https://www.linkedin.com/in/florent-bossart/
#DataEngineering #LLMops #Streamlit #JapaneseMusic #JPop #Airflow #DBT #FastAPI #Ollama #NLLB #LeWagon #PortfolioProject #OpenSource #音楽トレンド #データ分析 #ダッシュボード #LLM活用 #ポートフォリオ
