フリーランスエンジニア / 個人事業主
機械学習素材のスクレイピング
AIサービスを提供している企業で、機械学習の素材となる画像データやテキストデータを収集する業務を担当しました。 ≪担当業務≫ ・サイトを分析し、適切な収集方法を選定する ・実装 ・収集 ・サーバーを複数台使った分散処理の構築 ≪習得スキル≫ ・Seleniumを使ったスクレイピング ・RedisとPython RQを使った分散タスクキュー ≪コメント≫ 計20サイトを収集し、サイトに応じて最適かつ最速に収集できるように、使用技術やコードの書き方を工夫できるようになりました。 ≪チーム人数≫ PM:1名 エンジニア:1名 案件全体人数:2名 ≪使用技術≫ Python3.9, Redis, Linux(Ubuntu), Selenium, Python RQ, Sentry, Supervisor, Azure Blob Storage, Git, GitHub