1
/
5

Lightning Talk_ElasticSearch入門

*この記事は2021年9月24日(金)に社内で行ったライトニングトークのスライドを元に作成しています。

エンジニアの釜地です!

弊社サービス複業クラウドでは全文検索エンジンとして、ElastciSearchを導入しています。
自分はこの知見が乏しかったので今回記事に纏めました!


ElasticSearchとは?

複数のデータベースを横断して検索、なおかつ柔軟な検索をすることが可能になる。

RDBとの比較

例えば、文章の中でカツオはサザエの弟といった文があった際にRDBで検索することを考えてみます。
検索は以下のSQLで前方一致、後方一致で行います。

SELECT text FROM テーブル名 WHERE text LIKE '%検索文字列%'

すると以下のように本来ヒットさせたくない'カツ'はヒットする。
ヒットさせたい'鰹'はヒットされないといった事案が発生して、検索の柔軟性に欠けてしまいます。

そのためElasticSearchでは柔軟な検索を可能にするために文章を意味のある単語に分割してドキュメント(RDBでいうレコード)に保存させます。
ただ、意味のある単語に分割することは日本語の場合難しいです。
英語の場合は半角スペースなどである程度区切られていますが。

そこで出てくるのが形態素解析N-gramです。


形態素解析

自然言語で書かれた単語を予め登録された辞書で分割して、品詞などを割り出す方法。辞書の精度によって検索精度が左右される。
ex)kuromoji、sudachi

Ngram

N(1以上の数字)文字ずつ文章で区切る方法。検索漏れは少ないが、Nを小さくしすぎると精度が悪くなる

検索精度を上げていくには

「検索ノイズが少なく、検索漏れが多い形態素解析」と「検索ノイズが多く、検索漏れが少ないNgram」を組み合わせてドキュメントに登録する。
又は単純に形態素解析の辞書の精度を高める方法が考えられるかなと思います。

弊社では後者の方法で検索精度を高めて行きたいと考えています!


複業クラウドに登録して一歩を踏み出してみませんか?

複業クラウドへの登録はこちら

Another worksでは一緒に働ける仲間を探しています

AI・機械学習エンジニア
AI・機械学習を使って複業を世の中に広めるプロダクトを作りましょう!
株式会社Another worksは、複業したい人と企業や自治体をマッチングするプラットフォーム「複業クラウド」を開発、運営しています。 ▍複業クラウドの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎創業以来変わらない想いとプロダクト 2019年の創業以来一貫して『複業クラウド』を提供しており、事業ピポットすることなくご利用企業/個人双方にとって良いプロダクトを開発し続けています。現在は85,000名(2024年10月9日時点)にご利用いただき、導入企業も2,000社(2024年8月31日時点)を超える急成長を遂げています。 ◎手数料や中間マージンが無料 人材業界の常識を覆す。通常であれば紹介手数料50万円〜100万円や、中間マージン30〜50%が発生する中、企業と個人が直接契約ができるサービスを提供しています。専属のカスタマーサクセスが採用成功に向けて伴走することで、複業人材の採用成功率は85%以上です。 ◎新規事業展開 複業の社会実装の実現に向けて、複業クラウドを軸にした関連する新規事業を展開しています。 ▼複業クラウドfor Public 優秀な複業人材が自治体職員とともに行政課題解決に取り組み、地方創生の実現を目指すプロジェクトを全国各地で行なっています。専門性の高い知見を備えた複業人材を活用することで、DXの推進計画や広報戦略の立案などあらゆる行政課題を解決することができます。 日本全国の202自治体に複業クラウドを導入頂いており(2024年12月2日時点)これは導入数、複業人材の登用数、プロジェクト組成数において日本一の実績を誇っています。 ▼プロウィズ - 大手企業様×正社員/複業人材 ▍Another worksの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎社員について 年代:20代が中心 平均年齢:28歳 社員数:50名 男女比:6:4 ◎社員出身企業 ビズリーチ / リクルート / パーソル / パソナ / ベネフィット・ワン / レバレジーズ / ネオキャリア / マイナビ / ディップ / / etc
株式会社Another works
フロントエンジニア
複業クラウドをReactで開発するフロントエンジニア募集
株式会社Another worksは、複業したい人と企業や自治体をマッチングするプラットフォーム「複業クラウド」を開発、運営しています。 ▍複業クラウドの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎創業以来変わらない想いとプロダクト 2019年の創業以来一貫して『複業クラウド』を提供しており、事業ピポットすることなくご利用企業/個人双方にとって良いプロダクトを開発し続けています。現在は85,000名(2024年10月9日時点)にご利用いただき、導入企業も2,000社(2024年8月31日時点)を超える急成長を遂げています。 ◎手数料や中間マージンが無料 人材業界の常識を覆す。通常であれば紹介手数料50万円〜100万円や、中間マージン30〜50%が発生する中、企業と個人が直接契約ができるサービスを提供しています。専属のカスタマーサクセスが採用成功に向けて伴走することで、複業人材の採用成功率は85%以上です。 ◎新規事業展開 複業の社会実装の実現に向けて、複業クラウドを軸にした関連する新規事業を展開しています。 ▼複業クラウドfor Public 優秀な複業人材が自治体職員とともに行政課題解決に取り組み、地方創生の実現を目指すプロジェクトを全国各地で行なっています。専門性の高い知見を備えた複業人材を活用することで、DXの推進計画や広報戦略の立案などあらゆる行政課題を解決することができます。 日本全国の202自治体に複業クラウドを導入頂いており(2024年12月2日時点)これは導入数、複業人材の登用数、プロジェクト組成数において日本一の実績を誇っています。 ▼プロウィズ - 大手企業様×正社員/複業人材 ▍Another worksの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎社員について 年代:20代が中心 平均年齢:28歳 社員数:50名 男女比:6:4 ◎社員出身企業 ビズリーチ / リクルート / パーソル / パソナ / ベネフィット・ワン / レバレジーズ / ネオキャリア / マイナビ / ディップ / / etc
株式会社Another works
フレックス_副業/リモートOK
総額6.5億円シリーズB調達完了/CDO直下のリードデザイナーを募集します
株式会社Another worksは、複業したい人と企業や自治体をマッチングするプラットフォーム「複業クラウド」を開発、運営しています。 ▍複業クラウドの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎創業以来変わらない想いとプロダクト 2019年の創業以来一貫して『複業クラウド』を提供しており、事業ピポットすることなくご利用企業/個人双方にとって良いプロダクトを開発し続けています。現在は85,000名(2024年10月9日時点)にご利用いただき、導入企業も2,000社(2024年8月31日時点)を超える急成長を遂げています。 ◎手数料や中間マージンが無料 人材業界の常識を覆す。通常であれば紹介手数料50万円〜100万円や、中間マージン30〜50%が発生する中、企業と個人が直接契約ができるサービスを提供しています。専属のカスタマーサクセスが採用成功に向けて伴走することで、複業人材の採用成功率は85%以上です。 ◎新規事業展開 複業の社会実装の実現に向けて、複業クラウドを軸にした関連する新規事業を展開しています。 ▼複業クラウドfor Public 優秀な複業人材が自治体職員とともに行政課題解決に取り組み、地方創生の実現を目指すプロジェクトを全国各地で行なっています。専門性の高い知見を備えた複業人材を活用することで、DXの推進計画や広報戦略の立案などあらゆる行政課題を解決することができます。 日本全国の202自治体に複業クラウドを導入頂いており(2024年12月2日時点)これは導入数、複業人材の登用数、プロジェクト組成数において日本一の実績を誇っています。 ▼プロウィズ - 大手企業様×正社員/複業人材 ▍Another worksの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎社員について 年代:20代が中心 平均年齢:28歳 社員数:50名 男女比:6:4 ◎社員出身企業 ビズリーチ / リクルート / パーソル / パソナ / ベネフィット・ワン / レバレジーズ / ネオキャリア / マイナビ / ディップ / / etc
株式会社Another works


フロントエンジニア
複業クラウドをReactで開発するフロントエンジニア募集
株式会社Another worksは、複業したい人と企業や自治体をマッチングするプラットフォーム「複業クラウド」を開発、運営しています。 ▍複業クラウドの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎創業以来変わらない想いとプロダクト 2019年の創業以来一貫して『複業クラウド』を提供しており、事業ピポットすることなくご利用企業/個人双方にとって良いプロダクトを開発し続けています。現在は85,000名(2024年10月9日時点)にご利用いただき、導入企業も2,000社(2024年8月31日時点)を超える急成長を遂げています。 ◎手数料や中間マージンが無料 人材業界の常識を覆す。通常であれば紹介手数料50万円〜100万円や、中間マージン30〜50%が発生する中、企業と個人が直接契約ができるサービスを提供しています。専属のカスタマーサクセスが採用成功に向けて伴走することで、複業人材の採用成功率は85%以上です。 ◎新規事業展開 複業の社会実装の実現に向けて、複業クラウドを軸にした関連する新規事業を展開しています。 ▼複業クラウドfor Public 優秀な複業人材が自治体職員とともに行政課題解決に取り組み、地方創生の実現を目指すプロジェクトを全国各地で行なっています。専門性の高い知見を備えた複業人材を活用することで、DXの推進計画や広報戦略の立案などあらゆる行政課題を解決することができます。 日本全国の202自治体に複業クラウドを導入頂いており(2024年12月2日時点)これは導入数、複業人材の登用数、プロジェクト組成数において日本一の実績を誇っています。 ▼プロウィズ - 大手企業様×正社員/複業人材 ▍Another worksの特徴  ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ◎社員について 年代:20代が中心 平均年齢:28歳 社員数:50名 男女比:6:4 ◎社員出身企業 ビズリーチ / リクルート / パーソル / パソナ / ベネフィット・ワン / レバレジーズ / ネオキャリア / マイナビ / ディップ / / etc
株式会社Another works
Invitation from 株式会社Another works
If this story triggered your interest, have a chat with the team?
株式会社Another works's job postings
4 Likes
4 Likes

Weekly ranking

Show other rankings
Like tomoya kamaji's Story
Let tomoya kamaji's company know you're interested in their content