1
/
5

「ローカル環境下にオープンソースのLLMを入れてみた」

システム部の大類と申します。
今回は、オープンソースのLLMをローカル環境で動作検証したことを記事にしたいと思います。

目次

1.オープンソースのLLMをローカル環境下で動作検証した理由
2.検証のポイント
3.検証方法
 3.1.Ollamaでの検証
 3.2.ymlファイルの作成
 3.3.コンテナの作成、起動
 3.4.コンテナへの接続、Llama2の起動
4.検証
 4.1.応答速度
 4.2.簡単な質問にどの程度回答できるか
 4.3.簡単なSQL作成の依頼にどの程度応えられるか
 4.4.記述回答式のアンケート設問に対しての回答チェック(対応のチェック)
 4.5.記述回答式のアンケート設問に対してのチェック(肯定的な回答かのチェック)
5.評価

オープンソースのLLMをローカル環境下で動作検証した理由

ローカルでオープンソースのLLMを試してみたかった理由は、オープンソースが好きだからです。

検証のポイント

検証のポイントとして、以下を設定したいと思います。

① GPUのないノートPC環境でどの程度の応答速度が出せるか。
② 簡単な質問にどの程度回答できるか。
③ 簡単なSQL作成の依頼にどの程度応えられるか。
④ 記述回答式のアンケート設問に対して、不適切な回答を見つけられるか、また、肯定的な回答か否定的な回答かの判別ができるか。

上記①から③は、簡単な性能の調査です。
④は、弊社が市場調査におけるリサーチプラットフォームをサービスとして提供している会社であることから、自社サービスに利用できないかを調べるために追加しました。

Ollamaでの検証

ローカルPCで生成AIを動作させる一番の問題は、グラフィックボードがないことです。ただ、グラフィックボードがない環境でも、CPUでこれに代わって動作させる方法があるようなので、これを利用します。方法としては、簡単にローカル環境下で使用でき、MITライセンスで「Llama2」などが使えるOllamaを使って検証することにしました。

(私物の古いPCで「LM Studio」上で日本語の追加学習をした「ELYZA」の動作も試しました。しかし、PCの性能が低すぎ、レスポンスがあまりに遅かったため、今回は、上記のみを記事にしました。)

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

続きはこちらのテックブログからご覧ください。

【https://gmor-sys.com/2024/02/02/llm-in-local-environment/】

Invitation from GMOリサーチ&AI株式会社
If this story triggered your interest, have a chat with the team?
GMOリサーチ&AI株式会社's job postings

Weekly ranking

Show other rankings
Like Mana Nakamura's Story
Let Mana Nakamura's company know you're interested in their content