システム部の大類と申します。
今回は、オープンソースのLLMをローカル環境で動作検証したことを記事にしたいと思います。
目次
1.オープンソースのLLMをローカル環境下で動作検証した理由
2.検証のポイント
3.検証方法
3.1.Ollamaでの検証
3.2.ymlファイルの作成
3.3.コンテナの作成、起動
3.4.コンテナへの接続、Llama2の起動
4.検証
4.1.応答速度
4.2.簡単な質問にどの程度回答できるか
4.3.簡単なSQL作成の依頼にどの程度応えられるか
4.4.記述回答式のアンケート設問に対しての回答チェック(対応のチェック)
4.5.記述回答式のアンケート設問に対してのチェック(肯定的な回答かのチェック)
5.評価
オープンソースのLLMをローカル環境下で動作検証した理由
ローカルでオープンソースのLLMを試してみたかった理由は、オープンソースが好きだからです。
検証のポイント
検証のポイントとして、以下を設定したいと思います。
① GPUのないノートPC環境でどの程度の応答速度が出せるか。
② 簡単な質問にどの程度回答できるか。
③ 簡単なSQL作成の依頼にどの程度応えられるか。
④ 記述回答式のアンケート設問に対して、不適切な回答を見つけられるか、また、肯定的な回答か否定的な回答かの判別ができるか。
上記①から③は、簡単な性能の調査です。
④は、弊社が市場調査におけるリサーチプラットフォームをサービスとして提供している会社であることから、自社サービスに利用できないかを調べるために追加しました。
Ollamaでの検証
ローカルPCで生成AIを動作させる一番の問題は、グラフィックボードがないことです。ただ、グラフィックボードがない環境でも、CPUでこれに代わって動作させる方法があるようなので、これを利用します。方法としては、簡単にローカル環境下で使用でき、MITライセンスで「Llama2」などが使えるOllamaを使って検証することにしました。
(私物の古いPCで「LM Studio」上で日本語の追加学習をした「ELYZA」の動作も試しました。しかし、PCの性能が低すぎ、レスポンスがあまりに遅かったため、今回は、上記のみを記事にしました。)
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
続きはこちらのテックブログからご覧ください。
【https://gmor-sys.com/2024/02/02/llm-in-local-environment/】