潤 鈴木

ローカルでAIを動作させてチャットできるWebシステムを作りました。LlamaやGemmaやPhiをブラウザ上で動作させることができるシステムです。 サーバーにプロンプトを送信せずAIはローカルで動作します。 ローカルでAIを動かすので、初回読み込みが発生します。 ハードウェアアクセラレータを有効にした、PC版Google Chromeで動作します。Edgeだとエラーが発生する場合があります。 フロントエンドにweb-llmとReact,インフラはAWSのS3とCloudFrontを使用しています。ローカルでAIを動作させるため、EC2やFargateやLambda等は一切使用せずに開発しています。