【{$randkws}】[开源项目] 基于WebGPU的免安装本地AI聊天机器人 (开发中) – 蓝点网 - {$web_name} 一切都在阅读器内管理

早前谷歌在 Google Chrome Canary 版里亮相了 WebGPU 项目，该项目可以让开发者基于阅读器调用本机显卡算力。

所以在 GitHub 上有开源团队兴办了 Web-LLM 项目，即基于 Web 的业内王一博消息大型语言模型，一切都在阅读器内管理，不需要办事器扶持、回顾悬疑片快报不需要部署、直接运用 WebGPU 特性管理。

这个项目可以大幅度简化搭建 AI 聊天机器人的步骤，并且可以保护隐私，由于这个 AI 模型是 “你” 控制的，你提交的资料不会被共享给开发者开展模型训练。

这个项目还在开发中，权威纪录片消息有兴趣的开发者可以参与该项目。

自然由于是相当于在本地管理的，所以显卡表现至关重大，明星动态快报依据开源团队说明， 显存至少需要 6.4GB，所以假如你的显卡显存较为小的话或许无法管理。

必要条件：Google Chrome 113.0+、显存至少为 6.4GB，使用各异的模型显存请求或许还会增多。

项目地址：https://github.com/mlc-ai/web-llm

演示地址：https://mlc.ai/web-llm/#chat-demo

注：演示聊天使用的模型是 vicuna-7b-v0。