本地部署的AI

[复制帖子标题和链接]

11556

紫灬曦 版主  发表于 4-5 10:34:48 上海 来自:荣耀Magic8
本帖最后由 紫灬曦 于 2026-4-5 10:39 编辑

复杂指令依然不如云端满血版本,比如代码生成、数据分析、查询资料、翻译等多场景用途依然是云端满血版本更优更准确。
当然如果你只是发“你好”之类的测试指令那确实差别不大,毕竟这种测试指令并不吃算力。
如果需要直接使用,建议部署14B以上的版本(尽管14B表现也并不出色,但已经是目前手机上能够流畅使用的极限版本了)。

评论

没网络你云端能用嘛?  发表于 4-5 10:39:19  陕西
那你如果能接受7B以下回复准确率极差,且特别在意数据联网的话,也不是不能用。 我只是提醒一下你下载的小模型还远没有达到日常可用的地步而已。  发表于 4-5 10:41:35  上海
另外中文环境下,推荐用Qwen(千问)的小模型,针对中文进行过强化训练,更适配中国大陆本土部署使用,根据其官网和抱脸开源平台描述,性能和跑分都是比较高的。Qwen还有2B和3B的极小模型,可以体验一下试试。 但仍然不推荐直接拿小模型日常使用,因为目前的模型在32B以上才勉强能达到日常可用的水平,也只是勉强而非完全可用。  发表于 4-5 10:56:16  上海
您需要登录后才可以评论 登录 | 立即注册
简体中文 - China
快速回复 返回顶部 返回列表