AI基础设施厂商PrismML近日正式发布轻量化大模型Bonsai 27B，该模型基于阿里云通义千问Qwen3.6-27B进行1比特、三值量化改造，整体体积压缩至5.9GB，三值版本保留原FP16精度模型94.6%的性能，1比特版本性能保留率也达89.5%，可直接在消费级笔记本、智能手机等端侧设备离线运行，大幅降低大模型部署门槛。
随着用户对AI服务隐私性、响应速度的要求不断提升，端侧部署已经成为大模型行业的重要发展方向，但过去很长一段时间里，端侧可运行的大模型普遍集中在7B、14B参数区间，推理能力上限明显。
更高参数的20B+大模型虽然逻辑推理、知识储备、复杂任务处理能力远胜小参数模型，但FP16精度下27B参数模型的体积就超过50GB，即使用主流的4比特量化方案压缩后也有十几GB，很难在内存普遍只有8-16GB的消费级移动设备上流畅运行，而更低位宽的量化方案往往伴随着超过20%的性能损耗，实用价值大打折扣。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号