近日苹果正接洽由加州理工学院衍生的AI初创公司PrismML，评估借助其原生1-bit模型压缩技术在iPhone端侧运行27B参数大模型的可行性。该技术可将大模型体积压缩至全精度版本的1/14，内存占用降低超90%，推理速度提升8倍，若落地将大幅推动消费级端侧AI能力的升级迭代。
消费级电子设备的端侧AI能力，已经成为今年头部硬件厂商竞争的核心赛道，但受限于移动芯片的内存和算力上限，20B参数以上的大模型始终无法脱离云端支持在本地运行，既带来了隐私泄露风险，也难以避免网络波动导致的响应延迟。
目前安卓阵营已量产的旗舰机型，端侧可运行的大模型普遍卡在7B-14B参数区间，更高参数的模型只能通过云端接口调用。而苹果此前的端侧AI布局更偏向轻量化功能，生成式AI能力的落地节奏已经落后于安卓阵营，如何在保证用户隐私的前提下提升本地AI性能，是苹果近年研发的核心方向之一。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号