近日，英伟达正式推出开源虚拟推理路由工具Personal AI Router（简称PAIR），该工具可将用户发起的本地AI推理请求，自动分布式调度至RTX消费级显卡、DGX Spark算力设备以及Mac节点三类硬件资源，大幅降低本地运行大语言模型、生成式AI应用的算力门槛，进一步完善英伟达面向消费端的本地AI生态布局。
随着生成式AI应用的普及，越来越多用户选择在本地部署大模型以规避数据泄露风险，但单设备算力不足始终是消费级用户面临的核心瓶颈——哪怕是顶配的RTX4090显卡，运行70B参数级的开源大模型时，推理速度也很难满足日常交互需求。
过去一年，开源大模型的精度提升速度远超消费级硬件的迭代速度，Llama 3、Qwen 2等标杆开源模型的70B参数版本，已经能满足绝大多数个人用户、小型团队的办公、创作需求，但这类模型对硬件的要求也水涨船高，单张消费级显卡很难流畅运行。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号