近日，AI搜索与推理服务商Perplexity AI正式推出混合本地-服务器推理编排器，该工具可无需用户手动配置，自动将AI任务在个人电脑本地硬件与云端前沿大模型之间拆分调度，在兼顾隐私安全的同时大幅降低推理成本、提升响应速度，为消费级设备运行复杂AI应用提供了新的落地路径。
不少PC用户在运行AI应用时都遇到过类似的两难：本地跑不动70B参数以上的大模型，传数据到云端又担心隐私泄露，手动切换运行模式的操作更是复杂到劝退普通用户，这一现状现在有了新的解决方案。
当前消费级设备的AI运行模式主要分为纯端侧和纯云端两种，前者高度依赖本地硬件算力，普通消费级显卡通常只能流畅运行10B参数以内的小模型，处理复杂多模态任务、工具调用需求时容易出现卡顿甚至崩溃；后者则需要将所有用户数据上传到云端服务器，除了隐私泄露风险，还容易受到网络波动影响出现响应延迟，长期使用的API调用成本也居高不下。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号