5月18日，NVIDIA正式公布面向大语言模型预训练的全新4位精度技术方案NVFP4。该方案通过前沿架构模型完成可行性验证：基于120亿参数的混合Mamba-Transformer模型，在累计处理10万亿token数据的基准场景下，NVFP4将预训练阶段的显存占用大幅压缩，同时未显著损失模型性能，为大模型训练的成本控制提供突破性路径，填补了低位精度预训练在混合架构领域的实践空白。
当前大语言模型的参数规模快速扩张，从早期数十亿级向千亿级、兆级进阶，但预训练阶段的核心瓶颈始终是显存占用过高：传统FP16、FP8等精度格式虽保障性能，却让训练成本直线上升，中小团队难以负担。尤其是混合Mamba-Transformer这类兼顾序列高效性与通用建模能力的创新架构，低位精度预训练的技术落地长期存在门槛。
NVIDIA本次推出的NVFP4 4位预训练法，核心突破是优化了低位浮点表示的数值稳定性。不同于传统静态量化的固定缩放策略，NVFP4采用自适应浮点缩放机制，能在4位比特宽度下动态调整数值范围，尽可能保留训练过程中的梯度信息，避免了低位精度训练常见的梯度消失、性能暴跌问题，扫清了低位精度在预训练阶段的应用障碍。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
28 分钟前
近期，科技领域多位专家通过Digital Trends发布的行业分析发出核心警示：随着ChatGPT、Google Gemini、Apple Intelligence等主流AI产品的智能化迭代加速，全球用户过度依赖AI工具的趋势可能引发人类认知能力的隐性衰退。当前AI工具已渗透至办公、学习、创意生成等多场景，相关担忧已引发AI行业对人机协作边界的新一轮深度讨论。
42 分钟前
5月18日，百度发布2026年第一季度财报，总营收321亿元超市场预期，AI业务成增长核心：AI云收入88亿元同比大涨79%，GPU云收入实现184%爆发式增长。期内百度智能云升级为面向大规模智能体应用的全栈AI云，蝉联智能云行业中标双料冠军；昆仑芯P800交付万卡集群支撑文心大模型训练，天池256卡超节点定于6月上市。
50 分钟前
近期，针对医学、法律、金融等垂直专业领域定制的21款大语言模型（LLMs）陆续推出，这类模型跳出通用大模型的泛化局限，通过专项领域数据训练强化专业知识的深度与精准度，为医疗辅助、法务咨询、金融风控等场景提供定制化解决方案，标志着大模型从“通用智能”向“垂直深耕”的关键转型。
54 分钟前
近日，Google旗下AI大模型Gemini正式推出全新思维层级（Thinking Level）功能，允许用户根据任务复杂度灵活调整AI的“运算强度”——从日常闲聊到代码调试、多模态推理，用户可自主选择对应层级的算力配置。该功能是Gemini在个性化交互上的关键升级，目前已覆盖全终端，进一步强化了其应对专业场景的能力，为用户提供更高效的AI使用方案。
1 小时前
近日，围绕全球顶尖AI机构OpenAI的关键诉讼程序正式落幕，这场庭审聚焦早期股权分配与创始人职责界定的争议，牵动着AI产业的治理逻辑。作为OpenAI联合创始人之一，马斯克主导的“AI创业矩阵”以xAI为核心，已推出Grok系列大语言模型，在多模态技术与个性化交互领域快速布局，其与OpenAI的动态关系成为AI产业格局变动的典型样本。
1 小时前
2026年5月15日，特斯拉CEO Elon Musk发起的针对OpenAI首席执行官Sam Altman的AI争议案进入第三周庭审阶段。这场法律博弈在法庭上引爆了双方对彼此商业信誉的相互抨击，更将全球AI行业最棘手的治理问题推至聚光灯下。法媒记者Michelle Kim报道显示，庭审从“谁主导OpenAI早期方向”切入，正倒逼行业重新审视AI巨头的权责边界与发展规则。
1 小时前
近期，全球AI大模型赛道迎来密集动作：OpenAI的GPT-5进展、国产模型DeepSeek的迭代、X平台Grok的升级以及微软Copilot的功能拓展，共同勾勒2024年AI技术生态的新轮廓。据行业监测，今年以来头部模型的多模态能力落地提速，开发者与企业对垂直场景适配的需求持续攀升，本次聚焦核心玩家最新动向，拆解赛道变革逻辑。
1 小时前
近期，AI大语言模型赛道的动作频繁，核心玩家纷纷推进下一代技术迭代。OpenAI已透露GPT-5研发进展，预计2024年末发布；Google旗下Gemini高级版月活突破1200万，微软将Copilot深度嵌入Windows 11，加速AI落地，行业正迎来新一轮技术与应用的双向升级。
滇公网安备 53252802528133号