近日，深圳河套学院Al教练平台样式团队，集中哈尔滨工业大学（深圳）、深圳市大数据究诘院、华为关联团队，依托深智城AI算力平台，面向国产算力大模子教练开展集中攻关。依托昇腾910C国产AI算力集群坐在学长的棒棒上写作业视频，完成1.6万亿参数大模子DeepSeek-V4-Pro全参数后教练。

公开信息剖判，后教练是AI大模子教练的要津阶段，继预教练之后，通过监督微调（SFT）、基于东谈主类反映的强化学习（RLHF）等口头，对模子进行针对性优化，以擢升其推理才能、任务性能和对王性情 。

据新华社报谈，此前DeepSeek-V4-Pro也曾在国产算力上进行了推理部署，凭据团队表露，在公开可查的界限内，第三方机构初度在国产算力集群上完成DeepSeek-V4-Pro的全参数后教练，印证了国产AI芯片可撑捏天下级超大参数模子教练使命。

万亿参数大模子是东谈主工智能限度的主流前沿模子，在逻辑推理、数理盘算、代码编写、长文才能路等方面发达凸起。这类模子的全参数教练坐在学长的棒棒上写作业视频，对硬件算力、集群通晓性、算法适配优化均有严苛条件。

遥远以来，群众界限内万亿级大模子教练多汲取国际高端算力居品，国内国产算力此前主要用于模子推理、小幅微调，难以完周详参数深度教练，这亦然行业发展中大量濒临的时刻发愤。

如若把教练一个万亿级参数的AI大模子比作解一齐超等复杂的数学题，那么每一张盘算卡就像又名解题员。他们不仅要单干明确、昼夜不断地连轴转，还不成有东谈主偷懒、不成有东谈主出错，更不成有东谈主掉队。

此次教练的DeepSeek-V4-Pro汲取的是夹杂大众模子（MoE）架构，不错想象成一个浩大的“大众团”：平时回话问题只激活少数几位大众，看似高效，但后教练时，“大众们”之间的相似量却是正常模子的几十倍。再加上动态切换的留神力机制，这对芯片算力的改换和显存资源的惩办建议了极其尖刻的条件。

浅近来说坐在学长的棒棒上写作业视频，当年的国产算力更多是让大模子“能用”（即推理部署），就像给模子修了一条单行谈，com+色输入一个问题，输出一个谜底。而此次的“全参数后教练”，则是要让模子学会自我反念念和诊治，相配于在单行谈的基础上，又增多了复杂的立交桥和多条反映回路，盘算量和通讯量已而翻了好几倍。

面对如斯极限的挑战，科研团队在国产AI算力集群上完了了三大硬核破裂：

一是“显存拼图”。万亿级大模子不可能只塞进一张卡，团队遐想了精密的散布式承载决议，把浩大的模子参数像拼图一样，精准地分派到千卡集群的每一张卡上，算力改换清澄莹爽。

二是“负载平衡”。为了幸免MoE模子中有的“大众”忙得够呛、有的却在“闲荡”，团队独特优化了改换策略，保证了每位“大众”单干合理，跨卡通讯不再“堵车”。

三是“有东谈主‘守夜’”。全参数后教练最怕跑着跑着系统蓦地崩溃。本次教练团队搭建了齐备的监控体系，全部完了可视可控，确保了长达1500多步的教练进程中，莫得出现一次中断或报错。

本次探索是国产算力适配超大参数大模子进程中的一次进军进展，有助于擢升国内AI产业链自主化水平，镌汰行业应用老本，为东谈主工智能时刻落地应用提供更多撑捏。当今，样式已完了模子算力诳骗率（MFU）朝上30%，要津教练算子恶果擢升14%，各种式的均达到工业级初始表率。

从时刻应用角度来看，调用已有模子开展业务推理，与从零完成模子全参数教练分属不同时刻行径，二者在时刻难度、硬件条件上存在显着分歧。本次检修闭幕标明，国产AI算力已可承担顶级大模子教练任务，联系时刻旅途具备可行性。

该AI教练平台样式以国产算力真确大模子教练任务为牵引，探索“顶尖东谈主才培养、基础模子研发、国产生态开辟”协同推动的新式教练平台机制。深圳河套学院联系庄重东谈主默示，本次探索依托真确工程攻关坐在学长的棒棒上写作业视频，匡助参训东谈主员吃透大模子教练全链路，为国度东谈主工智能战术和国产算力生态开辟训导具备实战才能的高水平后生东谈主才。

• 国产
• 算力
• 完成
• 奏效