AI导读:

DeepSeek为期五天的“开源周”活动圆满结束,期间开源了5个代码库,旨在与全球开发者共享通用人工智能(AGI)领域的最新研究。开源项目包括FlashMLA、DeepEP、DeepGEMM等,有望推动AI技术在更多领域的应用。

  界面新闻记者 | 宋佳楠

  2月28日,国内AI明星公司Deepseek为期五天的 “开源周” 圆满结束。活动自2月24日启动,计划开源5个代码库,旨在以透明的方式与全球开发者共享其在通用人工智能(AGI)领域的最新研究。

  活动期间,DeepSeek首先开源了FlashMLA,这是专为英伟达Hopper GPU设计的高效MLA解码内核,专门用于处理可变长度序列。在自然语言处理等任务中,FlashMLA能根据序列长度动态分配计算资源,有效避免了资源浪费。发布后6小时内,其在GitHub上的收藏量便突破了5000次,对国产GPU性能提升具有重要意义。

  次日,DeepSeek开源了DeepEP,这是首个用于混合专家模型(MoE)训练和推理的开源EP通信库。DeepEP支持优化的全对全通信模式,同时支持FP8低精度运算调度,降低了计算资源消耗,提升了MoE模型的整体运行效率。

  第三天,DeepSeek开源了DeepGEMM矩阵乘法加速库,为V3/R1的训练和推理提供支持。DeepGEMM采用了细粒度scaling技术,实现了简洁高效的FP8通用矩阵乘法,在各种矩阵形状上的性能与专家调优的库相当,甚至在某些情况下更优。

  第四天,DeepSeek开源了优化并行策略DualPipe和EPLB。DualPipe通过实现计算和通信阶段的双向重叠,将硬件资源利用率提升了超30%。EPLB则是一种专家并行负载均衡器,通过冗余专家策略和启发式分配算法优化了GPU间的负载分布。

  最后一天,DeepSeek开源了面向全数据访问的推进器3FS(Fire-Flyer文件系统),以及基于3FS的数据处理框架Smallpond,进一步提升了AI模型训练和推理的效率。

  全球开发者可基于上述开源项目进行二次开发与改进,有望推动AI技术在更多领域的应用。

(文章来源:界面新闻)

SEO关键词:AI技术,DeepSeek,通用人工智能(AGI),开源项目