蚂蚁集团推出两款不同规模MoE大语言模型 使用国产AI芯片训练成本进一步降低

【蚂蚁集团推出两款不同规模MoE大语言模型 使用国产AI芯片训练成本进一步降低】财联社3月24日电，近日，蚂蚁集团Ling团队发表了一篇技术成果论文。论文显示，蚂蚁集团推出了两款不同规模的MoE大语言模型——百灵轻量版（Ling-Lite）与百灵增强版（Ling-Plus），前者参数规模为168亿（激活参数27.5亿），Plus基座模型参数规模高达2900亿（激活参数288亿），两者性能均达到行业领先水平。除了自研性能领先的大模型以外，该技术论文最大的突破在于提出了一系列创新方法，以提升资源受限环境下AI开发的效率与可及性。实验表明，其3000亿参数的MoE（混合专家）大模型可在使用国产GPU的低性能设备上完成高效训练，性能与完全使用英伟达芯片、同规模的稠密模型及MoE模型相当。