彩云源码

❶ 效率2倍于Transformer！彩云科技推出全新模型架构，高分登机器学习顶会ICML

在AI技术领域，彩云科技近期发布了一项革新性进展：全新通用模型结构DCFormer，该模型在相同训练数据下，算力智能转化率最高可达Transformer架构的2倍。DCFormer的创新之处在于它改进了注意力矩阵的推理通路，将Transformer结构中的矩阵优化为任意线性组合，通过灵活组合注意力矩阵，实现了性能显着提升。实验显示，在相同训练数据和算力下，用DCFormer架构改进后的69亿参数模型，性能优于120亿参数模型。如果GPT-4o能够应用DCFormer，推理一次128k上下文的成本将可能从4元降至2元。DCFormer模型的相关论文已在arXiv发布，并将在ICML 2024上正式发表，获得高分评价。DCFormer模型的代码、权重和训练数据集已开源发布，未来将在彩云科技的产品和服务中得到应用。

在媒体沟通会上，彩云科技CEO袁行远解答了与市面上其他挑战Transformer的模型架构相比，DCFormer采取的独特路径和差异化优势。袁行远指出，DCFormer是在Transformer基础上进行改进，与现有的模型叠加兼容，而其他架构则需要从头重新训练模型。DCFormer对Transformer的改动较小，但为什么在7年间没有其他团队实现这一突破？袁行远解释称，尽管这个路径之前有人想到，但多选择在预训练后改进，效果未达理想。彩云科技之所以成功，是因为团队坚信并持续探索。

谈及近期大模型厂商之间的“价格战”，袁行远认为，当前处于市场抢占阶段，大模型价格存在补贴。从电力发展的历程看，未来资源成本将越来越低，甚至免费，补贴不会对厂商产生太大影响。如果大模型厂商能利用DCFormer架构降低训练推理成本，就能在提供低价云服务时更具竞争力。

DCFormer模型的发布标志着大模型算力智能转化率的新里程碑。其不仅在效率和成本控制方面取得突破，而且通过开源代码、权重和训练数据集，为计算机科学界和产业界提供了新的研究与应用方向。彩云科技未来将DCFormer应用于旗下产品，包括彩云天气、彩云小译、彩云小梦等，以更低的成本提供更高智能能力。彩云天气有望在未来将高准确率预测时长从2小时扩展至3-12小时，彩云小译的翻译服务将覆盖更多领域，彩云小梦将在故事创作和角色扮演体验上实现显着提升。

DCFormer的推出，不仅展示了AI技术的革新潜力，也为大模型在实际应用中的效率优化与成本控制提供了新思路。通过开放源代码和应用实践，DCFormer有望在计算机科学领域引发更多创新和突破，推动AI技术的普及与应用。