彩雲源碼

❶ 效率2倍於Transformer！彩雲科技推出全新模型架構，高分登機器學習頂會ICML

在AI技術領域，彩雲科技近期發布了一項革新性進展：全新通用模型結構DCFormer，該模型在相同訓練數據下，算力智能轉化率最高可達Transformer架構的2倍。DCFormer的創新之處在於它改進了注意力矩陣的推理通路，將Transformer結構中的矩陣優化為任意線性組合，通過靈活組合注意力矩陣，實現了性能顯著提升。實驗顯示，在相同訓練數據和算力下，用DCFormer架構改進後的69億參數模型，性能優於120億參數模型。如果GPT-4o能夠應用DCFormer，推理一次128k上下文的成本將可能從4元降至2元。DCFormer模型的相關論文已在arXiv發布，並將在ICML 2024上正式發表，獲得高分評價。DCFormer模型的代碼、權重和訓練數據集已開源發布，未來將在彩雲科技的產品和服務中得到應用。

在媒體溝通會上，彩雲科技CEO袁行遠解答了與市面上其他挑戰Transformer的模型架構相比，DCFormer採取的獨特路徑和差異化優勢。袁行遠指出，DCFormer是在Transformer基礎上進行改進，與現有的模型疊加兼容，而其他架構則需要從頭重新訓練模型。DCFormer對Transformer的改動較小，但為什麼在7年間沒有其他團隊實現這一突破？袁行遠解釋稱，盡管這個路徑之前有人想到，但多選擇在預訓練後改進，效果未達理想。彩雲科技之所以成功，是因為團隊堅信並持續探索。

談及近期大模型廠商之間的「價格戰」，袁行遠認為，當前處於市場搶占階段，大模型價格存在補貼。從電力發展的歷程看，未來資源成本將越來越低，甚至免費，補貼不會對廠商產生太大影響。如果大模型廠商能利用DCFormer架構降低訓練推理成本，就能在提供低價雲服務時更具競爭力。

DCFormer模型的發布標志著大模型算力智能轉化率的新里程碑。其不僅在效率和成本控制方面取得突破，而且通過開源代碼、權重和訓練數據集，為計算機科學界和產業界提供了新的研究與應用方向。彩雲科技未來將DCFormer應用於旗下產品，包括彩雲天氣、彩雲小譯、彩雲小夢等，以更低的成本提供更高智能能力。彩雲天氣有望在未來將高准確率預測時長從2小時擴展至3-12小時，彩雲小譯的翻譯服務將覆蓋更多領域，彩雲小夢將在故事創作和角色扮演體驗上實現顯著提升。

DCFormer的推出，不僅展示了AI技術的革新潛力，也為大模型在實際應用中的效率優化與成本控制提供了新思路。通過開放源代碼和應用實踐，DCFormer有望在計算機科學領域引發更多創新和突破，推動AI技術的普及與應用。