文 | 王方玉开云app官网入口网址

剪辑 | 苏建勋

当今绝大多数生成式 AI 居品的底层时间齐源于 2017 年谷歌建议的 Transformer 模子架构，而国内一家 AI 创业公司——彩云科技却自出机轴，确立出了全新的模子架构 DCFormer，并基于此推出新址品。

11 月 13 日，彩云科技在北京总部发布了首款基于 DCFormer 架构确立的通用大模子云锦天章。

据 CEO 袁行远先容，云锦天章不错终了在凭空天下不雅的基础上，赋予演义东谈主物编程、数学等基础智商，不错高速针对无数翰墨进行扩写、缩写，针对著述作风进行大容量更换，同期兼具其他模子的问答、数学、编程等基础智商。

除了擅长的讹诈场景不同，云锦天章与惯例大模子最大的各异还在于底层模子。据先容，通过窜改珍重力矩阵，在洽商磨练数据下，DCFormer 架构最高不错将算力智能调换率栽种至 Transformer 的 1.7 到 2 倍。

此外，DCFormer 是在 Transformer 的基础上进行窜改，好像和现存的模子一样，而不是互斥，因此通盘基于 Transformer 架构的大模子齐能在 DCFormer 的基础上裁减资本。

彩云科技对于 DCFormer 架构效果的干系论文已于本年 5 月在第 41 届海外机器学习大会 ICML 2024 认真发表，该会议是海外机器学习范围的三大顶会之一。此外，DC Former 的模子代码、权重和磨练数据集，也照旧在 Github 一起开源。

为何遴荐别具肺肠接管 DCFormer 架构？袁行远告诉 36 氪，AI 在开动历程中对动力的高大需求已成为行业共鸣，改善模子底层架构以提高服从是应付这一挑战的最好政策。模子服从的栽种，也不错有用地裁减东谈主工智能升级迭代的资本，加快 AI 期间的到来。

固然 DC Former 架构不错压缩大模子磨练推理的资本，但彩云科技在营业化探索方面相对严慎，暖热插足产出比。

当今彩云科技旗下有彩云天气、彩云小梦、彩云小译三款面向 C 端用户的 AI 居品，在公共市集得回了卓越 1000 万好意思元的 ARR（年度过去性收入），是国内为数未几好像终了盈利的东谈主工智能公司。其最近一轮融资是由快手前 CEO 宿华个东谈主投资的 B2 轮，投前估值达到 1.2 亿好意思元。

袁行远告诉 36 氪，彩云科技对 DCFormer 架构的商讨及讹诈确立，主要就业于本人业务。当今开云app官网入口网址，彩云小梦基于 V3.5 模子，在保捏逻辑畅通与描写紧密的前提下单次不错创作几百字到一千字的实质，畴昔有望破损到 2-5 千字的创作，终了更强的智能水暖热更高的用户活跃度主义。