昆仑万维颜水成出席2024上海外滩大会，分享高效能大模型前沿思考
发布时间：2024-09-12 18:04分类： 无 浏览：184评论：0
9月5日，以“科技·创造可持续未来”为主题的2024 Inclusion·外滩大会在上海正式开幕。本届外滩大会致力于构建促进国际交流、科技与人文融合的对话平台，邀请到10余位中外院士以及500多位行业从业者，共同探讨科技与产业的深度融合，昆仑万维首席科学家颜水成作为分享嘉宾受邀参与。
颜水成教授于上海外滩大会进行
《高效能大模型探索：模型架构vs.数据智能》主题演讲
本次主题分享围绕高效能大模型研究展开，一方面分享了在MoE架构研究上的最新进展，以及在Attention层和FFN层的最新成果。另一方面带来了对大模型SFT中的数据智能的思考，主要介绍新的数据生成与选取策略对SFT的价值。
过去这些年，大家都在不断地去优化模型的结构，比如我们优化了Transformer结构将计算效率提升到原来效率的两倍。颜水成认为，模型结构还会继续升级，每1-2年都会有新的模型架构和模型改进的方案提出来，以便提升模型训练的效率和泛化能力，让模型更加实用化。
此外，大模型现在还有很多遗留问题，比如推理能力还不够强。颜水成指出，Synthetic data 是下一步重点，最终去解决这些问题最好的途径可能是用合成数据，而且合成数据生成的方式也不会像今天这样，根据原来的数据直接用一个模型生成数据。可能会像人类一样把不同的大模型合在一起，通过大模型之间相互的对话、相互的讨论和相互的评价，最后产生出更好、更高质量的数据，这些数据将会大大提升大模型的效能。
紧接着，颜水成教授参与了《AI时代下数据基础设施的“根”与“叶”》圆桌讨论。数据基础设施的“根”与“叶”相互依赖，“根”提供了基础的数据资产与技术，“叶”提供了围绕数据的上层应用技术和生态，两者相辅相成共同构建了AI时代下更具生命力的数据体系。
颜水成针对“叶”的应用生态进行思考，表示在AI时代下需要催生新的应用场景，产生以前没有过的体验。他认为AI 2.0时代下新的应用会具备两个特点：（1）基于低时延可打断的自然语音交互；（2）文字、图像、语音、甚至视频都是实时生成，基于类世界大模型生成。这样来看，人类获取信息的展现形式，游戏的方式，人和AI沟通的方式都会产生巨大颠覆，间接会带来AR/MR/芯片的进一步蓬勃发展。
同时，“大”模型、“大”数据也面临一些挑战，比如中文文本数据质量低，数据清洗难度高，特别是互联网数据；视频数据标签缺乏，或者不够全面；原生多模态混合数据少等。
但其中不乏机会，颜水成提出未来要充分考虑AI模型self-improvement, self-evolving, 通过将多模型看作智能体，模拟人类通过模型之间的交互，产生更高质量的数据，从而带来模型的进一步提升。
展望未来AI时代下的数据基础设施形态，颜水成提出，很快会进入 AI-native数据为主体，服务于大模型的更新和进化。现在更多是人类在分析模型的性能，未来更多是AI自己分析自己和人类交互的数据以确定如何和人类交互最好。海量数据管理和处理技术，可能比AI大模型算法技术更关键。
标签：大数据
相关文章
- 5大主题，176篇优质内容丨墨天轮上新《MogDB知识图谱》
- 打造铁路信号智能运维“超级医生”——“和行”轨道交通大模型让运维更高效
- 人机共生，智育未来：AI如何重塑企业人才成长路径
- 山石说AI｜带你揭开大语言生成模型的神秘面纱
- 星思亮相2024中国移动全球合作伙伴大会，共创AI+时代新愿景
- 技术破界·元启未来——利元亨亮相2025年韩国电池展
- 和利时成功入选国家2024年实数融合典型案例名单
- 700万台达成！两月新增百万台，九号电动驶入高质量增长快车道
- 喜报｜ 碳阻迹入选 2024年《财富》中国最具社会影响力的创业公司，坚持做难而正确的事
- 转发丨“大脑级”核心！长虹AI推理模组“慧”及千行百业
- 排行