昆仑万维颜水成出席2024上海外滩大会，分享高效能大模型前沿思考
发布时间：2024-09-12 18:04分类： 无 浏览：151评论：0
9月5日，以“科技·创造可持续未来”为主题的2024 Inclusion·外滩大会在上海正式开幕。本届外滩大会致力于构建促进国际交流、科技与人文融合的对话平台，邀请到10余位中外院士以及500多位行业从业者，共同探讨科技与产业的深度融合，昆仑万维首席科学家颜水成作为分享嘉宾受邀参与。
颜水成教授于上海外滩大会进行
《高效能大模型探索：模型架构vs.数据智能》主题演讲
本次主题分享围绕高效能大模型研究展开，一方面分享了在MoE架构研究上的最新进展，以及在Attention层和FFN层的最新成果。另一方面带来了对大模型SFT中的数据智能的思考，主要介绍新的数据生成与选取策略对SFT的价值。
过去这些年，大家都在不断地去优化模型的结构，比如我们优化了Transformer结构将计算效率提升到原来效率的两倍。颜水成认为，模型结构还会继续升级，每1-2年都会有新的模型架构和模型改进的方案提出来，以便提升模型训练的效率和泛化能力，让模型更加实用化。
此外，大模型现在还有很多遗留问题，比如推理能力还不够强。颜水成指出，Synthetic data 是下一步重点，最终去解决这些问题最好的途径可能是用合成数据，而且合成数据生成的方式也不会像今天这样，根据原来的数据直接用一个模型生成数据。可能会像人类一样把不同的大模型合在一起，通过大模型之间相互的对话、相互的讨论和相互的评价，最后产生出更好、更高质量的数据，这些数据将会大大提升大模型的效能。
紧接着，颜水成教授参与了《AI时代下数据基础设施的“根”与“叶”》圆桌讨论。数据基础设施的“根”与“叶”相互依赖，“根”提供了基础的数据资产与技术，“叶”提供了围绕数据的上层应用技术和生态，两者相辅相成共同构建了AI时代下更具生命力的数据体系。
颜水成针对“叶”的应用生态进行思考，表示在AI时代下需要催生新的应用场景，产生以前没有过的体验。他认为AI 2.0时代下新的应用会具备两个特点：（1）基于低时延可打断的自然语音交互；（2）文字、图像、语音、甚至视频都是实时生成，基于类世界大模型生成。这样来看，人类获取信息的展现形式，游戏的方式，人和AI沟通的方式都会产生巨大颠覆，间接会带来AR/MR/芯片的进一步蓬勃发展。
同时，“大”模型、“大”数据也面临一些挑战，比如中文文本数据质量低，数据清洗难度高，特别是互联网数据；视频数据标签缺乏，或者不够全面；原生多模态混合数据少等。
但其中不乏机会，颜水成提出未来要充分考虑AI模型self-improvement, self-evolving, 通过将多模型看作智能体，模拟人类通过模型之间的交互，产生更高质量的数据，从而带来模型的进一步提升。
展望未来AI时代下的数据基础设施形态，颜水成提出，很快会进入 AI-native数据为主体，服务于大模型的更新和进化。现在更多是人类在分析模型的性能，未来更多是AI自己分析自己和人类交互的数据以确定如何和人类交互最好。海量数据管理和处理技术，可能比AI大模型算法技术更关键。
标签：大数据
- 排行
-
- 12025届应届生秋招薪资调查
- 2智读头条丨2025最新版：病、事、婚、产、年休假等21类假期规定及待遇依据汇总
- 3智慧云储数字化运营项目落地，助力重庆构建数字能源产业生态
- 4伊周盘点丨伊利蝉联泰国FDA质量奖；伊利携手蚂蚁森林开启零碳行动；世界大象日，伊利家园行动拯救濒危亚洲象
- 5喜报！核桃学员累计获YCL编程水平测试证书突破67万，通过率高达96%！
- 6乞巧佳节|女性消费力驱动餐饮行业转型升级
- 72025清华“丘成桐班” 招生简章公布，具备这两种能力的娃，稳了!
- 83月GESP报名通道已开启！4次机会直通CSP-J/S复赛！（附核桃学员专属团报链接）
- 92025白名单赛事全解析！3个关键阶段助力孩子升学！