大语言模型中的涌现现象是不是伪科学? 当前滚动
Datawhale干货
(资料图片)
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签:
为您推荐
广告
随机阅读
- 大语言模型中的涌现现象是不是伪科学? 当前滚动
- 全一快递查询(全一快递为什么查不了单号)
- 热点评!医院做牙齿贴面多少钱一颗_牙齿贴面多少钱一颗
- 【环球热闻】马龙:我不是波波维奇也不是科尔 我需要忠于自己
- 每日观点:水泥需求不振价格承压 下半年或有望迎来修复
- 台球皇后潘晓婷男朋友(台球皇后) 今热点
- e6700支持多大内存(e6700 cpu参数)-当前短讯
- 梅西来华后首次公开露面!亮相直播间亲承熬夜看欧冠:高水准决赛-观察
- 林进屿滨海火山景区_关于林进屿滨海火山景区概略
- 广济药业:保健食品复合维生素B族片工艺研究等项目已完成产品研发工作,正布局销售渠道
- AIGC 浪潮下,联想集团再加码计算与人工智能 世界简讯
- 湿气重引起的肥胖怎么减肥_不同类型的肥胖应该如何减肥肥胖是不是意味体内有湿气 速看料
- 绿地香港:前5月合约销售金额66.47亿元 焦点报道
- 成本继续走软 PC行情承压下行|微动态
- 汤圆为什么不能当早餐(为什么汤圆不能给别人吃)|每日信息
- 国际中文教师数字素养亟待提高
- 王欣瑜:笑一笑,打“开心网球”,然后拿下冠军
- 全网喊话杭州这位黑衣女子:你值得一份好工作!最新回应来了 当前独家
- 长子吧琚村吧 长子吧 当前快看
- 紫薇圣人被国家监控(紫薇圣人命已经破)
- 1说到心坎里的文案
- 2当前信息:苏 泊 尔:6月9日融券卖出9.72万股,融资融券余额5162.22万元
- 3中国工商银行主页 中国工商银行主页官网
- 4视点!滁州市 “0001”号军属证被中国军事博物馆永久收藏
- 5茶园山小学_茶园山小学卢嘉锡班
- 6世界观天下!儿童补钙应该注意什么_儿童补钙需要注意什么
- 7最后一艘潜艇电影国语版百度云(最后一艘潜艇电影国语版)-全球快播报
- 8世界动态:一个容积为2.5升的塑料壶用它装酒精最多能装多少千克(一个容积为2 5l的塑料瓶用它装水)
- 9世界视点!蔚来一季度营收106.8亿元,汽车毛利率仅为5.1%
- 10旱碱麦成“名片”迎来丰收 盐碱地特色农业开出“增收花”
广告
财经
- 《波斯语课》《1917》后又一部高分战争佳作即将上映
- 新动态:外媒曝Jennie将加入漫威, 或出演亚洲超级英雄电影
- 今年,水果为什么成了涨价之王? 热点聚焦
- 【全球播资讯】夏季饮食要注意ppt_夏季饮食
- 物美美通卡使用范围_便利通卡使用范围
- 连衣裙带来甜美气息,诠释出时髦气息,曼妙身材尽显_当前关注
- 【世界播资讯】超级玛丽中文版无限生命(超级玛丽中文版)
- 汕尾重点推介文旅资源
- 室性早搏的原因危害及治疗(室性早搏的原因)|每日视讯
- 生物柴油和柴油的区别
- 上天入海,到处“出差”!这件宝贝可不得了-动态焦点
- 中国商飞:加快形成独立自主的研制能力、生产能力
- 素人是什么意思在娱乐圈_素人是什么意思
- 鸿均老祖的师傅是谁啊(鸿均)
- 焦点播报:熬过4周,四大生肖真情难拒,事业顺风顺水,事业如虹
- 【天天聚看点】新突破、国际首次 中国科学技术领域成果频出
- 七月桃花香,旧爱回头忙,死灰复燃不是梦,真爱一生永相随的星座
- 视讯!o型腿矫正做什么手术好_O型腿手术矫正是什么
- 纯国产32核CPU供货 搭载主机开售了
- 芯片的战争