大语言模型中的涌现现象是不是伪科学？_全球微资讯
2023-06-11 15:41:49
来源：程序员客栈
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(相关资料图)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf
标签：
大语言模型中的涌现现象是不是伪科学？_全球微资讯
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了
2023-06-11 15:41:49快来泰达植物资源库打卡 新晋“花王”绣球花盛放迎客
天津北方网讯：芒种时节，继月季热烈开放后，在泰达植物资源库水芝园东
2023-06-11 15:16:47【共同缔造安全江夏⑫】做好安全江夏的“共同”文章 天天聚看点
【共同缔造安全江夏⑫】做好安全江夏的“共同”文章---从开展突发事件
2023-06-11 14:56:52广州血液中心：瞄准一个目标，把握两个中心，提升三项工作丨献血者日
广州血液中心主动将党建融入业务工作中，始终坚持瞄准一个目标——让献
2023-06-11 14:22:56【当前独家】国产最大盾构主轴承“破壁者”面世
人民网北京6月10日电(记者杨虞波罗)6月9日，中交天和与中科院联合研制
2023-06-11 14:16:45环球观速讯丨英雄联盟屏幕锁定了怎么办鼠标不能移动屏幕（英雄联盟屏幕锁定了怎么办）
1、如果点Y固定了视线，解开的时候没办法解开，可以拖动下小地图里的小
2023-06-11 14:10:03今后11周，四大生肖鸿运天降，横财连连，生活得意 当前快报
生肖牛的人贵人星闪耀，乐于见到挑战，体贴忠诚，选择在事业上更加努力
2023-06-11 14:09:07优学派AI学生平板，好方法，带你学！
作为家长的你是否有过这样的无奈，孩子该学的课都学了，该做的题也做了
2023-06-11 14:03:58中国首座大型区域综合性非遗馆将在杭开馆 最新快讯
日前，从浙江省非物质文化遗产保护中心获悉，全国首座大型区域综合性非
2023-06-11 13:47:27焦点速读：动画电影《疯狂小世界》金日全国影院点映，本周末全国点映
《疯狂小世界》的选题设定从定档物料的曝光开始，就足够让小朋友们感兴
2023-06-11 13:42:1819款速腾和21款速腾区别（速腾19款和20款有什么区别？） 快看
相信大家对19款速腾和21款速腾区别，速腾19款和20款有什么区别？的问题
2023-06-11 13:16:41蛋糕与葡萄酒如何搭配才最好?_环球短讯
葡萄酒遇到它，才知道什么是绝配，一口又一口根本停不下来4年一度的世
2023-06-11 13:00:29要拆干净整个区的黄埔，又回来了
要拆干净整个区的黄埔，又回来了,广州,文冲,黄埔区,科学城,知识城
2023-06-11 12:26:59李小璐身后，那些进入她世界里的人，只不过都是过客而已
这段时间，李小璐复工，为某宠物食品做宣传。焗了粉色头发，穿着露脐装
2023-06-11 11:11:10天天百事通！天津交通网app（天津交通网）
1、注册时候收1元费用没有其费用了只1年有效第2年继续注册还需再交1元
2023-06-11 10:43:42查水费户号怎么查询交交水费（交水费的户号查询）
1、姓名。2、身份证号。3、或是房产所地在详细地址应该是可以查询到户
2023-06-11 10:18:10己亥杂诗其五包含着怎样丰富的内涵_己亥杂诗其五表达的是什么的可贵精神 世界微资讯
想必现在有很多小伙伴对于己亥杂诗其五表达的是，什么的可贵精神方面的
2023-06-11 10:02:28EDG海报选手无字图，官方明示Uzi的加入，粉丝彻底疯狂了
对于这个事情，粉丝们还是非常激动的，大量的玩家纷纷在下方留言，虽然
2023-06-11 10:01:08【全球时快讯】VR穿越古今 文旅IP出圈——文化赋能为旅游消费市场高质量发展开启新引擎
13号馆内，甘肃馆飞天舞蹈表演吸引众多观众驻足观赏。陕西馆内，身着唐
2023-06-11 09:29:20焦点播报:广州交易集团：广聚发展新要素 融汇发展新动能
6月9日，广州交易集团亮相第12届中国（广州）国家金融交易博览会，旗下
2023-06-11 09:22:18实时：天津夏季达沃斯论坛期间将举办主题城市论坛
6月27日至29日，2023年新领军者年会（天津夏季达沃斯论坛）将在津举办。
2023-06-11 08:54:18不在四星级以上酒店办会、不请明星网红商演……商洛市政府提出这样“过紧日子” 环球通讯
不在四星级以上酒店办会、不请明星网红商演……商洛市政府提出这样“过
2023-06-11 08:32:03恶劣天气影响京沪高铁部分列车晚点
恶劣天气影响京沪高铁部分列车晚点
2023-06-11 08:20:19观点：万事俱备只欠东风的意思和故事（万事俱备只欠东风的意思）
来为大家解答以上的问题。万事俱备只欠东风的意思和故事，万事俱备只欠
2023-06-11 08:06:03世界热点！吃美食、看电影、赏舞剧！非遗文化在新时代有多潮？
非物质文化遗产是中华优秀传统文化的重要组成部分。
2023-06-11 07:53:03要闻：“十年一遇”！数万人被疏散，加拿大山林野火为何失控？
【独家】肾活检能查出什么病（肾活检）
慕斯蛋糕和奶油蛋糕哪个更健康 慕斯蛋糕和奶油蛋糕的区别-世界实时
刘奕君:逆反大叔的坚韧-世界信息
在公司里由于对公司的罚款决定不认同可以提请劳动仲裁吗？ 世界速看
广西启动2023年普通高校毕业生就业百日攻坚行动|环球资讯
热点！速看！因自来水厂停电，河南信阳市商城县城停水
一坊app官网下载（一坊直播入口网址）
清荣峻茂良多趣味翻译成现代汉语（清荣峻茂良多趣味）
观点：小学心理健康教育制度2021（小学心理健康教育制度）
蜀中有杜处士好书画的翻译（蜀中有杜处士好书画所宝以百数翻译）|天天热文
相公太多不是过疯琳儿_相公太多不是过_世界新视野
焦点速看：新突破、国际首次 中国科学技术领域成果频出
环球滚动:文博会云上追星、媒体主播线上带货 火爆直播为展商开拓商机
【热闻】羽丝棉是什么棉好不好（羽丝棉是什么）
杭州国家版本馆：宋韵悠长，文“润”江南
G4球员评分-戈登闪耀迈阿密与约老师并列第一 乐福真香9.1
4xl尺码对照表裤子（4xl尺码对照表） 当前快看
旱碱麦成“名片”迎来丰收 盐碱地特色农业开出“增收花”_微动态
空难40天后，机上4名儿童在丛林被发现幸存，最小的只有11个月大
观天下！苹果M2 Ultra在Geekbench 5跑分并没有碾压英特尔、AMD，还不如i9-13900K
中国螺纹钢铁市场现状深度分析调研2023 每日看点
桉木是什么档次的木材（桉木）_全球今头条
世界微资讯！恭喜梅西！迈阿密新阵容曝光，球王新位置出人意料，冲第八座金球
榆林与洛阳：综合实力的对比
x
广告
孝义市税务局：税务力量助力乡村振兴提速发展
一年内
台属为防疫工作者送去卤肉饭：希望美食能缓解疲惫
从前
报告：超3成白领全年读书不足1本
从前
浙江金华：战疫求助平台令疫情防控显“温度”
从前
浙江一高校现考研“学霸寝室” 全员上岸985院校
从前
沙尘追踪：目前沙尘已抵达华北 北京高空区域开始泛黄
从前汇聚公益力量 2022年“乡村振兴·重庆专场”公益活动开幕
中新网重庆4月21日电 (记者 钟旖)2022年“乡村振兴·重庆专场”公益活动开幕暨宣传周启动仪式21日在重...
从前外国人在上海：奔跑的“洋大白”
“我是一个健康的外国人 生活在这个美丽的社区 我所有的测试都是阴性 我会说一点中文 请让我把沉重的货物 送...
从前海南陵水新增3例新冠肺炎确诊病例
中新网海南陵水4月21日电 (记者 王晓斌)海南省陵水黎族自治县新型冠状病毒肺炎疫情防控工作指挥部21日...
从前加快实现社会面清零目标 上海崇明继续做好“三区”分级管理
光明网讯(记者 赵艳艳)在今日(4月21日)举行的上海市新冠肺炎疫情防控工作第160场新闻发布会上，上海市...
从前上海金山朱泾镇：居民有序出门购物，商超使用场所码
“我们家是镇里第一批发的通行证，我们家人还是响应号召，非必要不出门。”几天前，上海市金山区朱泾镇...
从前
x
广告
- 如何避免dxgmms1.sys蓝屏问题
- 焦点报道:设计资质查询系统（设计资质查询）
- 【环球聚看点】rtx3090ti（rtx3090）
- 开发者模式有什么坏处和好处（开发者模式有什么坏处） 热推荐
- *ST御银将于6月12日复牌 “摘星脱帽”后拟跨界精密制造行业|天天日报
- 武汉挂牌21宗地块：17宗宅地起始总价超281亿元
- 旱碱麦成“名片”迎来丰收 盐碱地特色农业开出“增收花”
- 世界滚动:考后心理波动期来了？几个方法帮考生收心
- 七八分熟的羊肉不宜吃的原因是?
- 商丘市文化市场综合行政执法支队开展文旅市场专项执法检查助力护航高考_全球焦点
- 中证协副秘书长李亚琳：推进声誉激励约束机制建设完善证券行业治理体系
- 世界报道:西瓜为什么越卖越贵，便宜的西瓜哪去了？
- 外媒曝Jennie将加入漫威， 或出演亚洲超级英雄电影
- 2023年高考结束！一路繁花相送，愿你前程似锦 全球关注
- 高腰紧身牛仔裤，时髦又百搭，搭配黑色吊带，显得身姿曼妙
- 微信Windows版3.9.5发布 助打工人提升信息安全
- 我是大运火炬手丨邓亚萍：希望大家享受体育带来的健康和快乐-天天观点
- 今日关注：全球连线｜洪都拉斯外长雷纳：期待洪中两国共促高水平双边合作、共拓发展机遇
- 环球新消息丨视频 | 高考落幕，但你的18岁刚刚起航！
- 【原】历史教学|精品连载•新教材•一轮复习•李王辉|第25讲 全球新航路的开辟与全球联系的初步建立和世界格局的演变
- VR穿越古今 文旅IP出圈——文化赋能为旅游消费市场高质量发展开启新引擎_热推荐
- 天天报道:榴莲怎么催熟_榴莲催熟方法
- 什么药能死猫(异烟肼能杀死猫吗)_环球观察
- 高考结束啦！
- 中国驻韩大使撂下这句话，真的很一针见血
- 防晒绝不仅是爱美！这份防晒防癌攻略，请收好 世界视讯
- 全球速递！芥兰菜的做法 芥兰菜的做法图片
- 世界微动态丨etc网上充值后怎么激活_etc网上充值平台
- 天天头条：小草软件怎么下载_在哪可以下载小草app
- 驻韩大使邢海明：赌中国输的人今后一定会后悔
- 0-2！惨败安洗莹后，又被戴资颖横扫，何冰娇出局，陈雨菲成独苗
- 比亚迪F品牌定名方程豹，与用户共同求解汽车个性化生活的未来
- 开启“NICE”之旅，宁夏这场葡萄酒盛会启幕 环球快讯
- 冷光美白值不值得做
- 打字员小说兼职是真的吗_小说打字员50元每天-天天快播报
- 环球微动态丨高考结束，儿子表白妈妈“我真的很爱她”，妈妈回应：成绩第一不是最重要的，而是积极向上、有爱心
- 快播：赤城县气象台更新大风蓝色预警【Ⅳ级/一般】【2023-06-09】
- 芯朋微：连续3日融资净偿还累计615.54万元（06-08）_天天头条
- 骆驼祥子读书笔记1000字左右大全（骆驼祥子读书笔记100） 独家焦点
- 全球观焦点：盈建科：6月8日融资买入450.33万元，融资融券余额3815.88万元
- 前沿热点：贵州茅台需要年轻人
- "敬人者人恒敬之（敬人者人恒敬之）
- 多地对网约车按下“暂停键”，媒体：尽早建立健全的退出机制 焦点速讯
- 家长对孩子不上心怎么办 家长对孩子不上心的解决方法 环球快报
- 【时快讯】正整数包括什么分数（正整数包括什么）
- 黎语冰棠雪吻视频_黎语冰棠雪意外收获初吻是怎么回事
- 总参57所是什么级别的单位（总参57所） 全球观热点
- 用电饭锅煮糯米要多久 电饭煲糯米煮几分钟能食用呢_重点聚焦
- 让传统文化“活”起来 “火”起来
- 基石药业-B(02616.HK)：首席执行官兼执行董事杨建新新增持50.1万股，累计增持327.25万股|动态