大数据文摘授权转载自夕小瑶科技说
作者:小戏、Python
回想一下我们小时候是如何习得一门语言的?一般而言,在人类婴儿出生第一年内,最开始婴儿只能模仿式的说出一些“音素”,说出一些最简单与基本的单词或句子,而伴随着成长,在大约一岁到三岁的阶段,婴儿开始可以掌握并说出一些最基本的句法结构,开始可以将最开始的模仿式的割裂的单词拼接组成一个句子,比如“The boy sang”,“The boy fell”,而再长大一点小孩才会逐渐学会更加复杂的嵌套式的句法结构,比如“The boy that I saw sang”,尽管这个时间分类并不准确,但是儿童的学习阶段的顺序大致可以被如此刻画。而最近,来自 Meta AI 以及巴黎文理研究大学与巴黎萨克雷大学的研究者们却发现了一个有趣的现象,GPT 模型对语言进行学习的顺序十分类似人类儿童对语言进行学习的顺序,遵循一个由易到难由浅入深,往往先学会简单的表达再去组成复杂的长句。作为统计模型的 GPT 与人类儿童的语言习得表现出的相似性将有助于人们对二者进行结合分析,得出更多有趣的结论。
论文题目:Language acquisition: do children and language models follow similar论文链接:https://arxiv.org/pdf/2306.03586.pdf