欧洲杯下单平台(官方)APP下载IOS/安卓通用版/手机版图像分类相通呈现出幂律学习弧线和模子大小的缩放相干-欧洲杯下单平台(官方)APP下载IOS/安卓通用版/手机版

白小交 发自 凹非寺欧洲杯下单平台(官方)APP下载IOS/安卓通用版/手机版

量子位 | 公众号 QbitAI

什么？Scaling Law最早是百度2017年提的？！

Meta商量员翻出经典论文：

大无数东谈主可能不知谈，Scaling law原始商量来自2017年的百度，而非三年后（2020年）的OpenAI。

此商量由吴恩达主执，来自百度硅谷东谈主工智能实验室 (SVAIL) 系统团队。

他们探讨了深度学习中老到集大小、算计限度和模子精度之间的相干，况兼通过大限度实证商量揭示了深度学习泛化邪恶和模子大小的缩放端正，还在图像和音频上进行了测试。

只不外他们使用的是 LSTM，而不是Transformer；也莫得将他们的发现定名为「Law」。

再回头看，其中一位作家Gregory Diamos给我方往时在百度的先容照旧LLM Scaling Law Researcher。

又有一网友发现，OpenAI论文还援用了2019年这位作家Gregory Diamos等东谈主的拜谒。但却不知谈他们2017年就有了这样一项使命。

网友们纷纷暗示这篇论文相配值得一读，而且所有这个词被低估。

来飞速望望这篇论文。

深度学习Scaling是可量度的

在深度学习范围，跟着模子架构的不息探索、老到数据集的不息增大以及算计才能的不息升迁，模子的性能也在不息提高。

但是，关于老到集大小、算计限度和模子精度之间的具体相干，一直阑珊深远的理会。

本文通过大限度的实证商量，对多个机器学习范围（如机器翻译、话语建模、图像分类和语音识别）进行了测试，发现了一些端正：

泛化邪恶（模子在新数据上的进展邪恶）与老到集大小呈现幂律相干，即跟着老到集的增大，泛化邪恶会以一定的幂次下落。

模子大小与与数据大小也存在Scaling（缩放）相干，通常模子大小的增长速率比数据大小的增长速率慢。

具体来说，联结以往使命，团队将耀眼力聚积在准确估量学习弧线和模子大小的缩放趋势上。

按照一般测量要津，是聘用开始进的SOTA模子，并在老到集的更大子集（碎屑）上老到这些模子的 “超参数缩减 ”版块，以不雅察模子的准确性何如跟着老到集的大小而增长。

因此针对这四个范围，机器翻译、话语建模、图像分类和语音识别，找到了他们在大型数据集上流显露 SOTA 泛化邪恶的模子架构。

这里的 “大型数据集 ”是指限度不错消弱 2-3 个数目级，但仍足以进行有价值的模子架构商量的老到集。他们为某些 ML 范围聘用了一种以上的模子架构，以比拟它们的扩张行径。

机器翻译

团队耀眼到，跟着老到集限度的增大，优化变得愈加贫瘠，而且模子会出现容量不及的情况，因此教学邪恶会偏离幂律趋势。

词话语模子

这一成果标明，最好拟合模子随老到分片大小呈次线性增长。

字符级话语模子

为了测试字符级话语建模，他们老到了深度为 10 的轮回高速公路辘集（RHN），成果发现该辘集在十亿单词数据集上能达到开始进的（SOTA）准确率。

图像分类。

图像分类相通呈现出幂律学习弧线和模子大小的缩放相干。况兼还标明，在相配小的老到集上，准确率会在接近立地意想的水平上趋于自由。

语音识别。

团队老到了一系列跨度较大的模子尺寸，是以针对每个老到数据大小得出的模子尺寸缩放成果，其道理道理不像在话语模子（LMs）或图像分类中那么显然。

跟着数据量的增多，大无数模子会资格幂律泛化修订，直至数据量接近其有用容量。在这种情况下，参数为 170 万的模子的准确率在苟简 170 小时的音频数据时开动趋于自由，而参数为 600 万的模子在苟简 860 小时的音频数据时趋于自由（也即是说，苟简是前者的 5 倍，这与模子尺寸的互异情况雷同）。更大的模子（举例，参数为 8700 万的模子）在更大的数据集限度下，其泛化邪恶也更接近最好拟合趋势。

终末关于这一发现，他们暗示，这些比例相干对深度学习的商量、践诺和系统皆有进军影响。它们不错匡助模子调试、设定准确度蓄意和数据集增长方案，还不错指点算计系统联想，并强调执续算计扩张的进军性。

博客致谢中还有Ilya的名字

这次商量主若是由往时吴恩达主执下，百度硅谷东谈主工智能实验室 (SVAIL) 系统团队。

那时的一群合著者们也曾各自去到各个机构实验室、大厂连接从事大模子有关的商量。

在往时博客致谢中，还出现了Ilya的名字，感谢他们参与了这一征询。

两年后，也即是2019年，其中一位作家Gregory Diamos又指导团队探讨了深度学习的算计挑战。

后头的OpenAI论文恰是援用了这篇论文的拜谒征询了Scaling Law。

值得一提的是，Anthropic CEODario Amodei在百度商量院吴恩达团队使命过，他对Scaling Law的第一印象亦然那时商量语音模子产生的。

Amodei刚开动商量语音神经辘集时有一种“生手撞大运”的嗅觉，尝试把模子和数据限度同期扩大，发现模子性能跟着限度的增多而不息升迁。

率先，他认为这仅仅语音识别系统的特例。但到了2017年，看到GPT-1的成果后理会到这种时局在话语模子上相通适用。

往时（2015年）他一作发表的论文Deep Speech，合著者中这位Sharan Narang恰是两年后这篇论文的主要作家之一。如今后者先后去到了谷歌担任PaLM步地TL大模子崇拜东谈主，然后目下是Meta当商量员。

如今这一“冷常识”再次出目下群众的视线，让不少东谈主回溯并重温。

这当中还有东谈主进一步暗示：着实的OG论文使用了seq2seq LSTM，况兼详情了参数算计弧线。

往时的一作恰是Ilya Sutskever。

参考相接：[1]https://arxiv.org/abs/1512.02595 [2]https://arxiv.org/abs/1909.01736[3]https://research.baidu.com/Blog/index-view?id=89[4]https://www.linkedin.com/in/gregory-diamos-1a8b9083/ [5]https://www.linkedin.com/in/dario-amodei-3934934/[6]https://x.com/jxmnop/status/1861473014673797411?s=46&t=iTysI4vQLQqCNJjSmBODPw

— 完 —

量子位 QbitAI · 头条号签

怜惜咱们欧洲杯下单平台(官方)APP下载IOS/安卓通用版/手机版，第一时分获知前沿科技动态约