随着大模型掀起新一轮 AI 热潮，人们开始思考：大模型的强大能力来源于什么？

当前，大模型一直在由不断增加的「大数据」来推动。「大模型 大数据」似乎已经成为构建模型的标准范式。但随着模型规模和数据量的不断增长，算力的需求会迅速膨胀。一些研究者尝试探索新思路。 重写后的内容： 目前，大型模型一直在依靠不断增加的「大数据」来推动。 「大型模型 大数据」似乎已成为构建模型的标准范式。 但随着模型规模和数据量的不断增长，算力需求会迅速膨胀。 一些研究者正在尝试探索新的思路

微软在6月份发布了一篇名为《只需教科书》的论文，使用了一个只有7B个标记的数据集来训练了一个包含1.3B个参数的模型，称为phi-1。尽管数据集和模型大小相对于竞争对手来说小了几个数量级，但phi-1在HumanEval测试中的一次通过率达到了50.6%，在MBPP测试中达到了55.5%

phi-1 证明高质量的「小数据」能够让模型具备良好的性能。最近，微软又发表了论文《Textbooks Are All You Need II: phi-1.5 technical report》，对高质量「小数据」的潜力做了进一步研究。

论文地址：https://arxiv.org/abs/2309.05463

模型简介

架构

研究团队使用了phi-1的研究方法，并将研究的重点放在自然语言常识推理任务上，开发了一个拥有1.3B参数的Transformer架构语言模型phi-1.5。phi-1.5的架构与phi-1完全相同，有24层，32个头，每个头的维度为64，并且使用旋转维度为32的旋转嵌入，上下文长度为2048

此外，该研究还使用 flash-attention 进行训练加速，并使用 codegen-mono 的 tokenizer。

需要进行重写的内容是：训练数据

phi-1.5 的需要进行重写的内容是：训练数据是由 phi-1 的需要进行重写的内容是：训练数据（7B token）和新创建的「教科书质量」数据（大约 20B token）组成的。其中，新创建的「教科书质量」数据旨在让模型掌握常识推理，研究团队精心挑选了 20K 个主题来生成新数据。

值得注意的是，为了探讨网络数据（LLM 常用）的重要性，该研究还构建了 phi-1.5-web-only 和 phi-1.5-web 两个模型。

研究团队表示：创建强大且全面的数据集需要的不仅是原始计算能力，还需要复杂的迭代、有效的主题选择，以及对知识的深入了解，具备这些要素，才能确保数据的质量和多样性。

实验结果

该研究对于语言理解任务进行了评估，使用了多个数据集，包括PIQA、Hellaswag、OpenbookQA、SQUAD和MMLU。评估结果如表3所示，phi-1.5的性能可以与体积大5倍的模型相媲美

在常识推理基准上的测试结果如下表所示：

在更复杂的推理任务中，如小学数学和基础编码任务，phi-1.5的表现超过了大多数LLM

研究团队认为，phi-1.5 再次证明了高质量「小数据」的力量。

质疑与讨论

或许是因为「大模型 大数据」的理念太深入人心，这项研究遭到了机器学习社区一些研究人员的质疑，甚至有人怀疑 phi-1.5 直接在测试基准数据集上训练了。

网友Susan Zhang进行了一系列验证，并指出：“phi-1.5能够对GSM8K数据集中的原问题给出完全正确的回答，但只要稍微修改一下格式（例如换行），phi-1.5就不会回答了。”

还有修改问题中的数据，phi-1.5 在解答问题的过程中就会出现「幻觉」。例如，在一个点餐问题中，只修改了「披萨的价格」，phi-1.5 的解答就出现了错误。

并且，phi-1.5 似乎「记住了」最终答案，即使在修改数据的情况下该答案已经是错误的。

对此，一位论文作者Ronan Eldan迅速作出了回应，对上述网友测试中出现的问题进行了解释和反驳：

但该网友再次阐明其观点：测试说明 phi-1.5 的回答对 prompt 的格式是非常「脆弱」的，并对作者的回应提出质疑：

论文的第一作者李元智回应道：“虽然phi-1.5在稳健性方面确实不如GPT-4，但『脆弱』并不是准确的术语。事实上，对于任何模型来说，pass@k准确率都会比pass@1要高得多（所以模型的正确性是偶然的）

在看到这些质疑和讨论后，网友们纷纷表示：“最简单的回应方式就是公开合成数据集。”

你对此有什么看法？