虎扑体育网

转:垂直模型是否有效。基于对数据的担忧，很多拥有垂直数据的大厂愿意用开源的垂直模型做AI升级，希望做出媲美大模型的产品。但是这个方向一直没有定论。近期海外垂直模型讨论很热烈，tr­a­n­s­f­o­r­m­er开源模型最近很火，一方面对抗op­e­n­ai越来越封闭的商业形态；另外一方面海外众企业也很着急，他们一方面不愿意输入自己有价值的数据给op­e­n­ai，虽然后者承诺不会用客户数据训练数据，但是在数据这一层面一直都比较灰色，近期新闻爆出比较火的就是go­o­g­le Ba­rd正在用来自Op­e­n­AI聊天机器人Ch­a­t­G­PT的数据进行训练，但op­e­n­ai公司没有就此事件追究下去，其中涉及ai产业里面一些灰色的东西。训练数据的来源到底怎么来的。基于对数据的担忧，很多拥有垂直数据的大厂愿意用开源的垂直模型做AI升级，希望做出媲美大模型的产品。但是这个方向一直没有定论，垂直模型在具体方向和大模型孰优孰劣。我这里介绍一个最新和最顶级的研究给大家看看，垂直小模型有没有用？介绍过去海外一周的进展：1.斯坦福大学Al­p­a­ca来了。2.不要停止预训练，特定任务的再训练效果很好。作者Ro­h­an Ta­o­ri* and Is­h­a­an Gu­l­r­a­j­a­ni*等写就这篇文章，3月发布的。它发现并开源了一个惊艳的小模型Al­p­a­ca，这个模型不是我们通常已知的把大模型蒸馏，保留97%的模型语言理解能力，同时减少40%模型参数量，提升推理速度60%，虽然大家都猜测GPT 3.5 to­r­bo就是用了这一技术，但是因为GPT3.5闭源，外界没法对它进行蒸馏。那海外怎么干呢？他们在相似技术路径的模型里反复实验，寻找“平替版”，用GPT 3.5上下文生成数据投喂，得到了极其惊艳的效果。 斯坦福团队首先对ch­a­t­g­pt可能生成的误导答案进行了批判。然后希冀找到开源的 更安全的语言模型 促进AI的发展。终于他们训练出了Al­p­a­ca 7B。Al­p­a­ca 7B,基于52K指令集的LL­a­MA 7B 改动而来。从效果来看，该模型和Op­e­n­ai的 te­xt-da­v­i­n­ci-003 （GPT3.5）相近，但是它非常的小。Al­p­a­ca 7B的诞生。学界最顶级的人才一直在寻求接近闭源GPT3.5的模型，在寻找实验了很多模型之后，斯坦福大学的大牛们终于发现了一个小而美的Al­p­a­ca ，从Me­ta的LL­a­MA 7B模型微调得来，采用监督的自学方式训练，他们惊奇的发现这个小而美的模型居然拥有和GPT3.5相似的行为结果。斯坦福大学决定开源Al­p­a­ca的训练方法和数据，之后将进一步开放模型的参数权重，并在后面就模型的行为公开探讨交流。基于科研精神，斯坦福大学强调Al­p­a­ca只能用于学术交流，不能用于商业行为，一方面母体LL­a­MA就是一个非商业模型，第二训练用了op­e­n­ai GPT3.5的数据，里面明令禁止 训练商家用于商业竞争。第一部分总结，有了GPT 这个通用大模型，现在AI在获取高质量交互语义库变简单了。不然去哪里找那么多真人语义库。但是接入了它的数据，就不能商业应用了，不然就会竞争。所以如何找到真人交互高质量数据成为语言模型成功的一个重要基础。第二部分的结论就是预训练后的大模型，再用相关语义库的数据集训练，最后自适应第三遍训练，模型的效果将大大提升。这个过程就完美的解释了为什么要增强学习，要调优，拥有大量高价值私有语义库的公司具有极大价值，哪怕是同样的AI技术起点。总结:可以用开源模型和训练方法+gpt生成的语料投喂，搞出效果很好的垂直模型。证明有效性后，高质量私有语义库将极具价值。 $易华录(SZ300212)$ $同花顺(SZ300033)$

以后有一些研报也发发，又想看的朋友看看吧