您的位置 首页 得到头条

365|“弱智吧”与“大模型”:怎样像AI一样快速进化?

精挑细淘,得到头条。我是李南南。

今天,我将从两个话题出发,为你提供知识服务。第一个是,网传百度弱智吧,成为大模型训练数据。第二个是,茅台酒价格,出现阶段性下跌。

先来看今天的第一条。说个很清奇的事,最近,AI圈里一直流传一个消息,百度的一个贴吧,叫弱智吧,已经成为中文AI大模型的重要训练数据。没错,弱智吧的帖子,成了AI的训练数据。

这事是怎么发生的?咱们先从这个弱智吧说起。先强调一句,这个弱智吧的初衷,不带有对任何人群的歧视。贴吧的主要内容,是各式各样脑洞清奇的脑筋急转弯。随便念几个帖子你听听。

比如,请用一句话证明你没有看过这句话?再比如,为什么公子是指一个人,而母子是指两个人?假如我们都是妈妈生的,那么第一个人是谁生的?假如挣钱是为了活着,那活着为什么还要挣钱?蓝牙耳机坏了,去医院是挂牙科还是挂耳科?在梦里被狗咬了,还没打疫苗就醒了怎么办?学校翻墙出去是扣分,那么假如翻墙进来是不是要加分?为什么生鱼片其实是死鱼片?

总之,全是这类画风。你可以想象一下,假如有一天,AI能回答上面这些问题,是不是可以说,它在一定程度上表现出了接近人类的幽默水平?

于是,中科院深圳先进技术研究院、中科院自动化研究所、滑铁卢大学等几所高校,就组成了一个联合团队,用弱智吧的数据来训练大模型。就在前段时间,这个课题组发布了结论。用弱智吧训练出的大模型,在很多项跑分测试中都遥遥领先。

为什么弱智吧的素材训练效果好?一个关键原因是,这些信息都带有很强的异质性。

也就是,跟过去的语料很不一样。这就好比人类平时学习,假如整天待在一个圈子里,接触的都是差不多的信息,那么他的学习速度就很慢。假如经常接触点不一样的,进展就快。

没错,机器的学习逻辑,跟人有很多共同之处。说到这,也引出一个问题,AI的学习方式,对人类有哪些启发呢?我们能从它们的方法里学到点什么呢?

今天,咱们就来回答这个问题。之前万维钢老师解读过认知科学家斯坦尼斯拉斯·迪昂的《我们如何学习》,也被翻译成《精准学习》。里面提到,机器学习,往往有这么几个要素。

首先,在机器学习中,有个方式叫有监督式学习。

说白了,

就是给机器建立一套反馈机制。它每做一个动作,这个机制都会告诉它,哪里做得不够好,哪些参数需要调整。

同样,

一个人不管多厉害,个人能力多强,他也需要一个这样的反馈机制。

比如,海明威、菲茨杰拉德、托马斯·沃尔夫,这几位作家的编辑都是同一个人,叫麦克斯威尔·珀金斯。对这些作家来说,珀金斯就是这个反馈机制。比如,沃尔夫最著名的作品之一《天使,望故乡》,多好的书名。这个名字就是在珀金斯的建议下改的。沃尔夫最早自己起的书名叫《噢,失落》。再比如,海明威和菲茨杰拉德,都属于优点跟缺点同样明显。怎么把缺点的影响克服掉?主要也靠珀金斯。

换句话说,

成才不是一蹴而就的,再厉害的人,也需要可供攀登的阶梯。而来自外部的反馈,就是这个阶梯。

其次,在机器学习中,还有个因素,叫,随机变化。

也就是,即使机器的运算结果已经很让人满意,但研究者想看看,还能不能再多出一些惊喜。这时,他们就会刻意给机器输入一些随机变量,没准就有意外的收获。

回到人的学习与创造,历史上的很多创新,最开始都来自一个随机的意外。比如,烟雾报警器,最开始是1930年,一个瑞士的物理学家,叫沃尔特·耶格,他想发明一个毒气探测器。结果实验时,这个探测器吸进去一口烟,而且反应很明显。这个发现就催生了现代的烟雾报警器。那口被吸进去的烟,就是报警器的随机变量。

再比如,蛋卷冰激凌,据说是一个卖蛋饼的商贩,有天蛋饼不好卖,他就改卖冰激凌。但剩下的蛋饼怎么办?他就想到,把蛋饼做成锥桶状,把冰激凌放在里面。于是,就有了蛋卷冰激凌。对这个商贩来说,冰激凌就是触发创新的随机变量。

换句话说,

学习的本质,就是从已知向未知前进。而引入随机性的本质,就是主动把这个未知加进来。

最后,在机器学习中,还有个因素叫内在知识。

有种算法叫卷积算法,这个算法的特点就是,用已知观察未知。比如,看图。卷积算法不是从零开始,而是它已经了解一些基本的图形,像圆圈、方块、三角等等。你再给它看任何新形状,它都会先把这个新形状分解成已知的形状,再去理解。说白了,它是在用已有的内在知识,去解读外部的未知信息。同样,回到人的学习,最好也先建立一点内在知识。

比如,一个物理学家学哲学,就要比咱们普通人快得多。不是因为智商高,而是因为他已经具备大量的内在知识。当他用物理学的知识去理解哲学,效率就高很多。就像普鲁斯特说的,真正的发现之旅,不是发现新的风景,而是寻得新的眼睛。这个眼睛,就可以理解成我们观察世界使用的内在知识。

换句话说,

一旦你精通一个领域,你就更有可能精通第二、第三个领域。

好,这是机器学习的要素。反馈机制、随机变量,以及内在知识。人的学习,也需要它们。

其实,关于机器的思考方式,还有很多能借鉴的。

比如,37%原则。你可能听说过。说的是,假如做一个重大决策,但手头没有任何信息。比如求职,完全不了解要去的公司。对计算机来说,这个状况叫零信息博弈。也就是什么信息都没有的博弈。而关于这个状况,计算机早就算出了最佳策略,这就是,在37%之后做决定。比如,你打算面试100家公司。按照37%原则,前37家公司就算再好,都不要做决定。从第37家往后,一旦出现比前面都好的,就选它。注意,这不是十拿九稳的方法,但能最大限度提升你做出最佳决策的概率。

再比如,过度拟合。拟合,是一套计算与预测的方法。比如你想用计算机预测下个星期的堵车程度,你就可以先搜集过去几年同时间段的堵车情况,然后让机器根据过去的情况,预测未来的情况。但有时,假如你关注的细节过多,比如把极端天气、外星人入侵这种极小概率的事件全考虑进来,你会发现,这个预测反而不准。这个因为

过度关注细节,而丧失了整体准确性的情况,就属于过度拟合。

同样,放在人的学习上,很多时候,需要一点提纲挈领的架势。比如,很多人说读书要快,要刷书,为的就是快速了解知识的全貌。这就像看山,站得远一点,更能看清它的样子。

好,关于机器的学习方法,咱们先说到这。有人可能发现了,这些方法,最初其实都来自人。人按照自己的思考方式,设计了机器的思考方式。而这个过程,又让人更了解自己。比如,人对大脑的研究。最早在蒸汽机时代,有人提出人脑的蒸汽机模型。而到了计算机时代,又有人提出大脑的计算机模型。农耕时代的人对脑科学没什么概念,否则他们大概率会提出大脑的农田模型或者犁耙模型。而在这个模型刷新的过程中,人类对大脑的了解也越来越多。换句话说,

人类的每个发明,都像一面镜子,让人类更了解自己。

再来看今天的第二条。最近,茅台降价了。确切地说,是茅台的柜台价,也就是经销商直接售卖给顾客的价格,出现了下降。关于这次降价,有几种不同的说法。有人说这是因为消费降级。也有人说这只是阶段性下降,还有人找到往年数据,据说往年这个时候茅台也降价。

但是,我们今天要说的重点不是茅台,而是想借着这个消息说一个问题,这就是,一款酒是怎么把自己卖贵的?咱们说一个国外的案例,日本的一个清酒品牌,最近几年在咱们中国也挺火,叫獭祭。价格按照款式不同,从几百到上千不等。

为什么选獭祭作为案例?主要是因为它的方法中,有一项特别容易迁移,对其他行业或许也有用。这就是,它特别擅长搞可视化,也就是,每个动作都一定让用户可感。

比如,假如有款酒跟你说,这个品牌有多深厚的文化底蕴,有复杂的工艺。除非是你懂酒,否则大多数人,不是听不懂,就是没感觉。

你看看獭祭是怎么解决这个问题的。他们给自己选定的品类,叫大吟酿,属于米酒。为什么选这个品类?一个关键原因是,这个大吟酿,有一个特别好识别的技术参数,叫做研磨留存度。也就是,把大米的外面磨掉百分之多少,保留百分之多少的芯。比如,研磨留存度40%,就是把大米外面磨掉60%,只保留剩下那40%的芯。很明显,就算再外行也能看懂,研磨留存度越低,成本就越高,耗时就越长。这就好比炒菜,你只保留一个白菜心,就是要比整颗白菜一起炒成本要高。跟手艺没关系,这就是刚性的成本。

一旦锁定这个品类,目标就清晰了。我只需要锁定一个指标,就是留存度。只要我能一直把这个留存度压低,再外行的人也知道我这个酒成本高。你看,这就有点工科思维的味道。大家不用讲故事,不用拼广告,咱们就看数字指标。

听到这,你可能会说,好多人喝酒,还是希望这里面有点手艺方面的元素。否则都是冷冰冰的机器和数字,好像哪差点什么。怎么办?獭祭想了个办法,定期举办手艺大赛。入职3到5年的员工,都必须参加。这也是在告诉外人,你看,我们是有手艺,有传承的。

再比如,獭祭每年会搞大米评选,选出的优胜米,獭祭会以市场价的25倍买入。注意,本来这米没那么贵,獭祭就是故意要花这么多钱。为的就是让用户看见,这个原料不便宜。这些米做出的酒,獭祭还会拿出一部分,每年去苏富比拍卖,为的也是让大家看见。

再比如,獭祭全世界跟高级餐厅合作。再比如,獭祭的现任社长樱井一宏,特别喜欢到处讲座,每年要在外面做至少20场讲座。这些动作都是为了让自己被看见。

你看,獭祭的操作,是不是很像我们经常说的,被看见,本身就是种优势。

做成一件事的关键,也许就是让自己的每一项成本、每一个动作,都变得可见、可感、可识别。

最后,总结一下,今天说了两个话题。

第一,怎样借鉴机器的学习方式?关键在于给自己设立三个学习要素,反馈机制、随机变量与内在知识。同时,这些发明本身,也是我们了解自己的镜子。

第二,獭祭是怎么做酒的?核心是,让自己的每一个动作,都能清晰地被外行人看到。换句话说,让自己的优势被看见,这本身就是个巨大的优势。

接下来一点时间,想跟你做个预告。在“五一”期间,得到为你准备了“小长假的7种打开方式”,比如,如何做一场有知识的深度游,还有,假期应该读哪些好书,以及,如何趁小长假掌握一项AI新技能等等。每项活动,都能为你的假期,增加一点儿知识趣味。现在可以点击文稿结尾的链接,看看具体的活动信息,欢迎你来参加。

好,以上就是今天的内容。《得到头条》,明天见。

1. 怎样借鉴机器的学习方式

发表回复

返回顶部