3月16日,百(bǎi)度正式发布大语言模型、生成式AI产(chǎn)品“文心一言”。百度创始人(rén)、董(dǒng)事长兼(jiān)首席执行(háng)官(guān)李彦宏(hóng)及百度(dù)首席技术(shù)官王(wáng)海峰出席发布会。李(lǐ)彦宏展示了文心一(yī)言在文(wén)学创作、商业文案创作、数理推算、中文理(lǐ)解、多模态生成五个使用场景中的(de)综(zōng)合能力。
“生(shēng)成(chéng)式AI代表着新的(de)技术范式,是任何企业都(dōu)不应(yīng)错(cuò)过的大机会。”李彦(yàn)宏说,“这段(duàn)时间不断有人问我,为(wéi)什么现在发(fā)布,你们是不是真的(de)ready了(le)?其实,百度在过去十几年中持(chí)续在AI研发(fā)上坚持投入,文心大模(mó)型(xíng)第一(yī)个版本2019年就发(fā)布了,此(cǐ)后的每一年都发布一(yī)个新(xīn)版本(běn),从这个意义上说(shuō),文(wén)心一言的发(fā)布只是我们过去多年(nián)努(nǔ)力的一个自然延(yán)续。”
李彦(yàn)宏表示,大家的期望值(zhí)是要对(duì)标ChatGPT,甚至要对标GPT-4,这个门槛还是很(hěn)高的。全球的大(dà)厂当中,百度是(shì)第一个“发布”的。他说(shuō),内测中“文心(xīn)一言”并(bìng)不(bú)完美,之所以现在(zài)要发布,原因在于市场(chǎng)有强烈需求。其定位是通用大模型。
李彦宏认为,多模(mó)态是生成式AI一(yī)个明(míng)确的(de)发展趋(qū)势。未来,随着百度多模态(tài)统一大(dà)模型(xíng)的能力增强,文心一言的(de)多(duō)模态生(shēng)成(chéng)能(néng)力也会不断提(tí)升。而大(dà)模型会带(dài)来三大产业机会(huì):新型云计算、行业模型(xíng)精调、应用开(kāi)发。
发(fā)布会举行(háng)时,截(jié)至14时22分,百度集(jí)团(09888.HK)股价跌幅扩大(dà)至近(jìn)10%,报120.5港元/股。
演示五个(gè)场景下(xià)的能力
发布会上,百(bǎi)度播放了“文心(xīn)一言”的演示视频,以下为演(yǎn)示实录。
文学创(chuàng)作(zuò)

问题:
· 《三(sān)体(tǐ)》的作者(zhě)是哪(nǎ)里人?
· 可以(yǐ)总结一下《三体(tǐ)》的核(hé)心内容吗?如果要续写的(de)话(huà),可(kě)以从哪些角度出发?
· 如何(hé)从哲学的角(jiǎo)度续写?
· 电视剧《三体》演员都有谁?
· 于和伟和张鲁一有(yǒu)哪(nǎ)些共同点?
· 于(yú)和(hé)伟和张鲁(lǔ)一(yī)谁更高(gāo)?
李彦宏(hóng):刚才(cái)的(de)演(yǎn)示中,“总(zǒng)结三体的(de)核心内容”,体现的是文心一言的总结(jié)、分析能(néng)力。续写《三(sān)体》,体(tǐ)现的(de)是内容创作生成能力。
《三体》的作者是谁?他(tā)是哪里人?电视剧(jù)三体演员都有谁(shuí)?文心(xīn)一言回答(dá)是正确的(de)。大家可能知道,生(shēng)成(chéng)式AI这类产品,在回答事实性问(wèn)题时,有时(shí)候会出错。文心一言延续了百度知(zhī)识增(zēng)强的(de)大模(mó)型理念(niàn),大(dà)幅度提升了事实性(xìng)问题的准确率。
于和伟和张鲁一有哪些共同点、于和伟和(hé)张鲁(lǔ)一谁更高?这类(lèi)问题背后,则体现的是文心一(yī)言的(de)推理能力(lì)。比如,它(tā)得(dé)先知道两人(rén)的(de)准(zhǔn)确身高,才能得出正确答案。
商业文(wén)案(àn)创作

问(wèn)题:
· 如果(guǒ)要成(chéng)立(lì)一个用大(dà)模型服务中小企(qǐ)业数字化(huà)升级的科技服务公司,可以起个什么公(gōng)司名?
· 数智云图这(zhè)个名(míng)称不错,给(gěi)我起一个公司的服务Slogan,表达共赢的概念。
· 帮(bāng)我生成一篇公司成立(lì)的(de)新闻稿,数智云图(tú)以共赢的服务(wù)理(lǐ)念(niàn)用大模型服务中(zhōng)小企业数字化升级。字数600字。
李(lǐ)彦宏(hóng):刚才的演示(shì),展现了文(wén)心(xīn)一言连续(xù)三次内容创作生成。
AI要写好一篇稿子,除了需要(yào)准确理解我们(men)的意图(tú),还(hái)要有清晰的(de)表达能力。
这背后有一个基础,就是庞大的数据规模。人类常说“读万卷书(shū)”,而AI可以说是 “读书破千亿卷”。文(wén)心一(yī)言大模型的训练数据就包括,万亿级网(wǎng)页数据,数十亿的搜索数据和图片数(shù)据,百亿级的语音(yīn)日均调用数据(jù),以及5500亿事实的知识图(tú)谱等,这(zhè)让百度在中文语言的处理上,能够处(chù)于独(dú)一无二(èr)的位(wèi)置。
有研究表(biǎo)明(míng),数据规模足够大,参数(shù)达到(dào)千亿(yì)级,大模型就可能发生“智能涌现”,即使在(zài)没有(yǒu)专(zhuān)门训(xùn)练过的领域,也能涌(yǒng)现(xiàn)出知识理解和逻辑推理能力(lì)。
数理逻辑(jí)推算任(rèn)务

问题:
· 下面我们来(lái)玩一个鸡兔(tù)同笼的(de)游戏(xì)。1只(zhī)鸡有2只脚1个头,1只兔(tù)子有4只脚1个头。那么(me),如(rú)果有一个(gè)笼子里(lǐ)有9个头,40只脚,应该有多少只鸡,多少只兔子?
· 下面我们来玩一(yī)个鸡(jī)兔(tù)同笼的游戏。1只鸡(jī)有2只脚1个头,1只兔子有(yǒu)4只脚1个(gè)头。那么,如果有一个笼子里(lǐ)有9个头(tóu),30只脚,应该(gāi)有多少只(zhī)鸡,多少只兔子?
李彦宏:对于第一道(dào)题,文心一言经过演算,认为可能是题出(chū)错(cuò)了。对于第二道,文(wén)心一(yī)言(yán)不但给出了正确(què)结果(guǒ),还详细给出解题步骤。可以看(kàn)出(chū),文心一言能理(lǐ)解题(tí)意,并有正确(què)的解题思路,进而(ér)像学生做(zuò)题一样,按正确的步骤,一步步算(suàn)出正确答案(àn)。
文心(xīn)一言已具备了(le)一(yī)定(dìng)的思维能力,能够学会数(shù)学(xué)推(tuī)演及逻辑推(tuī)理这类相对复杂任务。当然(rán),现阶段(duàn)准确率还不是(shì)100%,我(wǒ)们(men)还需要给它更多的时(shí)间来学习和成长。
中文理解能力(lì)

问题:
· “洛阳纸贵”是什么(me)意(yì)思(sī)?
· 当时洛阳的纸(zhǐ)到底有(yǒu)多(duō)贵?
· 这个成语在现在的经(jīng)济学原理(lǐ)里,对应的理(lǐ)论是什么?
· 用洛(luò)阳纸贵(guì)四个字写一首(shǒu)藏头诗。
李彦(yàn)宏:“洛阳纸贵”,“藏头诗”,这很考验AI对中文和中国(guó)文化的理解。
作为扎根(gēn)于中国市场的大语(yǔ)言模型,文心(xīn)一言(yán)具备中文领(lǐng)域最(zuì)先进的(de)自然(rán)语言处理能力。这个例子就(jiù)比较清楚地展示了我们在中文上的优势(shì)。
相对应的,文心(xīn)一言目(mù)前(qián)对英文语种、代码场(chǎng)景的训练还不够多,表现还(hái)不够好,接下来我们还要(yào)加(jiā)紧(jǐn)训(xùn)练,不断完(wán)善这些能力。
多模态生成

问题(tí):
· 请为2023世界(jiè)智能交通(tōng)大会(huì)创作一张海报。
· 你认(rèn)为智能交(jiāo)通最适合(hé)哪个(gè)城市发展?
· 请用四川话将以上内容讲出(chū)来。
· 请将以(yǐ)上内(nèi)容(róng)生(shēng)成视频。
李彦宏:刚才(cái)这一段演示,文心一(yī)言生(shēng)成了文本(běn)、图片、音频和视(shì)频,展示了多模态(tài)生成能力(lì)。目前的版本,已经能够生成文字、图片和语音(yīn)。生成视频因为成本比较高,还没有对所有用户开放,未来我们会逐步接(jiē)入。但是熟悉百家号(hào)创作的朋友,应该都体验过这个(gè)功能了,每天有几万篇文章通过这个能力转成视频(pín)内容在百度分发。
多模(mó)态是生成式AI一个明确的发展趋势。未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成(chéng)能力(lì),也会不断提升。
“四层架构(gòu)的(de)每一(yī)层都有领先产品”
在结束演示后,李(lǐ)彦宏(hóng)总结道:“从文心一言的表现看,某种(zhǒng)程度上它具有了对人类(lèi)意图的理解能力,回(huí)答的准确(què)性、逻辑性(xìng)、流畅性,都逐(zhú)渐接近人(rén)类水平。但整(zhěng)体而言,这(zhè)类大语言模(mó)型还远(yuǎn)未到发展完善的(de)阶段,它们有时(shí)候会有很惊艳的表现,但不少场景下,细究起来还有(yǒu)明显的bug,进步空间很大。未来这段时(shí)间它一定(dìng)会飞速发展,日新月异。”
李彦宏表示,通过定向微调,可以(yǐ)在百(bǎi)度内外部(bù)各(gè)类产品上(shàng)逐步展(zhǎn)示出惊人的亲和(hé)力,让每一(yī)个产品(pǐn)离自己的用户和客户更近。文(wén)心一言(yán)这样的大(dà)语(yǔ)言模型,会成(chéng)为每个人必不(bú)可少(shǎo)的(de)生产力工具。不(bú)过,无论是(shì)哪(nǎ)家(jiā)公司,都不(bú)可能靠突击几个(gè)月(yuè)就(jiù)能(néng)做出这样的大语言模(mó)型。深度学习、自然语言处理(lǐ),需要多年的坚(jiān)持和积累,没法速(sù)成(chéng)。
“人(rén)类(lèi)进入(rù)人工智能时代(dài),IT技术的技术栈(zhàn)发生了根本性变化(huà)。过去(qù)基本(běn)分为三层:芯片层,操(cāo)作系统层和应用层。现在可以分为(wéi)四层:芯片(piàn)层、框架层、模型层和应用层(céng)。”他介绍说,“今天,百度是(shì)全(quán)球(qiú)为数不(bú)多、在这(zhè)四层进(jìn)行全栈(zhàn)布局的人工(gōng)智(zhì)能公(gōng)司,从高端芯(xīn)片昆仑芯,到飞桨深度学习框架(jià),再到(dào)文心预训(xùn)练大模型,到(dào)搜索、智能云(yún)、自动驾驶、小度等(děng)应用,各个层面都有(yǒu)领先业界的自研技术。”
文心(xīn)一言(yán)位(wèi)于模型层。2019年,百度推出了文心大模(mó)型(xíng)ERNIE 1.0。目前(qián),ERNIE 3.0每天接受(shòu)数十亿次用户(hù)的搜索请求。这(zhè)让文心一言能够基于一(yī)个庞大的、高效的数据池,快速地学(xué)习和改进(jìn)。
“大模(mó)型训(xùn)练(liàn)堪称(chēng)暴(bào)力美学,需要有大算力、大数据和大模型,每一(yī)次训(xùn)练任务都耗资巨大(dà)。全栈布局的优势在于,可(kě)以在技术栈(zhàn)的四层架构(gòu)中(zhōng),实现端(duān)到端优化(huà),大幅提升效率。尤(yóu)其是,框(kuàng)架层和模(mó)型层之(zhī)间,有很(hěn)强的协同作用,可以(yǐ)帮助构建(jiàn)更高效的模型(xíng),并显(xiǎn)著降低成本(běn)。事实上,超大(dà)规模模(mó)型的训(xùn)练和推理,给深度学习框架带来(lái)了很大考验。比如(rú),为了支持千亿参数模型(xíng)的高效分布式(shì)训练,百度飞(fēi)桨专门研发了(le) 4D 混(hún)合(hé)并行技术。”李(lǐ)彦(yàn)宏介绍道。
“另外,芯(xīn)片、框架(jià)、大模型和终端应(yīng)用(yòng)场景,可以形成一个高效的反(fǎn)馈闭环,帮助(zhù)大模型(xíng)不断去调优(yōu)迭(dié)代,越做越好。更好的(de)大模型(xíng),会让用户(hù)体验不断升级。”
最后,李彦宏强调:“在全(quán)球范围内,在四层架构的每(měi)一层都(dōu)有(yǒu)领先产品的(de)公(gōng)司几(jǐ)乎没有,百度的优势(shì)非常独特,相信大家会(huì)在后续文心的迭代速度上有明显感受(shòu)。”