ChatGPT发疯怎么办?小冰李笛:两个关键,我可破之
扫一扫
分享文章到微信
扫一扫
关注99科技网微信公众号
量子位 | 公众号 QbitAI
微软必应接入GPT大模型后,效果并没有大家想象中那么好——它发疯了。 如今官方紧急出面,更 (砍) 新 ( 掉) 了必应上面最受欢迎的功能,也就是发表观点的能力。 大伙儿显然很不买账,认为新必应失去了最有意思的部分,现在版本的体验感甚至不如siri 1.0。 有网友寄希望于必应背后的大模型升级:
说不定现在只是GPT-3版本,GPT-4还没发布呢。 然而据《纽约时报》等爆料,必应背后的大模型很可能就已经是GPT-4了…… 我们将这一现象抛给国内最熟悉AI Chat领域的人—— 李笛 。 他上来就给热得发烫的大模型浇了盆冷水:
新必应和ChatGPT目前表现出来的bug,反映出大模型不得不解决的一个关键问题。
这个问题可以一时无视,但做大模型、甚至是类ChatGPT产品,如果不解决它,终究会碰壁。 这个bug,就是大模型的逻辑能力。
大模型:成也逻辑,败也逻辑事情要从ChatGPT背后的GPT-3.5模型说起。 从GPT-3.5开始,大模型展现出一种 突破性 的能力——思维链 (CoT,Chain of Thought) ,也就是逻辑思考能力。 举个例子,在做数学题时,相比直接输出答案,模型能 一步步推理 直至给出正确答案,体现的就是思维链能力: 但此前在中小模型、甚至一部分大模型上都没有发现这种能力,学界便认为这是某些大模型独有的“新特性”。 基于这一“新特性”,大火的ChatGPT横空出世,在回答问题和发表看法时展现出了像人一样思考的效果。 然而李笛认为,GPT-3.5表现出的这种逻辑能力,是 不稳定、不可控甚至危险 的。
第一,它的思考方式不透明;第二,它连引用来源都没有。 这两个问题看似被OpenAI用大量人工精细标注的数据、大量的模型参数掩盖了起来,但一旦加入不可控因素 (像必应一样接入互联网、或修改参数等) ,就随时可能导致模型崩溃。 因此,如今逻辑思考能力正在成为大模型的 双刃剑 —— 使用效果好,大模型迈入新的时代;一旦失控,只会让大模型更难落地。 为了举例说明大模型的逻辑能力存在问题,李笛提到了小冰公司最新发布的产品 小冰链 。 小冰链 (X-CoTA,X-Chain of Thought & Action) 同样是个大语言模型,通过对话的方式帮人们解答问题。 但它最典型的不同,在于仅仅用GPT-3参数量2%的模型就实现了思维链,而且思考过程还是透明的。 在 模型大小 上,它不仅不是GPT系列的千亿参数大模型,背后参数只有几百亿甚至最低能降到 35亿 ; 至于 功能 上,它拒绝像ChatGPT一样生成综述、作业和发言稿,但能实现的功能更多。除了不避讳对事件发表看法、主动联网找答案以外,还能灵活调用各种模型或知识库完成任务。 具体来说,小冰链的架构分为 三个模块 。 模块一 负责运用思维链 (CoT) 能力处理语句。 这部分可以调用具备CoT能力的大模型来实现,但也可以调用上面说的35亿参数左右的中模型,将输入的语句转换成具体行动的Action指令输出。 模块二 负责执行指令 (Action) ,这部分接收并处理模块一输出的Action指令,负责执行对应的任务。 根据处理的指令不同,模块二调用的模型和数据也并不相同,至少有三大使用方式:
99科技网:http://www.99it.com.cn

如果听腻了ChatGPT,今天我们看一个围绕着IBM,人工智能和NASA的高能案例。
快资讯2023-02-27
