设为书签 Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。 您也可下载桌面快捷方式。点击下载 | 新浪科技 | 新浪首页 | 新浪导航

ChatGPT疯狂生成“辣鸡”内容,Stack Overflow气急,连夜封杀!

2022-12-06 12:54:04    创事记 微博 作者: 新智元   

  欢迎关注“新浪科技”的微信订阅号:techsina 

  来源:新智元 

  【新智元导读】时下爆火的ChatGPT,被网友们用来生成海量答案。而Stack Overflow已经不堪其扰,发起“追杀”:应封尽封!

  OpenAI的新模型ChatGPT才诞生没几天,已经成为广大网友的“装逼利器”。

  它的回答不说正确不正确,乍一看可是碉堡了。

  再加上生成起来格外方便,一时间这些“看起来不错”的回答就如同潮水般涌向了那个带着全世界代码跑的传奇问答网站,计算机学子真正的老师——Stack Overflow。

  然而,为了判断这些答案的对错,就需要让大量具有专业知识的人仔细考察才行。

  被逼无奈之下,Stack Overflow不得不急发声明:ChatGPT,禁了!

  错误多得离谱,应封尽封

  眼看着讨论热火朝天,作为全世界第二大程序员交友网站的Stack Overflow官方这边也是态度鲜明:

  不要想着用AI机器人混淆视听,发回答就好好发,禁止用ChatGPT直接生成垃圾答案,否则封号。

  Stack Overflow在官方通告中表示:这是一个临时性规定,目的是为了应对目前论坛上ChatGPT生成内容的泛滥之势。

  通告指出,做出这个规定的主要原因是,ChatGPT自动生成的答案质量太低,错误太多,而且看上去还挺像那么回事,即使是完全不懂的人也能随便生成答案。

  作为一个以问答质量为标杆的社区,这些低质答案会给那些来此寻求帮助的人造成严重困扰和不便,对Stack Overflow本身而言也是有害的。

  Stack Overflow表示,未来将继续权衡围绕 ChatGPT“和其他类似工具”的新政策,但决定日期以及最终限制的内容尚不清楚。

  总之,Stack Overflow这边的态度很明确,总结起来就是:“玩归玩,闹归闹,别拿问答开玩笑”。

  网友拍手叫好

  而对于这个决定,底下的围观群众有表示完全赞同的。

  ——干的漂亮!真希望这个决定不是临时的,而且不仅局限于ChatGPT,应该扩大到所有AI生成的答案。靠AI永远给不出高质量的编程答案,再过100年都没戏。

  ——这个禁令不应该是个临时措施。

使用ChatGPT可以通过疯狂灌水,自动生成答案来刷分,即使这些答案是否正确他们根本不知道,也不关心,这对Stack Overflow论坛生态的危害是显而易见的。

  不过,想要识别这类答案实际上并不容易,怎样保证“应封尽封”是个很大的问题。

  很多专业人士能看出来这种“伪答案”里的错误,但能做的也就是点个踩,不能保证这些内容被清理。

禁止这样的内容是好事,不过审核的人能做什么呢?上面有帖子说,这些AI生成的答案可能看起来像高质量答案,这意味着对于训练有素的人来说,可能会发现错误而点个踩。

这些AI冒充的用户的答案可能有一些赞,也有一些踩,因为这些回答看起来像高质量答案。

我不知道如何判断一个答案是不是ChatGPT生成的,而且现在自定义标记需要几个月的时间来解决,在及时处理前,这些用户可能继续损害Stack Overflow。

  那么,ChatGPT到底泛滥到什么程度了呢?

  有网友自己尝试将提出的问题贴在ChatGPT的对话框中,和后面的一个“真人”给出的答案做了对比,看看到底生成的答案能不能用,结果发现这个“真人”明显不对劲。

  这是他自己用ChatGPT生成的回答:

  这是所谓“真人用户”给出的回答:

  不难看出,两个答案套路上如出一辙,用语口吻也非常相近,代码示例上也是几乎相同。

  这分明也是ChatGPT生成的伪答案。目前这个“用户”已经被Stack Overflow封禁。

  其实从ChatGPT的发布方OpenAI看来,这个AI工具的重要用途之一正是帮助程序员检查代码,而作为编码辅助工具,在Stack Overflow上答答题,本来是ChatGPT的正当用途之一。

  没想到刚出了不到一星期,就被无情封禁。也不知道是怪自己“学艺不精”,给出的答案没有帮助,还是怪网友太狡猾,最终不堪重负被玩坏了。

  有媒体联系了OpenAI,问其计划如何处理这些自动生成答案的准确性问题,目前还没有收到回复。

  Stack Overflow还不能被取代

  作为一名开发者,你肯定知道这个让亿万公司的程序能够跑起来,让亿万计算机学子能够拿到毕业证的Stack Overflow。

  在这里,你可以找到实现某些功能的最佳实践,或者找到那个只有在月圆之夜的凌晨4点才发生的晦涩难懂的错误的解决方案。

  不过,在2021年被Prosus以18亿美元的价格收购之后,大家曾普遍在担心是不是也要开启付费VIP模式。而那一天的到来大概会是程序员们的“末日”。

  好在,到目前为止,Stack Overflow的用户体验依然是极好的。

  至于OpenAI的ChatGPT,它不仅可以回答任何领域的问题,而且每一次的答案都非常精确和详细。

  比如,当你问到“How to iterate over an keys and values array in Javascript”时,这就是答案:

  锦上添花的是,ChatGPT还能通过一个支持性的例子和解释,告诉你这个JavaScript中常见问题的最佳的解决方案:

  那么问题来了,既然ChatGPT可以在输入问题的几秒钟内给出答案,并且还提供了可以直接复制的代码,为何我们不系统性地去使用它呢?

  因为,ChatGPT有三个“致命”的缺陷:

  1. 输入不能有错

  在使用ChatGPT时,必须要精确,哪怕是一个代词(a/an)的改变,答案都会完全不同。

  比如,之前的那个问题“How to iterate over an keys and values array in Javascript”,这次我们去掉一个“an”,变成“How to iterate over keys and values array in Javascript”

  现在ChatGPT给出的解决方案,就只对由统一的元素列表组成的简单数组有效了。

  2. 解释不人性化

  比如接下来这个Stack Overflow上投票最多的问题:

  “为什么对已排序数组的操作比对未排序数组的操作快?”

  ChatGPT给出的答案,毫无疑问是正确的,但仅此而已。

  因为,如果你能理解这个答案的话,自然也不需要问这个问题。

  而如果你需要问这个问题,也就意味着你不太能看懂ChatGPT给出的回答……

  相比而言,Stack Overflow上的答主首先会用非技术性的术语提出了一般的背景,然后逐渐将主题拉回到最初和最后的问题上,以加深思考。

  当然,不是所有Stack OverFlow上的答案都是(也不需要)如此定性和详细的。

  但这个例子充分地说明了,人与AI大的区别是,后者无法确定对方的理解水平,从而调整回答。

  简单来说就是,AI会以同样的方式和术语来解释“相对论”,不管你是物理系的教授,还是普通大学生,或者对此一窍不通的小白。

  这对于AI来说,并不重要。

  3. 社区的作用

  不管你喜不喜欢,Stack OverFlow最大的优势是它的社区。这个平台的创建和运作方式,就是为了鼓励和鼓励最大多数人的贡献。

  而正是这种种类繁多的答案和意见,让用户可以通过考虑每个解决方案的优点和限制,来确定自己的位置并进行选择。

  此外,Stack OverFlow的另一个优势在于同行验证。一个被成千上万的开发者证明和测试过的解决方案,可以为其正确性提供极大的保证。(当然这并不意味着100%是正确的)

  P.S. 用还是可以用的

  毋庸置疑,Stack OverFlow永远不会被取代。它和GitHub,将永远是解决那些需要个性化解释或者高难度棘手问题的好去处。

  就像Copilot、Intellisense和高级IDE一样,ChatGPT(即使它不只限于代码)只是一个工具,在开发者日益丰富的工具调色板中。就像任何自学模型一样,它将随着时间的推移学习和自我纠正并改进。

  但是下一次,与其在Stack OverFlow上为相对简单的问题(如何在Flutter中触发HookConsumerWidget的重建)等待几天,不如直接向ChatGPT提问。

  毕竟,你有很大概率能够得到一个可以用于解决问题的起点:

  为什么ChatGPT会犯这么多低级错误?

  这几天,全体网友都把ChatGPT玩疯了。很多人都意识到,这个新AI确实是一个“装逼利器”——不费吹灰之力,就能给你生成一个牛逼闪闪的答案。

  而拨开这层华丽的外衣,仔细看进去,就会发现它的回答经常错漏百出。

  比如:我在2022年是37岁,那么在1985年的时候,我是几岁?

  ChatGPT:1985-2022=-37,由于年龄不能是负的,所以此题无解。

  额,有没有一种可能,出题人出生于1985年呢?

  再比如这位网友问ChatGPT,霍布斯主张三权分立吗?

  ChatGPT自信满满地给出了答案,还不忘引经据典。

  但是,它的回答是错的。

  霍布斯是专制主义的支持者,在他看来,替代无政府状态的唯一可行方案,就是将权力赋予君主。

  权力在行政部门和立法部门之间分配、制衡的观点,是跟霍布斯同时代的哲学家约翰洛克提出的。

  那么,为什么ChatGPT会犯这样的低级错误?

  很明显,这是因为在政治哲学中,霍布斯和洛克几乎总是被一起提及,当ChatGPT去网上找霍布斯的资料时,自然就找到了洛克对三权分立的阐述,然后就错误地把这个观点扣在了霍布斯的头上😂。

  从这个例子中,我们也可以看出支撑ChatGPT的GPT-3语言模型的局限——它只能抓取,但无法推理,也无法思考。

  所以,这其实是一个概率的东西

  最近,很多人都在讨论:哪些工作会首先被AI所颠覆?

  这是一个悬而未决的问题。但至少我们可以从老师布置的作业中,得到一丝启示。

  当老师给学生们布置一篇政治哲学论文时,学生的成果对这个世界而言,通常只是对一百万次已经写过的东西的反省。

  而有趣的是,AIGC的文本并不像一道数学题,它没有唯一一条通往正确答案的路。

  是的,AI的输出,是概率性的:ChatGPT没有任何标记了对错的内部记录,它其实是一个统计模型,这个模型中,是在不同上下文中的语言组合。

  而上下文的基础,就是GPT-3训练所用的整体数据集,来自ChatGPT的RLHF训练的额外上下文,prompt和之前的对话,以及很快就会有的反馈。

  这些组合产生的结果,无疑令人兴奋。

  ChatGPT会运行整个虚拟机,会写代码。

  当然,ChatGPT并没有运行python,答案其实是从构成GPT-3的互联网数据语料库中收集的概率结果——

  ChatGPT在10秒内做出了最结果的最佳猜测,这个猜测很可能是正确的,感觉仿佛就是一台真正的计算机在执行相关的代码一样。

  这种可能性,足以让人类惊喜。

  虽然对于要求准确性的代码工作来说,它有不少灰色地带。

  但对于AIGC的其他领域,比如生成文本、图像,这种多重的可能性无疑帮助人类拓展想象力的边界。

  ChatGPT的商业模式,推动人工智能的革命

  为什么这几天ChatGPT会爆火呢?

  作为底层模型的GPT-3,其实已经诞生两年了。与之不同的是,ChatGPT既免费,又好用。

  阅读AI输出的示例是一回事,而自己生成输出,又是另一回事了。

  AIGC的革命早已掀起。当Midjourney使AI生成的艺术变得简单、免费时,人类对此的兴趣和意识也就出现了爆炸式的增长。

  ChatGPT是免费的,这很关键。

  要知道,在OpenAI的API上,最大的限制因素就是成本。

  使用OpenAI最强大的语言模型Davinci生成750个单词,成本为2美分;使用RLHF或其他方法对模型进行微调,也会花很多钱,从微调模型生成750个单词,需要12美分。

  ChatGPT的迷人之处在于,它使得OpenAI变成和MidJourney一样的消费AI产品领衔者。

  Midjourney订阅的商业模式,对于在GPU时间方面具有边际成本的东西,很有意义。

  对此,前GitHub的CEO Nat Friedman曾提出这样一个有趣的观点:在现实世界,AI的应用程序其实是匮乏的。

  现在,研究人员每天都在以飞速的方式向全世界提供着大量新功能,而企业和产品人员才刚刚开始消化这些新功能。

  再往前想一步,当AI在现实世界中不再匮乏的时候,人类是否会被AI取代?

  让我们来看一看AI对这个问题的回答。

 

(声明:本文仅代表作者观点,不代表新浪网立场。)

分享到:
保存   |   打印   |   关闭