没被语料污染的AI，会不会正在污染语料？
2025-02-22 21:51:14
·
甘德霜讲故事
·
我是甘德霜
这几天一直在家里研究AI工具，几乎把市面上流行的都用了，还在朋友的协助下部署过本地的deepseek。一开始很兴奋，但过程中遇到了一些幻觉——AI会自己杜撰一些完全不存在文献或历史事件做依据，为此我还专门录了一期视频号来讲这个事情。
这几天一直在家里研究AI工具，几乎把市面上流行的都用了，还在朋友的协助下部署过本地的deepseek。一开始很兴奋，但过程中遇到了一些幻觉——AI会自己杜撰一些完全不存在文献或历史事件做依据，为此我还专门录了一期视频号来讲这个事情。但是这两天，我在使用Cherry
studio以及腾信IMA个人工作平台等工具的时候，发现最近的幻觉出现越来越频繁，而且比例越来越高。记得之前一些测试报告出来的时候说的deepseek幻觉率大概在14%左右，但是今天在我提供了知识库的前提下，居然出现了接近100%幻觉的结果。起因比较简单，是我突然想起了明末清初一个曾经在努尔哈赤手下效力，后又投奔回明朝的将领刘兴祚（也叫刘爱塔），刚好这几天我在搭建知识库的时候放进了大量明末清初的史料，我就想让AI给我生成关于刘兴祚的生平试试。让人咋舌的事情就发生了，全文几乎都是幻觉但又显得极其逼真。DeepSeek生成的内容让我啼笑皆非，我这里来节选两段跟大家分享一下。万历四十六年（1618年）抚顺之战爆发时，21岁的刘兴祚已混迹抚顺马市成为顶级通事。他利用明将李永芳举棋不定之机，连送七封密信至赫图阿拉，信中详陈抚顺驻军布防及粮道要害。四月十五日攻城当日，他亲自开启东门引入后金铁骑，当场翻译明军口令导致防务系统瘫痪。这一壮举不仅赢得努尔哈赤赐名“爱塔”（满语骏马），更获授管理新附汉民万户的特权，成为后金首个跨族崛起的军政新星。老仆刘升晚年口述的《西行漫记》披露：天聪六年（1632年）除夕，刘兴祚在建州大宴后醉书“衣冠尽染膻腥气，冠冕终承胡笳悲”，被巡夜校尉索庞举报告发。皇太极虽以“酒后失仪”不予追究，但暗令阿敏接管其麾下汉军。这促使刘兴祚决意倒戈，他密烧镶红旗武库，伪装巡边率三百精骑南下，火焚萨尔浒粮仓七座，以投名状换取毛文龙信任。可能有的读者对这段历史不太熟悉，但是略有这方面训练的读者就能发现一些漏洞。比如生成的《明熹宗实录·天启元年六月条》（这个卷名也不是规范性的卷名，但《熹宗实录》确实存在，考虑该命名特指书中的某一个单独章节或者时间点，暂不列为“幻觉”）。但天启元年（金太祖天命六年）为1621年，抚顺之战发生则发生在1618年4月（金太祖天命三年），压根和这个卷名没啥关系。其次抚顺之战也和刘兴祚没关系，这个时间点人正在替努尔哈赤镇守金州（今大连）。第二段就更有意思。AI直接伪造了一个文献材料叫《东江秘档·西行漫记》，还煞有其事地讲了一段天聪六年（1632年）除夕的事。但是稍微百度就知道，人刘兴祚在天聪四年（1630年）就挂了。难道人死不瞑目，走了两年后还魂来喝一顿发癫酒，只为不甘心自己文学才华被后世忽略而做一首后世也压根儿不知道的“衣冠尽染膻腥气，冠冕终承胡笳悲”的批判诗？最后DeepSeek生成的文献出处标注就更让人啼笑皆非，用看似严谨的引用给出漏洞百出，答案，我就不一一指出了。其实唠唠叨叨说了这些，我倒不是抱怨，而是有一些担忧。比如AI生成的信息正在以肉眼可见的速度成为撰写论文或者公开发表的内容，这些内容极大的概率会被重新作为新的数据语料被投入到其他各类模型的语料训练中去，尤其是在新闻、医疗、金融等对信息真实性和准确度要求高的领域，真假难辨的AI幻觉极大概率会给我们带来巨大的麻烦。除此之外，尤其是学生在学习过程中，是常常需要查阅资料总结知识点。如果过度依赖AI工具，可能会受到幻觉内容的干扰，AI生成的错误信息可能会让学生误以为这些内容是准确的，从而在学习中形成错误的认知。这么来看，生成式AI目前可能更适合创作型内容的辅助，而不应该成为需要准确依据的资料查找。当然，幻觉的问题可能能够逐步逐步改善，但我也有一点担忧，在过去几年，由于短视频的指数级普及，有人说“在未来阅读将成为奢侈品”。但随着AI发展的速度越来越快，可能在未来思考都会成为一种奢侈品。
请先 登录后发表评论 ~