AI大模型和人脑的区别
为什么人脑没有幻觉,但是 AI 大语言模型有幻觉?
人脑和大型语言模型(LLM)在处理信息的方式上存在根本差异,这导致了幻觉现象主要出现在LLM中。LLM的幻觉是指模型生成了貌似合理但实际上错误或虚构的内容。
LLM的工作原理:
1.LLM如Transformer架构是一种由人工“神经元”组成的层级网络:输入的文本被切分为标记(token)序列,每个token先映射为向量表示(词嵌入)输入模型。模型内部包含多个Transformer块层叠,每一层通过多头自注意力机制来处理输入序列。注意力机制使模型在生成每个输出时,都能选取并“关注”输入中最相关的部分
2.模型在训练时被输入海量的互联网文本语料进行自监督学习。训练目标是让模型预测下一个词的概率分布。通过不断调节内部权重来最大化训练语料中实际出现词的概率,模型逐渐学习到语言中的统计模式和词语搭配关系。这种基于最大似然的训练使模型能够掌握语法、语义以及常识性模式,但并非显式地存储事实知识,而是将这些模式隐含在巨量参数的权重中
3.在生成文本时,模型读取当前上下文并计算下一候选词的概率分布,然后按照某种策略选择一个词作为输出。通常模型会选取最高概率的词或按概率采样一个词作为输出,再将该词添加到上下文,反复迭代这个过程,从而逐词生成整段文本
4.它在生成时并不查询外部知识库,也没有一个显式的知识图谱可供检索。一旦提示中不包含足够信息,模型只能凭参数中模糊的相关性给出答案。LLM不会从外部环境主动获取新信息,也缺乏视觉、触觉等其它感官反馈。因此,模型对世界的“认识”完全停留在训练语料中学到的统计相关性上,缺乏实时感官校验机制
人脑的工作方式:
1.人脑含有约860亿个神经元,通过数万亿个突触彼此连接,形成庞大的网络。不同脑区在功能上各有分工,例如视觉处理主要在枕叶视觉皮层,听觉在颞叶听觉皮层,语言和决策涉及额叶等,各脑区之间通过神经网络协同工作,构建层次化、关联性的概念表示,从而实现整体认知。
2.每个神经元通过树突接收信号,经由轴突将电信号传递给下一个神经元的树突或细胞体,突触则是它们连接的信息交换点。突触可塑性是大脑学习和记忆的关键机制:当某些神经连接反复激活时,突触传递效率会增强(或减弱),这便记录下新的记忆或知识。
3.我们通过视觉、听觉、触觉等多感官获取信息,并能相互印证以纠正错误认知。大脑内部也存在预测校验机制:根据预测式编码理论,大脑会不断对感官输入进行预测,并将实际输入与预测进行比较来产生误差信号