人工智能核心术语一览:从AGI到权重

richlovec 1500_400 (1)
 

人工智能技术在全球范围内加速落地,与之相关的一套新术语也随之进入公众视野。无论是AGI、LLM,还是RAG、RLHF,这些缩写和行话频繁出现在技术报道和企业发布中,即便是具备技术背景的读者也可能感到陌生。本文对部分常见概念进行归纳说明,随着技术演进,这些定义及其应用场景也在持续变化。


AGI(人工通用智能)

“人工通用智能”(AGI)目前尚无统一定义,但业内普遍将其指向在广泛任务上接近或超过人类能力的系统。

OpenAI首席执行官Sam Altman曾将AGI形容为“可以雇佣为同事的中等水平人类的等价物”。OpenAI章程中则写明,AGI是“在大多数具有经济价值的工作中表现优于人类的高度自主系统”。谷歌DeepMind给出的表述略有差异,将AGI视为“在大多数认知任务上至少与人类同等能力的人工智能”。

不同机构的表述反映出这一概念本身仍在界定之中,相关讨论在研究界持续存在。


AI agent(AI代理)

AI代理通常指能够代表用户执行一系列任务的人工智能系统,其能力超出简单聊天机器人的问答范畴。例如,报销费用、预订机票或餐厅、编写和维护代码等,都被视为AI代理的潜在应用场景。

目前业内对“AI代理”的具体内涵尚无统一标准。总体而言,这类系统被设想为可以在较少人工干预下,调用多个工具或子系统,完成多步骤任务的自主系统。支撑这类能力的基础设施仍在建设中,不同企业和研究团队对AI代理的实现路径存在差异。


API endpoints(API端点)

API端点可理解为软件系统对外暴露的“按钮”,其他程序可以通过调用这些接口触发相应操作。开发者利用端点实现系统间的数据交换和功能集成,例如让一个应用从另一个应用读取数据,或让AI代理直接控制第三方服务,而无需人工逐一操作界面。

多数智能家居设备和连接平台都内置此类接口,但普通用户通常无法直接看到。随着AI代理能力提升,这些系统越来越多地通过自动方式发现并调用端点,从而实现更复杂的自动化流程。


Chain of thought(链式思维)

在人类解决复杂问题时,往往需要拆解步骤、书写中间过程。类似地,在人工智能领域,“链式思维”指大型语言模型在回答问题时显式展开中间推理步骤,而非直接给出结论。

通过将问题拆解为若干中间环节,模型在逻辑推理和代码生成等场景中的正确率通常会提高,但生成答案的时间也相应延长。近年来出现的“推理模型”是在传统大型语言模型基础上,通过强化学习等方法优化其链式思维能力。


Coding agents(编码代理)

编码代理是AI代理在软件开发领域的具体应用形态。与仅提供代码建议、由人工复制粘贴的工具不同,编码代理被设计为可以自主编写、测试和调试代码,承担大量迭代和试错工作。

这类系统可以在整个代码库范围内操作,发现漏洞、运行测试并提交修复,理论上只需有限人工监督。业内通常将其比作“速度极快且不会疲倦的实习生”,但仍强调需要开发者对其输出进行审查。


Compute(算力)

在人工智能语境中,“算力”通常指支撑模型训练和推理所需的计算资源,包括GPU、CPU、TPU等硬件。算力被视为推动当前人工智能产业发展的关键基础设施之一,直接影响模型训练速度、推理效率和部署成本。


Deep learning(深度学习)

深度学习是机器学习的一个重要分支,其核心是多层人工神经网络结构。与线性模型、决策树等较简单方法相比,深度学习模型能够捕捉更复杂的数据关联。

这类模型可以在无需人工预先定义特征的情况下,从海量数据中自动提取关键特征,并通过反复调整参数不断改进输出表现。但深度学习通常需要数量庞大的训练样本(往往以百万级计),训练时间长、成本高。

(参见:神经网络)


Diffusion(扩散)

扩散模型是当前图像、音乐和文本生成等领域常用的一类生成式人工智能技术。其基本思路是先向原始数据(如图片或音频)逐步加入噪声,直至原有结构被完全破坏,再训练模型学习如何从噪声“反向”恢复出数据。

这一过程借鉴了物理学中扩散现象的概念,但在人工智能中,重点在于学习逆向过程,以便从随机噪声生成新的内容。


Distillation(蒸馏)

模型蒸馏是一种“师生模型”架构下的知识迁移技术。开发者首先向大型“教师模型”发送请求并记录其输出,有时还会将这些输出与标注数据对比评估质量,然后利用这些结果训练较小的“学生模型”,使其在行为上逼近教师模型。

蒸馏常用于在尽量保持性能的前提下,构建更小、更高效的模型。有分析认为,GPT-4 Turbo等更快版本的大模型可能采用了类似方法。

各大人工智能公司普遍在内部使用蒸馏技术。一些机构也被指尝试对竞争对手的模型进行蒸馏,这通常与相关API或聊天服务的使用条款相冲突。


Fine-tuning(微调)

微调是指在已有模型基础上,使用更窄领域或更具体任务的数据进行进一步训练,以提升其在特定场景下的表现。

不少初创企业以通用大型语言模型为基础,再结合自身行业数据和专业知识进行微调,从而面向特定垂直领域提供产品和服务。

(参见:大型语言模型)


GAN(生成对抗网络)

生成对抗网络(GAN)是一种由两个神经网络组成的机器学习框架,在生成逼真图像、视频等内容方面发挥了重要作用,包括“深度伪造”等应用。

在GAN中,一个网络负责生成内容,另一个网络负责判别内容真伪。两者在训练过程中相互博弈:生成器试图“骗过”判别器,判别器则努力识别生成内容。通过这种对抗机制,生成结果在无需额外人工干预的情况下不断逼近真实数据分布。

GAN在生成高保真图像等特定任务上表现突出,但并非为通用人工智能设计。


Hallucination(幻觉)

“幻觉”是行业内对生成式人工智能输出错误或虚构信息现象的通用称呼。这一问题直接影响模型的可靠性和安全性。

幻觉可能导致误导性内容,甚至在医疗等敏感场景中带来现实风险。业内普遍认为,幻觉与训练数据覆盖不足等因素有关,因此出现了针对特定行业或专业领域构建更窄范围模型的趋势,以减少知识盲区和错误信息风险。


Inference(推理)

推理指已训练模型在接收输入后生成输出的过程,即利用在训练阶段学到的模式进行预测或判断。

从智能手机处理器到高性能GPU,再到专用AI加速器,多种硬件都可以执行推理,但效率差异明显。体量较大的模型在本地设备上推理可能耗时较长,而在配备高端芯片的云端服务器上则更为高效。

(参见:训练)


Large language model(LLM,大型语言模型)

大型语言模型是当前主流对话式人工智能系统的基础,包括ChatGPT、Claude、谷歌Gemini、Meta的Llama系列、微软Copilot以及Mistral的Le Chat等。

LLM本质上是由数十亿参数构成的深度神经网络,通过学习大规模文本数据中词语和短语之间的统计关系,形成对语言的内部表示。当用户输入提示时,模型根据已学习的模式生成最可能延续该提示的文本。

(参见:神经网络)


Memory cache(内存缓存)

在推理过程中,内存缓存是一类用于提升效率的关键机制。通过缓存部分中间计算结果,系统可以在后续请求中重复利用这些结果,从而减少重复计算、降低能耗并缩短响应时间。

在基于Transformer架构的模型中,KV(键值)缓存是较为常见的一种形式。它通过保存先前步骤的表示,减少生成新内容时所需的计算量。

(参见:推理)


Neural network(神经网络)

神经网络是深度学习的基础结构,也是当前生成式人工智能工具的底层技术之一。其设计灵感源自人脑中神经元之间的连接方式,通过多层结构对输入数据进行逐级处理。

早在20世纪40年代,研究人员就提出了类似思想,但真正推动神经网络大规模应用的是近年图形处理单元(GPU)的发展。这类硬件最初主要用于电子游戏渲染,如今被广泛用于训练层数远超早期模型的深度网络,使其在语音识别、自动驾驶、药物发现等领域取得显著进展。

(参见:大型语言模型)


Open source(开源)

开源指软件或人工智能模型的底层代码向公众开放,允许任何人使用、审查或修改。人工智能领域中,Meta的Llama系列是较为典型的开源模型之一;在操作系统领域,Linux是广为人知的开源项目。

开源模式有利于全球研究人员和企业在彼此成果基础上迭代,并支持独立安全审计。与之相对的是封闭源代码模式,用户可以使用产品,但无法查看其内部实现,例如OpenAI的GPT系列模型。开源与封闭之争已成为人工智能行业的重要议题之一。


Parallelization(并行化)

并行化是指同时执行多项计算任务,而非顺序完成。在人工智能训练和推理中,并行化是核心技术之一。现代GPU被设计为可在同一时间执行成千上万次运算,这也是其成为AI基础硬件的重要原因。

随着模型规模和复杂度不断提升,如何在多芯片、多服务器之间高效分配和并行处理任务,已成为影响模型训练速度和成本的关键因素,并形成了独立的研究方向。


RAMageddon(内存短缺潮)

“RAMageddon”是业内对近期内存芯片紧缺现象的戏称。随机存取存储器(RAM)是各类计算设备的关键组件。随着人工智能产业扩张,大型科技公司和AI实验室为建设数据中心大量采购高性能内存,推高了市场需求。

这一趋势被指影响到游戏主机、智能手机等消费电子产品的生产成本和出货量,也对企业自建数据中心带来压力。相关报道指出,价格上涨预计要在供应紧张缓解后才可能回落,目前尚无明确时间表。


Recursive self-improvement(递归自我改进)

递归自我改进被视为衡量人工智能自主性的重要概念之一。在这一情景下,模型可以在较少甚至不依赖人类干预的情况下改进自身,或设计性能更强的后续版本,从而在能力和自主性上实现加速提升。

部分讨论将其与“奇点”等极端情景联系在一起,但也有研究团队将递归自我改进视为工程上的下一步目标,专注于模型是否能够参与设计自身继任者等具体能力。多家初创公司公开表示正在探索相关方向,同时淡化其“末日”色彩。


Reinforcement learning(强化学习)

强化学习是一种通过“试错—反馈”机制训练模型的方法。系统在环境中采取行动,根据结果获得奖励或惩罚信号,并据此调整策略。

与依赖固定标注数据集的监督学习不同,强化学习允许模型在交互中不断更新行为。该方法在游戏对弈、机器人控制等领域应用广泛,近年来也被用于提升大型语言模型的推理能力。其中,基于人类反馈的强化学习(RLHF)已成为多家领先实验室用于优化模型“有用性、准确性和安全性”的重要手段之一。


Token(Token)

在语言模型中,Token是模型处理和生成的最小文本单位,通常对应一个词或词的一部分。通过“分词”过程,原始文本被拆分为一串Token,模型以此为基础进行计算。

Token在商业层面也具有重要意义。多数人工智能服务按Token数量计费,输入和输出Token总量直接决定使用成本。


Token throughput(Token吞吐量)

Token吞吐量指系统在单位时间内可以处理的Token数量,是衡量语言模型服务能力的重要指标之一。

较高的Token吞吐量意味着系统可以在同一时间处理更多请求或更长文本,从而提升并发能力和响应速度。业内工程团队普遍将提升吞吐量视为基础设施优化的核心目标之一。


Training(训练)

训练是构建机器学习模型的核心过程,即向模型输入大量数据,让其在不断调整参数的过程中学习模式并生成有用输出。

随着模型规模扩大,训练所需数据量和算力成本显著上升。因此,一些机构采用在现有模型基础上微调或结合规则系统等混合方法,以降低从零开始训练的成本。

(参见:推理)


Transfer learning(迁移学习)

迁移学习是指在已训练模型的基础上,针对不同但相关的任务进行再训练,使模型能够将原有任务中获得的知识迁移到新任务上。

这一方法可以缩短开发周期,尤其适用于目标任务可用数据有限的场景。但在许多情况下,迁移后的模型仍需额外数据和训练步骤,才能在新领域达到理想表现。

(参见:微调)


Validation loss(验证损失)

验证损失是衡量模型在训练过程中对未参与训练的数据集表现的指标,数值越低通常意味着模型泛化能力越好。

研究人员会持续监测验证损失,以决定是否调整超参数、是否存在过拟合等问题。过拟合指模型过度记忆训练数据,而无法很好适应新数据。验证损失的变化趋势为判断这一问题提供了量化依据。


Weights(权重)

权重是神经网络中的核心参数,用于表示输入特征在模型决策中的相对重要性。训练过程本质上是不断调整权重,使模型输出更接近目标结果。

以房价预测模型为例,卧室数量、浴室数量、是否独立屋、是否配备停车位或车库等特征都对应各自的权重。训练结束后,这些权重反映了在给定数据集下,不同特征对房价的影响程度。


本文所涉术语及其应用场景将随技术发展持续演变,相关表述亦可能在未来更新。


分享:


发表评论

登录后才可评论。 去登录