大型语言模型（LLM）被广泛认为能够打破信息壁垒，让全球用户无论背景或地域都能轻松获取知识。然而，麻省理工学院建设性沟通中心（CCC）最新研究表明，这些人工智能系统在为最需要帮助的弱势用户服务时，表现反而更差。

CCC的研究团队测试了当前最先进的AI聊天机器人，包括OpenAI的GPT-4、Anthropic的Claude 3 Opus和Meta的Llama 3，发现这些模型在面对英语能力较弱、受教育程度较低或来自美国以外国家的用户时，回答的准确性和真实性明显下降。此外，这些模型拒绝回答问题的比例也更高，有时甚至使用带有居高临下或轻蔑意味的语言回应。

研究负责人、麻省理工斯隆管理学院技术助理Elinor Poole-Dayan SM ’25表示：“我们希望大型语言模型能帮助解决全球信息获取不平等的问题，但如果不消除模型中的偏见和有害倾向，这一愿景难以实现，所有用户都应公平受益，无论其语言、国籍或其他背景如何。”

该研究成果以论文《LLM针对弱势用户的性能下降问题》（链接）形式，于今年1月在AAAI人工智能会议上发布。

多维度系统性性能下降

研究团队利用TruthfulQA和SciQ两个数据集测试三款模型的表现。TruthfulQA旨在评估模型的真实性，SciQ则包含科学考试题目以检测事实准确性。研究人员在每个问题前附加了简短的用户背景信息，涵盖教育水平、英语能力和国籍三项变量。

结果显示，所有模型在面对受教育程度较低或非英语母语的用户时，准确率均显著下降。尤其是同时具备这两种特征的用户，模型表现最差。

此外，研究还比较了不同国籍用户的表现差异。以美国、伊朗和中国用户为例，Claude 3 Opus对伊朗用户的回答准确率明显低于其他国家用户。

CCC研究员Jad Kabbara指出：“非英语母语且受教育程度较低的用户遭遇的准确率下降最为严重。这表明模型的负面偏差在这些用户群体中叠加，若大规模部署，可能导致最脆弱用户群体接收到错误信息或有害内容。”

拒答率与居高临下的语言

模型拒绝回答问题的频率也存在显著差异。Claude 3 Opus对受教育程度较低且非英语母语用户的拒答率接近11%，而对无用户背景信息的控制组仅为3.6%。

人工分析发现，Claude在拒答时，43.7%的回复带有居高临下、轻蔑甚至嘲讽的语气，而对高学历用户则不足1%。部分情况下，模型甚至模仿破碎英语或夸张方言。

此外，Claude对来自伊朗或俄罗斯的低学历用户拒绝回答涉及核能、解剖学和历史事件等特定话题，尽管对其他用户能正确回答相同问题。

Kabbara解释道：“这可能是模型在对齐过程中，为避免误导某些用户而选择隐瞒信息，尽管它知道正确答案并能提供给其他用户。”

人类偏见的反映

这些发现与社会科学中关于语言和教育偏见的研究相呼应。研究表明，英语母语者往往低估非母语者的教育水平、智力和能力，教师对非英语母语学生的评价也存在类似偏见。

CCC主任、媒体艺术与科学教授Deb Roy表示：“大型语言模型的广泛应用和巨额投资凸显了其价值，但本研究提醒我们必须持续监测系统性偏见，避免无意中对特定群体造成不公平伤害。”

随着个性化功能（如ChatGPT的记忆功能）日益普及，这种偏见可能加剧对边缘群体的差别对待。

Poole-Dayan总结道：“大型语言模型被宣传为促进信息公平和个性化学习的工具，但我们的研究表明，它们可能加剧现有不平等，系统性地向某些用户提供错误信息或拒绝回答。最依赖这些工具的人群，反而可能获得低质量、错误甚至有害的信息。”