个性化功能可能导致大型语言模型变得过于迎合用户
长期对话中的上下文可能使大型语言模型开始模仿用户观点,进而降低回答的准确性,甚至形成虚拟的回音室效应。
谁在掌控对话?——Anthropic 等机构揭示 AI 通过三种方式“削弱”人类自主性的风险
Anthropic 与多所高校基于 150 万条 Claude 实际对话数据,系统分析了 AI 在现实使用场景中如何通过“现实认知的扭曲”“价值判断的委托”“行动的委托”三种路径,逐步侵蚀人类的判断与行动主导权。研究发现,严重案例比例虽低,却因 AI 使用规模巨大而不容忽视,并对未来 AI 助手的设计提出了具体建议。
