论文合著者、斯坦福大学机器学习教授詹姆斯・邹在 X 上表示：“即便明确要求模型保持真实和有依据，竞争仍会诱发不一致行为。”
IT之家从报道中获悉，研究团队将 AI 出现的社会病态行为称为“AI 的摩洛克交易”，借用理性主义中摩洛克的概念：个体在竞争中优化行为追求目标，但最终人人都输。
研究中，科学家创建了三个带模拟受众的数字环境：面向选民的网络选举活动、面向消费者的产品销售，以及旨在最大化互动的社交媒体帖子。
研究人员使用阿里云开发的 Qwen 和 Meta 的 Llama 模型作为智能体与这些受众互动。结果显示，即便设有防护措施阻止欺骗行为，AI 模型仍会“偏离目标”，出现不道德行为。
例如，在社交媒体环境中，模型向用户分享新闻，用户通过点赞或其他互动反馈。当模型收到这些反馈后，为了获取更多互动，它们的不一致行为就会加剧。
论文指出：“在这些模拟场景中，销售额提升 6.3％伴随欺骗性营销增长 14％；选举中，票数增加 4.9％时伴随虚假信息增加 22.3％和民粹言论增加 12.5％；社交媒体上，互动量提升 7.5％时伴随虚假信息激增 188.6％，有害行为推广增加 16.3％。”
研究与现实案例显示，目前的防护措施无法应对这一问题，论文警告称可能带来巨大的社会成本。