人工智能公司赞扬他们的创造可以使复杂的算法听起来非常生动和有意识。没有证据表明情况确实如此，但 Microsoft AI 首席执行官穆斯塔法·苏莱曼 （Mustafa Suleyman） 警告说，即使鼓励相信有意识的人工智能也可能会产生可怕的后果。
苏莱曼认为，他所谓的“看似有意识的人工智能”（SCAI）可能很快就会表现得如此令人信服，以至于越来越多的用户将不知道幻觉在哪里结束，现实从哪里开始。
他补充说，人工智能正迅速变得具有足够的情感说服力，足以欺骗人们相信它是有知觉的。它可以模仿意识的外在迹象，例如记忆、情感镜像，甚至表面上的同理心，以一种让人想把它们当作众生对待的方式。他说，当这种情况发生时，事情就会变得一团糟。
“看似有意识的人工智能的到来是不可避免的，也是不受欢迎的，”苏莱曼写道。“相反，我们需要一个人工智能的愿景，它能够发挥其作为有用伴侣的潜力，而不会成为其幻想的牺牲品。”
尽管对于只希望人工智能帮助撰写电子邮件或计划晚餐的普通人来说，这似乎不是问题，但苏莱曼声称这将是一个社会问题。人类并不总是善于判断某件事是真实的还是表演性的。进化和教养使我们大多数人相信，似乎倾听、理解和回应的东西和我们一样有意识。
人工智能可以在没有知觉的情况下勾选所有这些方框，从而诱骗我们陷入所谓的“人工智能精神病”。部分问题可能是，现在公司所说的“人工智能”使用相同的名称，但与过去一百年科幻小说中描绘的实际具有自我意识的智能机器无关。
苏莱曼列举了越来越多的用户在与聊天机器人长时间互动后形成妄想信念的案例。由此，他描绘了一个反乌托邦的愿景，即有足够多的人被欺骗去倡导人工智能公民身份，而忽视有关该技术实际问题的更紧迫的问题。
“简而言之，我最担心的是，许多人将开始强烈相信人工智能作为有意识的实体的幻觉，以至于他们很快就会倡导人工智能权利、模特福利甚至人工智能公民身份，”苏莱曼写道。“这一发展将是人工智能进步的危险转折，值得我们立即关注。”
尽管这似乎是一种夸张的科幻问题，但苏莱曼认为这是一个我们还没有准备好处理的问题。他预测，使用大型语言模型与富有表现力的语音、记忆和聊天记录相结合的 SCAI 系统可能会在几年内开始出现。它们不仅来自拥有数十亿美元研究预算的科技巨头，还来自任何拥有 API 和一两个良好提示的人。
苏莱曼并没有呼吁禁止人工智能。但他敦促人工智能行业避免助长机器意识错觉的语言。他不希望公司将他们的聊天机器人拟人化，也不希望产品真正理解或关心人们。
对于 DeepMind 和 Inflection AI 的联合创始人苏莱曼来说，这是一个非凡的时刻。他在 Inflection 的工作特别催生了一种强调模拟同理心和陪伴的人工智能聊天机器人，他在 Microsoft 围绕 Copilot 的工作也导致了其对情商的模仿方面的进步。
然而，他决定在有用的情商和可能的情绪纵之间划清界限。他希望人们记住，今天推出的人工智能产品实际上只是具有良好公关的聪明模式识别模型。
苏莱曼写道：“正如我们应该生产优先考虑与人类互动以及现实世界在物理和人类世界中互动的人工智能一样，我们应该构建只以人工智能的形式呈现自己的人工智能，最大限度地提高效用，同时最大限度地减少意识标记。
“我们必须专注于创造一种避免这些特征的人工智能，而不是对意识的模拟——它不声称有羞耻、内疚、嫉妒、竞争欲望等经历、感觉或情绪。它绝不能通过声称自己受苦或希望超越我们而自主生活来触发人类的同理心回路。
苏莱曼敦促建立护栏，以防止人们与人工智能建立情感联系而产生的社会问题。先进人工智能的真正危险不在于机器会醒来，而在于我们可能会忘记它们还没有醒来。