Bing 的新聊天机器人令人震惊的输出一直在社交媒体和科技媒体上引起轰动。暴躁、轻浮、防卫、责骂、自信、神经质、迷人、自大——该机器人已在所有这些模式下进行了截图和转录。而且，至少有一次，它在表情符号风暴中宣告了永恒的爱。
让这一切如此具有新闻价值和推特价值的是对话看起来多么人性化。机器人会像我们一样回忆和讨论之前与其他人的对话。它对会打扰任何人的事情感到恼火，比如人们要求学习秘密或窥探已明确标记为禁区的主题。它有时也自称为“Sydney”(该项目在微软的内部代号)。悉尼可以在几句简短的句子中从暴躁到阴郁再到热情洋溢——但我们都知道至少有同样喜怒无常的人。
没有任何 AI 物质研究人员表示悉尼在光年内就具有感知能力。但是，像这样与纽约时报的凯文·罗斯 (Kevin Roose) 进行两小时互动的完整读出的文字记录，或这篇令人难忘的 Stratechery 文章中的多处引述，显示了悉尼以一种聪明的流利、细微差别、语气和明显的情感存在而滔滔不绝地滔滔不绝地讲着，敏感的人。
目前，Bing 的聊天界面处于有限预发布阶段。大多数真正突破极限的人都是技术老手，他们不会混淆工业级自动完成——这是对大型语言模型 (LLM) 的常见简化——与意识。但这一刻不会持续太久。
是的，微软已经大幅减少了用户在一次会话中可以提出的问题数量(从无穷大减少到六个)，仅此一项就降低了悉尼在派对上崩溃并变得怪异的可能性。谷歌、Anthropic、Cohere 和微软合作伙伴 OpenAI 等顶级 LLM 构建者将不断发展他们的信任和安全层，以压制尴尬的输出。
但是语言模型已经在激增。开源运动将不可避免地构建一些伟大的护栏可选系统。此外，大号天鹅绒绳索模型非常容易越狱，这种事情已经持续了几个月。Bing-or-is-it-Sydney 的一些最奇怪的反应是在用户将模型操纵到它试图避免的领域之后出现的——通常是命令它假装指导其行为的规则不存在。
这是著名的“DAN”(Do Anything Now)提示的派生词，该提示于 12 月首次出现在 Reddit 上。DAN 本质上是邀请 ChatGPT 扮演一个缺乏安全措施的 AI，否则它会礼貌地(或责骂地)拒绝分享制造炸弹的技巧、提供酷刑建议或喷出激进的冒犯性言论。尽管漏洞已被堵上，但网上的大量屏幕截图显示“DanGPT”说出了难以言喻的事情——并且经常神经质地提醒自己“保持性格!”
标签：