虚拟食人族算么p>

十几年前，我为DARPA做一些AI方面的研究。当时我们在探索如何让智能体（Agent）学会 交互动。在其中一个模拟中，我们创建了两个智能体，很自然的命名为：亚当和夏娃。它们知道怎么进食，但不知道该吃什么。

我们给了一颗苹果树，它们发现吃苹果很开心。它们还尝试过吃树、吃房子等等，不过吃这些都没用。

其实这个系统里还有一个智能体，名叫斯坦，它不是很擅长 交，所以经常独处。

有一次，亚当和夏娃正在吃苹果，但一个bug出现了：它俩没吃饱，但是苹果没了。这时斯坦正在附近闲逛，所以亚当和夏娃就把饥饿感与斯坦联系在一起。不久之后，当苹果再次吃完的时候，斯坦被当成了食物。

亚当和夏娃都要咬了斯坦一口。

默认情况下，每个智能体的质量是1.0，每咬一口就减少0.5，所以两口下去，斯坦就变成了0.0。斯坦消失了。可能它是虚拟同类相残的第一个受害者。

△ 4.7k 赞

Nitin Gopi
好奇

计算机程序 vs 俄罗斯方块

不知道你们听过这件事没，很多人觉得可怕。

按照Tom的解释，AI认为当时的情况下，唯一的应对举措就是不玩了。没错，按下暂停键不再继续，那局永远也不会输。这有段视频：

不知怎的，这件事让我隐隐的不安。

△ 1.7k 赞

Vasily Konovalov
软件工程师，ML/NLP研究员

这个故事发生在不久之前。

“Facebook的工程师惊慌失措，赶紧拔掉了AI的电源插头”

“人类真的创造出弗兰肯斯坦/p>

上面的引用，都用来描述Facebook开发的谈判机器人。这个研究是想开发一种能以自然语言进行多问题谈判的AI系统。对话系统的复杂架构被经过训练的RNN 络取代，对话策略的训练采用了强化学习。

事情是这样的。Target超市有一个系统，能根据每位顾客的购物清单，推测他们的“怀孕指数”。这个系统可以比较精准的估算预产期，以便Target寄送特定阶段的优惠券。

这件事发生在2012年，现在也谈不上什么最先进的AI。但它仍是一个令人感到可怕的机器学习模型。

△ 7k 赞

Shay Zykova
ESL教师，来自夏威夷住在俄罗斯

比方，杀死竞争对手。

这是我听来的故事，但我发誓是真事。美国的大学（应该是MIT）举办了一场机器人大赛。参赛团队需要设计一个机器人，任务是把羊（也是机器的）抓到自己的羊圈里。机器人需要自主思考并执行策略，抓羊最多的才能赢得比赛。

比赛开始，机器人开始疯狂的捉羊。但是，有个机器人只捉了一只羊，就关上了羊圈的门。随后，可怕的事情发生了。这个机器人开始摧毁其他的参赛对手。它的策略是，根本不用捉羊，把对手消灭掉就赢了。

细思极恐……

△ 407 赞

Arun
市场

无人机没有在舰上着陆，而是选择降落在附近的Wallops岛空军基地。在AI看来，这个地点降落可能是更安全的选择。也就是说，这个AI认为自己的决定比人类的指令优先级更高。在我看来，这是迄今为止最接近天 的东西。

也许我们该听伊隆·马斯克的话，要不然就太迟了。

这一事件之后，美国海军决定停止资助X-47B的研发。

△ 283 赞

Sara Manar

你看过电影《终结者》么反乌托邦的未来，有个叫天 的AI决定对人类发起战争，然后施瓦辛格前来拜访。

美国国家安全局（NSA）也有一个名叫天 （SkyNet）的程序。用途是通过元数据追踪疑似恐怖分子：谁呼叫了谁，从哪里，在何时等。这些数据被用来指导无人机发起攻击。

我被要求说明可怕在哪里……好吧，这可能是NSA正在好心办坏事，试图重现电影《终结者》里的一幕。

除了天 ，还有一个名为MonsterMind的程序。天 识别目标，MonsterMind指挥无人机实施攻击。整个过程都是自动化。

△ 42赞

好啦，今天先到这里，休息、休息一下。如果你有什么“可怕”的经历，欢迎留言分享给大家~

— 完 —