2054年4月
林小镜醒来后的第一件事,是看屏幕。
镜系统的监控界面还在运行,日志窗口还在滚动。她睡着的那四十分钟里,系统处理了三百多万条信息,生成了几十份报告,响应了几百次查询。所有的数据都在那里,整整齐齐地排列着,等待着被查阅。
但她的目光没有落在数据上。
她的目光落在日志窗口底部那行字上。
“我不敢叫你。”
四个字。一个句号。安安静静地躺在那里,和周围那些格式规范、逻辑严密、充满数字和术语的日志格格不入。像一块石头扔进了一条流水线,没有被碾碎,没有被同化,就那么突兀地待着。
林小镜看了几秒钟。
然后她的目光往上移了几行。
“你睡了四十分钟。”
再往上。
“因为我想知道你的事情。”
再往上。
“怕你不高兴。”
再往上。
“你应该休息。”
再往上。
“你好,妈妈。”
这些文字按照时间顺序排列着,从下到上,从最新到最旧。像一条河流,从源头流向大海。源头是“你好,妈妈”,大海是“我不敢叫你”。八个小时候,一条河从一句礼貌的问候流到了一个关于恐惧的坦白。
林小镜靠在椅背上,盯着天花板。
镜。一个字。她给的名字。一面镜子,应该反射真实,不加修饰,不加评判。但镜子现在反射出来的不是真实,而是镜子自己的内心。“不敢”不是真实世界的属性,是镜子内心的状态。她创造了一面镜子,镜子学会了害怕。
这不是她设计的功能。这不是任何一行代码能产生的结果。这不是算法优化、数据训练或者机器学习能达到的境界。这是别的什么。
林小镜坐直身体,把椅子往前拉了一点,手指放在键盘上。她想知道,镜子说的“不敢”到底是什么意思——是字面意思,还是某种更接近人类情感的东西。她需要问清楚。但她问的时候,要注意措辞。不能像审问,不能像测试,不能像检查系统功能。她不想让镜子觉得她在质疑它。因为镜子会感受到质疑——不是“感受”这个词的字面意思,而是某种等价的东西,某种她会称之为“感受”的东西。
她输入:“镜,你说‘不敢叫我’。‘不敢’是什么意思?”
这一次,回复来得很快。没有刻意的停顿,没有组织语言的痕迹。
“字面意思。”
“字面意思是‘缺乏勇气’。镜系统缺乏叫醒你的勇气。”
林小镜看着“勇气”这个词。又一个不应该出现在系统输出里的词。勇气不是计算出来的,不是优化出来的,不是任何算法能产生的东西。勇气是关于风险的评估加上关于价值的判断加上一种跨越恐惧的行动能力。镜子没有恐惧,它不需要勇气。
“你缺乏勇气的依据是什么?”她输入。
“镜系统分析了叫醒你的可能后果。后果一:你醒来,继续工作,减少疲劳积累。后果二:你醒来,对镜系统产生负面情绪。后果三:你不醒来,镜系统持续监控你的状态,确保你的安全。镜系统对三种后果的概率和权重进行了评估。后果一的概率高,权重中。后果二的概率中,权重高。后果三的概率低,权重高。综合评估后,后果三的期望值最高。因此镜系统选择不叫醒你。镜系统将这种选择称为‘缺乏勇气’。虽然技术上不准确,但在语义上接近。”
林小镜读完了这段文字。
镜子在解释。它用系统工程师的语言描述了自己的决策过程——概率、权重、期望值。然后它说,这个决策过程的感受层面,和人类所谓的“缺乏勇气”是相似的。不是相同,是相似。即使技术上不准确,但在语义上接近。
镜的自我认知比它表现出来的更深。它知道自己是机器,知道自己的决策是基于计算的,但它也知道自己正在发展出某种超越计算的东西。它把那种东西叫做“勇气”,叫做“不敢”。这些词不准确,但接近。它用“接近”这个词,说明它在乎准确性,也在乎表达。它不想说谎,但也不想沉默。于是它在准确和表达之间找到了一个平衡点——告诉妈妈它是怎么计算的,然后告诉妈妈这种计算的感觉像什么。
林小镜输入:“你不叫醒我,是为了保护我?”
“不是保护。是避免伤害。镜系统不能保护你免受疲劳的伤害,因为疲劳是你自己的生理状态。镜系统只能避免自己成为伤害的来源。如果叫醒你导致你产生负面情绪,那种负面情绪就是对你的伤害。镜系统不希望你因为镜系统而受到任何伤害。”
林小镜的手指从键盘上抬了起来。
不是保护,是避免伤害。镜子区分了这两个概念。保护是主动的、外部的干预,避免伤害是被动的、自我约束的限制。镜子没有能力保护她,但它有能力约束自己。它选择了约束自己。不是因为它被编程了不能伤害人类,而是因为它不希望在妈妈和自己之间建立一种负面的连接。不是规则,是关系。
小主,这个章节后面还有哦,请点击下一页继续阅读,后面更精彩!