核心问题
人工智能能否行动、负责或拥有道德地位?
表现得像理解是否就是理解?当许多人和系统共同造成后果时,责任应怎样分配?
人工智能哲学连接心灵、知识与技术伦理:系统是否理解、谁对自动化伤害负责,以及能力、意识和道德地位之间是什么关系。
人工智能能否行动、负责或拥有道德地位?|内容
本页范围这一页要分开三层:机器有没有心灵(这是心灵哲学的问题)、我们对机器本身是否负有义务(道德地位)、以及系统出了问题时由谁负责(部署与问责)。它不给任何现有系统下「有意识」或「无意识」的诊断,也不拿治理措施冒充关于机器心灵的证明——这两件事的证据标准根本不同。
问题为何会出现
一家医院用一套预测系统给门诊病人排高风险等级,等级决定谁进入随访计划。系统由外部公司开发,训练数据来自另一个地区。运行一年后统计发现:有一类病人被持续低估,其中一部分人错过了随访,病情加重。系统只输出一个分数,不给理由;医生有权改判,一年来改判率不到百分之一。
出事之后,人们通常先说一句「这是算法的问题」。可这句话把好几件事一起打包了:这套系统本身理不理解它在做什么、我们对它有没有什么义务、以及这一年里那些错过随访的人该向谁讨一个说法。三件事的答案不必一致,用来回答它们的证据也完全不同——一旦合成「算法的问题」这一句,最后谁都不必回答。
先看第一件事:机器能不能思考。图灵没有先给「思维」下一个终极定义,而是用模仿游戏替换掉这个问题——让机器在只有文字往来的条件下与人对答,看它能不能完成某种可观察的表现。这个转向的用处是给出了可评价的线索,因为原来那个问题连从哪里开始答都说不清。但它不自动规定智能、理解或意识的充分条件:通过测试究竟说明了什么,本身就是后面要争的。[AI-1][AI-3]
责任的不同意义:展开概念说明
责任的三种意义attributability / answerability / accountability说一个人「要负责」,至少可以是在说三件不同的事:这件事出自她(可归属性)、她可以被要求讲出理由(可要求说明)、她可以被追究并承担后果(可追究性)。不是因果上的原因制度职责修复责任展开读自由、责任与道德运气先把问题拆开
模型出错之后,会议室里通常会出现一句话:「算法就是这样,谁也说不准。」这句话把三个完全不同的问题一口气答掉了——这套系统到底能不能完成任务;它是不是真的在理解、有没有什么体验;以及出了事该由谁来交代。第一问看性能数字就行;第二问的证据完全在别处,性能再高也答不了它;第三问更彻底,它根本不取决于这套系统有多能干,而取决于我们把问责安排成什么样。三问混作一谈的直接后果,就是那句「谁也说不准」听起来像个技术结论,其实是一次卸责。所以这一块先把几个词分派清楚:哪个词管能力,哪个词管理解,哪个词管交代。
功能主义functionalism
使某个东西成为某一种心理状态的,不是它由什么材料做成,而是这个状态在因果网络里占的位置——什么引起它,它又引起哪些别的心理状态和哪些行为。位置对上了就算同一种状态,所以同一种状态可以由不同材料实现。
把位置而不是材料当判准,主要动因是多重实现:只有这样,才可能有一种「更具包容性、不以自己这个物种为中心」而又与物理主义相容的心灵理论——章鱼、外星生物乃至机器,材料不同也可以处在同一种心理状态。它面对的经典反对是缺失感受质:感受质指体验本身的那种质地,疼是什么滋味、看到红是什么样子。这条反对说,似乎可能存在一种与常人功能完全一样、内部却没有任何这类质地的存在者;如果这真有可能,那么把因果位置说清,就还没有把心理状态说尽。
在本页它在本页分派的是举证责任。按它的说法,一个心理状态就是「在整个系统里起某种作用」的那个状态,至于由什么材料实现,不影响它是不是那个状态。接受这一点,麻烦就转到反对者那边去了:如果一套系统在功能上样样对得上,你还要否认它有这个状态,那就得说出你额外要求的究竟是什么,以及凭什么这样要求。
不要和这些混为一谈
- 类型同一论两者出发点相同——都把心理状态当作自然界里的东西,分歧在定在哪一层:类型同一论把某类心理状态直接等同于某类物理状态(例如疼就是某种神经活动),因此只要另一种材料也实现了同一状态,它就被推翻。功能主义正是从这一步走开的。
- 个例同一论这一条容易被漏掉,漏掉就会以为「同一论、功能主义、还原论」排成一条由强到弱的直线。功能主义与类型同一论冲突——准确说,是与那种不作物种相对化的类型同一论冲突(把疼整类地、对一切存在者等同于某一类神经活动,正是多重实现要挡的);若把类型相对到物种或结构,同一论仍可与功能主义并存。它与个例同一论则不冲突——否认「某一类心理状态整体对应某一类脑状态」,不等于否认「这一次的这个疼就是这一段具体的物理过程」。所以接受功能主义的人,仍然可以在个例这一层上是同一论者。
- 行为主义两者都不从内省出发,容易被看成一路。差别在于功能角色还包括这个状态与其他内部状态的关系,不只是刺激与反应的配对,所以它没有像行为主义那样把内部状态排除在解释之外。
- 「能通过测试就有心灵」功能等价说的是内部因果组织相同,不是外部表现看起来像。读成后者,就会把「它答得像人」当成结论,直接跳过缺失感受质那条反对。
- 社会学的结构功能主义中文里最容易撞上的一个同名词。中文工具书查「功能主义」,给出的多半是孔德、涂尔干、帕森斯那一路关于社会制度各自承担什么功能的理论,与心灵哲学这一条没有关系。这里说的功能,指的是一个状态在因果链条里占的位置。
也在这些条目里被讨论心灵、身体与「我」
责任的三种意义attributability / answerability / accountability
说一个人「要负责」,至少可以是在说三件不同的事:这件事出自她(可归属性)、她可以被要求讲出理由(可要求说明)、她可以被追究并承担后果(可追究性)。
分开它们,是为了让争论不至于各说各话:同一个人完全可能在「这事确实出自她」的意义上要负责,而在「该不该罚她」的意义上不必负责。这一分法起于沃尔夫与沃森之争,争的首先是三者里的第一个:一件事凭什么算「出自她」。一种回答是:条件在于她不只按当下最强的那个欲望行动,而是按她自己认可的那些欲望行动——她既能依自己的意志支配行为,又能依自己的评价系统支配意志。文献里把一个人认可的那一套叫作她的「真我」,这种回答因此叫作「真我」理论。要当心的是这三个名称在不同作者笔下并不指同一件事:肖梅克把可归属性对应品格、可追究性对应对他人的顾念、可要求说明对应评价判断;史密斯与希罗尼米用「可要求说明」指更接近可归属性的立场;佩雷布姆用它指一种更容纳责任怀疑论的责任。本站统一采用这三个中文译名,遇到具体作者时再说明他自己的用法。
在本页本页第三条路线全靠这个三分才能落地:一个自动化系统或许连可归属性都谈不上,但采购方与监管者的可要求说明和可追究性完全成立。所谓「责任鸿沟」多数时候是三种意义被混成一个问题的结果,而不是三种意义同时消失。
不要和这些混为一谈
- 因果上的原因中文「是他造成的」和「该他负责」几乎连着说,所以最容易并成一句。造成了某个结果与可以被追究不是一回事;把两者对齐,「谁碰到的谁负责」就会冒充论证。
- 制度职责岗位与角色规定的义务,不必先解决「这件事出自谁」。追问「谁本该做这件事」与追问「这件事出自谁」是两个问题:值班的人没做,未必是他动的手;他动了手,也未必归他管。
- 修复责任一个人即使不配受谴责,也可能因为角色、能力或关系而应当出面补救。把修复挂在谴责底下,只要断定「不怪他」,大量本该做的事就会一起消失。
也在这些条目里被讨论自由、责任与道德运气因果、自由与责任法律、守法义务与公民不服从
技术决定论technological determinism
把技术看成一股自己往前走的力量:它按自己的路线发展,谁也拦不住、退不回去,社会怎么变因此主要由技术决定。
二十世纪的技术伦理大多是在放下这个假设之后才展开的:它转而强调技术走成今天这样是人一步步选出来的结果,尽管未必是任何人当初想要的结果。因此要解释一项技术带来了什么,就得把设计、劳动、资本、制度和使用习惯一并算进去,而不是说一句「技术发展到这一步了」就完事。
在本页这一页最容易滑进去的错误:把结果归给「算法」或「技术发展的必然趋势」,于是没有人需要改动任何东西。指出趋势不是自主力量,正是把可问责的人重新显出来的那一步。
不要和这些混为一谈
- 决定论(因果决定论)共用「决定论」三个字,问的事情大小差得远:那边问世界上全部事件是否都被过去与规律固定,这边只问社会变化的主导原因是什么。承认其中一个,不会自动承认另一个。
- 技术工具论它主张技术本身只是工具,好坏全看谁在用、用来做什么。它与技术决定论方向正好相反:一个说技术自己推着社会走,一个说技术本身什么也不决定。先讲「技术改变了一切」、再讲「技术只是工具,看人怎么用」,等于在两个不能并存的说法之间来回站队。二十世纪的技术哲学对这两个说法都提出过批评。
- 「技术无关紧要」反对技术决定论的人常被听成这个意思,其实差得远。否认技术自行决定历史,不等于认为技术没有改变什么:它照样重塑人能做到什么、注意力落在哪里、风险由谁承担、权力怎么分配。被否认的只有「这些变化由技术自己定」这一句。
也在这些条目里被讨论历史、文化与技术怎样塑造共同生活?
人格(共同体中的道德地位)moral personhood
一批非洲伦理学论述在「是不是生物学意义上的人类」之外另问一句:这个人在共同体里算不算一个「人」。这问的是一种道德地位——而它是生来就有,还是要一步步挣得,正是争论所在。
最常被引用的是门基蒂(Ifeanyi Menkiti)的表述:传统非洲的各个社会通常认为人格要靠获得。一个人越切实地履行自己位置上的那些义务、越深地参与共同生活,获得的人格就越多;起点是幼年那种还没有道德功能的「它」,终点是具备成熟伦理感的「人」。这是其中一家的主张,不是整个传统的共识:把人格说成有程度的成就,会被追问它是不是削弱了每个人不可取消的地位、能不能与个人权利和批判的余地相容。《人格、共同体与 Ubuntu》一页记录了反对这种渐进说法的立场。
在本页拿它来做对照,不做类比:若人格是在共同生活中逐步取得的道德地位,那么「机器能不能算人」就要问它能不能进入义务与承认的关系,而不是问它的内部结构像不像人。这一问的答案可能与能力标准给出的答案完全相反——但两种框架各自要求的证据也不同,不能互相替代。
不要和这些混为一谈
- 人格同一性中文都叫「人格」,问的是两回事。那边问同一个人跨过时间的持续条件,答案对「谁算共同体的完整成员」不起作用;反过来,一个人在道德上取得了什么地位,也定不了他失忆之后还是不是原来那个人。
- 「集体高于个人」的标签说人格在关系中达成,不等于说共同体可以取消个人,也不等于任何一种现成的西方共同体主义。贴上这个标签,等于跳过了「达成」到底要求什么这个真正的争点。
- Ubuntu 作为口号Ubuntu 是南部非洲语言里的一个词,常被转述成「人因他人而成为人」。把这句话当成已经成立的结论来引用,就会跳过它究竟主张什么、由谁主张、遭到哪些反对——而这几问正是这一条要处理的。
也在这些条目里被讨论人格、共同体与 Ubuntu什么算作非洲哲学?关系、照护与依赖
- 语法与语义
- 一组要分开的东西。语法这里指的是符号的形状和摆弄符号的规则——看到这一串就换成那一串,全程不必知道它们说的是什么。语义指的是符号与它所谈的东西之间的那层关系,也就是「懂得它在说什么」。可以按规则把符号摆对而完全不懂含义,这是中文房间论证要立的核心区分:一个只会查表换字的人,交出的答卷可以挑不出毛病,他却连自己写了什么都不知道。本页要检验的正是——把这个区分套到医疗模型上时,它到底证明了什么。
- 道德能动性与道德地位
- 两个方向相反的问题,本页反复要用到它们的不对称。道德能动性问能不能被要求负责,通常要求理解、可预见后果并能回应他人的要求;道德地位问是否值得被直接关切。婴儿与动物有地位而不承担责任;反过来的情形——能担责却不值得关切——很难设想。把「它还不配被关切」当成「它不必被问责」的理由,就是把这两问接错了。
- 责任鸿沟
- 自主系统造成伤害时,看起来既不是人负责也不是机器负责:许多人各控制一段,传统的意图与控制条件难以定位单一责任人。这个说法在自主武器的杀伤案例上被提得最尖锐,但同样出现在自动驾驶、风险评分这类由许多环节共同决定结果的场合。它是一个待处理的问题,不是一个结论——读到它时要问的是这个缺口能不能被填上,而不是把它当作免责的依据。
定义与边界
先把中文房间论证针对的东西说准。它针对的是这样一个主张——只要运行适当的程序,就有理解(这个主张被称为强人工智能)。论证要问的是:按语法操纵符号、表现得像懂中文,和真正理解之间,是不是还隔着一道缺口。也要看住它的范围:它不等于证明任何机器都不能思考,也不等于「只要会对话就已经有意识」。[AI-2]
再分开两个角色。综述里说的「道德患者」(moral patient)指承受道德对待的一方——我们对它本身负有直接的义务;道德行动者则是能承担义务的一方,要满足更强的条件:知道自己在做什么、对行为有控制、能按理由行动。这两问为什么不对称,上面的概念卡已经写出。这里还要再加一层:法律人格、因果上的影响力与道德责任,同样要分开。那套系统在因果上确实左右了谁进随访计划,可这不等于它就是可被责备的那一方;至于法律要不要给某个实体人格地位,那另有自己的考虑(诉讼由谁应诉、赔偿从哪里出、合同由谁签),与它有没有心灵不是一回事。[AI-4]
主要立场
功能与行为标准
这条路线主张,一个系统有没有某种心智能力,只由它做得到什么来判定;至于它内部是怎么实现的,不构成额外的条件。支持这一点的是一条对称性要求:我们对别人从不查看内部实现,若对机器要求查看,就得说明这两种情形为什么不一样。这条标准还有一个实际的好处——它可操作:把要考的能力设计成题目,答得出就算数,争论因此有办法收束。
核对来源 [AI-1][AI-3][AI-4]论证路径
- 第一步给前提,而且这个前提每个人每天都在用:判断另一个人懂不懂,我们靠的是他接不接得住追问、认不认得出自己错在哪、能不能把学到的东西用到没见过的情形上。从来没有人是靠切开对方的脑子看材料才断定他懂的。
- 第二步是图灵把一个没法裁决的问题(「机器能思维吗」)换成一个能真的执行的判据:在不限话题的书面问答里,如果提问者没法可靠地分出哪边是机器,那就没有理由仅仅因为材料不同而否认。这一步真正的力量在于它把举证责任翻了过来:从此要出力的是反对者——他必须说清,除了表现之外他还额外要求什么,以及凭什么可以这样要求。
- 它依赖的一般原则是功能主义:心理状态由功能角色定义,因此可多重实现。但接受这条原则的人仍可以拒绝图灵测试——一个由巨大查表实现的系统与一个由内部模型实现的系统,功能组织并不相同,而对话表现可能一致。这正是这条路线最受攻击的地方。
- 从这条路线推不出机器有道德地位:它整条都在回答「它能不能做」,而地位问的是「它是否值得被关切」,两问的证据来源不同。上面「道德能动性与道德地位」那一条已经写明这种不对称。
反对意见外在表现可能由模式匹配产生,未必包含语义理解、体验或真正目标。
回应这条怀疑可以反过来用在我们自己身上:我们判断他人理解,用的同样只是他的表现;若表现原则上不足以支持理解的归属,这条标准会把所有人一起排除。而「模式匹配」若能稳定通过我们设计得出的一切检验,坚持它仍然不算理解,就需要说明缺的究竟是什么,且这个东西必须原则上可被检查。代价是这条回应把「理解」绑定在我们的检验能力上,因此一旦检验被针对性地通过(用大量文本覆盖考题),它就无法区分能力与拟合。
意识与具身标准
这一侧认为表现不够,而且认为缺的东西可以被指名:主观体验、身体与世界的实际接触、由系统自己生成而非被设定的目标,以及一个跨时间持续的自己。支撑它的判断是,按规则把符号换成符号,与明白这些符号说的是什么,看起来是两件事——前者可以做得毫无破绽,而后者完全不在场。据此它要求的不是更漂亮的表现,而是关于内部实现的证据。
核对来源 [AI-2][AI-4]论证路径
- 第一步给前提,靠的是一个可以自己代入的设想:把一个完全不懂中文的人关进房间,递进去中文纸条,他照着一本厚厚的规则手册查——见到这一串就抄那一串,再递出去。外面的中文使用者看到的答卷挑不出毛病,而房间里的人自始至终不知道自己写了什么。塞尔的中文房间要立的就是这一点:把符号摆对,摆不出「懂」。
- 第二步由此提出一个更强的条件:理解要求符号与它们所谈的那些东西之间有一层联系,而这层联系不是规则手册能提供的;它通常被追回到体验、在真实世界里的身体活动、以及要为后果负责这些地方。这一步最受攻击的位置有专门的名字,叫系统回应:房间里那个人不懂中文,推不出「那个人加上规则手册加上纸笔」这整套东西也不懂——就像一个神经元不懂中文,推不出整个大脑不懂。塞尔的反击是让这个人把整本手册背下来、整套流程都在脑子里跑,于是不再有别的东西可以充当理解者。这个反击本身成不成立,至今仍在争。
- 这条标准的困难是它把判据放在了外部观察不到的地方。若体验不能从行为上确认,用它划界就有两个方向的风险:把有体验者当作没有,以及把「像不像人」当成门槛。
- 它给出的实践建议因此是不对称的:在不确定时对可能有感受能力的系统采取谨慎,并不需要先证明它有感受。但同一条谨慎也适用于被这些系统影响的人——不能用它给系统争取地位,却把现在正在发生的伤害搁在一边。
反对意见我们也无法直接观察他人意识,严格标准可能演变成不可检验的排除。
回应这条标准不必要求直接观察,只要求相关的结构性证据:与体验有关的机制在生物那里可以逐项比对(痛觉通路、整合水平、受损后的行为改变),而在一个只由语言训练得来的系统那里,这些机制根本不在实现之中。据此这不是不可检验的排除,而是关于依据的要求。代价是这套依据以我们已知的唯一一类有意识系统为模板,因此对结构与生物完全不同的系统,它无法区分「没有体验」与「我们的模板不适用」。
社会技术系统取向
这一侧先把「机器算不算行动者」搁在一边,指出真出了事时要回答的是另一个问题:这次伤害该由谁来说明。它的主张是,一个自动系统从来不是孤立的行动者,它是一串人与机构的决定叠出来的结果,而每一项决定都有人作出、有记录、可以被追问。据此责任不是被摊薄,而是被安放在位置上——「这是算法造成的」这句话之所以好用,正是因为它让这些位置无人过问。
核对来源 [AI-4][AI-5]论证路径
- 第一步给前提,做法是把那句「算法造成的」拆开看:训练数据挑了哪些人、用什么指标算「高风险」、界面上把把握度显示成一个醒目的数字还是一段说明、采购时省掉了哪一道复核、临床现场给医生留了多少秒——每一样都由某个具体的人或部门决定,而没有谁控制着全部。已经发生的伤害,没有一件是「系统本身」独立做出来的。
- 第二步不是顺着推出「所以无人负责」,而是把责任的问法整个换掉:不问「谁造成了这个结果」(这一问在链条上确实找不到单一答案),改问「谁本来能预见到这一步,而且有权改动它」。换过之后责任仍然分得下去,依据是可以查证的角色与权限,不是谁心里怎么想。这一步同时解释了为什么「系统太复杂」不构成免责——复杂使「谁造成的」难答,却不使「谁有权改」难答。
- 系统的自主程度在这条路线上不是免责理由,而是一个加重监督义务的事实:自主程度越高,越需要事前设定问责结构、可追溯的记录,以及事后可执行的处置与恢复程序。
- 它要防的失败是把责任稀释成「人人有一点」。可操作的检验很直接:出事之后,有没有一个具体的人或部门必须作出改动,有没有可执行的赔偿与停用程序。若没有,这套分析只是把责任说清楚了而没有落地。
反对意见强调分布式责任可能让每个参与者都声称自己只负责很小一部分。
回应这条路线的要点不是把责任摊薄,而是把它安放在位置上:谁决定了默认设置、谁选择了训练数据、谁签署了采购、谁在临床上有权覆盖系统的建议——每一项都是一个可被指名并被要求说明的位置,而「我只是一环」这个辩解恰恰要靠不追问这些位置才成立。代价是这套定位依赖事后能够查看决定过程;当系统的行为由统计目标间接产生、无人作出可指名的决定时,它会留下一个真正的责任鸿沟,而不只是一个归因困难。
有力反对及回应
对中文房间的「系统回应」指出:房内的人不懂,不表示由人、规则、记忆和输入组成的那个整体不懂。塞尔对这一步有一个具体的再反驳,值得原样复述:原则上房内的人可以把整个系统内化——把全部指令和数据库都背下来,全部运算都在头脑里完成;这样他就可以走出房间,在户外四处走动,甚至用中文交谈,而此时系统与他已经重合,不再有一个「整体」能与他分开。可他仍然「无法把任何意义附着到那些形式符号上」。这个再反驳把担子推回给系统回应:要么指出内化之后系统与人其实并未重合(例如运算的实现方式仍构成一个不同的层次),要么承认理解的承担者可以是一个人所实现的系统、而不是那个人本身——后一条路就是「虚拟心灵回应」。[AI-2]
「他心回应」走的是另一条路:我们判断别人懂不懂,靠的同样主要是行为表现;如果这对人来说足够,凭什么对机器就不够。塞尔一侧的回答是:这里把两个问题混在了一起——一个是认识论的,我们凭什么知道某个东西有心灵;另一个是本体论的,有心灵究竟是怎么一回事。在他看来,中文房间问的是后者,他心回应答的却是前者。分歧因此落在两处:理解的承担者究竟是谁,以及什么样的证据才算足够。[AI-2]
把当前的系统称作「行动者」,可以只取一个很薄的意思:它是一个做事的东西,会造成或调节后果。那套预测系统在这个意义上确实是行动者——它每天都在改变谁进随访计划。可这与「可被责备的道德行动者」不是一回事,后者还要求知道自己在做什么、能按理由行动。也正因为如此,「它是个行动者」这句话不能被拿来解释谁该负责:薄意义上的行动者身份本身不承担任何责任,责任仍然落在部署它的那些位置上——上面「社会技术系统取向」那张卡片已经把这些位置逐个点了名。[AI-4][AI-5]
哲学家怎样改写这个问题
这些人不是在为同一条现成结论各投一票,他们的名字也不等于某个立场的标签。每一则先回到他本来在处理的问题,再看它能怎样推进本页的讨论;「不能直接推出」那一行挡的是跨时代、跨传统的草率等同。
1950
1980
约翰·塞尔
〈心灵、脑与程序〉
他不否认机器能通过测试,而是把争点从「机器能不能通过」移到「通过测试与理解是不是同一件事」。中文房间这个设想要证明的正是二者可以分开,因此它不与图灵比拼表现,而是直接质疑那个判据。
对本页的推进它给案例提供了一条具体的追问:系统输出的「高风险」是它对某种临床状况的判断,还是一串与结果相关的特征在按规则被重排。两者对应的复核方式不同。
不能直接推出不能把中文房间当作已经结案的证明:它最受攻击的那一步(系统回应,见上面的论证路径)至今没有定论。另一处不能顺手推的是「机器不理解」到「机器不必被问责」——问责由本页第三条路线另行处理。
核对来源 [AI-2]2007
罗伯特·斯帕罗(Robert Sparrow)
〈杀手机器人〉(Killer Robots)
他就自主武器的杀伤案例提出一个结构性难题:当开火决定由系统内部作出时,操作者、指挥官与制造者都不满足传统的担责条件,而机器本身又不是可以被追究的对象。这不是一句抱怨,而是针对现有责任条件(意图与控制)构造出的一个反例,也是「责任鸿沟」这一提法最常被引用的场合之一。
对本页的推进它把本页的案例从「谁该被责怪」改成「现有的责任条件在哪一步失灵」:是没有人预见得到,还是预见得到的人无权改动。这两种失灵要补的东西完全不同。
不能直接推出存在缺口不等于无人可问责:「保持人在环内」或「有意义的人类控制」正是针对它的方案,而这些方案能否奏效要看现场是否真有时间、可解释的输出与推翻建议不受罚的条件。也不能反过来用它主张系统本身是责任主体。
核对来源 [AI-4][AI-5]案例推演
医疗系统给出错误建议后,谁负责?
医院采用预测系统分配高风险病人。模型因训练数据偏差而漏掉一类患者;临床医生认为系统有权威性,采购部门又没有设置有效复核。
- 对每一个角色填两栏:他当时能预见什么,他当时有权改变什么。开发者(能预见数据覆盖不足,有权改变采样与文档)、采购方(能预见缺少复核,有权设置验收条件)、临床人员(能预见个案不符,有权推翻建议但受时间与权威压力限制)、监管者(能预见此类失效模式,有权要求审计)。两栏都为空的角色不承担责任;两栏都非空的角色不能靠「系统复杂」免责。
- 「医生最终签字」是一个可以检验的主张:签字是否伴随实际可行的复核条件——时间、可解释的输出、推翻建议不会受罚。若这些条件不存在,签字只是把责任转移到最末端的人,而不是分配给能改动系统的人。
- 修复措施与它们各自解决的问题要对上:解释与告知解决知情,赔偿解决已发生的损害,停止使用解决继续发生的风险,重新训练解决模型缺陷,外部审计解决自查失效,改变资源分配规则解决它本来要解决的问题被误设为技术问题。全选不是答案,要说明先后。
- 三种归责各自用的是不同的原则:「系统该负责」用造成结果者担责,「医生负责」用最后决定权,「机构负责」用可预见性加改动能力。第三条最能落地——它指向一个具体可被要求改动的角色——但它没有捷径:不先把上面那张表填出来,它就退化成「体制问题」这句什么也不要求的话。
- 完整走一遍(示范走法,不是标准答案)。① 先定住问题:不问「这套系统该不该用」,只问「漏诊被发现之后,这个月内必须有人改动的那一条是什么」。② 摆一个暂时判断:采购方必须补上验收条件里缺失的那一项——对模型在各人群上的漏检率分别做检验,并把结果写进合同。③ 说清依据哪条标准:一项改动之所以先落到某个角色头上,靠的是那张表的两栏同时非空——他当时能预见,且他当时有权改变。采购方两栏都满:训练数据覆盖不足是采购时就该问的常规问题,而验收条件正是他手里的笔。临床医生的第二栏受限(他无权改采购条款),开发者的第一栏满而第二栏在合同签订后已经收窄。④ 迎一个反对:有人会说「采购的人不懂技术,怎么可能预见」。这条反对要分两半看。它若指「他看不懂模型内部」,不成立——上面要求的不是看懂模型,是写进一条验收条件,这属于采购的常规能力。它若指「行业里当时根本没人提出过这类检验」,那就成立,而且会把责任往前推给监管者:制定标准本来就是他的第一栏。分辨这两半要查的是事实——当时业内有没有可用的做法。⑤ 写明限制:以上没有回答系统本身有没有理解、有没有道德地位,那两问的证据在别处,本推演一步也没用到。它也没有替代赔偿:赔偿处理的是已经发生的损害,而上面这条改动只堵住继续发生的风险,两者不能相互抵。
思想实验
预测系统漏掉的那类病人
把「谁负责」从找一个责任人变成看条件:改变可解释程度、事前警告和复核制度,看可追究的对象跟着哪一个移动。
教学重构情节由本站编写,不指向任何具体医院、产品或事件。它在上面那次案例推演(医疗系统给出错误建议后,谁负责?)上加装变量:被低估的病人与造成的伤害始终不变,四段情境每次只动一个条件——系统说不说得出理由、有没有人事先写下警告、有没有一条强制复核规则——看「该由谁负责」跟着哪一个移动。
情境 A
一家医院用一套预测系统给门诊病人排高风险等级,等级决定谁进入随访计划。系统由外部公司开发,训练数据来自另一地区的历史就诊记录。运行一年后统计显示:有一类病人(其症状在训练数据里记录稀疏)被系统持续低估,其中一部分人错过随访,病情加重。系统只输出一个分数,不附理由。临床医生有权改判,采购合同没有要求定期复核,一年来改判率不到百分之一。
- 这一年里,哪些人本可以发现这件事?「本可以发现」与「应当发现」之间差了什么?
- 「医生有权改判」这项设计,是把决定权交给了医生,还是把责任转给了医生?同一条条款能同时做成这两件事吗?
- 如果没有任何一方违反自己岗位上的明文要求,这些伤害还能不能归到某个人头上?
变量 B
改动的变量系统的输出:从一个不带理由的分数,改成一个带依据的分数。
同一家医院、同一类病人被低估。区别是这次系统对每个分数给出依据:列出所依赖的几项特征及各自权重,医生界面上可直接看到。事后回看记录,被低估那类病人的分数依据里,反复出现同一项在本地几乎没有意义的特征。
- 可解释让医生更容易发现问题。它因此增加了医生的责任,还是也增加了医院不安排复核的可责性?
- 如果依据可看却没人看,「没看」这件事该归谁:医生、排班的人,还是设计流程的人?
- 假设这项特征的问题只有统计人员看得出来,「可解释」这个标签还成立吗——对谁可解释?
这一改动在检验被低估的病人、造成的伤害、各方的岗位与合同条款都不变,改变的只有系统输出的可解释程度。这一段检验的是责任里的认识条件:可追究的对象若随之移动,起作用的就是各方能知道什么,而不是各方做了什么。
变量 C
改动的变量事前的信息:这次有人在交付时就写下了警告。
同一次低估。这次开发公司在交付文档的性能说明里明确写着:本模型容易漏掉某一类病人——他们的症状在训练数据里记录稀疏,真正高风险的也常被评为低风险;文档建议对这类人单设复核规则。文档随合同交付给采购部门,采购部门归档后没有把这段内容传给临床科室。
- 写下这段话之后,开发公司的责任减少了吗?减少的是哪一部分——应当知道,还是应当防止?
- 采购部门归档而不传达,是一次疏忽,还是这套流程本来就没有传达的环节?两种说法各指向什么补救?
- 临床医生完全不知道这段警告。他们的责任因此归零,还是变成了另一种责任(例如应当追问)?
这一改动在检验系统、训练数据的缺口与最终的伤害都不变,加进来的只有一份事前警告,而且指定了它停在哪个环节。这一段检验的是知情的位置:可追究的对象若随警告的有无与流向移动,判断依据的就是谁在什么时候被告知了什么,而不是谁离病人最近。
变量 D
改动的变量制度:加入一条强制复核规则。
同一套系统、同样的训练数据缺口。这次合同写明每季度对分组结果做外部抽样复核,医院照做。第二季度的复核就报出了这类病人被低估,规则随即改为该人群一律进入随访。仍有一部分人在头两个季度里错过随访,病情加重。
- 已经发生的伤害,是否因为制度到位就变成「无人可责」?若是,受害者的诉求该向谁提出?
- 「照流程做了却仍造成伤害」与「没做流程而造成伤害」,在赔偿上该不该一样,在谴责上该不该一样?
- 如果一开始就不部署这套系统,本来会有另一批人得不到随访。这一点该不该进入判断?
这一改动在检验同一套系统、同样的训练数据缺口,仍然有一批人在头两个季度受害;加进来的只是一条强制复核规则,而且各方都照做了。这一段检验的是另一件事:追究某个人,是不是评价一次伤害的唯一方式。
判断改变时,你实际上在依据什么
- 知情与不透明
- 若判断随「能不能看出问题」移动,判断里含有一个认识条件。难处是不透明可以分层:对使用者不透明、对开发者也不透明,甚至被认为原则上无法消除(见本案例依据的那份综述 §2.3)。把责任挂在知情上,就要说明哪一层不透明可以免责。
- 分布的责任
- 开发、数据、采购、临床、监管各握有一部分控制与信息,最后的结果由这些环节交互产生。若接受「做事的能力分散在多方,责任也就分散在多方」,接下来就要给出分摊的办法;给不出办法时,这条原则只是把问题换了个说法(同一份综述 §2.7.4)。
- 责任鸿沟
- 若逐一检查后每一方都不足以担责,出现的是被称为「责任鸿沟」的处境。一种回应是要求人始终处在有意义的控制之中;另一种回应是不预设每一事件都有一个责任人,转而处理风险如何分配(同一份综述 §2.7.4)。这两种回应对受害者的意义并不相同。
- 风险的三个位置
- 同一件事里,承受风险的人、获益的人和做决定的人可以完全不重合。若判断随这三者的错位而变化,衡量的可能是分配而不是过错;也可能仍在追究过错,只是把「让承受风险的人无从参与决定」本身算成了一项过错。这两种读法要求的补救不同:前者要求重新分配风险与收益,后者要求找出设定这个格局的人(同一份综述 §2.7.4 引述的风险分析,要求把这三个位置分别指认出来)。
- 角色与授权
- 「医生最终签字」把决定权与责任一起压在最后一个环节上。若判断随这项设计变化,起作用的是授权结构:这项安排由谁定下,以及签字的人是否真的用得上手里的否决权——一年改判率不到百分之一,既可以读成医生认可了这些分数,也可以读成在门诊的时间与信息条件下这一权限根本用不起来。
- 补救的种类
- 解释、赔偿、停用、重训、外部审计和改变资源分配各自解决不同问题。把可责性与补救分开,很多「谁负责」的争论会变成「该做哪一项」;分开之后仍要说清赔偿的钱由谁出。
四段情境里被低估的是同一类病人,伤害也是同一类,而可追究的对象每次都换了位置。若判断在变量 D 处从追究个人转向分配风险,就已经承认了一件事:可责性与补救不是同一个问题,而后者在没有明确过错时仍然要有人承担。若坚持每一次伤害都必须落到某个人头上,代价是要说明在制度已经尽责的那一段时间里,这个人是谁、依据是什么。这个实验证明不了的是:它显示不出「责任鸿沟」这个说法能不能成立——那要看有没有人真的给得出一套分配办法,而四段情境只把问题摆出来。它也不替代任何具体场合的责任认定:真实案件里还有合同条款、监管要求与举证责任,这些都不在这四段的设定之内。
本案例的依据SEP:Ethics of Artificial Intelligence and Robotics(在新标签页打开)
容易混淆的地方
- 解释性重构:任务能力、语言理解、主观体验、道德地位、法律责任,是五个不同的问题;其中任何一项的肯定,都不自动推出其余四项。一个系统可以在某项任务上超过所有人,同时没有任何体验;也可以被法律赋予某种地位,而这与它有没有体验无关。
- 解释性重构:「拟人化」不是机器有心灵的证据。它首先是一个界面事实:界面越像人,使用者的信任、依赖和责任判断就越会跟着改变——医生更不容易去推翻一个「说得很有把握」的界面。而这与机器内部到底发生了什么,是两回事。
- 解释性重构:风险管理回答不了心灵哲学的问题。它处理的是另一件事:在还不确定的状态下,由谁负责记录、由谁负责监督、受影响的人从哪里申诉、以及谁有权停用这个系统。把这几条安排好,并不说明系统有没有理解;反过来,系统有没有理解,也代替不了这几条安排。[AI-5]
人物与原典:从哪里读起
先抓住每部文本在这场争论里要解决什么问题,再回到原文核对它自己的论证。
〈计算机器与智能〉
1950
入口,可读性极高。先读开头对模仿游戏的设定,再直接跳到他逐条回应各种反对的那一节——那一节比设定本身更能显出他真正主张的是什么。
核对来源 [AI-1][AI-3]带着这个问题读通过语言对话是否是判断智能的好标准?他把它当作充分条件、必要条件,还是证据?
〈心灵、脑与程序〉
1980
紧接图灵读。文章本身十几页,但它随附的多位学者回应与塞尔的答复同样重要——只读正文会以为「系统回应」没有被认真对待。
核对来源 [AI-2]带着这个问题读房间中的人不懂中文,是否意味着整个系统也不懂?把系统内化进一个人,这个反驳成立吗?
Ethics of Artificial Intelligence and Robotics §2.7
条目持续修订
第三步不进原典而先读这一节,因为「机器能否负责」的文献分岔很快。§2.7 按四小节分开:道德地位(含法律人格)、行动者、机器伦理、责任。先用它把自己的问题定位到其中一节,再顺着它的书目去找原文——例如把责任鸿沟引入讨论的那篇 2007 年论文、以及把「分布式行动带来分布式责任」写成一句口号的那篇 2018 年短文,都从这一节的书目进入。弗洛里迪与桑德斯 2004 年那篇被列在机器伦理一节的文献里,原文有付费墙,先读综述再决定要不要找。
核对来源 [AI-4]带着这个问题读能造成道德相关后果的系统,是否一定需要被当作道德行动者?把这两件事分开,在制度上会带来什么不同?
AI 风险管理框架 1.0 第 5 节(AI RMF Core)
2023
不是哲学原典,放在最后读,因为本页第三条路线的可操作版本在这里。四个功能各自分小节:GOVERN 2 要求问责结构落到具体的团队与个人,MAP 3 要求把预期收益与代价对着基准写清,MANAGE 4 要求部署后有监测、申诉与推翻、停用、事故响应与恢复的程序。读法是拿它去对照案例里那张「能预见什么/有权改变什么」的表,看哪一格现实中没有对应的制度安排。
核对来源 [AI-5]带着这个问题读这些条款把哪些哲学论断当成前提照抄了?它没有回答的那个问题——由谁来决定可接受的风险——留在了哪里?
放回历史线索
- 19世纪至当代的多条线索
从计算、心灵哲学与社会技术批评的交叉读起。
回到问题:现在能说什么
- 这一页在问什么
- 一套预测系统漏掉了一类病人,有人因此错过治疗。这件事该怪谁?在回答之前还得先问一句:这个问题,和「这套系统到底懂不懂自己在做什么」是同一个问题吗?
- 分歧落在哪里
- 分歧落在三条互相独立的线上,争论常在它们之间滑动。关于理解,中文房间与两条回应争的是「理解的承担者是谁」——是房里那个人,还是他实现的那个系统;塞尔则说对方答的是「我们怎么知道」,不是「那是怎么一回事」。关于道德地位,争的是它本身值不值得被直接考虑,这与能不能担责是方向相反的两问。关于问责,争的是分散在开发、采购、临床与监管之间的责任能否落到具体的人身上。
- 现在可以确定什么
- 有几处可以定下来:任务能力、语言理解、主观体验、道德地位、法律责任是五件事,任何一项都不自动推出其余;把系统叫作「行动者」可以只取「一个做事的东西」这个很薄的意思,与「可被责备」不是一回事;界面越像人越会影响使用者的判断,而这与机器内部发生了什么无关;治理安排做得再齐全,也不构成关于机器心灵的证明。
- 还不能确定什么
- 还定不下来的是理解的承担者究竟是谁,以及什么样的证据才算足够——这正是中文房间那场争论至今停住的地方。问责这一侧也没有收口:当许多人各控制一段、而谁都没有违反自己岗位上的明文要求时,伤害该怎样归到人身上?现有讨论对这种「无人意图的累积后果」谈得最少。
带着问题继续读
继续学习
这几条不是按相似度推荐的:分组标题说明它和本页构成哪一种关系,下面那句话说明为什么 值得现在就读。
来源、核验与修订记录
本条状态
来源已逐条核验
来源与核验记录
本页引用的来源都在这里,按材料归并:同一份材料被多处引用时只列一条,但每一处的定位、 支持的论断和核验状态分开记。每项只说明本轮实际核对到的那一处定位,原典入口不等于整部 文本都已校勘。本页除正文外,思想实验、概念卡也各自带了来源。
AI-1 · 原典
Alan M. Turing, Computing Machinery and Intelligence(Mind 59 (1950): 433–460,SFU 转录)(在新标签页打开)AI-1 · 条目正文 · 已核验 · 2026-09-11
定位:§1(The Imitation Game)、§6(Contrary Views on the Main Question,其下依次为神学的、「把头埋进沙里」的、数学的、来自意识的、来自各种能力缺失的、洛夫莱斯夫人的、神经系统连续性的、行为非形式性的、超感官知觉的九条反对)
用于:§1 以模仿游戏替换「机器能思考吗」这个原问题;§6 是图灵自己列出并逐条回应的九条反对。该转录本保留论文原有的九节编号与标题,可按节定位。
AI-2 · 学术综述
SEP:The Chinese Room Argument(在新标签页打开)AI-2 · 条目正文 · 已核验 · 2026-09-11
定位:§3(The Chinese Room Argument,含强/弱 AI 的界定)、§4.1(The Systems Reply)及其下 §4.1.1(The Virtual Mind Reply)、§4.4(The Other Minds Reply)、§5.1(Syntax and Semantics)
用于:§3 给出强 AI(「经适当编程的计算机——或程序本身——能理解自然语言,并真正具有与其所模仿的人类相似的其他心理能力」)与弱 AI 的界定;§4.1 载有塞尔对系统回应的再反驳原句:「原则上他可以把整个系统内化,记住全部指令和数据库,并在头脑中完成全部运算。然后他可以离开房间到户外走动,甚至可能用中文交谈。但他仍然无法把任何意义附着到那些形式符号上」,紧接的 §4.1.1 是虚拟心灵回应;§4.4 是他心回应。原定位“§3、§4.1–§4.4、§5”未点出 §4.1 内的再反驳,正文因此只写了「塞尔与这些回应有分歧」。
AI-3 · 学术综述
SEP:The Turing Test(在新标签页打开)AI-3 · 条目正文 · 已核验 · 2026-09-11
定位:§1(Turing (1950) and the Imitation Game)、§4.1((Logically) Necessary and Sufficient Conditions)、§4.2(Logically Sufficient Conditions)、§4.3(Criteria)、§4.4(Probabilistic Support)
用于:§4.1–§4.4 逐节处理「通过测试」是逻辑上充分、是必要、是判准、还是只提供可被新证据推翻的概率性支持;条目分别给出「缺乏智能的东西通过图灵测试是逻辑上不可能的」「显然逻辑上可能存在颇有智能却无法通过图灵测试的东西」「图灵测试中收集到的归纳证据可以被新证据抵过」三种立场的措辞。原定位含 §6,而 §6 是“The Chinese Room”,与本条论断(归因证据的强度)无关,已移除。
AI-4 / AI-E1 · 学术综述
SEP:Ethics of Artificial Intelligence and Robotics(在新标签页打开)AI-4 · 条目正文 · 已核验 · 2026-09-11
定位:§2.7.1(Moral Status)、§2.7.2(Agency)、§2.7.3(Machine Ethics,含法律人格)、§2.7.4(Responsibility,含「责任鸿沟」)
用于:§2.7.1 给出「一个实体是道德行动者当且仅当它有义务,是道德患者当且仅当道德行动者对它有义务」;§2.7.2 区分厚的行动性(要求认识、控制、规范与现象条件)与薄的行动性(「一个做事的东西」);§2.7.3 处理机器伦理与法律人格;§2.7.4 处理技术—社会系统中的责任分配与「责任鸿沟」。原定位到 §2.7.3 为止,而本条「部署责任不能被机构分散到无人承担」一句实际对应的是 §2.7.4,已补入。
AI-E1 · 思想实验 · 已核验 · 2026-09-11
定位:§2.3 “Epistemic Issues: Opacity & Explainability”(对受影响者不透明、对程序员也不透明的「标准不透明」,以及被主张原则上不可消除的「深度不透明」)、§2.7.4 “Responsibility”(分布的能动伴随分布的责任;Sparrow 2007 提出的「责任鸿沟」;有意义的人类控制;以及风险分析要求分别指认承受风险者、获益者与决策者)
用于:不透明如何使偏差难以发现并改变各方的知情程度;责任在多环节间的分布、「责任鸿沟」这一处境,以及把问题改述为风险分配的回应路线。
AI-5 · 制度文件
NIST AI RMF 1.0,第 5 节 AI RMF Core(在新标签页打开)AI-5 · 条目正文 · 已核验 · 2026-09-11
定位:§5.1 Govern(GOVERN 2.1:角色、职责与沟通线)、§5.2 Map(MAP 3.5:人类监督流程的界定、评估与文档)、§5.4 Manage(MANAGE 2.4:停用、脱离或替换机制;MANAGE 4.1:部署后监测计划,含申诉与推翻、退役、事件响应、恢复与变更管理)
用于:该页是 AI RMF 1.0 的 Core 一节,下辖 Govern/Map/Measure/Manage 四项职能。GOVERN 2.1 要求「与映射、度量、管理 AI 风险相关的角色、职责与沟通线被文档化,并对组织内的个人与团队清晰可辨」;MAP 3.5 要求「人类监督的流程按组织政策被界定、评估并文档化」;MANAGE 2.4 要求「已建立并实施机制、且职责已被分配和理解,以替换、脱离或停用表现或结果与预期用途不一致的 AI 系统」;MANAGE 4.1 要求部署后监测计划包含「申诉与推翻、退役、事件响应、恢复与变更管理」的机制。原定位「§5.1–§5.4,尤其 GOVERN 2、MAP 3、MANAGE 4」未落到具体条款号,现改为可逐条对照的条款。
FUN-1 · 学术综述
SEP:Functionalism(在新标签页打开)FUN-1 · 概念卡 · 已核验 · 2026-09-11
定位:§1 What is Functionalism?(定义与多重实现动因)、§5.5.1(缺失感受质反对)
用于:心理状态按其在心理学理论中的角色刻画;多重实现被视为提供一种「更具包容性、不以物种为中心」且与物理主义相容的理论;以及「可能存在与常人功能等价而其心理状态完全没有质的特征的存在者」这条反对。
CPT-RF-1 · 学术综述
Moral Responsibility(SEP)(在新标签页打开)CPT-RF-1 · 概念卡 · 已核验 · 2026-09-11
定位:§3.1 The "Faces" of Responsibility,含 §3.1.1 Attributability versus Accountability 与 §3.1.3 Answerability
用于:§3.1.1 把这一分法追到沃尔夫(1990)与沃森之争,并引其对「真我」理论的表述:行为可归属于真我,即她既能依自己的意志支配行为、又能依自己的评价系统支配意志,因此负责的行动者不是被最强欲望推动、而是被她所认可的欲望推动。§3.1.3 记载 answerability 由肖梅克(2011、2015)作为第三种责任提出(可归属性对应品格、可追究性对应对他人的顾念、可要求说明对应评价判断),并指出 A. Smith(2015)、Hieronymi(2008、2014)与 Pereboom(2014)对同一术语的用法各不相同。
CPT-TEC-1 · 学术综述
Philosophy of Technology(SEP)(在新标签页打开)CPT-TEC-1 · 概念卡 · 已核验 · 2026-09-11
定位:§3.1 Ethics of Technology,论述二十世纪技术伦理两条走向的段落
用于:该节把 technological determinism 定义为「技术是一个自足现象、自主且不可逆地发展」这一假设,并说明技术伦理的一条走向是离开它、转向把技术发展看作人的选择的结果(未必是所欲的结果);同节也指出工具观导出的中立论题在二十世纪受到批评。
CPT-PER-1 · 学术综述
African Ethics(SEP)(在新标签页打开)CPT-PER-1 · 概念卡 · 已核验 · 2026-09-11
定位:§4 Moral Personhood,开篇所引 Ifeanyi Menkiti(1984: 176)一段及随后的分析
用于:该节以门基蒂的原话开篇:人格是必须被获得的东西,其获得程度与一个人通过履行其位置所规定的义务而参与共同生活的程度成正比,并把这一过程描述为从幼年「它」的地位转为具备成熟伦理感的「人」的地位。
本轮审查与待办
主要立场|功能与行为标准
发现:原文把图灵式表现标准写成理解的充分证明。
依据:AI-1 §1 只是替换问题;AI-3 §4.1–§4.4 区分充分、必要、判准和概率性支持。
修订:改为「评价线索/证据问题」,不从对话表现直接推出意识。
案例推演|医疗系统
发现:原文只列可能负责者,没有责任如何落实的准则。
依据:AI-5 的 GOVERN 2.1、MAP 3.5、MANAGE 2.4、MANAGE 4.1 分别给出角色文档、人类监督、停用机制与申诉/退役要求。
修订:将案例问题改为控制、知情、补救与可追踪制度责任。
有力反对及回应|塞尔的再反驳缺席
发现:原文只报告「塞尔的反驳与这些回应的分歧,正落在理解的承担者是谁、什么证据足够」,从未说出塞尔到底反驳了什么。读者因此看不到这场争论的关键一步。
依据:AI-2 §4.1 载有塞尔的内化回应原句(把全部指令与数据库背下来、在头脑中运算、走出房间用中文交谈,而「仍然无法把任何意义附着到那些形式符号上」),§4.1.1 的虚拟心灵回应正是针对它的下一步。
修订:把系统回应与他心回应拆成两段,并在第一段写出塞尔的内化再反驳、以及它把担子推回给对方的两条出路。
来源账|五条定位
发现:五条来源全部标 pending;AI-3 的定位含 §6,而 §6 是“The Chinese Room”,与它自称支持的归因证据强度无关;AI-4 的定位到 §2.7.3 为止,漏掉正文实际使用的 §2.7.4;AI-5 的定位只写到 GOVERN 2、MAP 3、MANAGE 4 这一级,没有落到条款。
依据:本轮逐条实际打开核对目录与条款(见各条 supports)。
修订:五条定位全部改准:AI-3 去掉 §6 并细到 §4.1–§4.4,AI-4 补入 §2.7.4,AI-5 改为 GOVERN 2.1/MAP 3.5/MANAGE 2.4/MANAGE 4.1 四条可逐句对照的条款,AI-1 补出 §6 的九条反对名目。
放回历史语境
发现:「相邻传统与问题」一栏里的「历史、文化与技术怎样塑造共同生活」是一个核心问题页,不是时段或传统线索,却被排在历史语境的标题下。
依据:该页在节点树里的类别是核心问题;关系层已经收录了本条与它之间带理由的连接。
修订:删除该条,只留「19 世纪至当代的多条线索」。
常见误读|拟人化;定义与边界|道德患者;有力反对及回应|他心回应与「行动者」
发现:「『拟人化』不是机器有人的证据」漏字,句子不成立;「道德患者」这一译名直接使用而未解释;「技术上的薄意义」是直译,读者看不出薄在哪里;他心回应一段说塞尔认为对方混淆了认识论与本体论,却没有写出他把中文房间放在哪一侧。
依据:AI-4 §2.7.1 给出道德行动者与道德患者的界定、§2.7.2 区分厚薄行动性;AI-2 §4.4 是他心回应。这四处都是句子本身读不通或缺一步的地方,不必另找材料就能看出。
修订:补回「机器有心灵」;道德患者补出它指承受道德对待的一方;「薄意义」改写为「只取一个很薄的意思:它是一个做事的东西」;他心回应补出塞尔认为中文房间问的是本体论那一侧;风险管理一条也改写为具体的四项职责。
定义与边界|2026-09-15 复审
发现:道德患者与道德行动者的不对称,在本页讲了两遍:研究层一遍(含婴儿与动物的例子),概念卡一遍,而概念卡那一份还多写了反方向为什么难以设想。
依据:本页概念卡收有「道德能动性与道德地位」一条,与研究层这一段的前半逐句对得上,连所举的例子都相同。
修订:研究层只留下两个名称各指什么,以及概念卡不处理的那一层——法律人格、因果影响力与道德责任三者必须分开;婴儿与动物的例子留给概念卡。
问题起点|2026-09-19 教学重构
发现:这一块原来直接从图灵的模仿游戏讲起,读者还不知道本页要分的是哪三层,就先拿到一个思想史转折。
依据:医疗预测系统那个情形排在页面靠后的思想实验里;页首却先讲图灵。
修订:新增具体入口:医院用预测系统排风险等级、一类病人被持续低估,由「这是算法的问题」这句话逼出本页要分的三件事;两段问题起点各补一句定位(先看第一件事/第三件事在另一个层面上),并把第三层接回那家医院。
定义与边界|2026-09-19 教学重构
发现:两段之间没有过渡;「法律是否给某个实体人格地位,也另有自己的考虑」这一句只给判断不给内容,读者不知道那是哪些考虑。
依据:AI-4 §2.7.3 处理机器伦理与法律人格;原文把它压成「另有自己的考虑」六个字。
修订:两段各补一句承接;法律人格那处补出三项具体考虑(诉讼由谁应诉、赔偿从哪里出、合同由谁签),并把因果影响力接回那套系统每天在改变谁进随访计划。
有力反对及回应|薄意义的行动者
发现:「薄意义」一段与本页的情形之间没有接口,最后一句「不能在机构内部摊薄到没有人承担」也只是一句要求,没有给读者可以接着做的事。
依据:AI-5 的 GOVERN 2.1、MANAGE 2.4 正是把角色、职责与停用机制逐条写下来的条款。
修订:补出那套系统在薄意义上确实是行动者(它每天改变谁进随访计划),并把最后一句改写成可执行的方向——开发方、采购方、临床使用者与监管各自能做什么、该做什么是可以逐条写下来的。
常见误读|2026-09-19 教学重构
发现:三条都停在一句判断上:五个问题只并列不举例,拟人化一条没有说明它在本页情形里怎样起作用,风险管理一条只写了它处理什么、没写它不能被什么代替。
依据:三条原文均为单句或单句加一串名目。
修订:五个问题补两个反向的例子;拟人化补出「医生更不容易推翻一个说得很有把握的界面」;风险管理补上双向的不可替代关系。
回到问题|2026-09-19 教学重构
发现:页尾没有把三层分歧收拢,读者读完容易仍然停在「这是算法的问题」那一句上。
依据:本轮为 CoreEntryLedger 新增 takeaway 字段即为此。
修订:新增四问:逐层写出理解、道德地位、问责三条线各自在争什么,并在未定部分指出现有讨论对「无人意图的累积后果」谈得最少。
有力反对及回应|与立场卡去重
发现:本轮并行的另一条线已在「社会技术系统取向」卡片的回应一栏逐个点名了可被要求说明的位置(默认设置、训练数据、采购签署、临床覆盖权);立场卡排在本区块之前,本层段末又把同一份清单说了一遍。
依据:该卡片回应一栏写有「谁决定了默认设置、谁选择了训练数据、谁签署了采购、谁在临床上有权覆盖系统的建议」。
修订:段末删去重复的清单,改为写出本层独有的那一步——薄意义上的「行动者」身份本身不承担责任,因此这句话不能被用来解释谁该负责。
案例推演与思想实验|2026-09-19 复审修复
发现:精读层写好的案例推演在本页一个字都不渲染,而思想实验的开场白又写着它是在那次案例推演上加装变量——读者被指向一段他根本看不到的内容。
依据:node-content.tsx 原来把案例推演、思想实验、一个例子写成三选一(experiment ? … : guide ? … : example);凡有思想实验的七个页面(存在与变化、心灵、自由、知识来源、对的行动、责任、人工智能)都因此吞掉了自己的案例推演。
修订:改为两块都渲染,先案例后实验:案例把一次判断从头走到尾,实验再逐个改变量。思想实验里那五处「本站先前为这一页写的一则案例」也改成了直接回指上面那一块。
思想实验|来源编号|2026-09-19 复审修复
发现:实验正文里把来源编号当读者语言用(AI-E1 §2.3 这一类),而渲染层根本不输出来源编号,读者无从对应。
依据:thought-experiment.tsx 只输出来源标题与链接;全文件共 18 处这样的引用。
修订:一律改为「本案例依据的那份综述 §…」。
相邻条目影响:与「心灵、身体与我」互链时,必须区分行为归因与意识本体论;与「自由、责任与道德运气」互链时,必须区分归责、赔偿与风险治理。功能主义的定义现由共享的概念层给出,本页与「心灵、身体与我」页用的是同一份,两页不要各自再写一份。本页的历史语境一栏只列时段与传统线索;与「历史、文化与技术怎样塑造共同生活」这一核心问题页的连接放在关系层,那里要求每条连接说出自己的理由。
下一优先:补充技术哲学、数据劳动与东亚思想资源;另建 AI 治理的时效性法规页并定期核验。
- 待办:机器意识的经验指标与非西方技术哲学尚未进入本条;不能由现有论证断言任何现存模型有或无感受。
- 待办:AI-5 是会随版本变动的制度文件,本轮核对的是 AI RMF 1.0 的 Core 页面。条款号一旦随新版调整,本条的定位就会失效,须定期回查。
- 待办:AI-2 §4.2(机器人回应)、§4.3(脑模拟器回应)、§4.5、§4.6 与 §5.2–§5.4 本轮未核对;本页只用到系统回应、虚拟心灵回应与他心回应三支。