How Complex Systems Fail

复杂系统失败通常不是单个错误造成的，而是许多平时看似无害的小故障在特定时刻叠加。交通、医疗、发电这类系统天然带有危险，因此才会发展出备份、流程、培训、监管等多层防线。灾难发生时，人们容易寻找一个根因或一个犯错的人，但这种解释遮蔽了真实机制：系统长期在带缺陷的状态下运行，靠冗余和一线人员的持续调整维持安全。事后知道结果，会让旁观者误以为风险当时显而易见，从而低估操作者面对的不确定性。人既要完成生产，又要阻断事故，这两个角色经常冲突。改变也不总是让系统更安全，新技术可能消除常见小问题，同时打开罕见但严重的新失败路径。安全不是某个零件或部门的属性，而是整个系统在变化中不断被人创造出来的结果。没有故障经验的人，也难以识别系统边界在哪里。