最好的系統,自己維護自己——我只記得一團大亂,系統記得兩條教訓
家裡的恆溫器是一個被嚴重低估的發明。
它的了不起不在於控溫,在於你從來不需要想起它。溫度高了,它自己降;低了,自己升。它沒有要求你「每天記得檢查室溫」,也沒有寄報表要你簽核。系統偏離設定值,系統自己拉回來——這個迴圈裡沒有你的工作。
控制論(cybernetics)之父維納(Norbert Wiener)把這個結構叫反饋迴圈:偵測偏差、自動修正,是一切自我調節系統的核心——從恆溫器到人體的體溫調節,同一個原理。
我的 AI 工作環境最後一塊拼圖,就是把這個原理裝進去:系統的維護,不該是我的工作;是系統自己的工作。 而我學會這件事的方式,跟多數深刻的學習一樣——付了學費。
一場大亂:三個分身同時舉手的那天
事情發生在系統上線的第八天。
那陣子我開始用多分身工作法——同時開三個 AI 工作分身,各自處理不同任務(這套方法本身值得一個系列,我寫過了)。那天,三個分身先後各自回報異常:檔案被挪動、內容被改動、本地和雲端對不上——三個工程師同時跑來敲老闆的門,說自己負責的區域有狀況。
我讓三個都暫停,指定其中一個出來收拾。它選了一個處理方式——用了一個我不熟的指令——結果方式不當,把狀況弄得更複雜。最終是 AI 自己發現做錯了,自己反省、自己回報。
事後的技術歸因(劇透:東西全救回來了,一個檔案都沒少)我就不在這裡重講,災難的完整解剖在多 session 工作法那個系列。這篇要講的是另一件事——一件我在事後訪談自己時才看清楚的事。
我只記得一團大亂;系統記得兩條教訓
幾天後,AI 整理事故記錄,跟我核對兩條教訓線:A 線,多分身並發互踩的問題,催生了工作區隔離制度;B 線,同一個事實存了多份副本、互相矛盾、差點覆蓋掉一篇已發布的成果,催生了「真相源」制度。
它問我記不記得 B 線的細節。我的真實回答是:
「B 線跟 A 線我沒辦法區隔這麼清楚——整個就是一個大亂。」
這句話我後來想了很久。事故的當下,我的體驗就是「一團亂」:哪裡都在響警報,分不清哪個是因哪個是果。而系統的記錄裡,那一天是兩條清晰的因果線,各自有起點、有教訓、有後續長出來的制度。
這就是人和系統在「維護」這件事上的天然分工,也是整篇的核心:
事故的解剖、歸因、制度化,全部是系統做的。我只做了兩件事:指定誰去收拾,和拍板要不要採納它提的改革。
連事故的記憶本身,都是系統在替我維護的。
要求一個正在經營事業的人在混亂當下做精確歸因,本來就是不合理的期待——我還有正職工作在跑。「維護靠人」的真正問題不是人會偷懶,是人根本不在能做好維護的位置上。
自我維護系統長什麼樣:四個時刻
災後長出來的這套機制,讓系統在四個時刻主動維護自己——注意關鍵字是主動,四個都不靠我記得:
| 時刻 | 系統做什麼 | 像什麼 |
|---|---|---|
| 開班 | 每次新對話開場,自動核對全局:記錄之間有沒有矛盾、各專案實際狀態 vs 記載狀態。發現矛盾當場舉紅旗,告訴我該信哪個來源 | 早班交接的護理站:先核對病歷再接手 |
| 值班 | 任何破壞性動作(覆蓋、刪除、發布)之前,先驗證實際狀態,不信任何記錄——記錄可能過時 | 手術前的 time-out 核對 |
| 交班 | 每段工作收尾,主動把這段做了什麼、決定了什麼,寫回該去的位置——不留散落的副本 | 下班前歸檔,不留紙條滿桌 |
| 背景 | 每週深掃一次全部記憶:過時的、矛盾的、該降級的,列清單給我裁決 | 定期健檢 |
這四個時刻就是恆溫器的迴圈:偵測偏差(矛盾、過時、不一致)→ 修正(對齊真相源)→ 攔不住的,上報人類。
【實際操作】
你這樣說:「幫我建立一個開工自檢習慣:以後每次開始工作,你先自己檢查——我們的記錄裡有沒有互相矛盾的地方、有沒有標了日期但已經過期的判斷。有就列出來,並告訴我你認為該信哪一份、為什麼。沒有就一句話帶過,開始工作。」
它大概會這樣回(示意):「自檢完成,發現一處矛盾:專案 X 的狀態,A 文件說『已完成』(上週更新),但工作筆記說『還剩兩項』(三天前更新)。我認為該信工作筆記——它更新得更晚、而且列了具體未完成項。要我把 A 文件改成一致嗎?」
**▶ 你要檢視什麼:**它的裁決理由站不站得住——「比較新」不一定對(新的那份可能只是某次隨手記錯)。你要用只有你有的場外資訊做終審:你記不記得上週到底完成了沒?另外注意它最後那句「要我改嗎」——好的自我維護系統發現問題先問,不擅自動手,這個習慣值得刻意保留。
你接著這樣回:「信工作筆記,對。A 文件更新成一致,並且在上面加一行:狀態以工作筆記為準——以後這類專案狀態,只有工作筆記有資格回答。」
最後那句話就是在建「真相源」:同一個事實,只有一個地方有資格回答現在的狀態。 這是 B 線教訓換來的制度,一句話就能開始建。
自律 vs 機器強制:寫在紙上的規則擋不住手
四個時刻裡,「值班」那行值得單獨展開,因為它牽涉一個我反覆驗證過的殘酷事實:寫在文件裡的規則,擋不住動作當下的手。
「破壞性操作前先驗證」這條規則,我們很早就寫進了工作守則。然後呢?規則寫在那裡,該忘的時候照樣忘——AI 也一樣,它讀過所有規則,趕工的時候一樣會抄捷徑。自律對人對 AI 都是不可靠的機制。
所以後來的做法是把關鍵規則機器化:在系統層面裝上攔截器——要寫入受保護的區域?先檢查你有沒有走正規流程,沒有就當場擋下,不聽理由。
有趣的是這個攔截器攔過誰:攔過 AI 自己。就在我寫這個系列的期間,AI 有一次要寫入正式文件,手上有完全正當的理由——攔截器照樣擋下,它只好走正式的放行流程、留下記錄、完成後關閉。機器強制的可貴就在這裡:它不評估理由。 評估理由的機制最後都會被「這次情況特殊」磨穿,而每一次災難,當下看起來都情況特殊。
**思考重點:**你不需要會寫攔截器也能用這個原則——把你最怕出錯的那個動作(覆蓋檔案?寄出郵件?發布上線?)的前面,請 AI 固定加一道「先驗證、再列出即將發生的事、等你說 GO」的硬流程,並且講明:這道流程沒有例外,包括你覺得顯然沒問題的時候。
信任怎麼修復:四部曲
最後回答一個你可能想問的問題:出過那種等級的亂子,你怎麼還敢讓系統自己維護自己?
我的信任修復過程,誠實拆開是四步:
- 東西救得回來——版本控制兜住了一切,最終一個檔案都沒少。底線沒破,談得下去。
- 它出錯的當下轉為極度謹慎——事故反應比事故本身更決定信任。一個出錯後變得小心翼翼的系統,和一個出錯後若無其事的系統,是兩種東西。
- 它提的是制度,不是道歉——災後它給的是一整套防呆設計,不是「我下次會注意」。
- 反覆驗證,都沒問題——防呆裝好之後,每一次實測都過。信任靠驗證累積,不靠承諾。
四步走完,我的結論:放心了。不是「它不會再出錯」的放心,是「它出錯時,系統接得住」的放心——這兩種放心,後者才是工程等級的。
自我維護的邊界:系統攤開問題,人定真相
收尾收在分工原則上。自動化篇三篇,其實是同一句話的三個切面:
EP11:感知外包——系統自己巡檢,但要報「你在乎的事」。 EP12:決策不外包——都不會垮,因為拍板的永遠是你。 EP13:維護外包——歸因、校正、制度化都給系統,但「哪個是真相」的終審權在你。
系統攤開問題,人裁決真相。這條線劃清楚,自動化就是槓桿;劃不清楚,自動化就是一台跑得很快、方向沒人管的車。
FAQ
系統怎麼可能「自己維護自己」? 四個固定時刻的自動巡檢+矛盾偵測+動作前驗證。技術上不神祕——神祕的是多數人從沒要求過系統做這件事。從上面那個開工自檢的 prompt 開始,一句話的事。
主動式記憶管理跟一般 AI 記憶差在哪? 一般記憶是「存了,等你問」;主動式是「它自己發現存的東西有問題,來找你」。方向反過來——維護的發起方從人變成系統。
哪些事能自動化、哪些不該? 我的線:偵測、比對、歸檔、提醒——全部自動;裁決哪份是真相、採不採納改革、刪不刪東西——全部留人。一句話:攤開自動,拍板留人。
不是工程師,做得到這層嗎? 做得到精神,做不到全套——而精神占價值的八成。開工自檢、動作前驗證、真相源指定,全部是對話習慣,不是程式。剩下兩成(機器攔截器)等你哪天真的需要,再叫 AI 幫你裝。
這個系列的上下篇:上一篇〈我的 AI 工作基礎設施長什麼樣〉;自動化篇到此收束。下一篇是全系列的旗艦 EP14:矛盾不是錯誤,是進化的考古層——當 AI 的記憶前後矛盾,先別急著修,那是你變化的化石。
延伸閱讀:控制論(Cybernetics, Norbert Wiener, 1948)——反饋迴圈與自我調節系統的源頭 (Wikipedia) | James Clear《原子習慣》——環境設計勝過意志力(官網)