AI 工作流 · Ch.4 自動化篇 · EP13

最好的系統,自己維護自己——我只記得一團大亂,系統記得兩條教訓


家裡的恆溫器是一個被嚴重低估的發明。

它的了不起不在於控溫,在於你從來不需要想起它。溫度高了,它自己降;低了,自己升。它沒有要求你「每天記得檢查室溫」,也沒有寄報表要你簽核。系統偏離設定值,系統自己拉回來——這個迴圈裡沒有你的工作。

控制論(cybernetics)之父維納(Norbert Wiener)把這個結構叫反饋迴圈:偵測偏差、自動修正,是一切自我調節系統的核心——從恆溫器到人體的體溫調節,同一個原理。

我的 AI 工作環境最後一塊拼圖,就是把這個原理裝進去:系統的維護,不該是我的工作;是系統自己的工作。 而我學會這件事的方式,跟多數深刻的學習一樣——付了學費。

一場大亂:三個分身同時舉手的那天

事情發生在系統上線的第八天。

那陣子我開始用多分身工作法——同時開三個 AI 工作分身,各自處理不同任務(這套方法本身值得一個系列,我寫過了)。那天,三個分身先後各自回報異常:檔案被挪動、內容被改動、本地和雲端對不上——三個工程師同時跑來敲老闆的門,說自己負責的區域有狀況。

我讓三個都暫停,指定其中一個出來收拾。它選了一個處理方式——用了一個我不熟的指令——結果方式不當,把狀況弄得更複雜。最終是 AI 自己發現做錯了,自己反省、自己回報。

事後的技術歸因(劇透:東西全救回來了,一個檔案都沒少)我就不在這裡重講,災難的完整解剖在多 session 工作法那個系列。這篇要講的是另一件事——一件我在事後訪談自己時才看清楚的事。

我只記得一團大亂;系統記得兩條教訓

幾天後,AI 整理事故記錄,跟我核對兩條教訓線:A 線,多分身並發互踩的問題,催生了工作區隔離制度;B 線,同一個事實存了多份副本、互相矛盾、差點覆蓋掉一篇已發布的成果,催生了「真相源」制度。

它問我記不記得 B 線的細節。我的真實回答是:

「B 線跟 A 線我沒辦法區隔這麼清楚——整個就是一個大亂。」

這句話我後來想了很久。事故的當下,我的體驗就是「一團亂」:哪裡都在響警報,分不清哪個是因哪個是果。而系統的記錄裡,那一天是兩條清晰的因果線,各自有起點、有教訓、有後續長出來的制度。

這就是人和系統在「維護」這件事上的天然分工,也是整篇的核心:

事故的解剖、歸因、制度化,全部是系統做的。我只做了兩件事:指定誰去收拾,和拍板要不要採納它提的改革。

連事故的記憶本身,都是系統在替我維護的。

要求一個正在經營事業的人在混亂當下做精確歸因,本來就是不合理的期待——我還有正職工作在跑。「維護靠人」的真正問題不是人會偷懶,是人根本不在能做好維護的位置上

自我維護系統長什麼樣:四個時刻

災後長出來的這套機制,讓系統在四個時刻主動維護自己——注意關鍵字是主動,四個都不靠我記得:

時刻系統做什麼像什麼
開班每次新對話開場,自動核對全局:記錄之間有沒有矛盾、各專案實際狀態 vs 記載狀態。發現矛盾當場舉紅旗,告訴我該信哪個來源早班交接的護理站:先核對病歷再接手
值班任何破壞性動作(覆蓋、刪除、發布)之前,先驗證實際狀態,不信任何記錄——記錄可能過時手術前的 time-out 核對
交班每段工作收尾,主動把這段做了什麼、決定了什麼,寫回該去的位置——不留散落的副本下班前歸檔,不留紙條滿桌
背景每週深掃一次全部記憶:過時的、矛盾的、該降級的,列清單給我裁決定期健檢

這四個時刻就是恆溫器的迴圈:偵測偏差(矛盾、過時、不一致)→ 修正(對齊真相源)→ 攔不住的,上報人類。

【實際操作】

你這樣說:「幫我建立一個開工自檢習慣:以後每次開始工作,你先自己檢查——我們的記錄裡有沒有互相矛盾的地方、有沒有標了日期但已經過期的判斷。有就列出來,並告訴我你認為該信哪一份、為什麼。沒有就一句話帶過,開始工作。」

它大概會這樣回(示意):「自檢完成,發現一處矛盾:專案 X 的狀態,A 文件說『已完成』(上週更新),但工作筆記說『還剩兩項』(三天前更新)。我認為該信工作筆記——它更新得更晚、而且列了具體未完成項。要我把 A 文件改成一致嗎?」

**▶ 你要檢視什麼:**它的裁決理由站不站得住——「比較新」不一定對(新的那份可能只是某次隨手記錯)。你要用只有你有的場外資訊做終審:你記不記得上週到底完成了沒?另外注意它最後那句「要我改嗎」——好的自我維護系統發現問題先問,不擅自動手,這個習慣值得刻意保留。

你接著這樣回:「信工作筆記,對。A 文件更新成一致,並且在上面加一行:狀態以工作筆記為準——以後這類專案狀態,只有工作筆記有資格回答。」

最後那句話就是在建「真相源」:同一個事實,只有一個地方有資格回答現在的狀態。 這是 B 線教訓換來的制度,一句話就能開始建。

自律 vs 機器強制:寫在紙上的規則擋不住手

四個時刻裡,「值班」那行值得單獨展開,因為它牽涉一個我反覆驗證過的殘酷事實:寫在文件裡的規則,擋不住動作當下的手。

「破壞性操作前先驗證」這條規則,我們很早就寫進了工作守則。然後呢?規則寫在那裡,該忘的時候照樣忘——AI 也一樣,它讀過所有規則,趕工的時候一樣會抄捷徑。自律對人對 AI 都是不可靠的機制。

所以後來的做法是把關鍵規則機器化:在系統層面裝上攔截器——要寫入受保護的區域?先檢查你有沒有走正規流程,沒有就當場擋下,不聽理由。

有趣的是這個攔截器攔過誰:攔過 AI 自己。就在我寫這個系列的期間,AI 有一次要寫入正式文件,手上有完全正當的理由——攔截器照樣擋下,它只好走正式的放行流程、留下記錄、完成後關閉。機器強制的可貴就在這裡:它不評估理由。 評估理由的機制最後都會被「這次情況特殊」磨穿,而每一次災難,當下看起來都情況特殊。

**思考重點:**你不需要會寫攔截器也能用這個原則——把你最怕出錯的那個動作(覆蓋檔案?寄出郵件?發布上線?)的前面,請 AI 固定加一道「先驗證、再列出即將發生的事、等你說 GO」的硬流程,並且講明:這道流程沒有例外,包括你覺得顯然沒問題的時候。

信任怎麼修復:四部曲

最後回答一個你可能想問的問題:出過那種等級的亂子,你怎麼還敢讓系統自己維護自己?

我的信任修復過程,誠實拆開是四步:

  1. 東西救得回來——版本控制兜住了一切,最終一個檔案都沒少。底線沒破,談得下去。
  2. 它出錯的當下轉為極度謹慎——事故反應比事故本身更決定信任。一個出錯後變得小心翼翼的系統,和一個出錯後若無其事的系統,是兩種東西。
  3. 它提的是制度,不是道歉——災後它給的是一整套防呆設計,不是「我下次會注意」。
  4. 反覆驗證,都沒問題——防呆裝好之後,每一次實測都過。信任靠驗證累積,不靠承諾。

四步走完,我的結論:放心了。不是「它不會再出錯」的放心,是「它出錯時,系統接得住」的放心——這兩種放心,後者才是工程等級的。

自我維護的邊界:系統攤開問題,人定真相

收尾收在分工原則上。自動化篇三篇,其實是同一句話的三個切面:

EP11感知外包——系統自己巡檢,但要報「你在乎的事」。 EP12決策不外包——都不會垮,因為拍板的永遠是你。 EP13:維護外包——歸因、校正、制度化都給系統,但「哪個是真相」的終審權在你。

系統攤開問題,人裁決真相。這條線劃清楚,自動化就是槓桿;劃不清楚,自動化就是一台跑得很快、方向沒人管的車。

FAQ

系統怎麼可能「自己維護自己」? 四個固定時刻的自動巡檢+矛盾偵測+動作前驗證。技術上不神祕——神祕的是多數人從沒要求過系統做這件事。從上面那個開工自檢的 prompt 開始,一句話的事。

主動式記憶管理跟一般 AI 記憶差在哪? 一般記憶是「存了,等你問」;主動式是「它自己發現存的東西有問題,來找你」。方向反過來——維護的發起方從人變成系統。

哪些事能自動化、哪些不該? 我的線:偵測、比對、歸檔、提醒——全部自動;裁決哪份是真相、採不採納改革、刪不刪東西——全部留人。一句話:攤開自動,拍板留人。

不是工程師,做得到這層嗎? 做得到精神,做不到全套——而精神占價值的八成。開工自檢、動作前驗證、真相源指定,全部是對話習慣,不是程式。剩下兩成(機器攔截器)等你哪天真的需要,再叫 AI 幫你裝。


這個系列的上下篇:上一篇〈我的 AI 工作基礎設施長什麼樣〉;自動化篇到此收束。下一篇是全系列的旗艦 EP14:矛盾不是錯誤,是進化的考古層——當 AI 的記憶前後矛盾,先別急著修,那是你變化的化石。

延伸閱讀:控制論(Cybernetics, Norbert Wiener, 1948)——反饋迴圈與自我調節系統的源頭 (Wikipedia) | James Clear《原子習慣》——環境設計勝過意志力(官網)