一級(jí)故障2
管理層們?nèi)缑纱笊獍阃碎_,陸澤繃緊的肩線肉眼可見地松弛了半分。
陳默走到他身后,這個(gè)高級(jí)工程師再次緊張,后頸的絨毛都豎了起來。
“集群狀態(tài)?”陳默問。
“鎖…鎖服務(wù)主節(jié)點(diǎn)cpu100,子節(jié)點(diǎn)拒絕握手?!标憹陕曇舭l(fā)顫,“仲裁日志顯示同步延遲超閾值,觸發(fā)自鎖?!?/p>
“還…還在查?!币坏魏乖以阪I盤上。
陳默俯身,手指劃過屏幕調(diào)出網(wǎng)絡(luò)流量熱力圖。
代表數(shù)據(jù)中心內(nèi)部東西向流量的區(qū)域正燃燒著病態(tài)的深紫?!癰gp協(xié)議流量激增三百倍,”他指尖敲在紫斑中心,“查這個(gè)異常節(jié)點(diǎn),現(xiàn)在?!?/p>
陸澤像抓住救命稻草,手指終于落向鍵盤。
命令行的白光在他瞳孔里跳動(dòng)。
五分鐘后,嘶啞的匯報(bào)響起:“是…是物料追溯子系統(tǒng)!它在瘋狂廣播路由更新!”
一直沉默的徐雙龍猛地抬頭:“不可能!那模塊上周剛做完負(fù)載均衡切割!”
“但路由表的確在爆炸性增長(zhǎng)!”陸澤調(diào)出滾動(dòng)的路由表日志,屏幕被瘋狂的“update”指令淹沒。
陳默眼神一凜:“切到備份區(qū)獨(dú)立鏈路,物理隔離故障節(jié)點(diǎn)?!?/p>
徐雙龍撲向控制臺(tái)執(zhí)行指令。
三分鐘后,主屏幕上代表網(wǎng)絡(luò)風(fēng)暴的紫斑開始消退,但aps核心集群的綠色波浪線依舊是一條死寂的直線。
“鎖服務(wù)還是沒活!”彭聰一拳砸在控制臺(tái)上。
“內(nèi)存泄漏源沒掐斷。”陳默目光如掃描儀般掠過陸澤的屏幕,“dup出鎖服務(wù)進(jìn)程堆棧,過濾‘a(chǎn)terialtrace’關(guān)鍵字。”
陸澤依言操作。
海量的內(nèi)存地址與十六進(jìn)制碼中,一行刺目的報(bào)錯(cuò)被高亮捕獲:
[fatal]aterialtracejvheapoverflow-hashapresizedeadlock
“哈希表死鎖?”徐雙龍失聲,“這模塊的代碼審計(jì)是我親自做的!負(fù)載測(cè)試時(shí)百萬級(jí)物料條目都…”
他的話戛然而止。
陳默已經(jīng)調(diào)出某個(gè)開發(fā)項(xiàng)目數(shù)據(jù)庫切換日志。
一條記錄如冰錐刺入眼簾: