Re: [爆卦] Gitlab員工手殘砍掉production惹消失

看板Soft_Job作者時間7年前 (2017/02/02 20:14), 編輯推噓10(10推 0噓 8→)
留言18則, 14人參與, 最新討論串2/2 (看更多)
ㄤㄤ 官方事故報告昨晚出惹 前後發生了幾個事件串連，才導致停機這麼久 1. 原本是在處理數個惡意流量用戶（還發現有個用戶把gitlab當某種cdn在用） 2. 發現高負載下從庫db2數據落後4GB, 改惹改配置卻一直沒路用。想說把PG的data文件 夾砍掉，重新再跑一次乾淨的同步。 3. 幹連到db1砍到主庫ㄌ 4. 發現自家原訂五個備份計劃都失效，兩個異地備份還都空ㄉ。 5. 唯一一次有效的備份還是DBA六小時前因為別的原因手動快照 6. 直播修復挺潮ㄉ，這次事件透明度網友讚譽有佳 還釣到幾個PG的主要貢獻者來幫他們處理問題 QQ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 106.1.45.38 ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1486037655.A.768.html
推
02/02 20:20, , 1F
跨謀啦 先推再說
02/02 20:20, 1F
推
02/02 20:23, , 2F
直播修復都看不懂他們在幹嘛XD
02/02 20:23, 2F
推
02/02 20:36, , 3F
超刺激der
02/02 20:36, 3F
推
02/02 20:52, , 4F
六小時前 .... XDDD
02/02 20:52, 4F
→
02/02 21:03, , 5F
原訂的備份計畫都是24小時周期
02/02 21:03, 5F
→
02/02 22:24, , 6F
聽不懂 但覺得很潮
02/02 22:24, 6F
推
02/02 22:25, , 7F
要不是5的特別原因 不就超級慘
02/02 22:25, 7F
推
02/02 22:31, , 8F
2/1定為檢查備份日
02/02 22:31, 8F
推
02/02 22:46, , 9F
惡流流量 -> db2負載太高跑太慢 -> 決定手動砍一些東西
02/02 22:46, 9F
→
02/02 22:47, , 10F
-> 砍到db1 -> 5個備份都沒用 -> 損失六小時資料
02/02 22:47, 10F
→
02/02 22:48, , 11F
樓上超懶人包
02/02 22:48, 11F
→
02/02 22:48, , 12F
^級
02/02 22:48, 12F
→
02/02 22:53, , 13F
推G大
02/02 22:53, 13F
推
02/03 00:20, , 14F
4...QQ
02/03 00:20, 14F
推
02/03 08:10, , 15F
證明...隨時查看備份真的很重要
02/03 08:10, 15F
→
02/03 08:43, , 16F
證明 沒在測試機跑過的指令別下在正式機
02/03 08:43, 16F
→
02/03 08:45, , 17F
有當時後修復直播連結?
02/03 08:45, 17F
推
02/03 09:34, , 18F
為什麼24小時備份沒辦法用，出事時候剛好是備份時間？
02/03 09:34, 18F
‣ 更多 jimmy689 的文章
文章代碼(AID): #1OaoANTe (Soft_Job)
‣ 更多 jimmy689 的文章
文章代碼(AID): #1OaoANTe (Soft_Job)