내가 하는일은 대충 분석엔진 개발하고, 인프라 관리하고해서 플랫폼 서비스 만드는일임

이주전 대규모 트래픽 예고 된다고 해서, 분석엔진 성능 튜닝, DB 튜닝, 오토스케일러 튜닝 등등 진행했고 이후 대규모 트래픽도 잘 받아 내는 상황이 였음

DB 튜닝 이후, 간간히 필드 크기 작다는 DB 오류가 보이길래 오늘 사람도 별로 없겠다 라이브 서버에 alter table 때리는 순간 "아 시발 ㅈ댔다" 라는 촉이 오더라

그래서 얼른 alter table 하던 DB 클라이언트 종료했는데, 그땐 몰랐지 이게 문제 될지..

5분후에 갑자기 서비스에 사용자 몰리면서 이용이 안된다고 이슈 졸라 오는거.. DB에 붙어있는 놈들 로그 보니깐 DB에 기록 하는 순간 진행이 안됨..

일단 DB에 붙어있는 놈들 재시작 했는데, 이때 기존 컨테이너 안내려간 상태로 새로운 컨테이너가 수십개가 뜨니깐 DB 커넥션 부족으로 수백개 알림이 옴..

여기서 또 2차 패닉.. ㅋㅋ 하.. 이때 팀장한테 뭔일이냐고 전화오고..

내가 패닉 오니깐 상황 전달도 제대로 못하고, 어버버하고 있으니 팀장은 차피 이거 터져도 님이 돈 물어주거나 고객사 응대 하는거 아니니깐 일단 진정하고 로그 보면서 문제 부터 찾자고 함..

일단 그 이야기 들어보니깐 DB 쿼리 로그를 안봤더라고? 보니깐 어휴.. alter table 때문에 싹다 metalock 걸리고 있는 상태였음

뭐 어쩌겠어.. 팀장한테 DB 껏다 킨다 했지..

이렇게 무사히 일단 정상화 시켜놓긴 했는데, 하.. 자괴감 든다.. 왜 alter table을 했을까..