- 23
- 갱생협스
- 조회 수 1122
사고보고서 전문은 이 쪽에서 확인할 수 있습니다.
결론부터 말하자면: BGP에 입력되어야 할 라우팅 경로가 IS-IS 내에 입력되며 전국의 kt망이 마비되었다~. 입니다.
왜 이런 사고가 벌어졌는지 알려면, BGP와 IS-IS 프로토콜에 관해 간략히 아셔야 할 것 같습니다.
벌써부터 BGP? ISIS? 어렵네요. 알라는 위대하다! 도 아니구요.
쉽게 갑시다.
-----
학교가 있습니다. A 고등학교, B 고등학교, C 고등학교 이렇게 세 개가 있다고 해 보죠(AS의 개념에 해당합니다).
A 고등학교 안에는 10101 김땡땡 학생, 10202 김양양 학생, 20503 김모모 학생, 31004 제르엘 학생 ... 이렇게 있을 거고, B 고등학교에도, C 고등학교에도 그럴 겁니다(AS 내의 라우터 집합).
A 고등학교 안에 있는 10101 김땡땡 학생이 20503 김모모 학생을 찾아간다고 합시다.
10101인걸 보면 A 고등학교 1학년 1반 1번 자리에서 A 고등학교 2학년 5번 3번 자리로 가는 경로를 알아내야겠네요.
이 걸 우리는 "IS-IS" 프로토콜을 사용해 경로를 찾는다고 할 겁니다.
이제 A 고등학교에 있는 20503 김모모 학생이 C 고등학교의 31121 마동석 학생을 찾아간다고 합시다.
도착지가 같은 학교가 아니네요. 이럴수가! 다른 고등학교로 가려면 '버스'를 타야겠죠?
이 버스를 "BGP" 프로토콜이라고 하고, 버스 노선을 BGP 라우팅 테이블(=라우팅 경로)이라고 부르기로 했습니다.
-----
kt 사고조사보고서에 보면 가장 핵심 문장은 이것입니다.
사고발생 라우터에 라우팅 설정명령어 입력과정에서 IS-IS 프로토콜 명령어를 마무리하는 부분에서 ‘exit’ 명령어를 누락했으며, 이로 인해, BGP 프로토콜에서 교환해야 할 경로정보가 IS-IS 프로토콜로 전송되었다.
쉽게 얘기하면, A 고등학교에 새로운 신입생이 와서 자리 배치를 하던 중, 교내 자리 배치표를 업데이트 하는 과정에서 엉뚱한 버스 노선도를 집어넣었단 말이에요.
그렇기 때문에 A 고등학교 내부는 개판이 되었답니다. 왜냐고요?
나는 30118 박박바가지 학생에게 가고 싶은데, 교내 자리 배치표에 버스 노선도가 끼어있었거든요!
그래서 목적지에 도달할 수 없었던 겁니다.
이제 A 고등학교를 KT망이라고 생각해보세요.
KT 망에 신입생(새 라우터)이 들어와서, 교내 자리 배치표를 업데이트(IS-IS Routing Table) 하던 과정 중 실수로 버스 노선도를 끼워넣었(IS-IS Routing Table에 BGP Routing Table을 끼워넣음)기 때문에 오류가 난 것입니다.
-----
그럼 라우터 하나만 뻑나면 될 일이지, 왜 전국적으로 오류가 났는가? →
안타깝게도 IS-IS 프로토콜은 서로가 가지고 있는 경로를 비교하고, 최신의 것으로 업데이트하게 됩니다. 그 경로가 맞던 틀리던 말이죠. 마치 학생들끼리 웅성웅성 소문이 퍼지는 것과 비슷한 모습입니다. 당시 부산국사 내 IS-IS Routing Table 중 가장 최신 것은 새로운 장비를 들이며 수동으로 업데이트 한 것이기 때문이죠(그것이 틀리던 맞던).
부산국사에서 업데이트 한 라우팅 테이블이 전국각지로 퍼져나가며(!!) 결과적으론 망했어요.
에고. 머리야. 오래간만에 묵혀두었던 네트워킹 지식을 꺼내느라 머리가 좀 아팠네요.
비유 부분은 상당히 잘못될 수도, 논리적 비약이 있을수도 있습니다. 하지만 대충~ 맞다고 생각하심 됩니다.
추천인 3
작성자
댓글 23
보통 라우팅 작업은 이번처럼 큰 사고가 나도 피해가 덜 가도록 밤~새벽 시간대에 작업하는게 보통인데, 새벽 작업이라고 기안올려두고 ... 대낮에 작업한거죠.
지나가던 문과생 31004 제르엘입니다. 이거 묘하게 모르겠으면서도 이해가 되네요.
당시 전송되던 패킷들은 졸지에 다 미아가 된 셈이죠. ㅋㅋㅋㅋㅋㅋ
그러니까 학교로 따지자면 연세대 언더우드관에서 중앙도서관으로 가는 길을 안내해 주는 내비게이션이 갑자기 절 고려대학교에 던져둔 후에 안내를 끊어버린 셈이군요 ㅋㅋㅋㅋㅋㅋㅋㅋ
+) 어우 이거 헷갈리네요
그럼 고대가 아니라 이대라고 칩시다
그게 집~ 내지는 학교 정도에 해당한다고 볼 수 있고,
AS 내 경로를 찾아내는 방법이 IS-IS입니다.
집 안에서만 동작하는 네비인 셈입죠.
학교를 벗어나서(KT 망을 벗어나서) 다른 학교로 가려면(SK 망으로 가려면) 버스를 타야 하는데, 타 AS와 통신하는 방법이 BGP입니다. 버스와 흡사한 역할이에요.
근데 IS-IS 내에 BGP 라우팅 테이블을 갖다 박아뒀으니... 말도 안되는것입죠.
그니까 한마디로 언더우드관에서 중도 가려고 했는데 난데없이 버스를 타라고 하길래 탔더니 그게 고려대로 간다... 이거군요?
네트워크 책임자만 욕하겠죠. 잘못되었다고 생각합니다.
최소 부서장<=>임원 라인은 전부 정직 감봉 되어야 하는데, 아무도 책임지지 않는 현실.