본문 바로가기

553건이 울렸지만, 확인된 것은 0건이었습니다. 가장 기본이면서도 기준이 참 어려운 알람에 대한 이야기입니다.기준을 아무리 잘 정해도 알람이 도착하지 않으면 소용없고, 알람이 아무리 잘 도착해도 사람이 확인하지 않으면 쓸모가 없습니다.### 알람은 정확히 발화했습니다이 체계를 구축하던 지난 3개월동안 로그 분석 쪽 알러팅은 553건을 발화했습니다. 터널 품질 저하 542, 장비 오프라인 5, 방화벽 차단 급증 4, 인증 실패 급증 2. 등등 웹훅도 전부 실행됐습니다.하지만 에이전트를 통해 도착한 알람은 0건이었습니다.인시던트로 예상된 178건 중 실제로 에이전트를 통해서 장애로 판단되어 알람이 들어온 건 하나도 없었습니다.알람 → 인시던트 → 티켓 → 담당자로 이어지는 길이 단 한 번도 동작하지 않았습니다.원인은 제가 에이전트의 필터링을 너무 두텁게 ..
NRE#1 네트워크 장애를 보는 관점에도 변화가 필요합니다. 네트워크 장비나 회선에 NMS 알람은 없었지만, 사용자들의 장애 신고로 인해 장애를 인지하는 경우가 있었습니다.물론 한번이 아닙니다.네트워크 담당자에게 사용자보다 장애를 먼저 인지하고 공지 후 피드백을 받는것과, 나중에 장애임을 알아차리고 부랴부랴 조치하느라 장애 프로세스가 무너지는 것은 아주 큰 차이가 있습니다.후자로 인한 긴급 공지를 쓸 때마다 같은 질문이 남았습니다.이건 정말 갑자기 일어난 일이었을까? 왜 몰랐을까?이상 징후는 늘 먼저 와 있었습니다원인 파악을 위해 상세히 돌아보면 대부분 그렇습니다.회선은 몇 시간 전부터 알람 트리거가 되지 않을 수준으로 끊겼다 붙었다 했고, 인증 실패율은 오전부터 슬금슬금 올라가 있었고, 특정 지점의 응답 시간은 며칠째 나빠지고 있었습니다.데이터는 다 있었습니다...
NRE#2 아이디어만 있으면 만들 수 있는 시대지만 아직 어려운 것 비단 네트워크를 운영자로 뿐만 아니라 항상 좋은 아이디어가 있어도 구현을 못해서 아쉬움이 많던 시절 있었습니다. 하지만 AI의 도움으로 이제는 누구나 개발할 수 있는 시대가 되었습니다. 바이브코딩의 위엄으로 java의 "hello world"를 모르더라도 개발할 수 있는 시대가 열린것이죠. 예전이라면 못 했을 일입니다혼자 이 토이프로젝트를 진행해보면서 네트워크 운영자들이나 벤더사에서는 "그걸 직접 만드신 거예요?" 라고 묻기도 합니다. (AI의 힘을 빌렸으니 정확히는 제가 만든게 아니긴하지만...)"이 로그랑 저 로그를 붙여서 보면 원인이 보일 텐데." "이 조회를 매번 사람이 하지 말고 자동으로 만들면 될 텐데." "장비 상태 말고 사용자가 겪는 품질로 재면 될 텐데."그런데 거기까지였습니다. 아이디..
NRE#3 로그를 모았고, 다시 정리했습니다 1편에서 이렇게 썼습니다. "수많은 장비의 로그를 한곳에. 모아서 지금은 200억 건이 넘고 용량은 7테라가 넘습니다."서너달 만에 이만큼 데이터를 모았다고 처음에는 그 풍족함에 만족했었습니다. .그러나 그건 만족할만한 일이 아니었습니다.그저 모으기만 했습니다로그를 수집하고있는 오픈서치의 클러스터를 한 번 재시작할 일이 있었습니다.그런데 재시작하고 정상동작을 하기까지 5분이상 소요되는것에 이상함을 느끼기 시작했습니다. 다른 AI툴로 교차검증을 해보니, 참 무식하게도 쓰고 있었습니다. 백단위의 샤드와 한쪽으로 쏠린 색인 등등 솔루션과 프로그램을 잘 모르고 바이브로 AI에게 맡기다 보니 생긴 참사였습니다.게다가 수없이 쌓이는 방화벽 로그 같은 경우에는 필요정보만 가공해서 인덱싱을 남기면 되는데 무식하게도 풀..
[Galaxy S10 5G] 갤럭시S10 5G 개봉기[SKT 5GX, 아이폰 자료 백업] 4년 가까이 사용하던 정든 아이폰6S를 떠나보내고... 새로 들여온 요즘 핫한 갤럭시S10 5G !! 전에 사용하던 아이폰 액정이 깨진 상태였는데...(이것도 무려 리퍼받고 들고 나오다가 깨먹음 ㅠㅠ) 회사 선배가 알리에서 아이폰액정을 주문해다가 교체해서 사용하는 신기술을 보고.. 오 나도나도!! 해서 한게 실수였다 ㅋㅋ 처음 교체는 성공적으로 했으나... 통화고 카메라고 다 정상이었는데 페이스타임이 안되서 자신감을 가지고 다시 분해를 하다가... (참고로 아이폰6S 이상 모델을 자가 액정수리 하시려는 분이 계시다면... 버릴 각오로 임해야 ㅋㅋ 그리고 참고하시는 동영상마다 틀릴텐데... 꼭 시작전에 배터리 케이블을 탈거하는 동영상으로 참고하시길... 아이폰6S부터는 배터리 케이블을 탈거 안하고 하면 나..
Docker0 default network IP address 변경 (docker 브릿지 기본IP 주소 변경) 도커 설치 시 기본적으로 생성되는 기본 브릿지인 docker0 ​ 이 docker0 인터페이스의 기본 network ip가 172.17.0.0/16이다 도커 서비스가 시작되는 순간 내부에서 사용하는 사설IP대역인 172.17.0.0 대역과의 통신이 끊어져 버린다... 콘솔로만 접속 가능 ㅠ ​ 라우팅으로 처리할까 생각해보기도 했는데... 한두개 대역이 아니라 이건 노가다라 싶어 ​ 이 기본 ip를 바꾸어 보자 했다 ​ 이럴때는 구글검색 ㄱㄱ 이기 때문에 신나게 검색을 해보았고 역시나 많은 이들이 이것 때문에 고통받고 있었다...(선구자들이란 역시 힘들다 ㅋㅋ) ​ 구글은 다음과 같이 이야기해준다 ​ ​ 1. /etc/default/docker 에서 기본 설정을 수정하는 방법 (실패함...) # Docke..
[PC] mousewithoutborders 연결 방법(무료 마우스 키보드 공유 프로그램) 요즘은 듀얼모니터가 일상화 되었지만, 경우에 따라서 두개의 pc를 한 책상에서 사용하는 경우도 있다. 이때 두개의 키보드와 마우스를 놓고 사용하는 것은 참으로... 공간낭비에 불편함도 있고...pc가 3대라면 더 끔찍하다 ㅋㅋ​이러한 사람들을 위해서 하나의 키보드와 마우스를 2대의 pc에서 공유하는 프로그램을 소개한다.​​mousewithoutborders는 마이크로소프트에서 제공하는 무료 프로그램이다​먼저 두대의 pc에 모두 해당 프로그램이 설치되어 있어야 한다. ​한가지 주의할 점은 두 pc모두 같은 버전의 mousewithoutborders를 설치해야 한다는 것!(이것 때문에 한참 고생을 ㅠㅜ)​자 두대의 pc에 모두 mousewithoutborders가 설치되었다면 우선 첫번째 pc에서​mouse..
[Apple] 마블에어팟실리콘케이스 (에어팟 케이스) 애플제품을 살때는 항상 이거이 문제다... 뭐 워낙 고가이다 보니 떨구거나 기스만 가도 내마음에도 기스가 가다보니 보호를 위한 케이스를 사지 않을수가 없다 ㅠ 선물로 받은 에어팟이라 그냥 대충써야지 했는데 또 그게 안되서.. 결국 저렴한 케이스를 하나 ㅋㅋ 내 취향을 듬뿍담은 아이언맨 케이스! 바로 개봉!! 가격만큼 단순한 모습이다 본체 케이스와 뚜껑 케이스, 그리고 걸이용 고리로 구성되어 있다 결합은 간단하다 밑에 씌우고 뚜껑도 씌워주고 고리는 미리 결속하고 씌워주길 권장한다.... 난 다시 빼서 연결하고 다시 ㅠ 케이스를 씌우고 열어본 모습 뚜껑쪽 케이스가 좀 부실하지않나 싶었는데 빠지거나 하지는 않았다 나름 잘 붙어있어서 신기 ㅋㅋ 열리는 부분이라 비어 있도록 만든 것 같은데 자꾸 여기가 여는 부분..