구글은 9월 4일 구글 챗의 실시간 수신 메시지 표시 지연에 관한 사후보고서를 공개했다. 장애는 지난 8월 28일 발생해 2시간 44분간 이어진 뒤 복구됐다. 웹과 데스크톱, 모바일 이용자에게 푸시 알림은 도착했지만 메시지 내용은 즉시 표시되지 않았다.
알래스카대 NTS·OIT도 당시 공식 상태 페이지를 통해 같은 증상과 새로고침 우회 방법을 안내했다. 이후 구글이 문제를 해결하고 최근 변경 사항을 되돌렸다는 예비 설명을 전달받았다고 공지해 장애와 복구 경과를 별도로 확인했다.
구글은 전 세계 데이터베이스 스키마 배포 과정에서 호환되지 않는 변경과 스키마 동기화의 드문 경합 조건이 겹쳤다고 설명했다. 이 때문에 실시간 전달에 필요한 일부 쓰기 작업이 실패했다. 푸시 알림 시스템과 기본 메시지 저장소는 분리돼 있어 데이터 손실이나 보안 침해는 발생하지 않았다고 밝혔다.
읽음 상태와 받은편지함 정렬, 검색 색인도 지연됐다. 구글은 모든 구글 챗 환경이 영향을 받았다고 설명했다. 수동 새로고침이나 답장 전송은 당시 대화를 동기화하는 임시 우회 방법으로 작동했다.
구글은 문제가 발생한 쓰기 작업에 대한 실시간 전달 의존성을 제거했다. 이어 스키마 변경을 중단하고 되돌린 뒤 모든 도메인에서 메시지 표시 지연이 사라진 것을 확인했다.
재발 방지를 위해 스키마 변경의 사전 운영환경 검증을 강화하기로 했다. 유사한 경합 조건이 발생해도 실시간 전달이 영향을 덜 받도록 시스템 회복력도 높이겠다고 밝혔다.
확인한 원문
검증 원문 2건공식 1차 자료 2곳 · 신뢰 독립 원출처 2곳 · 전체 독립 원출처 2곳 · 전체 공개 신호 2건
01최초 게시
