한국어
포스트모템: 사용자 로그인 중 예상치 못한 500 오류 발생
2024년 7월 18일 인증 서비스에서 반환된 예상치 못한 500 오류에 대한 사고 보고서입니다.
Charles
Developer
Developer
2024년 7월 18일 인증 서비스에서 반환된 예상치 못한 500 오류에 대한 사고 보고서입니다.
2024년 7월 18일, Logto Cloud에서 인증 서비스로 인해 500 Internal server error가 발생하였습니다.
최근의 Cloud 배포 중, 데이터베이스 스키마에 도입된 치명적인 변경이 스테이징과 운영 환경 간의 전환 시점에서 로그인 경험 API를 실패하게 하였습니다.
우리는 현재 "Bring your UI"라는 새 기능을 개발 중에 있으며, 이 기능은 사용자가 자신만의 웹 페이지로 Logto 로그인 경험을 커스텀할 수 있게 합니다. 이 기능은 sign-in-exp 테이블에 커스텀 UI 구성을 저장하기 위한 새로운 열이 필요합니다.
개발 도중 요구 사항 변경으로 인해 기능의 출시가 지연되었지만, 스키마 변경의 일부가 이미 몇 주 전에 운영 환경에 배포되었으며 아직 사용되지 않았습니다. 데이터베이스 열의 업데이트는 이 PR에서 도입되었습니다.
안타깝게도, 이 변경은 이전 버전과의 호환성이 유지되지 않아, 새로운 데이터베이스와의 통신 중에 이전 코드에서 API 요청이 실패하게 되었습니다.
Logto Cloud의 새 버전을 배포할 때, 먼저 이를 스테이징 환경에 배포한 후 스테이징 환경과 운영 환경을 교체합니다. 그 과정은 다음과 같습니다:
그러나 두 환경은 동일한 데이터베이스를 공유하며, 전체 과정에는 시간이 걸립니다. 따라서 데이터베이스 업데이트와 서버 교체 간의 시간차 동안, 기존 코드를 사용하는 운영 환경에 있는 온라인 사용자는 새로운 데이터베이스와 통신하려고 시도하게 됩니다.
이것이 이번 사고의 원인이며, 35분 만에 자동으로 해결된 이유입니다.
우리는 데이터베이스 변경 사항의 이전 버전과의 호환성을 체크하는 CI 작업을 이미 보유하고 있습니다. 그러나 이전에는 PR 병합 전에 CI 검사가 통과되는 것이 필수사항은 아니었습니다. 이는 대부분의 개발 단계가 몇 가지 스프린트 내에서 짧게 이루어지며, 스키마 변경의 첫 번째와 두 번째 부분이 보통 같은 릴리스 단계에 포함되기 때문입니다.
이번에는 기능 출시가 지연되면서 스키마 변경이 두 번의 릴리스로 나뉘었습니다. 개발자는 CI 실패가 예상된 것이라 생각하고, 리뷰어들에게 이것이 PR 병합을 방해하지 않을 것이라고 알렸습니다.
커뮤니케이션의 격차도 분명히 있었으며, 결국 PR은 필요하지 않은 뒤로호환성 지원 없이 병합되었습니다.