Informe del incidente para la interrupción del servicio Logto el 2023-12-17 debido a la pérdida de la imagen de producción de Docker.
Hemos experimentado una interrupción del servicio el 2023-12-17 debido a la pérdida de la imagen de producción de Docker de Logto.
| Hora | Evento |
|---|---|
| Temprano 2023-12-17 (Hora específica desconocida) | Se ejecutó el flujo de trabajo de retención de imágenes de GitHub automatizado de Logto. Las imágenes de producción logto y logto-cloud fueron eliminadas por error. |
| 2023-12-17 03:56:00 UTC | El servicio en la nube de Logto y el servicio central de Logto se volvieron no disponibles. El incidente fue detectado por nuestro sistema de monitoreo. |
| 2023-12-17 04:03:00 UTC | Incidente reconocido por nuestro ingeniero de guardia. |
| 2023-12-17 04:10:00 UTC | Se desencadenó una nueva implementación del servicio en la nube de Logto y el servicio central de Logto con la última imagen. |
| 2023-12-17 04:15:00 UTC | El servicio en la nube de Logto y el servicio central de Logto se volvieron disponibles. El incidente se resolvió automáticamente. |
Las imágenes de producción del servicio Logto fueron eliminadas por nuestro flujo de trabajo de retención de imágenes de GitHub automatizado. El servicio en la nube no pudo recuperar la imagen de GitHub Container Registry y se volvió no disponible.
El flujo de trabajo de retención de imágenes de GitHub automatizado eliminó por error las imágenes de producción. El flujo de trabajo fue diseñado para eliminar todas las imágenes heredadas sin etiquetas que tengan más de 3 días.
Etiquetamos las imágenes de producción con la etiqueta prod para identificarlas como imágenes de producción. Cada vez que se desencadena una implementación de producción, se construye y se envía una nueva imagen con la etiqueta prod a GitHub Container Registry. La etiqueta prod se elimina de la imagen antigua después de que la nueva imagen se construye y se envía con éxito. La imagen antigua se vuelve sin etiqueta y será eliminada por el flujo de trabajo de retención de imágenes de GitHub automatizado.
La imagen del servicio Logto fue construida para soportar múltiples arquitecturas. La imagen fue construida con buildx y enviada a GitHub Container Registry con la opción --platform. Todas las etiquetas se aplicaron a la lista principal del manifiesto. La etiqueta prod también se aplicó a la lista principal del manifiesto. Todas las sub-imágenes listadas bajo la lista de manifiesto multi-arquitectura permanecen sin etiquetas.
Debido a la falta de una revisión cuidadosa de la estructura de la etiqueta y la lista de manifiesto de la imagen de Docker, simplemente configuramos el flujo de trabajo automatizado de retención de imágenes de GitHub para eliminar todas las imágenes sin etiquetas. El flujo de trabajo eliminó todas las sub-imágenes listadas en la lista de manifiesto multi-arquitectura.
Este incidente causó que el servicio en la nube de Logto y el servicio central de Logto no estuvieran disponibles durante aproximadamente 18 minutos. Los usuarios finales no pudieron iniciar sesión en Logto ni acceder a sus aplicaciones cliente. El portal de administración en la nube de Logto también estuvo no disponible durante el incidente.
Hemos detenido el flujo de trabajo automatizado de retención de imágenes de GitHub y hemos desplegado una nueva imagen con la etiqueta prod en GitHub Container Registry. La nueva imagen fue recuperada con éxito por el servicio en la nube de Logto y el servicio central de Logto. El servicio volvió a estar disponible.