Incidentrapport för Logto-tjänstens avbrott den 2023-12-17 på grund av förlust av produktions-Docker-bild.
Vi upplevde ett tjänstavbrott den 2023-12-17 på grund av förlust av Logto:s produktions-Docker-bild.
| Tid | Händelse |
|---|---|
| Tidigt 2023-12-17 (Specifik tid okänd) | Logto:s automatiserade GitHub- bildretentionsarbetsflöde kördes. logto och logto-cloud produktionsbilder raderades av misstag. |
| 2023-12-17 03:56:00 UTC | Logto molntjänst och Logto kärntjänst blev otillgängliga. Incidenten upptäcktes av vårt övervakningssystem. |
| 2023-12-17 04:03:00 UTC | Incidenten bekräftades av vår jourtekniker. |
| 2023-12-17 04:10:00 UTC | Ny distribution av Logto molntjänst och Logto kärntjänst initierades med den senaste bilden. |
| 2023-12-17 04:15:00 UTC | Logto molntjänst och Logto kärntjänst blev tillgängliga. Incidenten löstes automatiskt. |
Logto:s produktionsbilder raderades av vårt automatiserade GitHub- bildretentionsarbetsflöde. Molntjänsten misslyckades att hämta bilden från GitHub Container Registry och blev otillgänglig.
Det automatiserade GitHub- bildretentionsarbetsflödet raderade produktionsbilderna av misstag. Arbetsflödet var utformat för att radera alla omärkta gamla bilder som är äldre än 3 dagar.
Vi markerade produktionsbilderna med prod-taggen för att identifiera dem som produktionsbilder. Varje gång en produktionsdistribution initierades byggs och pushas en ny bild med prod-taggen till GitHub Container Registry. Prod-taggen kommer att tas bort från den gamla bilden när den nya bilden har blivit lyckat byggd och pushad. Den gamla bilden blir omärkt och kommer att raderas av det automatiserade GitHub- bildretentionsarbetsflödet.
Logto service-bilden byggdes för att stödja flera arkitekturer. Bilden byggdes med buildx och pushades till GitHub Container Registry med --platform-flaggan. Alla taggar applicerades på huvudmanifestlistan. Prod-taggen applicerades också på huvudmanifestlistan. Alla delbilder listade under flermansmarketlistan är kvar omärkta.
Brist på noggrann granskning av tagg- och huvudmanifestliststruktur för Docker- bilden, konfigurerade vi helt enkelt det automatiserade GitHub- bildretentionsarbetsflödet för att radera alla omärkta bilder. Arbetsflödet raderade alla delbilder listade under flermansmarketlistan.
Denna incident orsakade att Logto molntjänst och Logto kärntjänst blev otillgängliga i ungefär 18 minuter. Slutanvändare kunde inte logga in på Logto och komma åt sina klientapplikationer. Logto molnadminportal var också otillgänglig under incidenten.
Vi har stoppat det automatiserade GitHub- bildretentionsarbetsflödet och distribuerat en ny bild med prod-taggen till GitHub Container Registry. Den nya bilden hämtades framgångsrikt av Logto molntjänst och Logto kärntjänst. Tjänsten blev tillgänglig igen.