User Tools

Site Tools


start

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
start [2018/10/21 18:13]
rolf [Never ever reinstall!]
start [2018/10/21 18:45] (current)
rolf [Another great mess]
Line 83: Line 83:
 ==== Another great mess ==== ==== Another great mess ====
  
-En inderdaad: na de reboot was de RAID set weer terugEn ook de LUKS encryptie deed het nogEn ook de LV'​s ​waren er weer!+Yes, indeed! During boot Linux properly identified the RAID set againAnd the LUKT partition still worked tooAnd even all LV'​s ​were back!
  
-Maar zelfstandig opstarten lukte nietDus maar even een fsck gedaan van het ROOT FS. En fsck zei iets wat ik nog niet eerder heb meegemaakt"​Aborted"​. ???? Was het dan zo erg?+So far the good newsNow for the bad news:
  
-bcache+Apparently there were problems with the axt4 root FS. So I ran ''​fsck''​ , and ''​fsck''​ said something I never experienced before: "​Aborted"​. ???? Was it that bad?
  
-Ja, zo erg was het. Ik heb namelijk ​bcache ​altijd in writeback mode staan, dat levert mooi de beste performance op. Maar dat pakte nu een beetje verkeerd uit.+==== bcache ​====
  
-Omdat eerder de RAID set niet werd herkendmaar wel de bcache ​signature, ging bcache gewoon lekker de cache in de SSD flushen. Dat is normaal een goed ideemaar niet als maar 1 partitie in plaats van de hele RAID set wordt gebruiktEr is dus op verkeerde plaatsen geflusht.+Yesit was that bad. I had bcache ​running ​in writebackwhich delivers excellent write performance - even on a RAID5 set. Unfortunately this turned against me in this case.
  
-Wat fijn om te begrijpen wat er aan de hand as!+Although before the RAID set was not identified, but bcache was identified, the Linux kernel had bcache just flush whatever was on the SSD. This is business ​as usual, nut it was bad idea to flush data from the SSD to a single partition instead of the complete RAID5 set. Because now the flushing happened on the wrong places!
  
-Never ever reinstall!+Oh BTW, in hindsight the fsck wasn't a good idea too - I mean the fsck on the partition in stead of the whole RAID set. The fsck may additionally messed up the filesystem.
  
-Hoe nu verder? Een reinstall? Natuurlijk niet!+Always nice to understand what happened!
  
-Er was nog heel veel data toch goed of het Filesystem?​ +==== Never ever reinstall====
-Dus met "cp -a" alles wat nog leesbaar was kopieren naar een USB disk +
-Vervolgens een nieuwe RAID set aanmaken (metadata versie 1.2!!) +
-Vervolgens bcache er weer bovenop +
-Vervolgens LUKS er weer bovenop +
-Vervolgens LVM er weer bovenop +
-En alle files vanaf de USB disk weer naar het nieuwe ROOT LV+
  
-En toen, fingers crossed: een reboot!+And now? A clean reinstall in the end? Noway! Of course not!
  
-Bagger+There was a lot of data still OK on the Filesystem, wasn't it?
  
-En verdorie ​(het is geen windows) het systeem kon starten! Niet in runleve 5. Niet in runlevel 3. Maar wel in runlevel ​1. En dat telt toch ook, niet?+  - So with "cp -a" I copied all that was still accessible to a USB drive 
 +  - Next I created a new RAID set (metadata version ​1.2!!) 
 +  - Next bcache on top of it 
 +  - Next LUKS on top of that 
 +  - Next LVM on top of that 
 +  - And finally restore all files from the USB disk back to the new ROOt LV
  
-Voor de zekerheid "rpm --rebuilddb"​ gedaanen toen "rpm -qVa" om te kijken of er veel files niet in orde waren. Ik heb het command afgebroken, want dat waren wel heeel heeel heeel veel files.+And thenfingers crossed: a reboot!
  
-Never ever reinstall!+==== Another great mess ====
  
-Hoe nu verder? Toch maar een reinstall? Natuurlijk niet!+Damn, YesThe system started! Not in runlevel 5. Not in runlevel 3. But it did start in runlevel 1! And that counts as starting, doesn'​t it?
  
-Ten eerste werkt RPM nog. Dan kunnen we een hoop repareren. Bovendien bleek dnf ook nog te werken! Dus ......+Once in runlevel 1 I did an "rpm --rebuilddb"​ followed by an "rpm -qVa" to verify correctnes of files on the root FSI interrupted the command, because many many files were reported as being incorrect.
  
-dnf reinstall ​& reboot+==== Never ever reinstall! ====
  
-Met "​dnf ​reinstall" heb ik alle RPM's opnieuwe geinstalleerd. Door de jaren heen zijn het er best wel veel geworden kennelijk: ~ 5800 RPM's. Dit duurde dus best wel even, mooi om te laten fietsen terwijl we op bezoek waren.+So give up in the end? A reinstall ​anyway? Of course not!
  
-Toen we een paar uur later terug kwamen, een reboot gedaanEn voila: runlevel 5 deed het nog! Ik kon weer inloggen!+First of all: ''​rpm''​ was still running. And that meant we could fiel a lot. Furthermore als ''​dnf''​ was still working too.
  
-Voorzorgmaatregel!+==== dnf reinstall & reboot ====
  
-Voordat ik heb ingelogd, heb ik even als root mijn ownCloud en Dropbox data en configs verwijderd. Want het zal toch maar gebeuren dat "er wat bestanden zijn veranderd" ​en dat het wordt gesynchroniseerd.+I used "''​dnf reinstall''​" ​to reinstall all installed ''​rpm'''​s. Apparently the number of ''​rpm'''​s has grown to ~5800 through the years. Reinstalling all of the took quite a while. So of left the system on its own for a while.
  
-Pas toen heb ik ingelogdEn hoera alles doet het nog!+After a few hours I git back to my PC and noticed that the ''​dnf reinstall''​ was finishedSo all that was left to do: ''​reboot''​! And low an behold: it started just fine in runlevel 5 again
  
-Alle belangrijke ​data nog OK?+==== All important ​data still intact====
  
-Zeker weten! Want er staat op de PC geen belangrijke ​data. Daarom is het ook zo leuk om ermee te prutsen.+I'm absolutely sure that all important ​data was still in intact: there never was any on my PC! And that's what made it fun to stubbornly try to fix it all.
  
-Hoewel? Steam: ik hoop dat al mijn games het nog doen :-)+AlthouhNo important data? U hope that all my Steam games still work! :-)
  
  
start.txt · Last modified: 2018/10/21 18:45 by rolf