[Driftstörning] rhn satellite server underhåll 29/8 08.00-17.00

[Björn Sandell]

Hej,

Vid uppdateringen av Red Het Satellit i går eftermiddag så trycktes
patchar ut till ett antal servrar, dock inte alla. Vi märkte ganska
omgående att uppdateringen på de maskiner som kör RHEL7 misslyckades
och att maskinen hamnade i ett något odefinierat tillstånd.

Vi har sett att en del maskiner har misslyckats med att uppdatera
kärnan, och där ligger nu en trasig kärna och väntar på nästa omboot,
så undvik att boota om din RHEL7-server innan felet rättats till. Om
man ändå bootar så kraschar kärnan, men om man väljer en äldre kärna i
grub så bootar den.

De flesta maskiner har uppdateringen krascht för så att de tror att de
har flera versioner av paket installerade. Man kan använda 'yum
history' för att se om man är drabbad:

# yum history

och hitta en rad i  stil med

18 | System <unset>           | 2019-08-29 15:17 | I, O, U        |  436 **

kör sedan

# yum history info 18

och titta på 'Return-Code'. Där det misslyckat ser vi 

Return-Code    : ** Aborted **

plus en lång lista med felmeddelande. Redan när man kör 'yum history'
kan man få felmeddelande om "pre-existing rpmdb problem(s)" och ana hur
det ligger till.

I bifogad html-fil beskriver RedHat hur man rättar felet, och vi har
verifierat att det funkar, med ett par tillägg:

 - 'yum check' tar väldigt lång tid, mer än en halvtimme
 - nedanstående kan behöva köras två gånger

# yum check &> /tmp/yumcheck
# grep "duplicate" /tmp/yumcheck | awk '{ print $NF }' | egrep -v "\:" > /tmp/duplicaterpms
# grep "duplicate" /tmp/yumcheck | awk '{ print $NF }' | egrep ":" | awk -F':' '{ print $NF }' >> /tmp/duplicaterpms
# for i in $(cat /tmp/duplicaterpms); do rpm -e --justdb --nodeps $i; done 

 - fel av typen

python-pulp-agent-lib-2.13.4.16-1.el7sat.noarch has missing requires of python-pulp-common = ('0', '2.13.4.16', None)

   får man hantera manuellt med 'rpm -e <rpm>'


När man fått ordning på rpm-databasen (enligt ovan) så bör man
ominstallera kärnan:

yum reinstall kernel-<version>-<release>.<arch>

eller möjligen rulla tillbaks patcharna som installerades.

Vill man rulla tillbaks så gör man (på egen risk)

# subscription-manager repos --enable rhel-7-server-satellite-tools-6.3-rpms
# yum rollback <ID>

där <ID> är transaktions-ID:t du hittat ovan.

Vi rekommenderar inte att någon köra rollback om det finns andra
alternativ, såsom t.ex. återläsning från backup/replika.

/Björn & Patrik
-------------- next part --------------
En HTML-bilaga skiljdes ut...
URL: <http://lists.chalmers.se/pipermail/driftstorning/attachments/20190830/9dadd098/attachment.html>