UrBackup stops with HT: Hardlinking failed

general discussion
1

Hallo UrBackup-Entwickler,

zunächt einmal vielen Dank für UrBackup - eine super Lösung!

Bei unserer Testinstallation haben wir ein Problem, das wir bisher nicht lösen konnten.

  • Wir sichern Dateien von ca. 100 Rechnern über einen Server (Debian Linux Squeeze 32 Bit, BigMem-Kernel) mit UrBackup (Datei-Backup, kein Image).
  • Dateisystem auf das gesichert wird: ext4.
  • Client-Version: 0.39.2
  • Server-Version: 0.25.1
  • Aufbewahrung: 100 Backups je PC.

Nachdem das Backup knapp 2 Wochen lief, bekommen wir beim Backup nun eine Fehlermeldung im LOG:
“03/14/12 18:22:20: LockForTransaction in CQuery::Execute Stmt: [BEGIN IMMEDIATE;]
03/14/12 18:22:20: HT: Hardlinking failed (Maximum hardlink count reached?)
03/14/12 18:22:20: HT: Hardlinking failed (Maximum hardlink count reached?)
03/14/12 18:22:20: Socket has error: 113
03/14/12 18:22:20: Socket has error: 113
03/14/12 18:22:20: Connecting to ClientService of “lap-NN11” failed: Error sending ‘running’ ping to client
03/14/12 18:22:20: Connecting Channel to ClientService failed - CONNECT error -55
03/14/12 18:22:20: Socket has error: 113”

Nach einem Restart sowohl des UrBackup Servermoduls, als auch der kompletten Servermaschine, läuft die Sicherung von ca. 10 Rechnern. Nach Abschluss dieser 10 Sicherungen können keine weiteren Clients mehr connecten (mit obiger Fehlermeldung im LOG).
Nach jedem Neustart (egal ob Dienst oder Servermaschine) tritt der gleiche Effekt auf.

Wir haben Dateien im Backup gefunden, die das von Ihnen genannte Hardlink-Limit von 64k erreicht haben.

Als Work-Around haben wir die Aufbewahrung der Backups von 100 auf 10 reduziert und auf den Cleanup gewartet.
Im Anschluss lief das Backup wieder.

Probleme dabei:

  1. Wir benötigen eigentlich deutlich mehr als 10 Backups je Rechner.
  2. Das Backup sollte auch bei Erreichen der Hardlink-Grenze weiter laufen.
    Wenn keine Hardlinks mehr angelegt werden können, sollten die Dateien einfach neu geschrieben werden.
    Eine Fehlermeldung im LOG ist natürlich OK, aber ein Abbruch des Backups nicht.

Machen wir evtl. etwas falsch?
Über einen Vorschlag zur Lösung des problems würde ich michf freuen.
Mit freundlichen Grüßen,
Thomas Carlile / linCK-IT GmbH & Co. KG

Hello UrBackup-Developer(s),

thank you very much for UrBackup - a great backup tool!

We made a test-installation and stumbled upon a problem we were unable to solve.
These are the facts:

  • Backup-Server running Debian Linux Squeeze 32 Bit, BigMem-Kernel (Dell PowerEdge; SATA HDs)
  • Filesystem: ext4
  • Backing up files (no images!) from around 100 clients in the network
  • Client-Version: 0.39.2
  • Server-Version: 0.25.1
  • Backups to be kept: 100 for each machine

After around 2 weeks of backups the UrBackup service stopped working.
The LOG says:
“03/14/12 18:22:20: LockForTransaction in CQuery::Execute Stmt: [BEGIN IMMEDIATE;]
03/14/12 18:22:20: HT: Hardlinking failed (Maximum hardlink count reached?)
03/14/12 18:22:20: HT: Hardlinking failed (Maximum hardlink count reached?)
03/14/12 18:22:20: Socket has error: 113
03/14/12 18:22:20: Socket has error: 113
03/14/12 18:22:20: Connecting to ClientService of “lap-NN11” failed: Error sending ‘running’ ping to client
03/14/12 18:22:20: Connecting Channel to ClientService failed - CONNECT error -55
03/14/12 18:22:20: Socket has error: 113”

When we restart the UrBackup service or the whole machine, the backup continues for 10 computers, then stops again with the error-LOG.

We found files in the backup that exceed the 64k hardlink limitation you named.

As a work-around we reduced the number of backups to be kept from 100 to 10 and waited for the cleanup-job.
After that the backup started again without error.

There ar two problems with that work-around:

  1. We need much more than just 10 archived Backups per PC.
  2. The backup should not just stop because of reaching a hardlink-limitation.
    Instead it should continue by writing the files instead of hardlinks and writing something into the error-LOG.

Could it be that we have made a misconfiguration?
I would be happy if you could give us a hint on how to solve this prblem.
Best regards,
Thomas Carlile / linCK-IT GmbH & Co. KG

2

Okay.
Those hardlink messages are just debug messages, and mean that it probably reached the hardlink limit. If this happens it just links to another file or if that failes creates a copy. So this should not cause any errors.
The other messages are debug messages as well and indicate that a client went offline, which should not cause any errors.

Are there any errors or warnings (not just debug messages) in the log file which could narrow down the problem?
How does the server stop, by crashing? (i.e. does the process still run?)
If it does not crash how do the backups stop? Client going offline or some other fatal error? (Should be in the “Logs” section on the server web interface)

3

Hello again,
regarding your questions:
the server does NOT crash, it just stops accepting client-connections. And does not backup anything anymore. And does not send any mails, does not generate new web-LOG-entries.
If we restart the server, new clients connect and the backup service continues (for around 10 clients before it stops again).
After we reset the number of backups to keep (and the server thus continued working) to 10 backups, the backup service resumed working on OLD backup tasks (setting hardlinks, sending old mails, etc.).
We did not see enay further error messages or warnings in the LOG.
If you see a need for it, I would send you the complete (and big) LOG-file.
We think that 176MB of LOG data are no fun to read in a forum ;)
Thank you, TC / linCK-IT GmbH & Co. KG

Hallo und danke für die schnelle Antwort!
Zu Ihren Fragen:
Der Backupdienst crasht nicht, er arbeitet nur nicht mehr: es werden keine Client-Connections mehr angenommen, es erfolgt kein Backup mehr, kein Aufräumen, kein versenden von Mails, keine Aktualisierung des Web-LOGs.
Wenn wir den Backupdienst dann neu starten, läuft der Backupdienst wieder an und arbeitet ca. 10 weitere Clients ab bevor er wieder stehen beibt.
Nachdem wir die Zahl der aufzubewahrenden Sicherungen je Client auf 10 reduziert hatten (mit Neustart des Serverdienstes), lief der UrBackup-Dienst sauber weiter. Er arbeitete acuh alte Tasks ab (die wir eigentlich schon abgeschlossen glaubten).
Wir haben übrigens keine weiteren Fehlermeldungen oder Warnungen im LOG gefunden (außer den genannten).
Wenn es Ihnen hilft, sende ich Ihnen gerne die komplette LOG-Datei. Sie ist relativ groß (ca. 176MB) und das Forum schien uns nicht der geeignete Platz für eine kilometerlange Auflistung ;)
Vielen Dank, TC / linCK-IT GmbH & Co. KG

4

Okay. This leads me to the theory that this is a performance problem. The default max number of simultaneous backups is 10 and it’s only backing up those 10 because it takes forever.

It would be nice if you could confirm this by executing
cat /var/log/urbackup.log | grep “Hardlinking failed” | wc -l
If this number is really high, I think I now what to do.
If not it would be helpful if I had the log file, via DropBox or somthing…

5

Hello,
the result of the grep command is: 84.377 (date: February 27th. until now).
And maybe also important to know for you:
we configured UrBackup to backup simultaneously only 5 clients (not 10).
Best regards, TC / linCK-IT GmbH & Co. KG

Hallo,
das Ergebnis des grep-Kommandos ist: 84.377 (Log vom 27. Februar bis heute).
Und evtl. für Sie wichtig zu wissen:
wir haben den UrBackup-Server so konfiguriert, daß max. 5 Clients gleichzeitig gesichert werden (nicht 10).
Mit besten Grüßen, TC / linCK-IT GmbH & Co. KG

6

Okay. It probably is a performance problem then. I’ll change the behaviour on hardlink errors in the next version (to be released ~this week).

It could be that the hard link limit is not reached for the first 5 clients or that those clients do not have the critical file.

7

Thank you very much!
We will be testing the next version as soon as it is being released and keep you updated on the results.
Best regards, TC / linCK-IT GmbH & Co. KG

Vielen Dank!
Wir werden die neue Version testen, sobald sie zum Download verfügbar ist, und Sie auf dem Laufenden halten.
Mit besten Grüßen, TC / linCK-IT GmbH & Co. KG