Server-Fehler bei Preisaktualisierung / Großem Import / Großen Abfragen

Question

Hallo,

ich habe kivitendo auf einem Ubuntu-Server installiert, der ohne Monitor oder Tastatur als reiner Kivitendo-Server läuft. Zugriff habe ich über ssh bzw. das Webinterface.

Nun zu meiner Frage: Beim Import verschiedener Artikellisten (insgesamt ca 140.000 Artikel) habe ich schon festgestellt, daß der Server nur eine bestimmte Menge an Daten verträgt, in meinem Fall leider immer nur etwa 400 Positionen. Beim Import war das noch kein Problem, ich habe die csv-Dateien einfach gesplittet.
Beim Importversuch größerer Dateien bekomme ich immer einen Fehler 500 - Internal Server Error. Laut Apache-Log des Servers handelt es sich wohl um einen Timeout: "mod_fcgid: read data timeout in 40 seconds,"

Wie gesagt, beim Import hat mich das noch nicht gestört, allerdings wollte ich jetzt meine Preise aktualisieren und da bekomme ich jetzt den gleichen Fehler. Den kann ich natürlich nicht mehr umgehen, die Preise häppchenweise zu aktualisieren geht ja nicht...

Gibt es eine Möglichkeit, den Timeout anzuheben, damit der Server genug Zeit bekommt, meine Anfrage zu bearbeiten? Der Server ist zwar nicht der neueste, aber 1 GB RAM sollte doch eigentlich ausreichend sein, oder? Die Ausgabe von top zeigt auch während einer so großen Anfrage nur eine ca 50%ige Auslastung von CPU und RAM...

Answer 1

Hallo,

Ich habe schon csv-Dateien mit 300000 Teilen importiert, aber als erstes: Welche Version ist installiert?
Ist es die 3.0-stable, dann kann das nicht funktionieren! Das geht nur mit einer git-Version! Es wurde was an der Importschnittstelle geändert! Bei der alten Version kommt es yum genannten Fehler, da ja jeder zu importierender Eintrag mit der DB abgeglichen werden muss und das eben dauert, sobald die DB gross wird! In der Zwischenzeit will der Apache dann nicht mehr warten und bringt den Timeout! Also: erst mal die neue git-Version installieren, sonst geht das gar nicht!

MfG
SNR

Kleiner Nachtrag: Das mit dem Speicher kann knapp werden! Das Hauptproblem dabei ist, dass die verwendeten Perlscripte wohl den Speicher nicht mehr frei geben. Meine Erfahrungswerte: ca. 1.034.000 Teile in der DB und dann ist es egal, wie viele Teile in der csv sind, braucht etwa 10GB RAM (RAM belegt vor Import:ca. 2GB und nach Import: ca. 12-13GB)! Also viel Spass beim Swappen!

Answer 2

Hallo,

danke für die schnelle Antwort, da hab ich zumindest einen Anhaltspunkt. Es ist noch die 3.0 stable, also werde ich zuerst mal versuchen, auf die git-Version upzudaten. Ich melde mich, wenns geklappt hat :-)

Answer 3

Also, hier mal eine Statusmeldung:

mit der Git-Version funktionieren die großen Importe viel besser.

Allerdings kämpfe ich jetzt mit dem Problem, die Datensicherung aus 2.7 einzuspielen, aber dazu gibt es ja scon einen anderen Thread.

Vielen Dank jedenfalls für den Tipp!