Joomla - Importazione da CSV. Problemi di lentezze estrema.

[frakka]

Ho alcuni problemi di prestazioni nell'importazione di un file CSV.

L'ambiente di test sono delle virtual machine hyper-v con CentOS 5.6 64bit, in esecuzione su delle workstation HP Z400. Delle buone workstation ma nulla di eccezionale.
L'ambiente di produzione è un server HP DL 120 G5 con 6Gb di ram e 2 dischi sata in RAID1, con RedHat 5.6 64 bit.

Abbiamo un sito joomla in cui dobbiamo importare un csv tramite virtuemart, per caricare articoli e categorie nel database.
In ambiente di test, la procedura di importazione dura circa 10 minuti, per importare un file da circa 6000 righe.
In ambiente di produzione, la procedura di importazione dura oltre 100 minuti, per lo stesso file... Non ho errori o segnalazioni particolari che possano farmi pensare a qualcosa nei log di sistema, nel corso dell'importazione il carico della CPU non supera mail il 10%, mentre in ambiente di test rimane fisso al 100% per tutta la durata dell'import. Ovviamente le versioni di MySQL, apache e del sito (joomla, virtuemart, csvimport) sono le stesse nei due ambienti.
Sembra che il server di produzione cazzeggi invece che svolgere l'importazione...

Il server, a parte questo strano problema, risponde piuttosto bene, non presenta problemi evidenti di stabilità che possano far pensare ad un problema hardware. Il check del raid non segnala problemi.


Qualche idea??

[tHeGoOd]

Potrebbe esserci qualche differenza di configurazione; ad esempio (la butto li) il php sul server reale potrebbe avere a disposizione meno memoria ed essere limitato per quello. Oppure il problema potrebbe essere l'upload del file?

In ogni caso comportamento stranissimo! Certo che le trovi tutte te frakka!

[giampa]

CONCORDO ...

[frakka]

Potrebbe esserci qualche differenza di configurazione; ad esempio (la butto li) il php sul server reale potrebbe avere a disposizione meno memoria ed essere limitato per quello. Oppure il problema potrebbe essere l'upload del file?

Ho pensato a qualcosa del genere e ho ricontrollato le configurazioni di apache ed il php.ini di entrambi i server ma mi sembrano identiche.
Non ho idea di cosa verificare nella configurazione di MySQL, la versione è la stessa e non abbiamo fatto modifiche alla configurazione predefinita.
Ho pensato a qualcosa collegato agli strani problemi di networking che ogni tanto ci saltano fuori ma non ho trovato nulla di rilevante.
Ho pensato che potesse essere colpa di SELinux ma è disabilitato.
Ho pensato ad un problema sui dischi ma, da quello che riesco ad interpretare, le informazioni smart che ottengo non sono affidabili però il check del raid è pulito.
Il file si trova in locale. Con virtuemart è possibile utilizzare, per questa operazione, l'interfaccia web (caricando il file da un url oppure indicando un file sul server stesso) oppure copiare un comando da mettere in cron che esegue la stessa operazione di importazione, per schedularla. In qualunque modalità di faccia, il risultato non cambia... Accettabilmente rapido in ambiente di test, terribilmente lento in ambiente di produzione.
Ricontrollerò a fine Agosto ormai... Con le ferie alle porte non posso rischiare di introiare il server.

In ogni caso comportamento stranissimo! Certo che le trovi tutte te frakka!

CONCORDO ...

Stai buono va là... Tutte a me capitano!
Ma porca zozza!!!!

[Querty]

Ciao, fai una cosa... controlla gli indici che hai sulle tabelle di mysql e prima ancora guarda il carico che hai sulla cpu dei vari processi.
Se mysql fosse altuccio , togli gli indici e prova a reimportare.
io avevo un problema simile, quando sparavo le query in batch mysql schizzava alle stelle perché la creazione degli indici in fase d'inserimento è roba un po' durina.
Se poi gli indici sono indispensabili rimettili su dopo aver importato.

Ciao ciao.

[frakka]

Grazie del suggerimento.
Se mi risolvi anche questo sei a quota due... Mi sà che inizio ad essere pesantemente in debito!!

Da meno di due ore (il programma di oggi ha aggiunto, come imprevisto del giorno, l'arrampicata su un monte e la scalata di un traliccio per verificare una fibra ottica improvvisamente recalcitante) sono in ferie, quindi ci guardo sicuramente appena rientro. La cosa che però mi lascia perplesso è che il carico della cpu rimane sempre al minimo, difficilmente supera il 10-15% durante l'import...
Cmq appena rientro provo un import con virtuemart in debug, così dovrei avere un'idea molto più precisa dell'attività del server.

Grazie di nuovo e buone ferie, se non ci risentiamo prima.

[Querty]

Vai tranquillo e grazie per le ferie... ahimè ho ancora una settimana di calvario
Speriamo di averci azzeccato ma, come sai, si va per tentativi.
Ciao ciao

[frakka]

Ho dimenticato di aggiornare il thread... Alla fine, il problema è dovuto ai DNS impostati sul sistema e ai problemi che ancora ci riportiamo nella comunicazione con la nostra DMZ.

Usando il DNS di fastweb sul server l'impostazione risultava lentissima. Utilizzando invece i DNS della rete locale l'operazione si è conclusa in pochi minuti, migliorando come prevedibile anche le prestazioni ottenute nell'ambiente di test...
Problema indubbiamente molto strano, in quanto l'importazione pesca i files csv dalla macchina locale e li importa in un db sulla macchina stessa... L'unica cosa che mi viene in mente, è che queste righe contengono dei riferimenti a degli url che evidentemente Joomla tenta di contattare durante la fase di importazione e che con il DNS pubblico risultavano difficilmente raggiungibili oppure completamente non disponibili... Boh!!!

[Totocellux]

[..]
Problema indubbiamente molto strano, in quanto l'importazione pesca i files csv dalla macchina locale e li importa in un db sulla macchina stessa... L'unica cosa che mi viene in mente, è che queste righe contengono dei riferimenti a degli url che evidentemente Joomla tenta di contattare durante la fase di importazione e che con il DNS pubblico risultavano difficilmente raggiungibili oppure completamente non disponibili... Boh!!!

gli url sono interni al server stesso?

In caso affermativo, sono rappresentati in un formato assoluto o relativo?

[frakka]

Gli url sono indicati in percorsi assoluti, fanno riferimento ad un server windows della nostra rete che la macchina pinga correttamente.