con x11vnc o altro?
strano: è cosa che ho visto accadere spesso su win (forse legata al "registry", immagino...), ma su Linux non c'è motivo al mondo per cui una installazione possa "rallentare" con l'andare del tempo. A meno che tu non abbia installato altri programmi o servizi che consumano risorse, ovviamente.
Per installazione nativa o virtualizzata? Su che hardware? Ti serve anche un desktop?
Se ti serve anche un desktop e vuoi un sistema comodo e funzionale ma anche "leggero" e veloce, anche su hardware datati (o in VM), a prescindere dalla distribuzione di base consiglio di usare il DE "MATE", che è leggero e veloce almeno quanto XFCE (anzi, spesso Mate si dimostra più fluido e veloce di XFCE) ma molto più completo, comodo e funzionale. Come distro suggerisco Linux Mint MATE edition (Mint 18.x == Ubuntu 16.04LTS) oppure Ubuntu Mate).
Se come base preferisci Debian ad Ubuntu, c'è anche LMDE2 (che però è basata su Jessie, ormai datata) o anche Debian "liscia" (in Stretch c'è anche Mate). L'inconveniente è che (tanto LMDE2 quanto, ancor di più, la Debian stessa) sono meno "integrate" con le GUI. In particolare per quanto riguarda le configurazioni di sistema. Cioè, mentre con le *buntu (e derivate Mint) volendo puoi fare tutto (o quasi) senza mai vedere una shell, con Debian (ed LMDE) ci sono diverse cose che richiedono sempre un intervento più "diretto".
ah... capisco.
OK. Se serve aiuto x il debugging, dimmi cosa/come devo impostarlo...