Si, incide moltissimo, JAVA è pensato per usare al massimo la RAM disponibile, più ne ha meglio è, ma come al solito con il 20% si ottine l'80% di miglioramneto, oltre si deve spendere molto per ottenere relativamente poco.
Considera che Xms32m e -Xmx512m è il minimo sindacale (ma il default cambia da sistema a sistema), prova a non mettere nulla (compreso quello prima che è il garbage collector, cioè il processo che si occupa di liberare memoria dai 'pezzi' non più usati):
java -jar test-readTag.jar "X:/Tua/cartella/musica" > leia.log 2>&1
se si pianta puoi provare ad aumentare piano piano, ma sempre con valori multipli, dove il max < 2/3 della RAM disponibile, oltre non conviene andare.
Quanta RAM ha RPI?
p.s.
ReadTagnon è leia, non dovrebbe avere problemi di memoria. Che errore ti ha dato?