DSD in LMS con SOX

[marcoc1712]

Ahi. Cominciamo subito male... la patch fallisce l'ultimo chunk:

--- src/dsf.c
+++ src/dsf.c
@@ -278,7 +281,10 @@ static void dsf_write_bits(struct dsf *dsf, const sox_sample_t *buf,
                unsigned d = dsd[i * dsf->block_size];

                for (j = start_bit; j < start_bit + len; j++) {
-                       d |= (buf[i + j * dsf->chan_num] > 0) << j;
+                       if (buf[i + j * dsf->chan_num] > 0)
+                               d |= 1 << j;
+                       else
+                               d &= ~(1 << j);
                }

                dsd[i * dsf->block_size] = d;

il codice in git non corrisponde.

Con la patch parzialmente applicata, qualcosa cambia: vengono prodotti dei dati, che squeezelite riceve e... "suona", ma è junk (viene fuori solo rumore):

[17-02-06 01:46:21.7378] Slim::Player::StreamingController::_Stream (1265) 00:1c:c0:37:22:73: stream
[17-02-06 01:46:21.7400] Slim::Player::StreamingController::_Stream (1302) Song queue is now 1
[17-02-06 01:46:21.7403] Slim::Player::StreamingController::_setPlayingState (2357) new playing state BUFFERING
[17-02-06 01:46:21.7404] Slim::Player::StreamingController::_setStreamingState (2366) new streaming state STREAMING
[17-02-06 01:46:21.7540] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: flc->dsf via: [sox] -q  -t flac $FILE$ -t dsf  -b 1 - rate -vMn 5644800 sdm -f  sdm-8
[17-02-06 01:46:21.7546] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: flc->dsf via: [sox] -q  -t flac $FILE$ -t dsf  -b 1 - rate -vMn 5644800 sdm -f  sdm-8

*** /tmp/squeezelite.log ***
[01:46:21.988143] _read_header:158 DSF version: 1 format: 0
[01:46:21.988599] _read_header:168 channels: 2
[01:46:21.988607] _read_header:169 sample rate: 5644800
[01:46:21.988613] _read_header:170 lsb first: 1
[01:46:21.988619] _read_header:171 sample bytes: 2305843009213693951
[01:46:21.988626] _read_header:172 block size: 4096
[01:46:21.988632] _read_header:178 found dsd len: 12
[01:46:21.988639] dsd_decode:527 setting track_start
[01:46:21.988646] dsd_decode:543 DSD to PCM output
[01:46:22.078507] output_thread:638 open output device: hw:CARD=D20
[01:46:22.078721] alsa_open:355 opening device at: 44100
[01:46:22.078983] alsa_open:406 opened device hw:CARD=D20 using format: S32_LE sample rate: 44100 mmap: 1
[01:46:22.079016] alsa_open:485 buffer: 499 period: 3 -> buffer size: 22005 period size: 7335
[01:46:22.196789] _output_frames:61 start buffer frames: 159744
[01:46:22.196853] _output_frames:146 track start sample rate: 705600 replay_gain: 0
[01:46:22.206886] output_thread:638 open output device: hw:CARD=D20
[01:46:22.221039] alsa_open:355 opening device at: 705600
[01:46:22.221299] alsa_open:406 opened device hw:CARD=D20 using format: S32_LE sample rate: 705600 mmap: 1
[01:46:22.221322] alsa_open:485 buffer: 499 period: 3 -> buffer size: 131070 period size: 43690

*** /var/log/squeezeboxserver//server.log ***
[17-02-06 01:46:22.2056] Slim::Player::StreamingController::playerTrackStarted (2180) 00:1c:c0:37:22:73
[17-02-06 01:46:22.2059] Slim::Player::StreamingController::_setPlayingState (2357) new playing state PLAYING
[17-02-06 01:46:22.2061] Slim::Player::StreamingController::_Playing (361) Song 1 has now started playing
[17-02-06 01:46:22.2066] Slim::Player::StreamingController::_Playing (390) Song queue is now 1
[17-02-06 01:46:22.9703] Slim::Player::StreamingController::pause (2116) 00:1c:c0:37:22:73
[17-02-06 01:46:22.9711] Slim::Player::StreamingController::_setPlayingState (2357) new playing state PAUSED

Dopo di che ho provato a ricostruire a mano come avrebbe dovuto essere la funzione con l'ultima parte della patch, ma non funziona: non solo produce dsf invalidi ma, curiosamente, si comporta come il sox di Mans non patchato (cioè, non fa neanche finta di suonare).

Direi che a questo punto è tempo interpellare Mans...

L'effetto della patch è quello di impostare ad un massimo teorico la lunghezza dello stream, che altrimenti è posta a 0, quindi provoca la chiusura di squeezelite (come succedeva con i files molto lunghi con wav ricordate?).

Però mi pare che esca in PCM...

[antonellocaroli]

certo.

A te no? Se così fosse, checklist:

*) Il tuo DAC (l'interfaccia USB) supporta DSD nativo (non DoP)?

*) il Kernel e le librerie ALSA che usi lo supportano?

*) hai compilato SL con l'opzione DSD?

Le prime due posso risponderti affermativamente...con HQplayer e NAD vado no DoP.

La terza non ne sono sicuro al 100 % ma mi pare di si.

non é che dipende dal fatto che ho impostato il rate? -r 44100-384000 ?

[marcoc1712]

sì. Posso confermare che funziona, sia in DoP che nativo.

Tolto il "-D" (che pensavo fosse necessario per il DSD), questo è quanto succede mandando in play un file dsf (per altro prodotto proprio con sox):

[17-02-06 00:36:33.7534] Slim::Player::StreamingController::stop (2097) 00:1c:c0:37:22:73
[17-02-06 00:36:33.7537] Slim::Player::StreamingController::resetSongqueue (1776) Song queue is now 
[17-02-06 00:36:33.7555] Slim::Player::StreamingController::play (2100) 00:1c:c0:37:22:73
[17-02-06 00:36:33.7564] Slim::Player::StreamingController::_setPlayingState (2357) new playing state STOPPED
[17-02-06 00:36:33.7566] Slim::Player::StreamingController::_setStreamingState (2366) new streaming state IDLE
[17-02-06 00:36:33.7571] Slim::Player::Song::new (108) index 0 -> tmp:///home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7574] Slim::Player::StreamingController::_setStreamingState (2366) new streaming state TRACKWAIT
[17-02-06 00:36:33.7649] Slim::Player::StreamingController::_playersMessage (789) Getting stream info...: tmp:///home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7655] Slim::Player::Song::getNextSong (229) tmp:///home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7658] Slim::Player::StreamingController::_nextTrackReady (737) 00:1c:c0:37:22:73: nextTrack will be index 0
[17-02-06 00:36:33.7661] Slim::Player::StreamingController::_Stream (1203) Song queue is now 0
[17-02-06 00:36:33.7663] Slim::Player::StreamingController::_Stream (1206) 00:1c:c0:37:22:73: preparing to stream song index 0
[17-02-06 00:36:33.7665] Slim::Player::Song::open (363) tmp:///home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7674] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: dsf->dsf via: -
[17-02-06 00:36:33.7677] Slim::Player::Song::open (387) seek=false time=0 canSeek=1
[17-02-06 00:36:33.7683] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: dsf->dsf via: -
[17-02-06 00:36:33.7685] Slim::Player::Song::open (408) Transcoder: streamMode=I, streamformat=dsf
[17-02-06 00:36:33.7689] Slim::Player::Song::open (461) Opening stream (no direct streaming) using Slim::Player::Protocols::Volatile [tmp:///home/data/audio/DSD/test.dsf]
[17-02-06 00:36:33.7692] Slim::Player::Protocols::File::open (81) duration: [264.626] size: [373448796] endian [] offset: [0] for tmp:///home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7694] Slim::Player::Protocols::File::open (98) Opening file /home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7698] Slim::Player::Protocols::File::open (192) Seeking in 0 into /home/data/audio/DSD/test.dsf
[17-02-06 00:36:33.7701] Slim::Player::Song::open (482) URL is a song (audio): tmp:///home/data/audio/DSD/test.dsf, type=dsf
[17-02-06 00:36:33.7713] Slim::Player::StreamingController::_Stream (1265) 00:1c:c0:37:22:73: stream
[17-02-06 00:36:33.7762] Slim::Player::StreamingController::_Stream (1302) Song queue is now 0
[17-02-06 00:36:33.7765] Slim::Player::StreamingController::_setPlayingState (2357) new playing state BUFFERING
[17-02-06 00:36:33.7767] Slim::Player::StreamingController::_setStreamingState (2366) new streaming state STREAMING
[17-02-06 00:36:33.8319] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: dsf->dsf via: -
[17-02-06 00:36:33.9013] Slim::Player::Player::_buffering (1140) Buffering... 0 / 20480
[17-02-06 00:36:34.2061] Slim::Player::Player::_buffering (1140) Buffering... 851756 / 20480
[17-02-06 00:36:34.3810] Slim::Player::StreamingController::playerTrackStarted (2180) 00:1c:c0:37:22:73
[17-02-06 00:36:34.3812] Slim::Player::StreamingController::_setPlayingState (2357) new playing state PLAYING
[17-02-06 00:36:34.3814] Slim::Player::StreamingController::_Playing (361) Song 0 has now started playing
[17-02-06 00:36:34.3821] Slim::Player::StreamingController::_Playing (390) Song queue is now 0

*** /tmp/squeezelite.log ***
[00:36:33.755869] decode_flush:190 decode flush
[00:36:33.755914] output_flush:423 flush output buffer
[00:36:33.775897] codec_open:218 codec open: 'd'
[00:36:33.775987] stream_sock:384 connecting to 127.0.0.1:9000
[00:36:33.776055] stream_sock:413 header: GET /stream.mp3?player=00:1c:c0:37:22:73 HTTP/1.0


[00:36:33.865041] stream_thread:176 headers: len: 115
HTTP/1.1 200 OK
Server: Logitech Media Server (7.9.0 - 1468928517)
Connection: close
Content-Type: audio/dsf


[00:36:33.926466] output_thread:638 open output device: hw:CARD=D20
[00:36:33.926956] alsa_open:355 opening device at: 44100
[00:36:33.927202] alsa_open:406 opened device hw:CARD=D20 using format: S32_LE sample rate: 44100 mmap: 1
[00:36:33.927240] alsa_open:485 buffer: 499 period: 3 -> buffer size: 22005 period size: 7335
[00:36:34.061277] _read_header:158 DSF version: 1 format: 0
[00:36:34.061440] _read_header:168 channels: 2
[00:36:34.061448] _read_header:169 sample rate: 5644800
[00:36:34.061455] _read_header:170 lsb first: 1
[00:36:34.061462] _read_header:171 sample bytes: 186720576
[00:36:34.061468] _read_header:172 block size: 4096
[00:36:34.061475] _read_header:178 found dsd len: 373448716
[00:36:34.061482] dsd_decode:527 setting track_start
[00:36:34.061489] dsd_decode:543 DSD to PCM output
[00:36:34.231506] _output_frames:61 start buffer frames: 3526656
[00:36:34.231572] _output_frames:146 track start sample rate: 705600 replay_gain: 0
[00:36:34.241591] output_thread:638 open output device: hw:CARD=D20
[00:36:34.257120] alsa_open:355 opening device at: 705600
[00:36:34.257366] alsa_open:406 opened device hw:CARD=D20 using format: S32_LE sample rate: 705600 mmap: 1
[00:36:34.257395] alsa_open:485 buffer: 499 period: 3 -> buffer size: 131070 period size: 43690

*** /var/log/squeezeboxserver//server.log ***
[17-02-06 00:36:35.0061] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: dsf->dsf via: -

...mentre questo è ciò che succede tentando la conversione al volo:

[17-02-06 00:41:34.8863] Slim::Player::StreamingController::_setPlayingState (2357) new playing state BUFFERING
[17-02-06 00:41:34.8864] Slim::Player::StreamingController::_setStreamingState (2366) new streaming state STREAMING
[17-02-06 00:41:34.9241] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: flc->dsf via: [sox] -q  -t flac $FILE$ -t dsf  -b 1 - rate -vMn 5644800 sdm -f  sdm-8
[17-02-06 00:41:34.9251] Slim::Player::TranscodingHelper::getConvertCommand2 (446) Matched: flc->dsf via: [sox] -q  -t flac $FILE$ -t dsf  -b 1 - rate -vMn 5644800 sdm -f  sdm-8
[17-02-06 00:41:35.1638] Slim::Player::StreamingController::playerReadyToStream (2198) 00:1c:c0:37:22:73

*** /tmp/squeezelite.log ***
[00:41:34.667800] decode_flush:190 decode flush
[00:41:34.667851] output_flush:423 flush output buffer
[00:41:34.885644] codec_open:218 codec open: 'd'
[00:41:34.885715] stream_sock:384 connecting to 127.0.0.1:9000
[00:41:34.885778] stream_sock:413 header: GET /stream.mp3?player=00:1c:c0:37:22:73 HTTP/1.0


[00:41:34.945701] stream_thread:176 headers: len: 115
HTTP/1.1 200 OK
Server: Logitech Media Server (7.9.0 - 1468928517)
Connection: close
Content-Type: audio/dsf


[00:41:35.163197] _read_header:158 DSF version: 1 format: 0
[00:41:35.163256] _read_header:168 channels: 2
[00:41:35.163264] _read_header:169 sample rate: 5644800
[00:41:35.163271] _read_header:170 lsb first: 1
[00:41:35.163277] _read_header:171 sample bytes: 0
[00:41:35.163283] _read_header:172 block size: 4096
[00:41:35.163290] _read_header:178 found dsd len: 12
[00:41:35.163297] dsd_decode:527 setting track_start
[00:41:35.163317] dsd_decode:543 DSD to PCM output
[00:41:35.163324] _decode_dsf:258 frames got to zero
[00:41:35.163331] decode_thread:99 decode complete
[00:41:35.164441] output_thread:638 open output device: hw:CARD=D20
[00:41:35.164492] alsa_open:355 opening device at: 705600
[00:41:35.164707] alsa_open:406 opened device hw:CARD=D20 using format: S32_LE sample rate: 705600 mmap: 1
[00:41:35.164736] alsa_open:485 buffer: 499 period: 3 -> buffer size: 131070 period size: 43690

la cosa interessante è che nel frattempo il counter di LMS avanza ed il processo di sox è vivo, ma non sembra fare nulla: non utilizza CPU né fa I/O. Come se stesse aspettando qualcosa...

Il punto è che squeezelite riceve 12 (qualsiasi sia l'unità di misura) "dsd len" e 0 byte, quindi esce subito dal loop di lettura, mentre SOX continua a voler scrivere, ll che provoca il 'blocco' del FIFO dopo che è stato riempito il buffer, fino al raggiungere il timeout.

La patch, a quello che ho visto, risolve il problema della lunghezza, impostando la massima (problema analogo a quello che si aveva con i files molto lunghi), così che squeezelite non esce immediatamente dal lop di lettura, ma non quello dei sample bytes, che rimangono a 0, probabilmente perchè rimane da risolvere un pronlema legato alla lettura di un file incompleto, che ha lo stesso sox, come riporti tu.

can't open input file `pippo.dsf': invalid data chunk size

COn ogni probabilità il chuk size è un valore calcolato a partire da uno di quei valori che sono disponibili solo a file completo ( sample bytes e dsd len ),
cui va dato un 'default' quando non sono disponibili. Pensavo fosse risolto dalla patch di sox, ma evidentemente deve essere risolto lato reader, quindi in una della patch di squeezelite

Posos sentire Mansr, ma non credo che il problema sia sul suo lato, magari però ne è a conoscenza.

p.s.

A me sembra che continui ad uscire in PCM.

[UnixMan]

L'effetto della patch è quello di impostare ad un massimo teorico la lunghezza dello stream, che altrimenti è posta a 0, quindi provoca la chiusura di squeezelite (come succedeva con i files molto lunghi con wav ricordate?).

Però mi pare che esca in PCM...

infatti come ho detto in quel modo NON funziona... esce rumore.

BTW: a giudicare da questo e da quanto visto (qui), il sospetto è che ci possa essere uno di questi due problemi:

a) il dsf ha un header (dovremmo chiamarlo "footer"?) che si trova in fondo al file (e quindi non è "streamable");

b) l'header del dsf è in testa, ma per qualche motivo sox lo scrive/riempie con i dati reali soltanto alla fine, quando ha finito di convertire tutto il file.

[UnixMan]

A me sembra che continui ad uscire in PCM.

in diverse occasioni ho controllato sul display dell'interfaccia, ed indicava correttamente DSD128. Mi pare di averlo fatto anche dopo aver tolto "-D" ma, vista l'ora e la stanchezza, non ci metterei la mano sul fuoco. Stasera verifico...

[marcoc1712]

Le prime due posso risponderti affermativamente...con HQplayer e NAD vado no DoP.

La terza non ne sono sicuro al 100 % ma mi pare di si.

non é che dipende dal fatto che ho impostato il rate? -r 44100-384000 ?

Con quel rate a 705600 non ci arriva e, in funzione degli atri settings, proovca il downsample PCM o non va.

Per vedere se è compilato con DSD:

squeezelite-R2 -?

le ultime righe sono i parametri di compilazione.

[antonellocaroli]

Con quel rate a 705600 non ci arriva e, in funzione degli atri settings, proovca il downsample PCM o non va.

Si, non fa dow ma non va propio...

come dovrei impostare il rate?

[marcoc1712]

infatti come ho detto in quel modo NON funziona... esce rumore.

BTW: a giudicare da questo e da quanto visto (qui), il sospetto è che ci possa essere uno di questi due problemi:

a) il dsf ha un header (dovremmo chiamarlo "footer"?) che si trova in fondo al file (e quindi non è "streamable");

b) l'header del dsf è in testa, ma per qualche motivo sox lo scrive/riempie con i dati reali soltanto alla fine, quando ha finito di convertire tutto il file.

Beh, certamente l'header è in testa (altrimenti NESSUN valore sarebbe disponibile prima della fine), ma almeno per quanto concerne la lunghezza del file, come avevamo già visto e non c'è altro modo, il dato 'vero' lo sai solo alla fine, il punto è cosa sox mette 'in corso' di conversione: con dsf 0, con gl altri formati il valore del file di origine, ricordi?

Il punto è che il workaround è utilizzare valori di default, ma SOX lo lascia fare ai suoi 'clienti', uno per uno, la patch di Kipeta tentava una soluzione, ma evidentemente è inadeguata o è rimasta indietro o...

Devo verificare.

[marcoc1712]

Si, non fa dow ma non va propio...

come dovrei impostare il rate?

Non impostare il rate.

squeezelite-R2 -n xxx -d all=debug -f yyy

Se vedi problemi con il riconoscimento del rate massimo del dac, puoi provare a impostare -r 44100 - 768000.

[UnixMan]

come dovrei impostare il rate?

non lo impostare affatto, lascia che lo imposti da solo sulla base di ciò che "gli dice" l'interfaccia... (non mettere proprio l'opzione "-r").

Il punto è che il workaround è utilizzare valori di default, ma SOX lo lascia fare ai suoi 'clienti', uno per uno, la patch di Kipeta tentava una soluzione, ma evidentemente è inadeguata o è rimasta indietro o...

presumibilmente è rimasto indietro rispetto alla versione su git. Comunque quello è un problema che in qualche modo bisognerebbe risolvere, possibilmente non solo per il DSD...