Modalità di gestione e aggiornamento degli archivi/backup

[Luma]

Un saluto a tutti

Premetto che da decenni ho sempre fatto il backup dei miei dati.
Per tanto tempo ho utilizato strumenti semplici come le vecchie Norton Utilities per DOS (qualcuno se le ricorda?) poi File manager e Risorse del computer, solo negli ultimi anni sto utilizzando un software specifico: Syncback.

Mi rimangono alcuni dubbi sulle mie modalità di gestione degli archivi.

In passato ho sempre suddiviso i miei backup di anno in anno, ovvero conservando per ogni anno tutti i files creati e/o movimentati in quel periodo.

Strada facendo mi sono reso conto che alcuni files erano oggetto di aggiornamenti continui, pur essendo sempre gli stessi files, pertanto in questi backup annuali mi ritrovo decine di copie degli stessi files aggiornate di anno in anno.
Nulla di grave, visto che i supporti adottati non hanno mai posto limiti di capienza per le mie esigenze.

Oltre a questi files ridondanti nei loro contenuti, ce ne sono altri dei quali me ne ritrovo più copie a causa della riorganizzazione degli archivi di partenza.
Ad esempio si possono suddividere o aggregare i files contenuti nelle cartelle, si possono rinominare cartelle e files ecc.

Fino ad oggi ho provveduto manualmente ad "allineare" le copie di backup, anche se è un lavoro oneroso e rischioso, perché se non lo si esegue subito dopo gli aggiornamenti c'è sempre il rischio di dimenticare qualcosa.

Mi sono sempre chiesto: esistono strumenti in grado di automatizzare l'aggiornamento dei backup, eliminando cartelle e files duplicati/ridondanti?

La tanto decantata AI non ha ancora dato il suo contributo in questo senso?

In alternativa, esiste un metodo collaudato per eliminare o limitare questi disagi?

Grazie e chi saprà darmi indicazioni utili.

[j0h89]

Ciao,
in passato ho usato bacula, è un software talmente vecchio che parla di "nastri" e non di drive, ma fa ancora benissimo il suo lavoro (inoltre è tutt'ora aggiornato).
È un pochino complicato da usare, data anche l'età, ma permette di automatizzare il processo di backup facendo dei task appositi, ad esempio, ogni notte si può impostare il backup incrementale mentre ogni primo della settimana un differenziale e ad inizio mese uno totale.
Nel caso in cui dovesse partire un backup totale dal quale è stato tolto un file che ritenevi fosse importante avrai comunque la copia su un differenziale!

Inviato dal mio nokia 3300 utilizzando la forza del pensiero

[Luma]

Ciao j0h89,
ho dato un'occhiata e ho visto che la prima versione di Bacula è del 2000, un giovincello

Non sono certo di aver compreso correttamente ciò che mi hai scritto, ma mi fai sorgere un dubbio, quante sarebbero le copie di backup che mi ritroverei così facendo?




P.S.: forse non conosco esattamente le differenze fra backup incrementale e differenziale.
In questa pagina ho trovato questa spiegazione sintetica:

Il backup incrementale è una copia dei dati creati e modificati dall’ultima esecuzione di un backup, sia incrementale che completo.

Al contrario, il backup differenziale è una copia dei dati creati e modificati dall’ultima esecuzione di un backup completo.

quale utilizzare?

Mi pare di capire che in entrambi i casi nel backup mi ritrovo sempre gli stessi dati, files nuovi e/o modificati dall'ultimo bakckup, o sbaglio?

[Luma]

Mi sorge il dubbio di non essere stato sufficientemente chiaro

Oltre a questi files ridondanti nei loro contenuti, ce ne sono altri dei quali me ne ritrovo più copie a causa della riorganizzazione degli archivi di partenza.
Ad esempio si possono suddividere o aggregare i files contenuti nelle cartelle, si possono rinominare cartelle e files ecc.

Fino ad oggi ho provveduto manualmente ad "allineare" le copie di backup, anche se è un lavoro oneroso e rischioso, perché se non lo si esegue subito dopo gli aggiornamenti c'è sempre il rischio di dimenticare qualcosa.

Mi sono sempre chiesto: esistono strumenti in grado di automatizzare l'aggiornamento dei backup, eliminando cartelle e files duplicati/ridondanti?

Ci riprovo con un esempio semplice.

Sul disco principale ho due cartelle:

- cartella1

- cartella2

e sei files:

- file1
- file2
- file3
presenti nella cartella1

- file4
- file5
- file6
presenti nella cartella2

Dopo un backup completo, sul disco principale sposto il file1 nella catella2 e il file6 nella cartella1.

Quanto andrò ad aggiornare il backup con il metodo differenziale o incrementale, cosa mi ritroverò all'interno delle due cartelle nella copia di backup?

Fino ad oggi mi sono sempre ritrovato:

la cartella1 con al suo interno i files:
- file1
- file2
- file3
- file6

la cartella2 con al suo interno i files:
- file1
- file4
- file5
- file6

Praticamente mi ritrovo una doppia copia dei files 1 e 6.
Ora provate ad immaginare se decine di cartelle e migliaia di files, fossero oggetto di riorganizzazione frequente sul disco principale, quale confusione mi ritroverei nelle copie di backup!?

Per risolvere questo problema, fino ad oggi ho utilizzato un metodo rudimentale, quando le copie di backup diventavano un pò toppo incasinate/ridondanti, partendo dal disco principale ho fatto prima una nuova copia completa di backup e poi ho eliminato la copia di backup precedente. Con una notevole perdita di tempo.

Ciò che vorrei sapere è se esiste un software in grado di gestire AUTOMATICAMENTE la riorganizzazione di files e cartelle nelle copie di backup, allineandole con quella di origine.

Spero di essere stato più chiaro.

[j0h89]

Se non ricordo male, incrementale andrebbe ad aggiungere i file, quindi ti ritroveresti con file 1 e file 6 in entrambi le cartelle, file 6 invece fa appunto la differenza, quindi andrà a togliere quelli che non ci sono più e metterà i nuovi.

Ipoteticamente, se per te va bene, puoi impostare anche sempre e solo una modalità di backup.

Secondo me, se non ti stufa e ti va bene, la modalità consigliata è un completo ogni 6/3 mesi.

Tanro lo farebbe in automatico, magari lo scheduli di notte così poi sai che nella peggiore delle ipotesi perdi i file di 6/3 mesi.

Inviato dal mio nokia 3300 utilizzando la forza del pensiero

[Luma]

Ciao j0h89, grazie per i tuoi contributi.

Purtroppo, anche in questo tuo ultimo post c'è qualcosa che non mi è chiaro.

file 6 invece fa appunto la differenza, quindi andrà a togliere quelli che non ci sono più e metterà i nuovi.

Questa non la capisco

Ipoteticamente, se per te va bene, puoi impostare anche sempre e solo una modalità di backup.

Secondo me, se non ti stufa e ti va bene, la modalità consigliata è un completo ogni 6/3 mesi.

Come ho già scritto altrove, faccio i miei backup da decenni e non ho mai perso un file.
Ciò nonostante sono alla ricerca di un metodo e strumenti che mi semplifichino questa attività, in particolare il "riallineamento" dei backup con le copie originali.
Questo è lo scopo del thread.

Tanro lo farebbe in automatico, magari lo scheduli di notte così poi sai che nella peggiore delle ipotesi perdi i file di 6/3 mesi.

Anche qui qualcosa mi sfugge... i backup non li faccio per perdere i files, ma per conservarne le copie.

[j0h89]

Allora potresti usare macrium per fare un primo backup completo e i successivi differenziali (così eviti anche che lo spostamento da una cartella all'altra di un file non provochi ridondanza inutile).

Inviato dal mio nokia 3300 utilizzando la forza del pensiero

[Trattore]

Ciao Luma,
come software per effettuare il backup dei miei files su disco esterno utilizzo FreeFileSync.
Personalmente mi trovo benissimo con l'opzione "Mirror" che mi permette di sincronizzare i files su un disco esterno, esattamente come sono all'interno del pc.

[frakka]

Esistono diversi modi e tecnologie per fare un backup dei dati, non c'è una sola soluzione o una sola risposta.

Incrementale o differenziale (che tipicamente significa che vengono importati solo i files nuovi e non i modificati dall'esecuzione precedente) fa poca differenza: Quello che conta è che tipicamente il backup non è "completo" e ha bisogno di una "base" (chiamata "base incrementale) che può essere costituita da un full o da una catena di full + incrementali.
L'aspetto rilevante è che il backup incrementale/differenziale da solo non è sufficiente per fare un ripristino dei dati appunto perchè non è completo ne auto-consistente.

Esistono poi diversi modi per fare un "backup" dei files: Si può procedere per copia degli stessi (come stai facendo tu ora) oppure per copia a livello di volume (sfruttando anche funzionalità di "copia shadow" o snapshot) che può consentire di fare anche il backup di files mentre questi stessi sono aperti da altre applicazioni e quindi in uso.

Non c'è un modo "giusto" o "migliore" per farlo perchè ogni soluzione viene incontro a priorità ed esigenze diverse:

• La copia di files da un volume all'altro tipicamente consiste nel copiare i files dal suppporto A al supporto B. Può avvenire per copia completa o sfruttando diversi metodi per individuare i files che sono cambiati dall'esecuzione precedente (data ora di modifica, comparazione degli hash/checksum, presenza o meno del file nell'esecuzione precedente, comparazione della dimensione dei files, etc...) per ridurre la quantità di dati da trasferire. Il vantaggio principale è che è semplice accedere a piccole porzioni di questo backup (tipicamente i singoli files) anche nel caso il supporto di memorizzazione abbia subito danni estesi e sia parzialmente inutilizzabile proprio perchè la copia avviene per files completi e non per "porzioni" di file.
• La copia a livello di volume tipicamente sfrutta funzionalità che permettono di "congelare" lo stato di una determinata parzione in un dato istante esportandolo come fosse un volume separato dando la possibilità al tool di backup di fare una copia integrale della partizione. E' la tecnica sfruttata quando si esegue il backup "per immagini" di un sistema operativo per il ripristino "bare metal", ad esempio. La versione più rudimentale di questo metodo generare dei backup definiti "crash consistent" e cioè con la stessa consistenza ed integrità che avrebbero i dati se si fosse verificato un crash di sistema (o una interruzione di corrente) nell'instante in cui è stato preso lo snapshot.
  Nel tempo poi la tecnica si è evoluta permettendo di realizzare delle integrazioni con le applicazioni eventualmente in esecuzione nel sistema operativo che sta operando sul volume sottoposto a backup per "notificare" alcune applicazioni supportate dell'imminente avvio di un backup e di sospendere temporaneamente le operazioni di I/O su disco in modo da creare un backup "application aware" che permetta di ottenere un backup del volume equivalente al quello che si avrebbe se il sistema operativo del computer fosse stato arrestato prima di eseguire il backup.
  Inoltre per la copia a livello di volume nel tempo sono state studiate delle soluzioni che permettono di salvare non tanto i files modificati dall'esecuzione precedente ma addirittura i singoli blocchi modificati, permettendo di creare delle catene incrementali salvando solo i blocchi della superficie del disco modificati dall'esecuzione precedente, riducendo drammaticamente la quantità di dati da salvare tra una esecuzione e l'altra.
  Ovviamente, in questo caso, la consistenza della catena incrementale è fondamentale perchè i backup ottenuti con questo metodo sono sostanzialmente dei grossi "zippettoni" binari, singoli files in cui la corruzione di pochi kb nel punto giusto potrebbe rendere illeggibile e quindi inutilizzabile l'intera catena incrementale.
  

Molti sistemi di backup ormai consentono di conservare al loro interno una "history" delle revisioni del files sottoposto a backup e quindi se tu apri una cartella e ci trovi dentro un determinati files, solitamente hai la possibilità di verificarne anche le versioni precedenti e scegliere quale versione andare e ripristinare.

Quello che tu chiedi è molto difficile da ottenere perchè il programma non può sapere con certezza se un determinato files che si trova uguale in più punti è così per un motivo oppure no. Esistono sistemi di "deduplica" che si occupano di verificare se un determinato file (o anche per singoli blocchi di dati su disco) è presente uguale in più punti e, nel caso, ne salvano una sola copia lasciando dei "puntatori" o collegamenti che tipicamente occupano meno spazio del file di partenza. Ma difficilmente troverai sistemi che arbitrariamente decidono di lasciare indietro un file perchè ce ne è già uno uguale da un'altra parte del disco...

[frakka]

Il software Veeem B&R che ti ho consigliato in un altro post è in grado di eseguire sia la copia di singoli files (anche se non è il suo punto di forza) oppure backup "per volume" ed in ogni job è possibile definire verifiche dell'integrità dei dati, deframmentazione e compattazione della catena incrementale e periodici nuovi "full" per ridurre la possibilità di una corruzione della base incrementale.
I backup possono essere eseguiti "Full", incrementali o "synthetic full" che significa creare un file "full" facendo un merge della base e dell'incrementale (in questo modo le operazioni di restore all'ultimo "point-in-time" sono più veloci perchè il backup più recente disponibile risulta essere sempre "full" invece di dover prima ripristinare la base e poi tutta la catena incrementale per arrivare al "point-in-time" dell'ultimo backup).

La destinazione di ogni job può essere un'unità disco (interna o esterna) o una share di rete.
I files di backup prodotti possono essere copiati in blocco su un altro supporto in modo da averne una copia "offsite" e possono poi essere aperti, esplorati e ripristinati anche se l'installazione che li ha prodotti è andata perduta (cosa non comune soprattutto per i software che utilizzano il paradigma del "tape").
E' possibile ripristinare singoli files oppure interi volumi e anche ripristinare il disco di sistema su hardware diverso (inserendo anche i driver del computer di origine nel disco di boot usato per il recovery oppure passando i driver necessari per il ripristino su hardware diverso già in fase di restore).

Veeam è una delle soluzioni di backup per datacenter più importanti al mondo e le tecnologie usate per la versione "free" sono le stesse che vengono utilizzate per i backup dei workload nei datacenter.
Onestamente da quanto l'ho scoperto per i PC che ho in gestione non uso niente altro.

Per i backup di casa ho una installazione di Veeam che fa il backup di tutti i PC su una share di rete e periodicamente faccio una copia grezza di tutto il disco del NAS (su cui sono salvati sia i backup di Veeam che l'archivio foto/documenti di casa) su dischi esterni.