Far durare i dati - Storage

This is a discussion on Far durare i dati - Storage ; Ho potuto constatare che : 1) mediamente ogni 4-5 anni si rompe l'HD e si perdono tutti i dati 2) se si memorizzano i dati su CD, DVD, dischetti magnetici (che comunque non si usano piu'), lo stesso dopo 4-5 ...

+ Reply to Thread
Results 1 to 16 of 16

Thread: Far durare i dati

  1. Far durare i dati

    Ho potuto constatare che :
    1) mediamente ogni 4-5 anni si rompe l'HD e si perdono tutti i dati
    2) se si memorizzano i dati su CD, DVD, dischetti magnetici (che comunque
    non si usano piu'), lo stesso dopo 4-5 anni i supporti diventano illeggibili
    e si perdono tutti i dati

    Ora io mi chiedo : quale potrebbe essere la strategia/politica per far
    durare i dati per molto tempo ? Non dico per l'eternita', ma almeno per
    poter lasciare i propri dati ad un certo numero di generazione future :-)
    Io avevo pensato ad un sistema RAID. Mettiamo che ci siano 4 dischi montati
    a RAID, allora ad intervalli regolari di tempo il sistema potrebbe fare dei
    controlli sui dati memorizzati e correggerli se ci sono degli
    errori/cancellazioni/perdite di dati, fruttando la ridondanza del RAID. Il
    sistema sarebbe pure sicuro se per esempio si rompesse un solo disco che
    potrebbe essere sostituito e riscritto. Certo la peggiore situazione sarebbe
    che si rompessero tutti e 4 i dischi contemporaneamente, che pero' e' un
    evento improbabile. Mettiamo che io compri un sistema RAID adesso e mi si
    rompa un disco fra 5 anni, se la casa costruttrice del sistema RAID non
    esiste piu', oppure non supporta piu' il sistema come si fa ?
    Io avevo anche pensato a grossi nastri magnetici

    --
    per rispondere via e-mail
    togliere uvw dalla fine dell' indirizzo





  2. Re: Far durare i dati

    Victor Frankenstein wrote:

    > esiste piu', oppure non supporta piu' il sistema come si fa ?


    Usi un SW RAID, che potrebbe sopravvivere a piu`
    generazioni di HW.

    Tra l'altro, usando astutamente quella soluzione,
    avresti la possibilita` di aumentare la capacita`
    dell'array man mano che cambi i dischi vecchi con
    nuovi piu` grandi.

    bye,

    --

    piergiorgio

  3. Re: Far durare i dati

    Victor Frankenstein ha pensato forte :
    > Ho potuto constatare che :
    > 1) mediamente ogni 4-5 anni si rompe l'HD e si perdono tutti i dati
    > 2) se si memorizzano i dati su CD, DVD, dischetti magnetici (che comunque
    > non si usano piu'), lo stesso dopo 4-5 anni i supporti diventano illeggibili
    > e si perdono tutti i dati
    >
    > Ora io mi chiedo : quale potrebbe essere la strategia/politica per far
    > durare i dati per molto tempo ? Non dico per l'eternita', ma almeno per
    > poter lasciare i propri dati ad un certo numero di generazione future :-)
    > Io avevo pensato ad un sistema RAID. Mettiamo che ci siano 4 dischi montati
    > a RAID, allora ad intervalli regolari di tempo il sistema potrebbe fare dei
    > controlli sui dati memorizzati e correggerli se ci sono degli
    > errori/cancellazioni/perdite di dati, fruttando la ridondanza del RAID. Il
    > sistema sarebbe pure sicuro se per esempio si rompesse un solo disco che
    > potrebbe essere sostituito e riscritto. Certo la peggiore situazione sarebbe
    > che si rompessero tutti e 4 i dischi contemporaneamente, che pero' e' un
    > evento improbabile. Mettiamo che io compri un sistema RAID adesso e mi si
    > rompa un disco fra 5 anni, se la casa costruttrice del sistema RAID non
    > esiste piu', oppure non supporta piu' il sistema come si fa ?
    > Io avevo anche pensato a grossi nastri magnetici


    In genere un buon controller RAID su scheda il supporto da parte della
    casa produttrice dura anche 10 anni...



  4. Re: Far durare i dati

    >> esiste piu', oppure non supporta piu' il sistema come si fa ?
    >
    > Usi un SW RAID, che potrebbe sopravvivere a piu`
    > generazioni di HW.
    >
    > Tra l'altro, usando astutamente quella soluzione,
    > avresti la possibilita` di aumentare la capacita`
    > dell'array man mano che cambi i dischi vecchi con
    > nuovi piu` grandi.


    Questa cosa mi interessa moltissimo: hai qualche link/referenza da darmi? Ho
    intenzione nel prossimo futuro di mettere su un serverino casalingo con una
    qualche distro linux (magari uan debian stable) con un grosso raid
    software... devo studiare :-) mi sai indirizzare su qualche risorsa?

    Thx,


    Pleg



  5. Re: Far durare i dati

    Pleg wrote:

    > Questa cosa mi interessa moltissimo: hai qualche link/referenza da darmi? Ho
    > intenzione nel prossimo futuro di mettere su un serverino casalingo con una
    > qualche distro linux (magari uan debian stable) con un grosso raid
    > software... devo studiare :-) mi sai indirizzare su qualche risorsa?


    Allora, link per RAID (con linux) li trovi cercando "raid how
    to" o simile. Sopra i volumi RAID, ci si mette LVM (sempre
    "lvm how to").
    Magari anche assieme con "linux" come keyword di ricerca.

    La documentazione non e` brillantissima, ma magari si riesce
    a fare qualche esperimento, dopodiche` il resto e` tutto in
    discesa (magari con qualche script promemoria).

    L'idea dell'aumento della capacita` totale dello storage si
    basa sulle seguenti considerazioni:

    1) aggiundendo un HD ad un raid 5, e` possibile riconfigurare,
    al volo, l'array, in modo da usare quel disco per aumentare la
    capacita` totale del volume.
    2) un raid 5 funziona con *due* (2) dischi, avendo le stesse
    prestazioni di sicurezza di un raid 1 (ma non le stesse di velocita`).
    3) con un sistema LVM si puo` aumentare la capacita`, o aggiungendo
    uno o piu` volumi, oppure facendo "crescere" un volume
    4) ext3, cosi` come altri FS, puo`, anche lui, crescere

    Allora, quello che si fa e` partire con 2 o 3 dischi identici
    (od anche non identici), configurare un volume raid 5, dopo
    aver partizionato gli HD.

    Esempio:
    Diciamo di avere 3 dischi da 200GB, per un totale di 400GB
    disponibili nell'array.
    Su questo volume raid ci facciamo un LVM.

    Supponiamo di aggiungere un HD, da 750GB, ovviamente solo 200GB
    saranno utilizzabili per far crescere il raid.

    Una volta modificato il raid, si fa crescere di 200GB anche LVM
    e poi ext3 od il filesystem specifico.
    Cosi` otteniamo un nuovo raid da 600GB.

    Ovviamente, 550GB saranno inutilizzati.

    Supponiamo, ancora, che un disco da 200GB si rompa e venga
    sostituito con un altro da 750GB.

    Questo viene (come l'altro) partizionato in 200+550, i 200 vanno
    a rimpiazzare il disco mancante del primo raid, i 550 rimasti si
    mettono ancora in raid 5 con i precedenti 550, creando un secondo
    volume raid da 550GB.

    Questo secondo volume viene aggiunto al LVM e poi il FS viene, di
    nuovo, fatto crescere.

    In questo modo siamo partiti con 400GB in 3 dischi raid 5, e siamo
    arrivati a 600GB+550GB con 4 dischi.

    Il sistema e` ancora resistente ad un (1) disk failure e viene
    visto come un'unica partizione, creata sopra LVM. Quindi niente
    frammentazione dello storage in piu` blocchi.

    Controindicazioni:
    1) far crescere un raid 5 da, per esempio, 3 a 4 dischi richiede
    un sacco di tempo, diverse ore (o giorni).
    2) non so quanto sia "robusto" l'array duranta la crescita.
    3) bisogna partizionare attentamente i vari dischi, dato che non
    e` detto possano contenere tutte le future partizioni. GPT magari
    va meglio, dato che supporterebbe fino a 128 partizioni.
    4) con troppi dischi, un raid 5 diventa pericoloso, poiche` aumenta
    la possibilita` di due (2) disk failure.

    Boh, credo sia tutto quello che c'e` da sapere. Per i dettagli,
    come scritto all'inizio, ci sono vari how to e bisogna un po'
    sperimentare, magari usando loop device (how to anche per quello).

    bye,

    --

    piergiorgio

  6. Re: Far durare i dati

    Piergiorgio Sartor scriveva il 28/07/08 :
    > Pleg wrote:
    >
    >> Questa cosa mi interessa moltissimo: hai qualche link/referenza da darmi?
    >> Ho intenzione nel prossimo futuro di mettere su un serverino casalingo con
    >> una qualche distro linux (magari uan debian stable) con un grosso raid
    >> software... devo studiare :-) mi sai indirizzare su qualche risorsa?

    >
    > Allora, link per RAID (con linux) li trovi cercando "raid how
    > to" o simile. Sopra i volumi RAID, ci si mette LVM (sempre
    > "lvm how to").
    > Magari anche assieme con "linux" come keyword di ricerca.
    >
    > La documentazione non e` brillantissima, ma magari si riesce
    > a fare qualche esperimento, dopodiche` il resto e` tutto in
    > discesa (magari con qualche script promemoria).
    >
    > L'idea dell'aumento della capacita` totale dello storage si
    > basa sulle seguenti considerazioni:
    >
    > 1) aggiundendo un HD ad un raid 5, e` possibile riconfigurare,
    > al volo, l'array, in modo da usare quel disco per aumentare la
    > capacita` totale del volume.
    > 2) un raid 5 funziona con *due* (2) dischi, avendo le stesse
    > prestazioni di sicurezza di un raid 1 (ma non le stesse di velocita`).
    >


    Cioè è possibile implementare un array 5 con soli due dischi?



  7. Re: Far durare i dati

    Lorenz wrote:

    > Cioè è possibile implementare un array 5 con soli due dischi?


    Si.
    Sembre essere un segreto ben custodito, ma e` possibile.
    Come scritto in precedenza, "resistente" alla rottura di
    uno dei due dischi.

    Ho provato la cosa di persona, mentre "giocavo" con il
    RAID su USB ed effettivamente non vi sono problemi.

    Immagino che la cosa non abbia "successo", poiche` un
    RAID-1 ha la stessa sicurezza con prestazioni maggiori.
    Pero` se si pensa di aggiungere un disco in seguito...

    Da:
    http://www.n8gray.org/blog/2006/09/0...vms-and-mdadm/

    ....
    The next bit is somewhat voodoo. It’s based on the semi-obscure fact
    that the RAID 5 algorithm can indeed be applied to two disks, and when
    you do so the disks end up mirrored! This works because the parity of a
    single block is equal to the block itself, though the normal way of
    setting up RAID 5 arrays involves computing the parity of at least two
    blocks. As a consequence, the only difference between a 2-disk RAID 1
    pair and 2-disk RAID 5 array is the metadata! By rewriting the RAID
    metadata, we can instantly convert our array to RAID 5.
    ....

    bye,

    --

    piergiorgio

  8. Re: Far durare i dati

    > Controindicazioni:
    > 1) far crescere un raid 5 da, per esempio, 3 a 4 dischi richiede
    > un sacco di tempo, diverse ore (o giorni).
    > 2) non so quanto sia "robusto" l'array duranta la crescita.
    > 4) con troppi dischi, un raid 5 diventa pericoloso, poiche` aumenta
    > la possibilita` di due (2) disk failure.


    Si', sono le cose che mi preoccupano di piu'. Tra l'altro ho trovato un sito
    molto divertente http://www.baarf.com/ di gente CONTRO il RAID5 e similari
    :-)
    Per questo sto esplorando l'idea di un RAID6 o 10.


    Pleg



  9. Re: Far durare i dati

    Pleg wrote:

    > Si', sono le cose che mi preoccupano di piu'. Tra l'altro ho trovato un sito
    > molto divertente http://www.baarf.com/ di gente CONTRO il RAID5 e similari
    > :-)


    Divertenti, ma un po' estremisti.

    E` sempre una questione di compromessi, alla fine.
    Prestazioni, ridondanza, flessibilita`, capacita`.

    Il vantaggio del RAID-5 e` che puo` partire da 2 dischi
    e crescere in funzione delle necessita`.
    Per un RAID-10 credo sia piu` complicato.
    Un RAID-6, che e` indubbiamente meglio, credo si debba
    partire da 3 o 4 dischi.

    > Per questo sto esplorando l'idea di un RAID6 o 10.


    Se il RAID-6 puo` essere accresciuto, io opterei per
    quello. Invece il 10 mi pare poco flessibile e troppo
    complicato, utile solo se le prestazioni piu` elevate
    siano effettivamente necessarie.

    Quando avrai maggiori informazioni sul RAID-6, potresti
    postare un riassunto? Thanks!

    bye,

    --

    piergiorgio

  10. Re: Far durare i dati

    "Piergiorgio Sartor" ha scritto nel messaggio
    news:n7dsl5-p93.ln1@lazy.lzy...
    > ...
    > Usi un SW RAID, che potrebbe sopravvivere a piu`
    > generazioni di HW.
    >
    > Tra l'altro, usando astutamente quella soluzione,
    > avresti la possibilita` di aumentare la capacita`
    > dell'array man mano che cambi i dischi vecchi con
    > nuovi piu` grandi.
    > ...


    Ringrazio tutti per le risposte. Sai per caso se con il software RAID che
    illustri ci si puo' far funzionare anche eMule, cioe' voglio dire poter
    utilizzare le cartelle del sistema RAID come cartelle condivise di eMule. Io
    ho WinXP ma vorrei fare la cosa con Linux, quindi dovrei usare aMule (o
    xMule ?), tempo fa avevo Linux Mandriva e provai piu' volte a farlo
    funzionare ma diceva che mancano alcuni componenti e lasciai perdere.
    Comunque ho pensato che quasi tutti gli enti pubblici, per es INPS, hanno
    dei sistemi informatizzati con dati degli utenti che gli durano decine e
    decine di anni, quindi devono avere qualche sistema/politica interna per
    realizzare cio'



  11. Re: Far durare i dati

    Victor Frankenstein wrote:

    > Ringrazio tutti per le risposte. Sai per caso se con il software RAID che


    Prego... ;-)

    > illustri ci si puo' far funzionare anche eMule, cioe' voglio dire poter
    > utilizzare le cartelle del sistema RAID come cartelle condivise di eMule. Io


    Ovviamente e` possibile, anzi, e` raccomandato, dato che i
    vari software P2P tendono a "molestare" parecchio l'HD.
    Qualcuno dice ne accorciano sensibilmente la vita.

    > ho WinXP ma vorrei fare la cosa con Linux, quindi dovrei usare aMule (o
    > xMule ?), tempo fa avevo Linux Mandriva e provai piu' volte a farlo


    aMule 2.2.1, supporta tutte o quasi le ultime novita` di emule,
    mentre xMule non si sa dove sia...

    > funzionare ma diceva che mancano alcuni componenti e lasciai perdere.


    Beh, in teoria non dovrebbe piu` essere cosi` complicato... :-)

    > Comunque ho pensato che quasi tutti gli enti pubblici, per es INPS, hanno
    > dei sistemi informatizzati con dati degli utenti che gli durano decine e
    > decine di anni, quindi devono avere qualche sistema/politica interna per
    > realizzare cio'


    Backup, backup, backup...
    E cose tipo SAN e compagni.

    Ultima cosa, per un RAID sarebbe meglio avere HD, magari
    di capacita` simile, ma di marche diverse.
    Avendo, per esempio, 3 HD dello stesso produttore, fatti
    nella stessa fabbrica, lo stesso mese, si corre il rischio
    che si rompano anche tutti piu` o meno nello stesso tempo.

    bye,

    --

    piergiorgio

  12. Re: Far durare i dati

    Nel suo scritto precedente, Piergiorgio Sartor ha sostenuto :
    > Victor Frankenstein wrote:
    >
    >> Ringrazio tutti per le risposte. Sai per caso se con il software RAID che

    >
    > Prego... ;-)
    >
    >> illustri ci si puo' far funzionare anche eMule, cioe' voglio dire poter
    >> utilizzare le cartelle del sistema RAID come cartelle condivise di eMule.
    >> Io

    >
    > Ovviamente e` possibile, anzi, e` raccomandato, dato che i
    > vari software P2P tendono a "molestare" parecchio l'HD.
    > Qualcuno dice ne accorciano sensibilmente la vita.
    >


    Mah qui avrei qualche dubbio a rigaurdo... ad esempio utilizzo un
    vecchio HD da 40GB da 5 anni solo per Emule e fino ad ora funziona
    ancora perfettamente )



  13. Re: Far durare i dati

    Victor Frankenstein wrote:

    > Io avevo anche pensato a grossi nastri magnetici


    quello è il sistema per gli archivi professionali, esistono nastri che
    son certificati per 30 anni.
    --
    sei troppo avanti...
    talmente avanti che se ti guardi indietro.. vedi il futuro!

  14. Re: Far durare i dati


    "Lorenz" ha scritto nel messaggio
    > ...
    > Mah qui avrei qualche dubbio a rigaurdo... ad esempio utilizzo un vecchio
    > HD da 40GB da 5 anni solo per Emule e fino ad ora funziona ancora
    > perfettamente )
    > ...


    Comunque il fatto che i programmi P2P sollecitino parecchio i dischi si
    sente spesso. Non ho mai capito bene perche', in fondo quando il PC funziona
    l'HD gira sempre, ma forse con i programmi P2P e sollecitata parecchio la
    testina che deve continuamente spostarsi tra i vari settori a recuperare
    pezzi di file.



  15. Re: Far durare i dati

    Victor Frankenstein ha pensato forte :
    > "Lorenz" ha scritto nel messaggio
    >> ...
    >> Mah qui avrei qualche dubbio a rigaurdo... ad esempio utilizzo un vecchio
    >> HD da 40GB da 5 anni solo per Emule e fino ad ora funziona ancora
    >> perfettamente )
    >> ...

    >
    > Comunque il fatto che i programmi P2P sollecitino parecchio i dischi si sente
    > spesso. Non ho mai capito bene perche', in fondo quando il PC funziona l'HD
    > gira sempre, ma forse con i programmi P2P e sollecitata parecchio la testina
    > che deve continuamente spostarsi tra i vari settori a recuperare pezzi di
    > file.


    Onestamente non vedo che la spia di attività sia molto sollecitata
    quando sono collegato con il mulo... è comunque possibile che se uno
    scarica decine e decine di elementi in contemporanea ci possa essere un
    certo "stress" sul gruppo portatestine e l'attuatore, ma se ci si
    limita alle 10 o 20 unità come faccio in genere io, la vita utile
    dell'unità non si abbasserà in maniera repentina.



  16. Re: Far durare i dati

    Victor Frankenstein wrote:

    > l'HD gira sempre, ma forse con i programmi P2P e sollecitata parecchio la
    > testina che deve continuamente spostarsi tra i vari settori a recuperare
    > pezzi di file.


    Esattamente, pare, si dice, si narra, sia questo il
    motivo, anche se non so quanto sia quantificabile.

    bye,

    --

    piergiorgio

+ Reply to Thread