Γνωμες για filesystem και μεγαλα αρχεια.

[spinner]

Εχουμε γυρω στα 170GB που θα αποθηκευσω αλλα λεω και τον αλλο 200αρι δισκο που εχω να φορμαρω με το ιδιο filesystem.
Aυτοι οι δισκοι ειναι καθαρα για storage.

Οι επιλογες ειναι:

ext3
XFS (απο SGI)
JFS (απο IBM)

Μιλαμε για kernel 2.6 και x86_64 && x86 περιβαλλον

Στην αρχη ειχα σκεφτει την λυση του ext3.
Μετα το εψαξα λιγο και ειδα και μερικα benches.
Το ext3 και το JFS φαινονται λιγο γρηγοροτερα απο το XFS.

Eχει δοκιμασει καποιος ή ξερει κατι για JFS ή XFS να μας πει την γνωμη του ?
Το ομολογω οτι δεν το πολυσκεφτομαι για ext3 αλλα για κατι αλλο.



ΥΓ: Εριξα μια ματια στο wikipedia:
http://en.wikipedia.org/wiki/Comparison_of_file_systems
Ρε σεις οταν οι μεν ειχαν ext2,ext3 κ.α. οι δε ειχαν FAT32 !! Κοιταξτε διπλα τα ορια να δειτε !
Kαι πριν προλαβει καποιος να μας πει για τα NT και το ΝΤFS ας δει και το UFS2 (Unix filesystem)... Το NTFS δεν φαινεται κακο though αλλα δεν ξερω παραπανω..

[WAntilles]

1. Δεν έχω δοκιμάσει XFS αλλά στα Gentoo Forums εντονότατα αποτρέπουν τη χρήση του εκτός εάν είσαι πάνω σε πολύ στιβαρό UPS.

2. Δεν καταλαβαίνω γιατί δεν εξετάζεις τη χρήση ReiserFS v3.6. Από τον kernel 2.6.8 και μετά, έχει πλήρες και όχι μόνο metadata journaling - όπως ακριβώς και το ext3 - αλλά είναι κατά πολύ ταχύτερό του.

3. 3 βδομάδες τώρα που τρέχω στο ένα μηχανάκι FreeBSD 6.0 RELEASE, το UFS2 + Soft Updates, μου έχει αφήσει άριστες εντυπώσεις.

4. Το NTFS έχει ίδια φιλοσοφία υλοποίησης με το ReiserFS.

[spinner]

WAntilles ολο το συστημα μου ειναι ReiserFS αλλα λογω των μεγαλων αρχειων που θα εχει ο δισκος απο οτι εχει παρει το ματι μου το ReiserFS καπου χωλενει στα μεγαλα αρχεια αλλιως θα το εβαζα και αυτο ReiserFS 3.6.

Το JFS απο ΙΒΜ πρεπει να ειναι αρκετα καλο.

[DarthMoul]

Περιόρισε τις επιλογές σου μεταξύ reiserfs3.6 και ext3. Το reiserfs είναι ασφαλέστερο αλλά σε μεγάλα αρχεία έχει περισσότερο overhead από το ext3. Αν δουλεύεις τα αρχεία σου με μικρά chunks, μικρότερα των 4Κ, δεν θα δεις καμμία διαφορά. Αν κάνεις buffering καλύτερα να πας σε ext3. Γενικότερα ο κανόνας είναι: server χρήση ext3, desktop χρήση reiserfs.

[spinner]

Περιόρισε τις επιλογές σου μεταξύ reiserfs3.6 και ext3. Το reiserfs είναι ασφαλέστερο αλλά σε μεγάλα αρχεία έχει περισσότερο overhead από το ext3. Αν δουλεύεις τα αρχεία σου με μικρά chunks, μικρότερα των 4Κ, δεν θα δεις καμμία διαφορά. Αν κάνεις buffering καλύτερα να πας σε ext3. Γενικότερα ο κανόνας είναι: server χρήση ext3, desktop χρήση reiserfs.

Να το αναφερω τωρα γιατι δεν το εχω γραψει παραπανω, οτι δεν εχω UPS σε κανενα απο τα μηχανηματα μου.

Χμ.. για να λες οχι σε XFS και JFS κατι ξερεις.
Επειδη δεν καταλαβαινω τι ειναι το buffering κατσε να σου πω πως θα των χρησιμοποιω.

Ο δισκος αυτος θα ειναι για storage, δηλαδη εγραφες θα γινονται μεγαλων αρχειων και αναγνωση θα γινεται μονο για playing , δηλ. δεν θα εχει καμια βαση δεδομενων ουτε γενικα θα εχει καποιο προγραμμα ή καποιο mount point απο το / (π.χ. /usr/local) ωστε να δημιουργουνται και να σβηνονται αρχεια ολη την ωρα.

Οποτε καλυτερα ReiseFS λογω μεγαλυτερης ασφαλειας ?
Οταν λες overhead εννοεις οτι τα αρχεια θα πιανουν περισσοτερο χωρο απο οτι θα επρεπε ?


WAntilles εσυ του μεγαλους δισκους που εχεις σε τι file system ειναι ?

Διαβασα οτι το XFS θελει RAM και SCSI και οτι το JFS ειναι unstable σε linux τωρα.

[WAntilles]

WAntilles εσυ του μεγαλους δισκους που εχεις σε τι file system ειναι ?

ReiserFS 3.6

[sotiris]

κι εγώ reiserfs (3.6) έχω στους 2*320 του fileserver.
ήθελα να βάλω στον έναν reiser4 αλλά θα θελα να το δοκιμάσω
περισσότερο πριν αρχίσω να αποθηκεύω τα αρχεία μου σε αυτό!

[spinner]

sotiris, WAntilles θυμαστε με τι παραμετρους ειχατε φορμαρει το partition σε ReiserFS ? (block sizes κτλ..)
Οποιος αλλος εχει γνωμη επι του θεματος ειναι ευπροσδεκτη η γνωμη του :)


** WAntilles ο τροπος με το tar που ειχες γραψει για την μεταφορα δεδομενων δουλεψε μια χαρα για 170GB !!

[WAntilles]

θυμαστε με τι παραμετρους ειχατε φορμαρει το partition σε ReiserFS ? (block sizes κτλ..)

Τα default, όποια κι αν είναι αυτά.

5-6 απλά mkreiserfs είχα δώσει, χωρίς καμμία άλλη παράμετρο, πέραν του partition.

** WAntilles ο τροπος με το tar που ειχες γραψει για την μεταφορα δεδομενων δουλεψε μια χαρα για 170GB !!

Ε αφού είχε δουλέψει και εδώ. Λογικό είναι.

[spinner]

Το default block size δεν πρεπει να ειναι 2K που σκεφτομαι να κανω εγω ακολουθωντας την συμβουλη του Darthmoul(για block size μικροτερο του 4K) αλλα και απο οτι διαβαζω στα ξενα forums.
Απλα το σκεφτομουν για να μην "χανω free space"

Το reiserfs πασχει απο fragmentation ?

[WAntilles]

Το reiserfs πασχει απο fragmentation ?

Οι γνώμες διίστανται.

Δεν έχω καταλήξει.

[DarthMoul]

Το reiserfs πασχει απο fragmentation ?
Το 3.6 ναι. Το 4.0 όχι. Αν τρέχεις gentoo κάνε mount το directory /usr/portage σε reiser και κράτα το υπόλοιπο σύστημα σε ext3. Το /usr/portage/distfiles φρόντησε να είναι symlink σε κάποιο directory της ext3 partition. Αυτά για maximum επιδόσεις.

[WAntilles]

Για το Reiser-4 τί πληροφόρηση έχετε;

Με τον 2.6.15, έγινε τελικά σταθερό σε amd64;

Σε x86, είναι ήδη σταθερό;

Μιλάμε πάντα για gentoo-sources-2.6.15-r1 (είναι stable).

[DarthMoul]

Το reiser4 δεν θα μπει ποτέ στον πυρήνα αν δεν σταματήσει να χρεώνει $20 per support question. Έχουν γίνει ομηρικοί καβγάδες μεταξύ Linus και Hans Reiser για αυτό το ζήτημα.

[yop]

Με το zfs τι γίνεται τελικά? Darth δοκίμασες Solaris που να τo υποστηρίζει?

[DarthMoul]

Με το zfs τι γίνεται τελικά? Darth δοκίμασες Solaris που να τo υποστηρίζει?
Ακόμα δεν είναι bootable. Χρειάζεται δύο δίσκους. Έναν με UFS για το σύστημα και έναν με zfs για data. To σύστημα μου δεν χωράει άλλους δίσκους :)

[spinner]

Διαβαζα τις προαλλες την kernel mailing list για κατι που ηθελα και τυχαια επεσα πανω σε posts για το reiserfs4.
To κλιμα ειναι τεταμενο.
Εκτος απο τον Linus απο οτι διαβαζα ουτε και ο Alan Cox φαινεται να τα παει καλα τωρα τελευταια με τον Hans Reiser για το reiserfs4.
O Andrew Morton, ο maintainer του 2.6 kernel, δεν ειναι αντιθετος με την εισαγωγη του reiser4 στον kernel αλλα κραταει αποστασεις εκ' του ασφαλους.
Αυτο που γραφει ο Darthmoul για τα $20 ειναι παρανοικο για το Linux και καλα κανει και του τα χωνει ο Linus του Ηans...
O Ηans απο την αλλη εχει καβαλησει το καλαμι και μας απειλει οτι θα παρει τον κωδικα του να τον παει στο ΟS X και οτι θελει να δουλεψει με τον Steve Jobs..

Αυτο που λατρευω με το FOSS ειναι οτι αφου δεν τα βρισκουνε μεταξυ τους με την λογικη, πραγματικα στα @@ μας αμα παει ο Hans να δουλεψει με τον Steve..Υπαρχουν και αλλου πορτοκαλιες που κανουν πορτοκαλια.

[WAntilles]

Έχω έναν "οικιακό" σέρβερ ο οποίος εξυπηρετεί 2 διαμερίσματα, με ενσύρματο gigabit ethernet.

Μεταξύ άλλων, μοιράζει μέσω nfs και ένα partition όπου βρίσκονται όλα τα repositories όλων των διανομών linux & FreeBSD που κατά καιρούς τρέχουν τα μηχανάκια του δικτύου (portage, Ubuntu repos, Debian repos, FreeBSD ports κλπ.).

Ο σέρβερ τρέχει Gentoo x86 και έχει όλα τα partitions του με reiserfs 3.6 με notail,noatime.

Εάν στο προαναφερθέν partition των repos, βάλω reiser4 - που όλοι λένε ότι είναι ακόμα πιο γρήγορο από το 3.6 και δεν έχει και fragmentation - με τις ίδιες επιλογές (έχει και άλλη μία σχετική νομίζω, την nodiratime), ερωτώ:

- Θα έχω πρόβλημα αξιοπιστίας; Να σημειώσω εδώ ότι α δεν είναι production class σέρβερ, και β ότι θα είναι μόνο τα repos τα οποία και να πάθουν κάτι απλά τα ξανακατεβάζω όλα (με 1000άρα flat-rate DSL δεν με νοιάζει)

- Θα δω διαφορά; Ερωτώ επειδή μεσολαβεί ενσύρματο gigabit ethernet μέσω nfs και δεν είναι τοπικά

Σας ευχαριστώ.

[spinner]

Πριν δοκιμασεις το reiser4 δες ενα χαρακτηριστικο του ext3 , γιατι αν θες να συχνα να γραφεις και να διαβαζεις ταυτοχρονα τοτε το ext3 ειναι ανωτερο απο το reiser3.6 ..απο το reiser4 παντως δεν ξερουμε ακομα..

http://www-128.ibm.com/developerworks/opensource/library/l-fs8.html?dwzone=opensource

Στο παραπανω link ο δημιουργος του Gentoo κανει ενα test που δειχνει οτι το ext3 σε συνθηκες που γραφεις και διαβαζεις ταυτοχρονα το ext3 ειναι απιαστο.
Το ιδιο test επαληθευεται και απο τον Αndrew Morton που ειναι ο maintainer του 2.6 linux kernel.

Κατα τα αλλα δεν ξερω αν ειναι stable το reiser4 αλλα ειχαν προβληματα γιατι εκτος αλλων δεν ακολουθουσε το coding style του 2.6 kernel.
Για αυτους του λογους αλλα θα το απεφευγα και κυριως οταν προκειται για fileservers , εστω και αν δεν σε απασχολει πολυ..

Δεν απανταω τεχνικα στην ερωτηση σου αλλα λεω και εγω μια αποψη :)

[WAntilles]

Ύστερα από 2 εβδομάδες χρήσης reiser4 (μέσω mm-sources) στον σέρβερ, σε όλα τα partitions πλην του "/" (είναι reiser 3.6), έχω να δηλώσω ότι είμαι πολύ ευχαριστημένος.

Τα reiser4 filesystems μάλιστα δεν κατάλαβαν και τίποτα από 2 power losses της ΔΕΗ - έχω παντού στο σπίτι APC Voltage Regulators, όχι όμως καί κάποιο UPS.

Άρα απ' ό,τι φαίνεται, καλά κάνουν και εκθειάζουν στα Gentoo Forums τα atomic file writes του reiser4, σύμφωνα με τα οποία μία αλλαγή ή θα γίνει πλήρως ή δεν θα γίνει καθόλου.

[nske]

Ύστερα από 2 εβδομάδες χρήσης reiser4 (μέσω mm-sources) στον σέρβερ, σε όλα τα partitions πλην του "/" (είναι reiser 3.6), έχω να δηλώσω ότι είμαι πολύ ευχαριστημένος.
Κι εγώ μετά από 3 βδομάδες διάστημα χρήσης desktop (και στο root fs) την ίδια εντύπωση έχω. Βέβαια δεν έχει πέρασει πολύς καιρός από το καταστροφικό incompatibility issue με το fsck.reiser4 ή το ακόμα πιο πρόσφατο fsync slowdown (ακόμα μου κάνει περιστασιακά κολλήματα ο vim, με το τελευταίο patch και noatime/nodiratime). Κατά τα άλλα ως προς τις επιδόσεις είναι σαφέστατα πιο γρήγορο το σύστημα και με τον cfq scheduler η αποκρισιμότητα είναι τέλεια.

Πάντως τώρα η ανάπτυξη είναι ρευστή, ο hans reiser χτυπιέται να αλλάξει ό,τι χρειάζεται (ή ό,τι δε σηκώνει συμβιβασμούς) προκειμένου να γίνει αποδεκτός ο driver στο kernel tree και όπως δηλώσε και ο ίδιος, μετά τις αλλαγές που ενσωμάτωσαν κατά τις προτάσεις του chris hellwig (ένας από τους υπεύθυνους kernel developers) -και τις οποίες ακολούθησε σειρά από bug reports στην mailing list της namesys- δεν εμπιστεύεται τον κώδικα στην παρούσα φάση να είναι απόλυτα ασφαλής και προτείνει σε όσους θέλουν σταθερότητα να περιμένουν ως την έκδοση 1.0.6 τουλάχιστον. Συμπεραίνοντας από την τελευταία σχετική συζήτηση στην lkml, σοβαρές εκκρεμότητες υπάρχουν ακόμα και μέχρι να κάνουν όλες τις αλλαγές και να τις τεστάρουν υπάρχει πάντα κίνδυνος να κάνει μπουμ.