Νέα από τον πλανήτη…planet.ellak.gr: ZFS: Ο μπαμπάς όλων των file systems

by: Cerebrux

Το σύστημα αρχείων που δημιουργήθηκε το 2001 έχει τεχνολογίες και δυνατότητες που τα γνωστά μας συστήματα αρχείων όπως το NTFS, ext4 κλπ δεν μπορούν ούτε να φανταστούν. Όσοι θέλετε να μάθετε για αυτό και να το δοκιμάσετε, συνεχίστε το διάβασμα. Όσοι πιστεύετε ότι το BTRFS είναι η λύση… αλλάξτε πλευρό.

Είπα να ξεκινήσω μια σειρά άρθρων σχετικά με το «εξωτικό» ZFS για του Linux’αδες ξεκινώντας πρώτα από το θεωρητικό κομμάτι και σε επόμενα να πάμε στο πρακτικό. Αν θέλετε και κάτι συγκεκριμένο, γράψτε μου στα σχόλια.

Τα άρθρα περιλαμβάνουν και αρκετές «highly opinionated» δηλώσεις διαμορφωμένες από την προσωπική μου εμπειρία και σε καμία περίπτωση δεν αποτελούν επιστημονικά, peer reviewed δεδομένα. Επομένως, καλό είναι κάποιοι από εσάς, πριν ξεκινήσετε να διαβάζετε, να έχετε μερικά σφηνάκια με ξυδάκι καλού κακού… ξέρετε για ποιους μιλάω.

Έτοιμοι ; … πάμε λοιπόν…

Πότε δημιουργήθηκε το ZFS

Το Zettabyte File System (το ZFS προφέρεται ζί-εφ-ες ενώ κάποιοι το λένε και ζετ-εφ-ες) δημιουργήθηκε από τους Matthew Ahrens και Jeff Bonwick το 2001 (όταν εγώ ήμαν στα πάρτι της ΔΑΠ, ΠΑΣΠ, ΚΝΕ κλπ…). Το ZFS σχεδιάστηκε για να είναι το επόμενο σύστημα αρχείων του Solaris της Sun Microsystems, ένα UNIX λειτουργικό σύστημα.

Το 2005 το ZFS κυκλοφόρησε υπό την άδεια ανοιχτού κώδικα CDDL ενώ το 2008, έγινε port στο FreeBSD. Την ίδια χρονιά ξεκίνησε ένα έργο για τη μεταφορά του ZFS στο Linux. Ωστόσο, δεδομένου ότι το ZFS έχει άδεια χρήσης CDDL, η οποία δεν είναι συμβατή με την GPL2, δεν μπορεί να συμπεριληφθεί απευθείας στον πυρήνα του Linux. Το CDDL είναι μια παραλλαγή της Mozilla Public License (MPL) και προσπαθεί να κρατήσει μια μέση λύση μεταξύ της άδειας GPL (viral) και της άδειας BSD (permissive) και δημιουργήθηκε για να παρέχει ευελιξία στις επιχειρήσεις.

Η Canonical, για να ξεπεράσει αυτό το πρόβλημα, παρέχει την δυνατότητα χρήσης του ZFS αντί του Ext4, κατά την εγκατάσταση του Ubuntu μόνο και μόνο επειδή βρήκε λέει ένα «παραθυράκι» στην GPL2. Σύμφωνα με αυτήν, η άδεια επιτρέπει την χρήση εφαρμογών άλλης άδειας υπό την προϋπόθεση να είναι ως εξωτερικά module και όχι ενσωματωμένα στον πυρήνα Linux (όπως π.χ. είναι ένα firmware, ο driver της Nvidia κλπ).

Επίσης μετά την εξαγορά της SUN από την Oracle και η απόφαση της τελευταίας να κλείσει την κώδικα του ZFS, οδήγησε τo 2013 τα 2/3 από την ομάδα των μηχανικών να αποχωρήσουν από την ομάδα ανάπτυξης του ZFS της Oracle. Στους αποχωρήσαντες συμπεριλαμβάνονται και οι αρχικοί δημιουργοί του ZFS Matthew Ahrens και Jeff Bonwick, oι οποίοι έκαναν fork των κώδικα του ZFS από την έκδοση πριν γίνει κλειστού κώδικα και για αυτό τον λόγο ίδρυσαν τον ανεξάρτητο οργανισμό OpenZFS .

Αν … λέω αν… το ZFS είχε κυκλοφορήσει τότε σε GPL, δεν ξέρω πως θα ήταν το μέλλον των ext, xfs και αν θα υπήρχε καν το BTRFS αφού είμαι σίγουρος ότι το ZFS θα κατέληγε το default σύστημα αρχείων στο Linux. Από την άλλη ο λόγος που δεν μπορεί ο οργανισμός OpenZFS να αλλάξει πλέον την άδεια χρήσης είναι επειδή θα πρέπει να επικοινωνήσει με όλους όσους είχαν κάνει contribute στο ZFS και να τους ρωτήσει αν συμφωνούν να αλλάξουν την άδεια χρήσης σε GPL. Πράγμα αδύνατον να γίνει διότι πολλοί από αυτούς ίσως να μην είναι καν εν ζωή. Όμως υπάρχει μόνο ένας οργανισμός… που θα μπορούσε να κάνει κάτι… αλλά δεν ξέρω αν και πότε θα είναι διατεθειμένη να ανοίξει των δικό της κώδικα για το ZFS και να το εκδώσει ως GPL… ναι μιλάω για την Oracle… καλά κρασά…

Οπότε τι κάνουμε ; Από την μια έχουμε σύμφωνα με την Canonical νόμιμους τρόπους (είναι debatable αυτό για κάποιους) χρήσης του ZFS στο Linux (χωρίς ενσωμάτωση) και από την άλλη o οργανισμός OpenZFS διατηρεί και αναπτύσσει ενιαία το ZFS για BSD και Linux χωρίς καμία παρέμβαση από την Oracle. Τέλος καλό… όλα καλά για τους Linux χρήστες που θέλουν να το χρησιμοποιήσουν και ας μην είναι ενσωματωμένο στον πυρήνα Linux.

Ποια είναι τα χαρακτηριστικά του ZFS;

Η διαχείριση των δεδομένων που αποθηκεύουμε σε μέσα αποθήκευσης, περιλαμβάνει γενικά δύο πτυχές:

Διαχείριση των φυσικών μέσων αποθήκευσης (πχ HDD, SSD, κάρτες SD κλπ)
Διαχείριση των συστημάτων αρχείων που διαμορφώνουν αυτούς τους δίσκους

Το ZFS είναι ασυνήθιστο επειδή, σε αντίθεση με τα περισσότερα άλλα συστήματα αποθήκευσης, ενοποιεί και τους δύο αυτούς ρόλους και λειτουργεί τόσο ως διαχειριστής των φυσικών μέσων (ως volume manager) όσο και ως σύστημα αρχείων. Επομένως, έχει πλήρη γνώση τόσο των φυσικών δίσκων όσο και των λογικών τόμων καθώς και όλων των αρχείων που είναι αποθηκευμένα σε αυτούς.

Για τον λόγο αυτό το ZFS εγγενώς ΔΕΝ ΕΜΠΙΣΤΕΥΕΤΑΙ ΤΟΥΣ ΔΙΣΚΟΥΣ. Τα θεωρεί προδότες, αναξιόπιστες συσκευές που λένε ψέματα και στα οποία δεν μπορείς να είσαι ήσυχος για τα αρχεία σου.

Για αυτό τον λόγο το ZFS προκαλεί συνεχώς τις μονάδες δίσκου να είναι απόλυτα συνεπείς στα αποθηκευμένα δεδομένα, κάτι το οποίο δεν είναι αλήθεια με τους περισσότερους π.χ. hardware RAID-5 ελεγκτές. Δεν θεωρώ ότι είναι άχρηστο το RAID απλώς επειδή σε αυτές τις τεχνολογίες υπάρχει διαχωρισμός του συστήματος αρχείων από το υποκείμενο υλικό και από το πώς αποθηκεύονται τα πράγματα, αν αλλοιώσεις λίγο τα δεδομένα με το raid 5, είναι δύσκολο να γνωρίζεις ποια μονάδα δίσκου έκανε την πατάτα. Επειδή το ZFS αποθηκεύει πληροφορίες αθροίσματος ελέγχου σε επίπεδο συστήματος αρχείων, γνωρίζει ότι κάτι έχει πάει στραβά και μπορεί να επικοινωνήσει απευθείας με τους δίσκους για να πει:

Ρε εσείς…. κάτι δεν είναι συνεπές εδώ, έχουμε πληροφορίες για να το κάνουμε συνεπές με αυτό που θυμάμαι σχετικά με τη δομή του αρχείου ή όχι;

Το ZFS λοιπόν έχει σχεδιαστεί για να διασφαλίζει ότι τα δεδομένα που είναι αποθηκευμένα σε δίσκους δεν μπορούν να χαθούν λόγω φυσικών σφαλμάτων, κακής επεξεργασίας από το υλικό ή από το λειτουργικό σύστημα ή συμβάντων όπως το bit rot και καταστροφής δεδομένων που μπορεί να συμβεί με την πάροδο του χρόνου. Επομένως, ενσωματώνει τους ρόλους ενός συστήματος αρχείων και ενός διαχειριστή τόμων, απλοποιώντας τη διαχείριση της αποθήκευσης δεδομένων και προσφέροντας χαρακτηριστικά που είναι ιδιαίτερα πολύτιμα σε περιβάλλοντα όπου η ακεραιότητα, η απόδοση και η επεκτασιμότητα των δεδομένων είναι κρίσιμης σημασίας.

Ας μελετήσουμε τώρα μια συνοπτική λίστα με τις δυνατότητες που παρέχει το ZFS:

Ακεραιότητα Δεδομένων: Χρησιμοποιεί checksum για την ανίχνευση και επιδιόρθωση σφαλμάτων, εξασφαλίζοντας ότι τα δεδομένα παραμένουν αμετάβλητα και ασφαλή.
Αυτοεπιδιόρθωση: Όπως είπα, το ZFS δημιουργεί ένα checksum για κάθε μπλοκ δεδομένων που εγγράφεται σε μια μονάδα δίσκου και συγκρίνει αυτό το άθροισμα ελέγχου όταν τα δεδομένα διαβάζονται ξανά. Για μεμονωμένες μονάδες δίσκου, αυτό σημαίνει ότι υπάρχει ένας γρήγορος και αξιόπιστος τρόπος ελέγχου για προβλήματα αρχείων σε μια μονάδα δίσκου. Για μονάδες δίσκου που βρίσκονται σε κατοπτρισμό (mirror), οποιαδήποτε καταστροφή εντοπιστεί επιδιορθώνεται αυτόματα χωρίς καμία ενέργεια από πλευράς χρήστη.
Snapshots & Clones: Δυνατότητα δημιουργίας snapshots (στιγμιότυπων) και κλώνων που είναι εξαιρετικά αποδοτικά σε χώρο, επιτρέποντας γρήγορη αποκατάσταση. (ποιος χρειάζεται το BTRFS ; ….στον κάδο σκουπιδιών το BTRFS)
Επιδόσεις: Το ZFS διαθέτει μηχανισμούς προσωρινής αποθήκευσης δεδομένων για να παρέχει αυξημένη απόδοση. Το ARC είναι μια προηγμένη cache ανάγνωσης που βασίζεται στη μνήμη. Επίσης παρέχει μέσω L2ARC που βασίζεται σε δίσκο μια δευτερογενή cache ανάγνωσης και μια μνήμη cache εγγραφής που βασίζεται πάλι σε επίπεδο δίσκου με το όνομα ZIL.
Storage Pools: Χρησιμοποιεί δυναμικά pools αποθήκευσης, συνδυάζοντας δίσκους σε κοινή δεξαμενή, με ευέλικτη διαχείριση του αποθηκευτικού χώρου. (στον κάδο σκουπιδιών και το LVM)
RAID-Z: Υποστηρίζει ένα βελτιστοποιημένο RAID χωρίς την ανάγκη για ξεχωριστό hardware ή software RAID controller. (στον κάδο σκουπιδιών και το RAID)
Συμπίεση δεδομένων : Περιλαμβάνει ενσωματωμένη συμπίεση δεδομένων και τεχνικές για την εξοικονόμηση χώρου. Για παράδειγμα με την ενεργοποίηση του LZ4 το μεγαλύτερο πλεονέκτημα του είναι η δυνατότητα πρόωρης ματαίωσης. Εάν το LZ4 δεν επιτύχει συμπίεση τουλάχιστον 12,5% στο τμήμα κεφαλίδας των δεδομένων, το ZFS γράφει το μπλοκ ασυμπίεστο για να αποφύγει τη σπατάλη χρήσης της CPU προσπαθώντας να συμπιέσει δεδομένα που είτε είναι ήδη συμπιεσμένα είτε ασυμπίεστα.
Απαλοιφή διπλοτύπων : Όταν είναι ενεργοποιημένη, η κατάργηση διπλότυπων δεδομένων χρησιμοποιεί το άθροισμα ελέγχου (checksum) κάθε μπλοκ για τον εντοπισμό διπλότυπων μπλοκ. Όταν ένα νέο μπλοκ είναι διπλότυπο ενός υπάρχοντος μπλοκ, το ZFS γράφει μια νέα αναφορά στα υπάρχοντα δεδομένα αντί για ολόκληρο το διπλότυπο μπλοκ. Τεράστια εξοικονόμηση χώρου είναι δυνατή εάν τα δεδομένα περιέχουν πολλά διπλά αρχεία ή επαναλαμβανόμενες πληροφορίες. Προσωπικά μιλώντας η ενεργοποίηση απλά και μόνο της συμπίεσης δεδομένων παρέχει το μεγαλύτερο μέρος της εξοικονόμησης χώρου χωρίς το επιπλέον κόστος που απαιτείται με την αυξημένη κατανάλωση μνήμης RAM για την επίτευξη της απαλοιφής.
Κρυπτογράφηση: Δεν χρειάζεται να βασιστείς σε εξωτερικές βιβλιοθήκες, με το ZFS δημιουργείς datasets στα οποία μπορείς να αποθηκεύεις τις προσωπικές σου τσο… στιγμές παραφροσύνης. (πάει και το LUKS)
Απομονωμένα Περιβάλλοντα Εκκίνησης: Το ZFS Boot Environment επιτρέπει την δημιουργία σημείων εκκίνησης – επαναφοράς (με χρήση των snaphot) σε περίπτωση προβληματικής εκκίνησης του συστήματος. Για linux υπάρχει βοηθητικό εργαλείο το ZFSBootMenu.
Ενοποιημένα εργαλεία διαχείρισης: Σε αντίθεση με άλλα συστήματα, εδώ χρειάζεστε να γνωρίζετε μόνο 2 εντολές…. το zpool και το zfs. Η εξέταση, αλλαγή, προβολή, τα στατιστικά, οι ρυθμίσεις και όλες οι ιδιότητές του ZFS ρυθμίζονται από αυτές τις εντολές με τις κατάλληλες παραμέτρους… χωρίς τις ταρζανιές που χρειάζονται τα άλλα συστήματα (όποιος έχει φάει ξύλο από το LVM και το RAID καταλαβαίνει τι εννοώ).

Όλα τα παραπάνω, υπήρχαν και υπάρχουν εδώ και χρόνια… και χωρίς ντροπή με ακούτε καλά μου παραδοσιακά συστήματα; Για αυτούς τους λόγους, το ZFS είναι ο μπαμπάς των συστημάτων αρχείων.

Το ZFS χρησιμοποιείται σε διάφορα περιβάλλοντα λόγω της αξιοπιστίας, της επεκτασιμότητας και των προηγμένων χαρακτηριστικών που προανέφερα. Συνήθως χρησιμοποιείται σε διακομιστές, συστοιχίες αποθήκευσης δεδομένων μεγάλης κλίμακας και σε υπολογιστικά συστήματα όπου η ακεραιότητα και η απόδοση είναι κρίσιμης σημασίας. Το ZFS είναι επίσης δημοφιλές σε εικονικά περιβάλλοντα, λύσεις αποθήκευσης στο cloud και για τη διαχείριση δεδομένων σε συστήματα NAS.

Τα βασικά συστατικά του ZFS

Για να χρησιμοποιήσετε αποτελεσματικά το ZFS πρέπει πρώτα να μιλήσουμε για το πώς το ZFS αποθηκεύει τα δεδομένα σας στο δίσκο ή τους δίσκους οπότε είναι σημαντικό να κατανοήσετε τα βασικά συστατικά του:

ZFS Storage Pools (ZPOOLS): Ένα ZPOOL αποτελείται από ένα ή περισσότερα VDEV και χρησιμεύει ως χώρος αποθήκευσης από στον οποίο εκχωρούνται όλα τα σύνολα δεδομένων (Datasets) και οι τόμοι (Volumes).
Virtual Devices (VDEV): Τα VDEVS δεν είναι φυσικές συσκευές, αλλά είναι λογικές ομαδοποιήσεις φυσικών δίσκων. Ένα VDEV μπορεί να είναι απλός ένας δίσκος ή μπορεί να αποτελείται από πολλούς δίσκους διαμορφωμένους με διάφορους τρόπους για να παρέχουν πλεονασμό δεδομένων και βελτιωμένη απόδοση. Οι πιο συνηθισμένες διαμορφώσεις περιλαμβάνουν mirroring, όπου τα δεδομένα αναπαράγονται σε πολλούς δίσκους και RAID-Z, η οποία είναι μια συγκεκριμένη μορφή RAID του ZFS. Η αξιοπιστία μιας δεξαμενής ZFS εξαρτάται σε μεγάλο βαθμό από τα VDEV που περιέχει, καθιστώντας τα μια κρίσιμη πτυχή της συνολικής αρχιτεκτονικής του συστήματος.
Datasets: Στο ZFS, ένα σύνολο δεδομένων (datasets) μπορεί να είναι είτε ένα σύστημα αρχείων είτε ένα volume (ZVOL) και το καθένα εξυπηρετεί διαφορετικές ανάγκες. Αν θέλουμε το dataset να είναι τύπου «σύστημα αρχείων» τότε αυτό κληρονομεί όλες τις ιδιότητες των τυπικών συστημάτων αρχείων αλλά και τα εξτραδάκια του ZFS. Εναλλακτικά το dataset μπορεί να είναι συσκευή μπλοκ, η οποία μπορεί να χρησιμοποιηθεί από εφαρμογές που απαιτούν αποθήκευση δεδομένων σε RAW μορφή, όπως εικονικές μηχανές ή βάσεις δεδομένων.

Μπερδεύτηκες ;

Δεν πειράζει γιατί είναι πολύ λογικό. Εκεί που ήξερες ότι έχεις αρχεία, τα οποία αποθηκεύονται μέσω του συστήματος αρχείων με το οποίο έκανες format ένα ή δυο δίσκους, έρχομαι εγώ τώρα και σου μιλάω για δεξαμενή, εικονικούς δίσκους και σύνολα δεδομένων.

Ας το δούμε πιο πρακτικά…

Με το ZFS θα πρέπει να αλλάξεις τον τρόπο που βλέπεις τους δίσκους. Για το ZFS δεν υπάρχουν δίσκοι… (περίπου).

Όταν λέμε Δίσκος, αυτό μπορεί να είναι φυσικός π.χ. SSD ή ψηφιακός… π.χ. ένα .img που μπορεί να χρησιμοποιηθεί ως «δίσκος». Άρα σε αυτή την φάση του νοητικού πειράματος, ΔΕΝ μας νοιάζει από τι είναι φτιαγμένο το μέσο στο οποίο θα αποθηκεύουμε. Το βγάλαμε από το μυαλό μας τον δίσκο όπως το ξέραμε;

Αν λοιπόν πάρουμε ένα δίσκο 10GB (είπαμε βγάλε από το μυαλό σου τον σκληρό δίσκο !) ή έχουμε καμιά δεκαριά από αυτά μπορούμε κάνουμε διαφορετικούς συνδυασμού ενώνοντάς την χωρητικότητά τους ώστε να φαίνονται λες και είναι ένας (100GB) ή δύο δίσκοι (50GB και 50GB) ή όπως θέλουμε.

Μόλις λοιπόν έφτιαξες ένα ή δυο VDEV μέσα στο μυαλό σου… Αυτά πέρα από την κλασσική τους χρήση για αρχεία, μπορούμε επίσης κάποια από αυτά να αναλάβουν ειδικούς ρόλους για το ZFS όπως είναι τα ειδικά VDEVS για Cache (π.χ. L2ARC) ενώ κάποιο άλλο ως LOG (SLOG) VDEV, Σε αυτή την φάση όμως δεν μας νοιάζει αυτό. Μας νοιάζει ότι μπορούμε να τα συνδυάζουμε.

Ας πούμε τώρα ότι τα VDEV που είναι ομάδες δίσκων τα παίρνουμε και τα πετάμε σε μια δεξαμενή. Μόλις λοιπόν έφτιαξες ένα ZPOOL. Αφού φτιάξαμε την δεξαμενή μας, τώρα επιτέλους έχουμε στην διάθεσή μας ένα μέρος για να βάλουμε τα αρχεία μας. Πως βάζουμε όμως τα αρχεία μας;… Έτσι στο χύμα ;

Φυσικά και όχι… Τα οργανώνουμε σε φακέλους. Αυτοί λοιπόν οι «φάκελοι» που μπορούν να έχουν και άλλους υποφακέλους, για το ZFS είναι τα datasets και μας επιτρέπει να ορίσουμε κάποιες αυτόματες ιδιότητες τα οποία κληρονομούνται σε αυτά που βάζουμε εκεί μέσα. Παράδειγμα, μπορεί να θέλουμε ένα dataset που θα κρυπτογραφεί αυτόματα ότι βάζουμε μέσα, ένα άλλο dataset μπορεί να θέλουμε να μετατρέπει τα πάντα σε read-only, ένα άλλο μπορεί να θέλουμε για backups, ένα άλλο που μπορεί να το χρησιμοποιούν χρήστες στο δίκτυο μιας εταιρείας μπορεί να θέλουμε να του βάλουμε όρια κατανάλωσης χώρου κλπ.

Εκτός από τα datasets, θα πρέπει να αναφέρουμε τα zvols. Ένα zvol είναι κατά προσέγγιση ανάλογο με ένα dataset και συμπεριφέρεται απλώς ως μια συσκευή μπλοκ. Θα μπορούσατε, για παράδειγμα, να δημιουργήσετε ένα zvol στη συνέχεια να το μορφοποιήστε με σύστημα αρχείων ext4 και, στη συνέχεια, να το προσαρτήστε (mount). Το αποτέλεσμα θα είναι ότι έχετε ένα σύστημα αρχείων ext4, το οποίο όμως υποστηρίζεται από όλες τις δυνατότητες ασφαλείας του ZFS! Αυτό μπορεί να ακούγεται ανόητο να χρησιμοποιηθεί σε έναν απλό υπολογιστή, αλλά είναι πολύ πιο λογικό ως back end για iSCSI.

Συνοψίζοντας, το zpool είναι η ανώτερη δομή στο ZFS. Ένα zpool περιέχει ένα ή περισσότερα vdevs, καθένα από τα οποία με τη σειρά του περιέχει μία ή περισσότερες συσκευές. Τα Zpool είναι αυτόνομες μονάδες και ένας υπολογιστής μπορεί να έχει δύο ή περισσότερα ξεχωριστά zpool, αλλά το καθένα είναι εντελώς ανεξάρτητο από οποιοδήποτε άλλο. Τα Zpool δεν μπορούν να μοιράζονται vdevs μεταξύ τους.

Βλέπουμε λοιπόν ότι, μπορούμε να κάνουμε ότι συνδυασμούς θέλουμε με αποτέλεσμα να μην μας νοιάζει, σε φυσικό επίπεδο, που και σε ποιόν δίσκο είναι αποθηκευμένα τα αρχεία μας !Αν λοιπόν τα vdevs είναι αποτελούμενα από δίσκους και κάθε zpool μπορεί να έχει ένα ή περισσότερα vdevs, πως το ZFS αποφασίζει που εγγράφονται τα αρχεία ;

Ως επί το πλείστον, οι εγγραφές κατανέμονται στα διαθέσιμα vdev ανάλογα με τον διαθέσιμο ελεύθερο χώρο τους, έτσι ώστε όλα τα vdev θεωρητικά να γεμίζουν ταυτόχρονα. Σε πιο πρόσφατες εκδόσεις του ZFS, ο φόρτος εργασίας του vdev μπορεί επίσης να ληφθεί υπόψη. Εάν ένα vdev είναι σημαντικά πιο απασχολημένο από ένα άλλο (π.χ. λόγω έντονης εργασίας ανάγνωσης), μπορεί να παραλειφθεί προσωρινά για εγγραφή, παρά το γεγονός ότι έχει την υψηλότερη αναλογία ελεύθερου χώρου από άλλα.

Επίλογος

Ελπίζω αυτή η εισαγωγή να αποθάρρυνε αυτούς που πρέπει και να δημιούργησε μια περιέργεια για αυτούς που είναι έτοιμοι για το επόμενο βήμα. Υπομονή λοιπόν γιατί στο επόμενο άρθρο θα αρχίσουμε να παίζουμε με το ZFS…