Auf ATA basierende Arrays drängen auf den Markt und wollen FC- und SCSI-Storage verdrängen. Doch die Technologieunterschiede der Subsysteme schränken die Einsatzgebiete der günstigeren ATA-Arrays stärker ein, als mancher Hersteller zuzugeben bereit ist.

Die Mechanik von ATA-Laufwerken zielt auf den Desktop-Einsatz und hält dem längerfristigen Einsatz im Serverbetrieb sehr begrenzt stand.

Ein aktueller Preisvergleich von 300-GByte-Laufwerken versetzt Anwender ins Staunen: Ein ATA-Laufwerk dieser Kapazität kostet rund 250 Euro, während man für eine Ultra-320-SCSI- oder FC-Platte gut 1500 Euro auf den Tisch legen muss. Bei den kleineren Laufwerken im Bereich 70 bis 80 GByte verhält sich das ähnlich: SCSI-Laufwerke liegen zwischen 300 und 700 Euro, IDE-Platten zwischen 50 und 70 Euro. So geraten viele Anwender in Versuchung, in Servern die günstigeren IDE-Laufwerke oder externe Arrays mit IDE-Platten einzusetzen. Doch die Preisunterschiede sind gerechtfertigt. Denn beiden Laufwerkstypen liegen sehr verschiedene Technologien zugrunde, die in vielen Fällen einen Einsatz der günstigen ATA-Laufwerke im Serverumfeld verbieten. Noch kann man hierbei getrost das alte parallele ATA und das neue serielle ATA über einen Kamm scheren. Noch unterscheiden sich diese Geräte ausschließlich durch die Anschlusskabel, aber keinesfalls in der Zuverlässigkeit oder Performance.

Network Computing gibt einen tieferen Einblick in die Technologien, die hinter den Platten und Interfacetechnologien stehen, um damit klarer zu definieren, welche Geräte für welche Einsatzgebiete passen.

Die Mechanik macht’s

SCSI/FC- (Enterprise) und ATA-Laufwerke (Desktop) unterscheiden sich voneinander hauptsächlich in der verwendeten Mechanik; daher stammen auch die großen Preis- und Leistungs- sowie vor allem Zuverlässigkeitsunterschiede. Eine Festplatte besteht aus einer oder mehreren Magnetscheiben auf einer Spindel. Beide Oberflächen einer Scheibe können Daten aufnehmen. Diese Informationen schreiben die Schreib-/Leseköpfe in Spuren von außen nach innen. Jede Spur teilt sich dabei in mehrere Sektoren auf, von welchen jeder 512 Byte Nutzdaten enthält. Um die Oberfläche besser nutzen zu können, schreiben moderne Laufwerke im Außenbereich mehr Sektoren als im Innenbereich. Diese Technologie heißt »Zone Bit Recording« (ZBR). Der interne Datendurchsatz eines Laufwerks errechnet sich folglich aus der Drehzahl der Spindel und der Anzahl der Sektoren. Durch das ZBR variiert der Durchsatz in Abhängigkeit von der Spur. In den Außenbereichen arbeiten die Laufwerke schneller als nahe der Spindel. Um die Kapazität eines Laufwerks zu erhöhen, kann man mehr Spuren auf eine Oberfläche schreiben (Track-Density) oder mehr Sektoren pro Spur anlegen (Linear-Density). Die Geschwindigkeit eines Laufwerks steigt mit höherer Linear-Density und ebensolcher Drehzahl. Ein weiterer, oft zitierter Performancewert ist die mittlere Zugriffszeit. Die gibt an, wie lange die Kopfmechanik im Mittel benötigt, um von einer beliebigen Spur des Laufwerks zu einer anderen zu wechseln. Folglich liefern Platten mit einer niedrigeren Track-Density schnellere Zugriffszeiten als Laufwerke mit vielen Spuren.

Anwendungen, die mit wenigen Tasks viele große Datenblöcke auf ein Laufwerk schreiben, benötigen einen hohen Datendurchsatz. In diese Kategorie fallen hauptsächlich Backup-Anwendungen. Im Gegenzug benötigen Programme, die mit vielen Tasks kleine Datenblöcke lesen oder schreiben – also rund 80 Prozent aller Server-Applikationen – ein Laufwerk mit einer schnellen mittleren Zugriffszeit.

Enterprise-Platten verbessern die Hersteller auf beide Einsatzgebiete hin. Man setzt mehrere kleine Scheiben mit einer hohen Drehzahl ein. Moderne 10000- und 15000-Touren-Laufwerke kommen zwar in einem 3,5-Zoll-Gehäuse, doch die eigentlichen Scheiben sind lediglich 2,5 bis 3 Zoll groß. Große Scheiben würden bei dieser Drehzahl zu viele Vibrationen erzeugen. Auf Grund der höheren rotierenden Masse würde zudem der Spindelmotor erheblich mehr Strom verbrauchen, um den Gleichlauf zu garantieren und damit die ohnehin schon hohe Abwärme dieser Platten noch steigern. Enterprise-Platten setzen zudem einen recht großen und starken Kopf-Antrieb (Voice-Coil) ein, um den Kopfapperat schnell positionieren zu können – auch hier entsteht Abwärme. Ein Voice-Coil arbeitet prinzipiell wie ein Lautsprecher: Eine Magnetspule am hinteren Ende des Kopfapperates bewegt sich durch positive oder negative Stromimpulse in einem Bananen-förmigen Festmagneten hin und her. Enterprise-Laufwerke verfügen über Kühlmechanismen. Luftkanäle im Laufwerk verteilen die dort entstehende Wärme gleichmäßig, damit es zu keinen Spannungen kommt. Das stabile Aluminium-Gehäuse führt die Wärme zudem nach außen ab. Enterprise-Platten erfordern heute grundsätzlich eine externe Kühlung (Lüfter), um auch bei stundenlangen Zugriffen die Betriebstemperatur halten zu können.

Das Design der Enterprise-Platten integriert auch Techniken zur Schockdämpfung. In Array-Gehäusen arbeiten viele Laufwerke nebeneinander. Die Erschütterungen benachbarter Laufwerke können einzelne Drives im wahrsten Sinne des Wortes aus der Bahn werfen. Enterprise-Drives kompensieren diese Erschütterungen, so gut es geht. Wenn ein Laufwerk die Spurführung verliert, kann es den Positionierungsfehler sehr schnell korrigieren. Die Gesamtperformance eines Arrays hängt daher auch vom Gehäusedesign ab.

Die hohen Kosten von Enterprise-Laufwerken entstehen durch die stärkeren Antriebe von Spindel und Kopf, eine größere Anzahl von Spindeln und Köpfen pro Laufwerk und durch die wesentlich aufwändigere Steuerelektronik, die ein solches Laufwerk benötigt. Zudem kommen teurere mechanische Bauteile, eine aufwändigere Produktion des Gehäuses und der Einzelkomponenten zum Einsatz. Auf Grund der kleinen Platten und damit weniger Spuren pro Scheibe fällt die Kapazität der Enterpise-Platten im Vergleich zu Desktop-Laufwerken wesentlich geringer aus.

Bei Desktop-Platten kommt es den Herstellern in erster Linie auf die Kapazität und einen günstigen Preis an. Neuerdings achten die Plattenbauer auch verstärkt auf die Geräusch- und Hitzeentwicklung. Daher setzen diese Laufwerke weniger Scheiben pro Spindel bei einer höheren Track-Dichte ein. Das spart zudem Schreib-Leseköpfe und damit Gewicht am Kopfapparat. Folglich genügt ein schwächerer und damit auch langsamerer Voice-Coil-Antrieb. ATA-Laufwerke arbeiten üblicherweise mit Drehzahlen von 5400 und 7200 Touren. Damit fallen die Motoren und die Steuerelektronik günstiger aus. Die hohe Track-Dichte und die großen Scheiben sorgen zwar für hohe Kapazität, bremsen dafür aber die Zugriffszeit ein. Wegen der geringeren Drehzahlen liefern Desktop-Laufwerke wesentlich niedrigere interne Transferraten als Enterprise-Laufwerke. Da die Laufwerke nicht für den Dauerbetrieb ausgelegt sind, fehlt es ihnen an Wärme ableitenden Funktionen. Auch fehlen den meisten Desktop-Drives Techniken zur Schockdämpfung. Ein »Schubser« eines benachbarten Laufwerks in einem Array-Gehäuse kann dazu führen, dass ein Desktop-Drive für Sekundenbruchteile nicht ansprechbar bleibt, während es sich neu kalibriert.

Zuverlässigkeit

Enterprise-Platten zertifizieren die Hersteller durch die Bank für den 24x7-Betrieb. Das heißt: Der Hersteller garantiert, dass diese Laufwerke rund um die Uhr rotieren, Daten schreiben/lesen und den Kopfapparat bewegen können – vorausgesetzt: Die Kühlung stimmt. Desktop-Platten dürfen das nicht. Hier zertifizieren Hersteller den 8x5-Betrieb, also dass Laufwerke an fünf Tagen die Woche jeweils 8 Stunden arbeiten dürfen. Dabei gibt es noch weitere Einschränkungen: Während der 8 Stunden dürfen die Köpfe nicht permanent arbeiten. Neuere Zertifikate bescheinigen den Laufwerken 24 Stunden »Rotation Time«, was bedeutet: Die Platte darf rund um die Uhr angeschaltet sein, aber sie darf nicht rund um die Uhr Daten schreiben oder lesen.

Verschiedene Festplattenhersteller verstehen es dabei sehr gut, dem Kunden durch gewitzte Wortwahl zu verschleiern, was die Platte eigentlich kann: Bei Enterprise-Platten findet man in den Datenblättern daher Formulierungen wie: »24x7 Operation« – den wahren Rund-um-die-Uhr-Betrieb. Bei den günstigeren ATA-Laufwerken steht in den technischen Spezifikationen dann der Begriff »24x7 Duty«. Diese »24x7-Duty« lässt sich mit einem 24-Stunden-Bereitschaftsdienst vergleichen: Wenn alles regulär läuft, arbeitet man eine Stunde und kann die restlichen 23 verschlafen – und genau so soll es die Platte tun. Was passiert aber, wenn die Platte außerhalb der Spezifikation läuft? Zu allererst heizt sie sich auf, und wenn dann die entsprechende Kühlung fehlt, fällt sie aus. Wer das nicht glaubt, soll mal auf seinem Desktop-PC eine Defragmentierung mit einem Tool wie »Norton Speed Disk« durchführen und die Temperatur der Platte vor und nach dem Programmlauf messen. Da Desktop-Laufwerke, anders als Enterprise-Platten, keine interne »Lüftung« haben, kann sich das Laufwerk intern aufheizen, so dass die externe Kühlung nichts nutzt. Im eben genannten »Speed Disk«-Beispiel heizt sich der Voice-Coil-Antrieb, der die Köpfe positioniert, sehr stark auf. Das kann zu Positionierungsfehlern führen, die man auch sehr deutlich an den hässlichen Geräuschen hören kann. In der Regel arbeitet die Platte wieder ohne Fehler, wenn sie abkühlt.

Was tun, wenn es hier nicht um eine Platte in einem Desktop-PC geht, sondern um einen RAID-Verband aus mehreren Laufwerken? So lange alle Laufwerke arbeiten und keine großen Schreib-Lese-Prozesse auftreten, bleibt alles im grünen Bereich. Sollte ein Laufwerk ausfallen, wird die Situation mehr als kritisch. Ab dem Moment, in dem der Administrator oder das System selbst das defekte Laufwerk gegen eine Spare-Disk austauscht, gehen die Vorgaben der Platten-Spezifikation zwangsläufig über Bord. Ein angeschlagenes RAID-5-Array mit vier Laufwerken à 250 GByte benötigt um die 48 Stunden, um eine Spare-Disk aufzubauen. Während dieser Zeit laufen alle Platten mit permanenten Schreib/Lesezugriffen, also weit jenseits der Spezifikation. Die größte Gefahr für ATA-RAIDs ist genau diese Rebuilt-Phase. Sollte während des Rebuilts eine Platte versagen, verliert das Array in dieser Sekunde alle Daten – dabei muss diese Platte nicht einmal völlig versagen. Es genügt, wenn sie dank interner Überhitzung mehrere Sekunden nicht richtig auf die Kommandos des Controllers reagiert und dieser dann die Platte als »failed« einstuft.

Ein Tipp: Fällt eine Platte Ihres ATA-Arrays aus, fahren Sie sofort ein Backup aller Daten auf ein Band oder ein anderes Array, und starten Sie das Rebuilt mit der Reserve-Disk erst im Anschluss.

Der MTBF-Schwindel

Um Produkten im Prospekt eine Art Zuverlässigkeitswert zuzuschreiben, haben sich die Hersteller schon vor Jahren die »Mean Time between failures« MTBF einfallen lassen. »Diese durchschnittliche Betriebszeit zwischen zwei Ausfällen« soll angeben, wie viele Stunden ein Gerät wahrscheinlich läuft, bevor es ausfällt. Allerdings gibt es keine vorgeschriebene oder gar geprüfte Art und Weise, wie Produzenten diese MTBF anzugeben haben. Die MTBF stützt sich auf theoretische Berechnungen des Herstellers, nicht zwingend auf praktische Messergebnisse. In der Vergangenheit haben verschiedene Anbieter bereits Platten auf den Markt gebracht, die zwar mit riesigen MTBF-Zahlen vermarktet wurden, auf Grund eklatanter Konstruktions- und Fertigungsmängel jedoch nicht einmal ein Fünftel der Garantiezeit überlebten. Leidgeplagte Administratoren werden sich in diesem Zusammenhang sicher noch an die serienweise sterbenden 1-GByte-Laufwerke von Micropolis oder die fehlerhafte 9-GByte-Serien von IBM erinnern – alles Laufwerke mit damals hohen MTBF-Werten.

Zudem lässt sich die MTBF geschickt auslegen. Eine Platte mit 24x7-Zertifizierung und einer MTBF von 50000 Stunden müsste tatsächlich 5,7 Jahre ohne Pause fehlerfrei arbeiten. Eine Desktop-Platte, die der Hersteller für den 8x5-Betrieb zertifiziert und mit einer MTBF von 50000 Stunden angibt, sollte ebenfalls 5,7 Jahre halten, wenn man sie 8 Stunden täglich an Werktagen betreibt. Nutzt man das Laufwerk aber rund um die Uhr, sinkt die Lebenserwartung – laut MTBF-Berechnung – auf 1,3 Jahre.

Erschwerend kommt das Kleingedruckte hinzu. Dort steht bei Enterprise-Platten, dass die MTBF bei einer Betriebstemperatur von 40 Grad gilt, ein realer Wert für Laufwerke in gut belüfteten Servern und JBODs. Bei Desktop-Platten allerdings gilt die MTBF bei einer Temperatur von 20 Grad. Im Desktop-PC, der keine dezidierte Plattenkühlung einsetzt, läuft ein Laufwerk aber bei Temperaturen um 30 bis 50 Grad; folglich sinkt die MTBF auf die Hälfte. Auch in Arrays mit Kühlung lassen sich die einfachen Laufwerke kaum dauerhaft auf 20 Grad herunterkühlen.

Manche Unternehmen haben ganz aufgehört, sinnvolle Haltbarkeitswerte anzugeben. Maxtor beispielsweise gibt die Zuverlässigkeit in MTTF-Stunden an (Zitat aus der Maxtor Spezifikation »MTTF refers to the estimated mean time to failure based upon a statistical sample«). So soll die neue Generation an hochtourigen SCSI-Laufwerken eine MTTF von 1,4 Millionen Stunden erreichen, also umgerechnet 160 Jahre – ein völlig lächerlicher Wert, selbst ein Zehntel davon wäre irreal.

Die Praxis bestätigt leider die Theorie. Fragt man Unternehmen, die Dienstleistungen zur Datenrettung von defekten Laufwerken anbieten, nach den Ausfallraten der verschiedenen Laufwerke im Servereinsatz, gibt es klare Antworten: Von sechs ausgefallenen Server-Platten sind fünf Desktop-Drives und nur eine ein Enterprise-Drive.

Interfaces und Protokolle

Platten kommunizieren mit dem Host-Computer oder dem Controller eines Storage-Arrays über ein Platteninterface mit dem passenden Protokoll. Aktuell offerieren Hersteller Enterprise-Laufwerke mit den Interfaces Ultra-SCSI (320 MByte/s) und Fibre-Channel (256 MByte/s), die beide leicht unterschiedliche Varianten des SCSI-Protokolls zur Kommunikation einsetzen. Ultra-SCSI setzt auf eine parallele Busarchitektur. Eine 68-polige Leitung adressiert bis zu 15 physische Geräte (Targets) die in maximal 256 Untergeräte (logical Units) unterteilt sein dürfen. Kommt es bei SCSI zu Störungen auf diesem Bus, bricht die Kommunikation zwischen Host-Adapter und allen Geräten zusammen. Der FC/AL setzt prinzipiell zwei serielle Ringe ein. Der Host-Bus-Adapter sendet Informationsblöcke in einen der Ringe, welche die angeschlossenen Geräte so lange weiterleiten, bis das Ziel erreicht ist. Eine Lücke in einem Ring stört die Kommunikation kaum, da der Host dann die Pakete über den zweiten Ring versendet. Die meisten FC-Platten unterstützen neben dem Loop- auch den Fabric-Mode. Ein FC-JBOD lässt sich damit direkt an einen FC-Switch anbinden. Die Steuerung der Laufwerke übernimmt ein entfernter Controller oder eine Virtualisierungslösung.

ATA steht für AT-Attachment und war früher auch unter dem Namen IDE, »Intelligent-Disc-Electronic«, bekannt. Aktuell stehen ein paralleles Interface mit einem 80-poligen Kabel und eine serielle Schnittstelle zur Verfügung. P-ATA setzt einen Master/Slave-Bus ein und kann pro Controller zwei Geräte adressieren. S-ATA hingegen nutzt eine reine Punkt-zu-Punkt-Architektur jeweils von einem Port des Controllers zu einem Gerät.

Das SCSI-Protokoll verfügt über einen sehr ausführlichen Befehlssatz. Empfängt ein Gerät ein Host-Kommando, führt es, je nach Geräteklasse, einen Disconnect aus und trennt sich vom Bus, so dass dieser anderen Geräten ungestört zur Verfügung steht. Dann bearbeitet es das Kommando, meldet sich am Bus zurück und liefert die Antwort an den Host. SCSI unterstützt dabei das »Tagged-Command-Queueing«. Ein Gerät kann damit bis zu 256 Kommandos puffern, in diesem Pufferspeicher neu sortieren und optimieren (out of order execution) und die Antworten dann ebenfalls gebündelt zurückliefern. Das sorgt für eine bessere Auslastung des Busses und kürzere Antwortzeiten. Das Command-Queueing macht sich vor allem im Servereinsatz mit vielen parallel arbeitenden Threads bemerkbar. Treffen Datenanfragen verschiedener Threads bei einer Platte ein, kann diese die Befehle neu ordnen, so dass sie Funktionen mit möglichst wenig und kurzen Kopfbewegungen ausführt. Man nennt das »Elevator Seek« in Anlehnung an einen Aufzug, der kontrolliert an Stockwerken in einer sinnvollen Reihenfolge anhält und nicht stumpf die Etagen in der Reihenfolge der Knopfdrücke anfährt.

SCSI erlaubt, die logische Organsisation von Platten anzupassen. In der Unix-Welt kommen oft Laufwerke mit 1024 oder gar 2048 Bytes pro Sektor zum Einsatz, anstelle der üblichen 512. Große RAID-Arrays konfigurieren die Sektorgröße auf 528 Bytes, um zu den 512 Byte Nutzdaten RAID-Informationen in jedem Sektor ablegen zu können.

Das ATA-Protokoll, wie es aktuell bei Parallel-ATA (133 MByte/s) und Serial-ATA der ersten Generation (150 MByte/s) zum Einsatz kommt, kennt überhaupt kein Command-Queueing Erst die S-ATA-Spezifikation 2 führt diese Funktion ein, und dann auch nur für 32 Kommandos, welche die Platte aber nur »in Order«, also der Reihe nach, ausführen kann. S-ATA 2 kommt in zwei Phasen auf den Markt. Phase 1 führt das Command-Queueing ein, Phase zwei verdoppelt die Transferrate auf 300 MByte/s. ATA kann aber die Sektorgröße von Laufwerken nicht verändern und muss immer mit 512 Byte arbeiten.

Da S-ATA 1 und P-ATA sehr ähnlich arbeiten, genügt ein simpler Konverterchip (Marvel) um P-ATA-Geräte an S-ATA zu betreiben oder umgekehrt. Noch arbeitet ein Großteil der verfügbaren S-ATA-Laufwerke und S-ATA-RAID-Controller mit bestehenden P-ATA-Chipsätzen, welchen der Hersteller einfach einen Marvel-Chip vorschaltet. Der Controller-Hersteller 3ware beispielsweise setzt in den aktuellen Escalade-RAID-Controllern durch die Bank P-ATA-Controllerchips ein.

Wie S-ATA das P-ATA ablöst, soll das serielle SCSI-Interface SAS (Serial Attached SCSI) künftig Ultra-SCSI ablösen. SAS setzt dabei die gleiche Verkabelung wie S-ATA ein, jedoch mit doppelten Leitungspaaren und damit zwei Kanälen. SAS bindet die Laufwerke zwar physisch in eine Punkt-zu-Punkt-Architektur ein, kann logisch aber über einen Port bis zu 16384 Geräte adressieren. So genannte Port-Extender binden mehrere Geräte an einen Controller-Port an. Alle angekündigten SAS-Controllerchips arbeiten bilingual, sie sprechen also SCSI- und ATA-Protokoll. Der Anwender kann daher S-ATA und SAS-Platten über einen Controller ansprechen. Auch die Port-Extender werden SAS- und S-ATA-Laufwerke gemeinsam Unterstützen. So lassen sich Speichersubsysteme mit SAS und S-ATA ausrüsten. Der Anwender kann dann in einem Case sowohl die primary als auch die secondary Arrays über einen Controller ansprechen.

ATA-Arrays unter Vorbehalt

Mit einer Ausnahme fertigen heute alle Plattenhersteller Enterprise-Laufwerke mit SCSI oder FC-Interface und Desktop-Laufwerke mit P- oder S-ATA-Interface. Lediglich Western Digital baut mit der »Raptor« eine Enterprise-Platte mit S-ATA-Interface. Richtig große Stückzahlen setzt der Hersteller davon aktuell aber nicht ab. Wer viel Geld für ein vergleichsweise kleines Laufwerk ausgibt, nimmt gleich SCSI. Folglich stecken in allen heute angebotenen ATA-Plattenarrays durch die Bank Desktop-Laufwerke, und dabei spielt es aktuell überhaupt keine Rolle, ob dabei S- oder P-ATA zum Einsatz kommt, Zuverlässigkeit und Performance sind gleich gut oder schlecht, wie man es nimmt.

ATA-Arrays können und dürfen im Unternehmen nicht für operative Datenbestände und damit als der so genannten »First Level Storage« zum Einsatz kommen. Die aktuellen Laufwerke offerieren nicht genügend Betriebssicherheit. Auch darf sich hier kein Hersteller auf Redundanz-Techniken wie RAID-5 verlassen, denn gerade das Array-Rebuilt nach einem Laufwerksausfall gehört zu den enorm kritischen Phasen. Dann schon lieber ein bisschen mehr Geld ausgeben und ATA-Laufwerke 1:1 spiegeln (RAID 1). Dank der eingeschränkten Stabilität und Belastbarkeit der ATA-Arrays gehören diese Systeme in den »second Level« der Datensicherung. Man darf keine Daten auf ATA-Arrays speichern, wenn davon keine Kopie auf einem anderen Datenträger wie Band oder Enterprise-Array vorliegt. Als erster Schritt in der Backup-Strategie eignen sich die Systeme recht gut. Sie verkleinern Backup-Fenster und entlasten die aktiven Arrays. Zudem verlangt diese Aufgabe nicht zuviel von den Platten. Hier arbeiten wenig Threads mit linearen Schreib- oder Leseprozessen.

Auch künftig können günstige Desktop-Laufwerke im Server nur zusätzlich zu Enterprise-Platten auftreten, dann wahrscheinlich in Kombinationen mit SAS- und S-ATA-Interfaces. [ ast ]