Praxis: Industrial Ethernet im Motorenbau
Hochverfügbare Netzwerkinfrastruktur
Die Deutz AG mit Hauptsitz in Köln-Porz entwickelt und produziert seit über 140 Jahren Dieselmotoren und setzte schon in den neunziger Jahren auf Ethernet und TCP/IP. Anfang 2010 hat der Hersteller in Köln das fahrerlose Transportsystem (FTS) als eine der Hauptkomponenten im Material- und Motorenfluss ersetzt und dabei auch die Ethernet-basierende Netzwerkinfrastruktur weiter ausgebaut.
Vor dem Hintergrund dieses Industrieprojekts beschreibt das folgende Praxisbeispiel die
Rahmenbedingungen mit Blick auf die implementierte Netzinfrastruktur und die notwendige Integration
älterer Industrieanlagen in moderne Netze. Neben dem Netzdesign und dem Feature-Set der
eingesetzten (Gigabit-)Ethernet-Technik beleuchtet der Artikel zudem den
Carrier-Class-Redundanzmechanismus Ethernet Automatic Protection Switching (EAPS), der eine
Umschaltzeit von unter 100ms ermöglicht; des Weiteren den Aufbau des für die FTS-Kommunikation
notwendigen IEEE-802.11a-WLAN-Systems und die Funktionalität des modularen
Extreme-Networks-Switch-Betriebssystems Extreme XOS (EXOS).
Industrial-IT mit Ethernet und TCP/IP
Das Industrial-IT-Team bei Deutz betreut die IT-Systemstruktur der Motorenproduktion. Diese
umfasst auf der Leitsystemebene neben dem Montageleitrechner (MLR) den FTS-Leitrechner, die
Prozessvisualisierung (SICALIS) sowie die Systeme zur Programmierung der Motorsteuergeräte. Hinzu
kommen zahlreiche Systeme unter anderem für Warenein- und -ausgang, Montagen und Prüffeld. Mit den
Leitsystemen versorgt das Industrial-IT-Team insgesamt 15 Server, 250 PCs und über 100 Steuerungen
und Prozessrechner. Der gesamte Produktionsprozess ist nahtlos IT-gesteuert und genau aufeinander
abgestimmt. Die Fabrik wurde 1992 in Betrieb genommen und gehört seitdem zu Europas modernsten
Montageanlagen.
Martin Feller, Leiter des Industrial-IT Teams, war von Beginn an dabei und entschied sich
bereits in den Neunzigern für einen sukzessiven Ausbau der strukturierten Verkabelung und den
Einsatz der standardisierten Ethernet-Technik. "Es war für uns eine naheliegende Entscheidung, auch
bei der jetzigen Ablösung des 18 Jahre alten FTS weiter in Richtung Ethernet und TCP/IP zu
investieren", erläutert Feller.
Die Anbindung an den Montageleitrechner und die Kommunikation zwischen den einzelnen
FTS-Komponenten erfolgt nach dem allgemein gebräuchlichen TCP/IP-Standard. Für die Anbindung an die
Prozessebene wurde zusätzlich RFC1006 verwendet. Zur Konvertierung von TCP/IP mit RFC1006 zum
proprietären Siemens-Protokoll Sinec AP hat das Team um Feller eine pragmatische Lösung angestrebt
und gemeinsam mit Siemens entwickelt: ein dezidiertes SPS-Gateway. "Das Gateway mit der
RFC1006-Anbindung erlaubte uns die Anbindung der Prozessebene ohne Anpassung der Anwendungssoftware
und damit unproblematische Tests in der Entwicklungsphase des Projekts" ergänzt Feller.
Eine wichtige Rahmenbedingung für den reibungslosen Produktionsablauf sowie für den Einsatz des
neuen FTS ist eine zuverlässige Netzwerkinfrastruktur. Dazu ist es sinnvoll, zunächst das
Netzdesign in der Montagehalle zu beschreiben und anschließend den integrierten
Carrier-Class-Redundanzmechanismus EAPS zu betrachten. Das modular strukturierte
Switch-Betriebssystem Extreme XOS unterstützt dabei zusätzlich die Hochverfügbarkeit im
Netzwerk.
Layer-3-Netzdesign
Die Deutz AG verfügt in der Kölner Montagehalle 40 über eine strukturierte Verkabelung. Alle
neun Unterverteiler sind sternförmig mittels Glasfaserkabel angebunden. Den Kern des
Ethernet-Netzwerks bildet je ein Hauptverteiler in zwei Rechnerräumen (RR). Ausgehend von diesen
Hauptverteilern sind neun Unterverteiler mittels Lichtwellenleiter redundant per Gigabit Ethernet
angeschlossen. Grundlage des Netzes ist ein Layer-3-Netzdesign, basierend auf IPv4 und
port-basierenden VLANs. Das Routing erfolgt dabei zentral auf den redundanten Core-Switches und
ermöglicht somit eine einfache Konfiguration und Administration der Edge-Switches. Die komplexen
Konfigurationsinhalte befinden sich im Core. Zwischen den Core-Switches kommt das
OSPF-Routing-Protokoll zum Einsatz. Es arbeitet auf den Transfer-VLANs zwischen den Core-Switches.
Dabei haben ausschließlich die Core-Switches eine direkte Verbindung in die Transfer-VLANs. So
ergibt sich keine Möglichkeit der Beeinflussung der Core-Switch-Routing-Tabellen durch Clients oder
Server.
Aktive Komponenten
Der aktive Kern (Core) des Ethernet-Netzes besteht aus je einem Core-Switch-System pro
Rechnerraum in redundanter Konfiguration. Dies verhindert einen Single Point of Failure, der einen
Totalausfall durch einen einfachen Komponentendefekt bewirken könnte. Als zentrale Core-Switches
fungieren Layer-3-Carrier-Class-Systeme von Extreme Networks. In beiden Rechnerräumen sind die
Summit-X450a-24x-Switch-Systeme im Einsatz, die pro Switch 24-fach SFP-based 1000BaseX Ports
(inklusive 4x 1000BaseT Combo Ports) bereitstellen.
In den neun Unterverteilern der Montagehalle arbeitet die Summit-X250er-Serie. Diese Switches
sind ebenfalls Layer-3-Systeme, verfügen auch über das ExtremeXOS-Betriebssystem und ermöglichen
einen 10/100MBit/s Dual-Speed-Ethernet-Zugriff im Unterverteilerbereich (Edge). An den Core sind
insgesamt neun Unterverteiler redundant mit je 1 GBit/s angeschlossen. Je nach benötigter
Port-Anzahl im Unterverteiler sind die X250er-Switches in 1er-, 2er- oder 3er-Stacks gruppiert.
Dies funktioniert per Summit Stacking mit einer Leistung von 10 GBit/s. Dabei erfolgt die
Verwaltung des Stacks über eine IP-Adresse. Bis zu acht Switches lassen sich im Mix stapeln. Dabei
ist die Funktionsfähigkeit des Stapels auch bei einem eventuellen Ausfall eines Switches gegeben.
Für den Experten bemerkenswert ist die Local-Switching-Funktion für Non-Master-Units sowie die
integrierte Hitless-Failover-Funktion.
Im Core- und Edge-Bereich des Netzwerks kommen Geräte desselben Herstellers zu Einsatz.
Insbesondere das dadurch zur Verfügung stehende einheitliche Bedienerinterface (CLI und Web-GUI)
vereinfacht die Administration der Geräte. Denn durchgängig von den Core-, über die Aggregations-
und Distributions-Switches bis hin zu den Edge-Komponenten verfügen die Systeme über ein
einheitliches Betriebssystem.
Die Switches basieren zudem auf einer Carrier-Class-Hardware und bieten ein attraktives
Feature-Set zur Realisierung eines stabilen Netzwerkbetriebs. Insbesondere im Hinblick auf die
Hochverfügbarkeit im Netz sind dabei das Extreme Standby Router Protocol (ESRP) und Ethernet
Automatic Protection Switching (EAPS) wichtig.
Hochverfügbarkeit im Netz
Zur Steuerung der redundanten Topologie dienen in der Montagehalle verschiedene Mechanismen.
Dabei gibt es mehrere Anforderungen, zunächst die zwingende Unterdrückung von Netzwerkschleifen zur
Verhinderung von Broadcast Storms. Eine Schleife im Gigabit Ethernet würde das Kreisen von mehreren
1.000 Broadcast-Frames pro Sekunde erlauben und so die Netzwerkkommunikation blockieren. In
bestimmten Fällen kann ein Broadcast-Sturm auch einen manuellen Reboot von Endgeräten wie etwa
Printserver erfordern. Der zweite Punkt ist die Bereitstellung eines redundanten Default-Gateways
für die angeschlossenen Client- und Server-PCs. Die redundante Instanz ist auf einem zweiten Switch
konfiguriert und garantiert so die Ausfallsicherheit und die Erreichbarkeit des Gateways im Falle
einer Störung des Primär-Layer-3-Switches. Zwingend zu beachten ist jedoch, dass nur eine Instanz
aktiv geschaltet ist. Zwei aktive Routing-Interfaces mit der gleichen IP-Adresse führen
unweigerlich zu Netzstörungen.
Die Steuerung der redundanten Instanz sowie die Unterdrückung von Netzwerkschleifen ist durch
ein geeignetes Protokoll geregelt. Im Netzdesign des Beispiels übernimmt diese Aufgabe der
Ethernet-Automatic-Protection-Switching-Mechanismus (EAPS). Dazu ist zusätzlich das Virtual Router
Redundancy Protocol (VRRP) für die Layer-3-Redundanzsteuerung nötig. VRRP stellt die Verfügbarkeit
des Default-Gateways für die Clients sicher. Das EAPS-Protokoll läuft in einem separaten VLAN. Eine
Redundanz-Umschaltung im Störfall erfolgt unter 100ms.
Zur Bekanntgabe der aktiven Router-Interfaces in einer redundanten Konfiguration sind statische
Routing-Einträge nicht geeignet. Für eine dynamische Aktualisierung der Routing-Tabellen im Falle
einer Änderung ist vielmehr ein dynamisches Routing-Protokoll notwendig. Im Netzwerk dient dazu das
Routingprotokoll Open Shortest Path First (OSPF).
EAPS wurde im Jahre 2000 von Extreme Networks für die Carrier-Netze entwickelt. Es ist
Bestandteil der RFC 3619 und auch für Enterprise-Netze verfügbar. Die realisierbaren Umschaltzeiten
von EAPS liegen deutlich unter einer Sekunde. Mit optimalen Rahmenbedingungen liegen die
Umschaltzeiten bei 50 Millisekunden (50ms). EAPS gehört damit in die Klasse der
Voice-Grade-Mechanismen. Die Redundanzsteuerung erfolgt über ein separates VLAN mit
priorisierter Datenübertragung. Das Steuerungsverfahren ist dadurch vom Restnetz isoliert. Ein
User-Zugriff auf dieses VLAN ist nicht möglich.
Das Bild auf Seite 60 zeigt exemplarisch einen EAPS-Ring im normalen Betrieb, also ohne akuten
Fehler. Der EAPS-Master blockiert den zweiten (secondary) Ring-Port und verhindert so eine Schleife
(Loop) in der redundanten Struktur. Bild 2 zeigt einen EAPS-Ring im Fehlerfall. Der Ring ist
unterbrochen. Der EAPS-Master schaltet den zweiten (secondary) Ring-Port frei und ermöglicht so die
Überbrückung der Fehlerstelle. Die Unterbrechung im Datenverkehr liegt deutlich unter einer Sekunde
und beträgt unter optimalen Rahmenbedingungen lediglich 50 Millisekunden.
Hitless Failover
Innerhalb der Black-Diamond-Systeme sowie in den X250/X450er Stacks unterstützt Hitless Failover
sehr schnelle Umschaltzeiten bei einem Ausfall des Masters. Dies basiert auf einer gezielten
Synchronisation der Master-Unit mit der Backup Node. Innerhalb der Synchronisation tauschen die
Systeme beispielsweise Statusinformationen zu Netlogin, PoE, ESRP oder LACP (Link Aggregation
Control Protocol) aus. Daher ist es nicht nötig, diese Informationen bei Ausfall des Masters neu zu
"lernen".
Bei den Security-Features stehen Funktionen für Network Login, Access Lists (ACLs), Denial of
Service-Schutz (DoS), IP- und MAC-Adress Protection, sowie Protocol Anomaly Detection im
Vordergrund. Das System ermöglicht beispielsweise eine Autorisierung der User per Network Login. Es
gibt drei Varianten der Zugangskontrolle, nämlich 802.1x Agent-based Login, Web-based Login und
MAC-based Login. Diese Verfahren garantieren, dass nur autorisierte Teilnehmer und Geräte Zugang in
das Netzwerk erhalten.
Sicheres Management
Zur sicheren Administration der Switches stehen mittels SSH, SCP, HTTPS und SNMPv3 mehrere
sichere Kommunikationskanäle zur Verfügung. Als unverschlüsselte Varianten sind Telnet, TFTP, HTTP
und SNMPv1 und -v2 nutzbar. Alle EXOS-basierenden Switches verfügen zudem über einen
Ethernet-Management-Port für ein sicheres Out-of-Band-Management sowie über ein Web-GUI-basierendes
Device-Management (ScreenPlay).
Der Ausbau des Netzwerks und das WLAN wurden frühzeitig und ganzheitlich gemeinsam mit den
Ingenieuren von Gordion geplant. Die wesentlichen Komponenten standen bereits im Juli 2009 zur
Verfügung und fügten sich ohne Produktionsstörung in das Gesamtsystem ein.
"Die installierten Komponenten sind auf die Belange der vorhandenen IT-Systeme zugeschnitten und
unterstützen sowohl alte als auch neue Techniken", bilanziert Teamleiter Martin Feller und blickt
dabei auf fast zwei Jahre Projektarbeit zurück. "Wesentliches Merkmal des Redundanzkonzepts ist für
uns die extrem schnelle Umschaltzeit der Komponenten, die auch im möglichen Fall eines Defekts
einen reibungslosen Produktionsbetrieb gewährleistet."
Oliver Lindlar und Thomas Hülsiggensen sind im Bereich Network Consulting bei Gordion
tätig.
Lesen Sie mehr zum Thema
