Aufbau eines VMS Cluster basierend auf DSSI

    • Offizieller Beitrag

    Hallo!


    Da nächste Woche wohl meine zweite VAX4000/100A Einzug hält, kann ich mich endlich daran machen ein zwei Server Cluster aufzusetzen.

    DSSI ist so die einfachste Möglichkeit ein Cluster über Storage Interconnect aufzubauen. Neuere VMS Versionen unterstützen auch Cluster Kommunikation über LAN aber so richtig läuft das über geteilte Platten.

    DSSI Festplatten sehen SCSI Platten sehr ähnlich, unterstützen aber viele zusätzliche Befehle. Selbst eine Anmeldung und Konfiguration der Platten ist möglich.

    VMS Cluster haben mit normalen Failover Systemen nichts gemein. Mir fällt auf Anhieb kein geläufiges OS mit echter Clustermöglichkeit ein.

    Als VMS wird es 5.5-2. Wer hier über die nächsten Wochen mitlesen möchte, wird Begriffe wie Votes und Quorum verstehen.


    Morgen werde ich eines der Systeme vorstellen und ein paar Einblicke in DSSI liefern.


    Gruß

    Peter

    • Offizieller Beitrag

    Bevor wir uns das Prinzip eines VMS Clusters anschauen möchte ich erst ein paar Anmerkungen loswerden.

    Ich werde versuchen das Ganze möglichst einfach zu erklären. Die Details kommen später. Evtl. wird nicht alles fachlich korrekt sein. Hier ist jeder gerne dazu aufgerufen Hilfestellung zu leisten.


    Warum überhaupt ein Ausflug in die VMS Clustertechnologie? Da gibt es für mich genau drei Gründe:

    1. Weil ich es kann

    2. Weil ich es möchte

    3. Weil es einige Besonderheiten des Betriebssystems beleuchtet die ohne das Verständnis der Clustertechnologie keinen Sinn ergeben.


    Eine Bitte hätte ich noch: Themen die inhaltlich wenig mit VMS Cluster zutun haben sollten in einem anderen Thema diskutiert werden. So erhoffe ich mir, dass sich hier ein roter Faden durch das Thema zieht.

    • Offizieller Beitrag

    Die einfachste Art ein Cluster aufzubauen besteht aus einem Server und 1..n Satelliten.

    Der Server ist genau der Rechner, der die Bootplatte bzw. Systemplatte bereitstellt. Ein Satellit ist von diesem Server abhängig und kann auch immer nur dann existieren wenn auch der Server existiert.

    Ein Satellit kann auch über Storage verfügen und dieses Clusterweit bereit stellen. Auf so einer lokalen Platte liegen aber dann keine Systemrelevanten Daten, von evtl. Page- und Swap-file mal abgesehen.


    Und hier kommt das erste mal der Begriff "Votes" zum tragen. Votes, oder Stimmrechte, werden im Cluster genutzt die Integrität des Clusters zu berechnen. Diese Integrität wird über das Quorum, die Anzahl nötiger Stimmen "Votes" errechnet. Nur wenn genügend Votes vorhanden sind und damit das Quorum erfüllt ist, ist das Cluster intakt.

    Als dritter Begriff kommt jetzt noch Expected_Votes dazu, das ist die gesamte Anzahl aller zu erwartenden Votes.


    Das Quorum errechnet sich so: Quorum=(Votes+2)/2 "abgerundet"

    Dieses Quorum muss aber mit etwas verglichen werden um die Integrität des Cluster bestimmen zu können und zwar mit dem zu erwartenden Quorum "Estimated Quorum"

    Dieses berechnet sich so: Estimated Quorum=(Expected Votes+2)/2 "abgerundet"

    Das Estimated Quorum bestimmt das maximal mögliche Quorum. Wir können das hier erst einmal außer Acht lassen.


    In unserem Beispiel mit einem Server hat nur dieser eine Stimme "Vote". Der Satellit hat nichts zu melden "Vote=0"

    Damit ist das Quorum=(1+2)/2 = 1



    In diesem Fall sind die Votes >= Quorum und damit das Cluster intakt. Die nötige Anzahl der Stimmen sind also erreicht.


    Das ganze ist für ein Single-Server-Cluster nur als Beispiel Zielführend. Sobald der eine Server fehlt geht sowieso nichts mehr.

    Interessant von der Clusterthematik ist eine Einserver Konfiguration trotzdem da es einige Dinge im VMS ermöglicht.


    • Offizieller Beitrag

    Und evtl. kann man dann später daraus einen kleinen LOAD Artikel machen..?

    (Kann man eigentlich auch einen SIMH Cluster mit mind. 2 Instanzen, die parallel laufen aufsetzen?)


    LG Peter

    Ein Load Artikel sollte kein Thema sein, fragt sich, ob das Sexy genug ist.


    Ein Single Server Cluster geht auch unter SimH. Mehrere Server an einer Platte wüsste ich nicht. Da müsste man schauen was die emulierten Binaries an Hardware mitbringen.

    • Offizieller Beitrag

    Wer im vorherigen Beitrag zum Single Server Cluster aufgepasst hat :ätsch: dem dürfte aufgefallen sein, dass bei einem Spezialfall, und zwar bei einem Zwei Server Cluster keine eindeutige Stimmmehrheit bei Ausfall eines Systems gegeben ist:

    Quorum=(Votes+2)/2 "abgerundet"

    Nun haben wir zwei Server mit jeweils einem Vote und damit ist das Quorum bei beiden intakten Servern: (2+2)/2=2 und bei nur einem Server: (1+2)/2=1.

    Damit ist selbst bei Ausfall eines Servers die Anzahl der eigenen Votes ausreichend, da 1=1. Ein Server hat ein Vote und das Quorum ist 1!


    Das wäre eigentlich nicht weiter schlimm wenn denn tatsächlich ein Server wirklich nicht verfügbar wäre, nur was passiert, wenn sich die beiden Server einfach nicht mehr sehen? Welcher Server hat dann das sagen? Und viel schlimmer, da beide Server auf die gleichen Systemdateien zugreifen ist es nur ein Frage der Zeit wann das Dateisystem nicht mehr konsistent ist.


    Also, warum nicht dann einen Server mehr als ein Vote geben, sagen wir zwei?!


    Dann sähe das bei beiden intakten so aus: (3+2)/2= Quorum 2

    Viele der mit einem Vote aus: (2+2)/2= Quorum 2

    Und der mit zwei Votes fällt aus: (1+2)/2= Quorum 1


    Damit würde der mit einem Vote bei Ausfall, Unsichbarkeit des 2 Votes Systems seinen Betrieb einstellen. Voila ... :grübel:


    Doof ist jetzt, das wir eigentlich wieder bei einem nicht redundanten Cluster angekommen sind. Alles steht und fällt mit dem 2 Vote Server.


    Für genaus diesen Fall kennt VMS die sogenannte Quorum Disk und den Quorum Node.


    Der Quorum Node ist ein Satellit mit einem Vote ohne eine Systemplatte und macht Sinn, wenn ein Cluster über LAN gebildet wird, heisst, der Abgleich der Clustertransaktionen findet nur über das Netzwerk statt und nicht über die Plattenkanäle direkt. Sowas müsste auch mit SimH gehen.


    Ich konzentriere mich aber auf die Quorum disk da DSSI Clusterkommunikation erlaubt.


    Im Idealfall ist die Quorum Disk die Systemplatte, bzw. die Platte mit dem Common Verzeichnis.


    Dazu im nächsten Beitrag mehr.

    • Offizieller Beitrag

    Machen wir mit der Quorum disk weiter. Die Quorum disk ist eine Platte die bei einem Zweiservercluster genutzt wird, bei Ausfall eines Server den Weiterbetrieb des Clusters sicher zu stellen ohne das Teile des Clusters sich ablösen und seperat laufen.


    Eine Quorum disk muss von beiden Servern sichtbar sein, heisst, direkt im Zugriff und nicht durch den anderen Server bereitgestellt. Was Sinn macht ;)


    Die Quorum disk wird also entweder über einen Storage Interconnect oder über ein am Netzwerk hängendes Storage bereit gestellt. Es geht auch über SCSI mit Multihost fähigen Adaptern aber das war, glaube ich, bei den VAXen eh nicht möglich.


    Geben wir der Quorum Platte einen Vote und wie gehabt, jeden Server eine weitere so ergibt sich folgendes:


    Bei intakten Cluster: ((Server1+Server2+Quorumdisk)+2)/2= (3+2)/2 = Erwartetes Quorum 2

    Fällt ein Server oder die Quorum disk aus: (2+2)/2= Quorum 2 und damit 2=2


    Ganz wichtig: Es muss immer vehindert werden, dass beide Server Zugrif auf die Quorum Disk haben aber sich selber nicht mehr sehen können. In einem solchen Fall hätte ich plötzlich zwei Cluster Einzelservercluster am laufen welches zu inkonsistenzen bei den geteilten Dateien führt.

    • Offizieller Beitrag

    Ein Load Artikel sollte kein Thema sein, fragt sich, ob das Sexy genug ist.

    Das kriegen wir schon, braucht nur den richtigen Titel, sowas wie "Swingerclub mit DEC Hardware" oder so :ue18:


    Aber mal ernsthaft: Das sind doch genau die Themen, die eine LOAD braucht- wo anders kannst Du sowas heute noch in neuen Publikationen lesen?

    Denn Feindschaft wird durch Feindschaft nimmermehr gestillt; Versöhnlichkeit schafft Ruh’ – ein Satz, der immer gilt. Man denkt oft nicht daran, sich selbst zurückzuhalten; Wer aber daran denkt, der lässt den Zorn erkalten. Sprüche von Buddha, aus dem ‹Dhammapada›.


    Mein Netz: Acorn | Atari | Milan | Amiga | Apple //e und IIGS | Macintosh | SUN Sparc | NeXT |SGI | IBM RS/6000 | DEC Vaxstation und Decstation| Raspberry Pi | PCs mit OS/2, BeOS, Linux, AROS, Windows, BSD | Stand-alone: Apple //c und III | Commodore 128D | Sinclair QL | Amstrad | PDAs

    • Offizieller Beitrag

    Hier mal drei Szenarien:



    Sind alle Server plus Quorum-Platte intakt dann ist für alle drei Szenarien das Quorum genau (3+2)/2=2; (Server1+Server2+Quorum Disk)=3


    1. Unterbrechung im LAN zwischen Server 1 und Server 2. Beide Server sehen noch die Quorum disk aber nicht mehr sich selber da SCSI keine Clusterkommunikation unterstützt. Beide Server bilden ein unabhängiges Cluster und schreiben fleissig unsyncronisiert "Common" Daten. Server1=Votes=(1+1)=2=OK

    Server2=Votes=(1+1)=2=OK

    OK+OK=NOK :neinnein:


    2. Die SCSI Disk als Quorum Disk hängt über einen Multihostfähigen Controller im LAN. Der Server der die Verbindung zum Storage und damit zur Quorum Platte verliert stellt seinen Betrieb ein.

    Server1=Votes=(1+1)=2=OK

    Server2=Votes=(1+0)=1=NOK

    OK+NOK=OK :applaus:


    2. Eine DSSI Platte als Quorum Platte hängt an Server1 und Server2. Da DSSI eine Clusterkommunikation erlaubt, können sich beide Server bei einem Ausfall im LAN weiter unterhalten. VMS wird die DSSI Verbindung auch als Standard nutzen und erst auf LAN umschalten wenn es über DSSI Probleme gibt.

    Server1=Votes=(1+2)=3=OK

    Server2=Votes=(1+2)=3=OK

    OK+OK=OK :applaus:

    • Offizieller Beitrag

    Gerade aus der Sicht des Retrobetriebes wo man evtl. ncht immer alle Clustermember booten möchte, ist die Quorumdisk ein gutes Mittel auch größere Cluster auch mal mit nur einen Server betreiben zu können.


    Im Prinzip gibt man der Quorumdisk nämlich genau eine Stimme weniger wie alle Server zusammen haben.


    Bei einem drei Server Cluster würde die Quorumdisk dann 3 Stimmen erhalten. EXPECTED_VOTES dann 5.

    Das Quorum wäre damit: (5+2)/2=3 "abgerundet"

    Bei nur einem Server würde mit 1+2 Votes das Quorum erreicht.

  • Die SCSI Disk als Quorum Disk hängt über einen Multihostfähigen Controller im LAN.

    Kannst du Beispiele von diesen controllern nennen? Gibts da was aus der Generation der VS3100 (zB M30) wo ich dann meine Festplatten / Storage Expansions dran hänge? Oder gibt es das nur bei den größeren Maschinen?

    Suche: SGI Indigo (gerne IP12), DEC/DIGITAL CRT Monitor und ein VT240 (inkl. Monitor).