Raspberry Cluster der verspielteren Art
Symmetrisches Multiprocessing der besonderen Art gwissermaßen.
Ich hab dazu eine (dumme?) Frage:
Wozu macht man das? Lassen sich Speicher und Rechenpower irgendwie zusammen schalten?
Wenn ja, mit welchem Betriebssystem?
Welcher Einsatzzweck?
Gerne auch in einen eigenen Thread auslagern, wenn das kein Scherz ist, den
ich nicht verstanden habe.
Stefan
Wahrscheinlich wäre ein eigener Thread zu dem Thema wirklich gut.
Wozu macht man das? Lassen sich Speicher und Rechenpower irgendwie zusammen schalten?
Wenn ja, mit welchem Betriebssystem?
Man kann damit halt echtes Parallel-Rechnen machen. Es sit also ungefähr das, was den Leuten mit den Transputern so vorschwebte, nur daß man hier komplette Rechner zusammenstöpselt, die eben im Fall vom RaspberryPi ja auch kaum aus mehr bestehen als einer CPU und einem RAM.
Das Tolle an so einer Lösung ist, daß man eben keine Spezialkabel oder besondere ( und dementsprechend abartig teure ) Platinen benötigt. Der Nachteil ist, daß es a.) dadurch natürlich langsamer ist und b.) der Speicher wohl auch nicht als ein einziger durchgehender Bereich gesehen werden kann. Außerdem muß man gerechnete Ergebnisse auch wieder abholen - etwa, wenn man dann ein Bild zusammensetzen will.
Das ist auch die Sache, wo man sich am Besten vorstellen kann, was das macht: Etwa wenn ein Bild in Zeilen zerlegt wird und jeder Rechenknoten ( also RPi im Netzwerk ) soviele Zeilen berechnet, wie sich aus ( Zeilenanzahl / vorhandene RPi's ) ergibt.
Anschaulich wird das etwa bei "Apfelmännchen", wo dann mit z.B. 8 RPi's jeder nur ein Achtel des gesamten Bildschirmes ausrechnet, natürlich jeder einen anderen Teil.
Man kann also durch weiteres Erhöhen der Zahl vorhandener RPi's den Rechenaufwand ( zeitlich ) skalieren - es wird halt bei doppelte Zahl RPi's ungefähr doppelt so schnell fertig sein.
Das Konzept gibt es schon ziemlich lange. Die DEC's können z.B. zu ziemlich beliebigen Clustern zusammengeschaltet werden und wenn man dann Programme hat, die das benutzen, können Rechenaufgaben verteilt werden.
Ansonsten kommt das eher aus dem HigjPerformanceComputing Bereich. Etwa von SGI gab es sehr schöne große Geräte, die sowas unterstützt haben. Dort mit der besonderen Note, daß die eine besondere Verkabelung hatten, wo quasi der Systembus als fettes Kabel zwischen den Rechenschränken verlegt werden konnte. Dadurch kann die ganze Maschine dann wie ein einziger Rechner aussehen mit einem durchgehenden Arbeitsbereich ( gibt auch irgendwo bei YT ein schönes Video von der letzten großen SGI, wo sich der Chef sichtlich freut, wie schön das geht ).
docencia.ac.upc.edu/FIB/MP/altix4700.pdf
Das Ganze heißt dort NUMA Link - und wird mittlerweile in ähnlicher Form auch woanders benutzt.
http://web.archive.org/web/200…/www.sgi.com/origin/2000/
http://web.archive.org/web/200…com/origin/numa_tech.html
isca.pdf ( Bilder kommen hinten im Dokument )
Wozu das Ganze ??
Nun, man kann einfach durch Werfen von viel Geld auf eine Aufgabe, diese quasi beliebig beschleunigen. Je größer das Rechenzentrum, desto schneller der potentielle Rechner.
Das Problem ist, daß nicht jede Aufgabe gut in Einzelabschnitte zerlegbar ist.
Schon bei Bildern kommt man da an Grenzen, wenn man etwa die Nachbarpixel oben/unten berücksichtigen muß ( Convolution Filter ). Das ist auch von PC und Homecomputern bekannt und die im Vintage-Context wichtigste Anwendung, die das benutzt sind die "Kai's Power Tools".
Dort muß dann schon mindestens die Breite/Höhe des "Filters" berücksichtigen und darauf achten, daß alle zugehörigen Bilddaten auf einem Prozessor landen. Sonst wirds wieder langsam.
Benutzt wird sowas auch z.B. - als aktuelles Beispiel - um das Plasma zu simulieren, was man im Fusionsreaktor in Greifswald erzeugen möchte. Dann hat man die Maschine quasi nach dem berechnetem Modell gebaut - und nun sollte man eigentlich irgendwann mal was davon hören, wie und ob sie läuft. Bilder-Suche mit 'Wendelstein-7X' .
Oder auch Kosmologie wird damit gemacht. Es gibt immermal wieder solche Filme, wo Galaxienhaufen sich bewegen. Das ist i.a. keine reine Phantasie sondern gerechnet. Und das mit einem RIESENaufwand auf so eine Anlage mit geclusterten Rechenknoten. Die in DLand größte dürfte die in München Garching sein ( zumindest die für "freie" Benutzung zugängliche ). Stichwort: Bundehöchstleistungsrechner.
Betriebssystem ist mittlerweile wohl eigentlich immer Linux.
Und früher waren es halt die Unixe - etwa IRIX oder Digital Unix.
Damit die Knoten und Rechner ihre Aufgaben synchronisiert bekommen, muß da ein Datenaustauschsystem da sein, was sagt, wer wann fertig ist und wo die Daten liegen, die fertig berechnet sind.
Dafür gibt es eigene Cluster Software - wie z.B. Beowulf .
Und es gibt mittlerweile wohl so halbwegs Quasi Standards, die man auch selbst installieren kann, weil sie in den Paketquellen oft dabei sind, nämlich MPICH - Message Passing Interface.
Und dann braucht man obendrüber noch die Anwendug, die das auch benutzen kann. Etwa das Apfelmännchenprogramm. Und da scheitert es dann ein wenig, weil es für den Privatbereich eigentlich nicht viel Sinnvolles gibt, was damit gut funktioniert. Ausnahmen sind Rendertools für z.B. Raytracing und die Miner-Apps, mit denen man BitCoins errechnen kann ( was aber, seitdem es spezielle Hardware nur dafür gibt, die viel schneller ist, vmtl. auch niemand mehr machen wird ).
Ein sehr schönes Programm, wo man sich das mit den Bildern anschauen kann und gut nachvollziehen kann, daß man das evtl. schneller haben will, ist etwas, was "Another Image ?irgendwas (Manager?)" hieß, kam von der TU Delft und war auf allen Homecomputern verfügbar.
Sehr cooles Bildertool und wahrscheinlich eine Topanwendung, wenn man das auf so ein Clustersystem mit RPi's anpaßt, um zu zeigen, was das bringt an Speed.
Ansonsten einfach mal nach der großen Apple Maschine googeln, aus der heraus dann die XServe Server entstanden sind. Das war auch ein Cluster - aus vielen hunderten G5 Macs, und massiv viel billiger, als ein 'echter' Großrechner zu der Zeit.
Man kann damit halt echtes Parallel-Rechnen machen...
...Und da scheitert es dann ein wenig, weil es für den Privatbereich eigentlich nicht viel Sinnvolles gibt, was damit gut funktioniert...
Also erst mal herzlichen Dank für Deine Arbeit, mir das Ganze in einfachen Worten zu erklären!
Da hast Du Dir richtig Mühe gegeben.
(und ich habs verstanden 
)
Schade ist, dass ich damit dann tatsächlich wenig anfangen kann. Ein 3D Zeichenprogramm wäre geil 
.
Aber so... 
Stefan
https://www.youtube.com/watch?v=MI38ZJhASJw
Bundeshoechstleistungsrechner SGI Altix 4700 (Supercomputer at Leibniz Rechenzentrum)
hier als Sehempfehlung. Ist wirklich ein spannender Film.
Das Gerät gibt es so nicht mehr, aber die Halle - mit neuem Inhalt.
Zeigt auch, was damit gemacht wird.
War ca. 2004 "state-of-the-art" und veraltet immer so aller 5 Jahre ungefähr. Die nächsten derartigen Teile werden wahrscheinlich dann Ryzen Chips haben.
HP und Bull bieten heute solche Geräte noch an und haben auch öffentlich zugängliche Webseiten, wo man sich das mal anschauen kann.
https://www.youtube.com/watch?v=gewYEE769z4
Wendelstein 7-X – Von der Idee zur technischen Umsetzung
https://www.youtube.com/watch?v=45vAFnGKx0M&t=19m00s
Vortrag (+)
Schönes Beispiel für Massiv Paralleles rechnen war mal Seti@home, wo jeder mitmachen konnte zum Rechnen.
Wer viel Rechenleistung haben will sucht oft nach günstigen Lösungen - so gab es mal einen Playstation 3 Cluster mit hunderten Konsolen. Auch ist die Grafikkarten Entwicklung stark beeinflusst worden - durch die shaderprogrammierung die am Anfang zum rechnen missbraucht wurde ... und nun teils Standard geworden ist im hpc bereich ...
Ein 3D Zeichenprogramm wäre geil
Aber so...
Was verstehst Du denn unter "3D Zeichenprogramm" ?
( Blender ? )
so gab es mal einen Playstation 3 Cluster mit hunderten Konsolen.
Hast Du Links - oder Bilder ??
Sowas ist oft extrem interessant - auch weil es i.a. immer Einzelaufbauten sind, die nie jemand nachgebaut hat.
Wie wird denn der Raspi Cluster gekühlt? Sehe da nichts, im Gegenteil werden die sicher sehr heiß und regeln dann runter und rechnen langsamer als ein einzelner serienmässiger 400er Tastatur Raspi.
Schönes Beispiel für Massiv Paralleles rechnen war mal Seti@home, wo jeder mitmachen konnte zum Rechnen.
Stimmt. Das ist auch ein Cluster.
Allerdings ist die Zielsetzung - nun ja - etwas fragwürdig. Aber machen kann man das natürlich.
Spannender finde ich ja Folding@Home .
Das hat potentiell echten Nutzwert.
Die Außerirdischen melden sich sowieso, wenn sie es denn schaffen vorbeizukommen. Wobei - der lange Weg recht hinderlich sein dürfte.
Wie wird denn der Raspi Cluster gekühlt? Sehe da nichts, im Gegenteil werden die sicher sehr heiß
Das kommt wahrscheinlich bißchen drauf an, welche Pi man nimmt. So richtig heiß wird wohl nur der 4er RPi.
Es gibt auch mittlerweile auch noch andere Leute, die mit LEGO Cluster Gehäuse oder auch einfach so Cluster gebaut haben. Irgendwie sind die meisten anscheinend einfach passiv lüftgekühlt.
https://christoph-jahn.com/?p=2133
http://eclipsejpa.blogspot.com…l-processing-cluster.html
Und auch die ganz großen, kommen ohne besondere Lüfter daher
https://www.balena.io/blog/the…n-of-the-beast-continues/
Hast Du Links - oder Bilder ??
Sowas ist oft extrem interessant - auch weil es i.a. immer Einzelaufbauten sind, die nie jemand nachgebaut hat.
https://www.heise.de/newsticke…laystation-3-1153299.html
https://www.derstandard.at/sto…ter-aus-1-760-playstation
https://winfuture.de/news,53305.html
https://en.wikipedia.org/wiki/PlayStation_3_cluster
Ja, witzig. Das Bild habe ich wirklich auch schonmal gesehen.
Quasi lauter Einkaufswagen voller Cell Prozessoren.
Ich habe mal bißchen gelesen und das hier noch dazu gefunden ( zum Ersterbauer eines Playstation Supercomputers )
Variante 1 - mit 16 Playstations im Endausbau ( anfangs 8 )
http://gravity.phy.umassd.edu/ps3.html
das Gravity Grid
http://gravity.phy.umassd.edu/boxes.jpg ( eher unspektkulär bei der Ankunft )
http://gravity.phy.umassd.edu/rackfront_old.jpg ( dann aber immerhin in ein echtes Rack gestellt, bißchen Pro muß sein )
https://www.wired.com/2007/10/…ith-eight-playstation-3s/
und ein interessanter Artikel dazu, "but Khanna figured he would have a hard time convincing the NSF to give him a grant to buy game consoles, even if the overall price tag was lower" bei
https://www.wired.com/2007/10/…ith-eight-playstation-3s/
und Variante 2
http://gravity.phy.umassd.edu/reefer.html
mit Bildern
http://gravity.phy.umassd.edu/condor/Photos.html
schafft's sogar bis in die NYTimes
https://www.nytimes.com/2014/1…way-to-save-progress.html
Das Highlight ist dabei v.a. die Kühlung : Da steht einfach alles in einem alten Kühllasteraufsatz.
Insgesamt 176 Stück PS3.
Die Version 1 mit Upgrade , also 16 PS3, ist LINPACK gestestet und erringt nicht direkt den Sieg in der Top500 Liste der Supercomputer, aber hat gewaltige
40 GFLOPS Rechenleistung (!)
Hier nochmal der Link für's RPi Cluster Aufsetzen ( findet man hier evtl. besser wieder )
https://epcced.github.io/wee_archlet/
ansonsten noch
nochmal die SONY Cluster Geschichte aus Darthmouth Mass., die scheinen da auch viel und gern drüber zu reden ... 
wahrscheinlich der momentan aktuellste Artikel zum Thema - ab Seite 44
https://issuu.com/dcdmagazine/…ay_v1?e=32393518/60857166
und noch ein zum 25ten Playstation Juiläum ( 2019 ) geschriebener
Display MoreEin 3D Zeichenprogramm wäre geil
Aber so...
Was verstehst Du denn unter "3D Zeichenprogramm" ?
( Blender ? )
Auch.
Denke halt an 3D CAD und Rendering Programme. Aktuell nutze ich vor Allem FreeCad und komme gut klar. (bitte keine Vorschläge, welches Programm viiiel besser wäre)
Es ist recht genügsam. Aber die ProfiProgramme (AutoCad mit 3DAufsatz z.B.) verlangen da schon was.
Stefan
