Einführung in professionelle (Glasfaser) Netzwerk Technik

  • Hallo Netzwerk Pros,

    Ich möchte mein Heimnetz aufrüsten und dabei kostengünstige gebrauchte Hardware aus dem Rechenzentrum einsetzen. Nicht weil man das braucht sondern weil es mich interessiert!

    Aktueller Stand war das ich 2 3com switche über cx4 10gb verbunden hatte und zusätzlich VM server und Workstation ebenso mittels cx 4 Ethernet karten angebunden waren. Das war auch recht performant mit effektiv 6-7 gb auf meiner "Uralt" Ivey Bridge Hardware...

    Jetzt bin ich umgezogen und hätte eine 25-30m Strecke in die Garage zu überwinden. Da gibt es natürlich kein cx Kupferkabel mehr.

    Jetzt gibt es wohl cx 4 active fiber cable mit eingebauten Transivern auf lwl. Die kosten nur ein Vermögen wenn man sie überhaupt findet :weinen:

    Da zwängt sich mir natürlich die Frage nach Alternativen auf cx4 auf qfsp+ ist zb. Recht preiswert und einfach zu finden. Nur wo anschließen? Evtl. An einem Infinband switch mit Ethernet Kompatibilität?

  • Zitat

    Da zwängt sich mir natürlich die Frage nach Alternativen auf cx4 auf qfsp+ ist zb. Recht preiswert und einfach zu finden. Nur wo anschließen? Evtl. An einem Infinband switch mit Ethernet Kompatibilität?

    Hm, also InfiniBand im Allgemeinen würde ich komplett vergessen für Heimnutzung.


    InfiniBand wird auch in der professionellen Ecke eigentlich nur noch in legacy Installationen eingesetzt, oder z.B. für manche Anwendungen in Clustern von z.B. Grafikkarten für wissenschaftliche Berechnungen.


    Aber für die Anwendungen, die unsereins normalerweise hat (Samba/SMB, SSH, HTTP, etc. pp) ist normales Ethernet mit 10GbE die richtige Wahl.

    Ich bin mit den Mellanox ConnectX-3 und -4 Karten privat sehr zufrieden, die bekommt man auf ebay immer mal für ~30-40€/Stück.

    Darauf achten, dass das welche mit Ethernet sind, nicht InfiniBand.


    Manche ConnectX-* Karten können auch beides, dann ist es ein Firmware-Unterschied, aber das Flashing ist etwas nervig.


    Deine bisherigen Karten (mit CX4) sind vermutlich relativ alt und haben wahrscheinlich sogar noch einen aktiven Lüfter?

    Allein aufgrund der neuen Strompreise wäre es dann vermutlich gut, sie auszutauschen.


    Aus den (10Gigabit) ConnectX-Karten fällt dann hinten ein SFP+ Anschluss raus, der ist extrem üblich und du hast verschiedene Möglichkeiten von da weiterzugehen:

    - DAC (direct attach cable), ein Kabel mit 2 SFP+ Steckern dran, max. so ~5m Länge, relativ dick und schwer

    - optische Transceiver (umgangssprachlich einfach nur SFPs oder Optiken genannt), die dann eine oder zwei Fasern aufnehmen und darüber kommunizieren

    - SFP-T Transceiver (wandeln dir SFP+ auf 10GBase-T, also "normales" RJ45 Ethernet mit 10Gbit/s um)


    Wenn du mit Glasfasern arbeiten möchtest, kauf fertig konfektionierte Kabel mit Steckern dran, die sind mittlerweile auch sehr günstig zu haben. Die überschüssige Länge kannst du ja einfach aufgerollt lassen. Zum Verlegen gibt es auch passende Kabel mit Stahlummantelung, etc. .


    Die Variante mit 10Gbase-T (also 10Gigabit über RJ45 Kupferkabel) ist in den USA relativ beliebt, hierzulande aber eher nicht in Mode.

    10Gbase-T braucht Unmengen Strom, die ganze HW wird ordentlich heiß. Kann man für Nachrüst-Aktionen mal machen, für Neuinstallationen unschön.


    Für Spielkram und Privat gibt es z.B. den Anbieter fs.com, die verkaufen Netzwerkhardware direkt aus China, aber aus nem deutschen Lager.
    Qualität ist da ... wechselhaft, das meiste läuft ziemlich gut, für Hobbynutzung definitiv ausreichend. Für berufliche Dinge kauf ich dann eig. immer bei Flexoptix.

    (Ich hoffe die Admins haben da jetzt kein Problem mit, dass ich hier explizit Verkäufer/Namen nenne? Ich werde nicht bezahlt :P
    Wenn es nicht passt, bitte einfach zensieren/Zeilen löschen...)


    Hast dann noch 2x die Qual der Wahl:
    - BiDi oder nicht

    - Singlemode oder Multimode


    Beides erhöht den Preis etwas, hat aber jeweils Vorteile.


    BiDi heißt, du kaufst Optiken, die Licht auf 2 verschiedenen Wellenlängen (oder Farben) für RX und TX verwenden. Dann kommst du mit nur einer einzelnen Glasfaser zu einer Verbindung.

    Nachteil:

    - BiDi Optiken sind etwas teurer

    - brauchst immer Paare aus Optiken, eine muss z.B. 1270nm-TX/1330nm-RX sein und die andere 1330mm-TX/1270nm-RX. 2 Optiken mit den gleichen Wellenlängen verbinden (was bei normalen Optiken ja prima klappt), klappt hier natürlich nicht.


    Singlemode-Fasern sind optisch weitaus überlegen und du kannst auch in die hunderte GBit/s ohne größere Probleme über Singlemode Kabel gehen.

    Singlemode war früher deutlich teurer als Multimode-Faser, der Unterschied hat sich aber über die Jahre fast komplett aufgeweicht.

    Eine Mischung von beiden Kabelarten in der gleichen Installation ist sehr unglücklich und ich würde es in der Praxis immer vermeiden.

    Meine Aufbauten und Rechenzentren der letzten Jahre waren immer 100% Singlemode, kann es nur empfehlen.


    Ansonsten, falls du einen Switch (inbs. mit einem 1Gbit Port) brauchst, ist der MikroTik CRS305-1G-4S+IN ziemlich cool. Hat dann 4 10Gbit/s SFP+ Interfaces und 1x RJ45 1Gbit/s, womit man an das "alte" langsame Heimnetz drangehen kann.


    Bei den Glasfasern gibt es noch eine handvoll Steckertypen, aber "LC" ist der defacto-standard an den Optiken und wird auch (außer für Weitverkehr) sonst immer heutzutage verbaut.

    Aufpassen muss man noch an einer Stelle: Es gibt UPC (0°) und APC (8°) Stecker. UPC Stecker sind fast immer Blau, APC Stecker sind fast immer grün.

    APC Stecker sind am Ende ganz leicht (8°) angeschliffen. Damit passen sie nicht gerade auf UPC (Blau, 0°) Stecker oder Optiken.


    Wenn man sowas dann trotzdem zusammensteckt, hat man eine wunderbare Fehlerquelle, die so ein wenig funktioniert, aber nicht richtig.

    Einfach beim Kauf drauf achten, keinerlei APC Equipment zu kaufen. APC-Stecker werden auch eigentlich nur im Weitverkehrsbereich genutzt. Stolze Besitzer eines häuslichen Glasfaseranschlusses werden vermutlich so ein Kabel mit grünem Stecker an/in ihrem Router vorfinden.


    So... genug Text :)


    Viel Erfolg,

    Tobias

  • https://mikrotik.com/product/crs305_1g_4s_in   MikroTik CRS305-1G-4S+IN ( von da kommt das PDF, gibt auch weitere, umfassendere )


    MikroTik CRS305-1G-4S+IN-CRS305-1G-4S+IN

    MikroTik CRS305-1G-4S+IN - mikrotik-shop.de


    Schönes Teil. Mit 150EUR auch noch im Rahmen. Die Kabel sind ja mittlerweile nicht mehr so abstrus überzogen (für ein Stückchen Plastikkabel), wie das mal war, als das NEU war.


    Danke für den schönen Text. Brauchbar ! , auch wenn das Thema 10GBE hier noch lange nicht ansteht. ( Mark2Me: Warum eigentlich nicht ? ;) )

  • Also ja die ganze 10GbaseT Rechnung geht für mich absolut nicht auf, für das Geld bekommst ja 40 50 Gbit Komponenten. SFP+ ist etwas besser aber für die Strecke über den Hof müsste es dann Glasfaser sein.(danke für die Einführung Manawyrm ) Hauptproblem wäre dann immernoch die Anbindung an die bestehenden Router mittels CX4. Ich möchte ja gerade keine 1000 eur+ für komplett neue Infrastruktur ausgeben.


    Da es im ersten Thread nicht so klar rüber kommt das ganze ist natürlich parallel zum "normalen" Gb Netzwerk von daher ist der Stromverbrauch auch zweitrangig ich kann es einfach mit den Nodes Ein und Ausschalten...

  • SFP+ ist etwas besser aber für die Strecke über den Hof müsste es dann Glasfaser sein

    Der Satz macht für mich keinen Sinn -- wie gesagt, SFP+ ist (wie CX4) erstmal nur der Anschlussstandard, worüber man dann verschiedene Dinge machen kann (wie Glasfaser).


    CX4 ist halt echt extrem alt mittlerweile, viel von dem Equipment ist schon lange lange verschrottet. Selbst SFP+ fliegt gerade aus vielen Rechenzentren raus, deswegen ist das Zeug ganz bezahlbar auf ebay.


    Wenn du das CX4 Zeug im Einsatz lassen willst, fallen mir dafür 2 Möglichkeiten ein:

    - du besorgst einen Switch mit Linecards, wofür es SFP+ und CX4 Module gibt

    - du baust in irgendeine Linux-Büchse an einem passenden Standort 2 Netzwerkkarten ein und legst ne Bridge über beide Karten.


    für das Geld bekommst ja 40 50 Gbit Komponenten

    Jo, weil 40GBit/s mittlerweile die gleiche Generation von Hardware ist, wie SFP+, nur eben mit 4 Lanes (QSFP+) statt 1 Lane.

    In den Rechenzentren heutzutage ist SFP28 (25 GBit/s pro Lane) oder schon SFP56 (50 GBit/s pro Lane) und dann damit 100 oder 200 GBit/s auf 4 Lanes schon Standard.


    Netterweise ist das meiste SFP28 Equipment auch rückwärtskompatibel zu SFP+, so kann man dann etwas problemloser auf die neue Technik wechseln :)

  • Der Satz macht für mich keinen Sinn -- wie gesagt, SFP+ ist (wie CX4) erstmal nur der Anschlussstandard, worüber man dann verschiedene Dinge machen kann (wie Glasfaser).

    Sorry nicht zuende formuliert ich meine jeweils die direkten Kupfer"Patch" Kabel.

    Und ja das ist genau der Trick, es wird eingebaut was die Profis wegschmeißen, das mache ich generell so meine Hauptrechner/Server sind alle noch Ivey/Sandybridge mit DDR 3 RAM etc. Natürlich erkauft man sich das mit einem relativ hohen Stromverbrauch, deswegen läuft das Zeug aber auch nur Stundenweise...


    SFP+ ist in der Heimvernetzung aber durchaus aktuell und deswegen die auf Heimanwender abgestimmten Komponenten sehr teuer finde ich.


    Wenn du das CX4 Zeug im Einsatz lassen willst, fallen mir dafür 2 Möglichkeiten ein:

    - du besorgst einen Switch mit Linecards, wofür es SFP+ und CX4 Module gibt

    ...

    Da dachte ich halt ich nehme einen Mellanox Infinband Router für 100-200eur, die Ethernet Lizenz gibt es mittlerweile für Lau. Dann entsprechende QFSP+ auf CX4 bzw 4x sfp+ Kabel sind Problemlos verfügbar, bleibt das Problem mit welcher Glasfaser Technik ich über den Hof komme...

  • Als Kabel z.B.: https://www.fs.com/de/products…l?attribute=331&id=402794

    und als Transceiver 2x: https://www.fs.com/de/products…attribute=11788&id=546793


    Beim Transceiver-Kauf willst du drauf achten, eine "Marke" für die Hardware auszuwählen, die du am Ende nutzt.

    Dabei wird einfach nur die Hersteller-ID / Typenbezeichnung im I2C-EEPROM innerhalb der Optik verändert.

    Manche Router/Switch-Hersteller sind da aber extrem zickig und wollen partout nicht mit Fremdoptiken arbeiten.

    Mellanox ist da eigentlich ziemlich relaxed und funktioniert mit so ziemlich allem.


    Beim Optikkauf drauf achten, dass es Singlemode (SMF) Optiken sind, die zu dem Singlemode Kabel passen. Keine Multimode (MMF) Optiken an SMF Kabel anschließen oder umgekehrt. Damit bekommst du einen Link, der so ein bisschen funktioniert, aber du hast Unmengen Paketverlust oder ähnliche Probleme und suchst dir einen Wolf!

  • Sorry, dass ich mich hier dran hänge....


    Ich bin günstig an eine Storey Peak QSFP+ Karte von MS gekommen. Gibt es da eine günstige Möglichkeit, sie mit normalen Ethernet zu verbinden? Bin leider noch ziemlich ahnungslos....

  • Die großen FPGA Beschleunigerkarten?


    Kurzum: Nein.


    Wenn jemand dafür passende Gateware und Treiber für alle Systeme schreiben würde… vielleicht.


    Allerdings sind selbst Intel‘s 10Gigabit Karten nahezu unbrauchbarer Mist, wegen Firmware und Treiberbugs (zumindest im professionellen Umfeld), sodass ich von selbstgebauten 10G Karten lieber die Finger lassen würde :)

    Einmal editiert, zuletzt von Manawyrm ()

  • Warum hat eine Beschleuniger Karte überhaupt ein Netzwerkinterface?

    Ich habe noch diese IBM netezza oder wie die heißen karten hier haben auch einen direkten Netzwerk? Anschluss weil damit wohl externe Datenbanken durchsucht werden ist das was ähnliches?

  • Entschuldigt bitte wenn ich nochmals " ganz dumm" Frage.

    Habe gerade diesen recht kompakten Switch gefunden:

    https://www.ebay.de/itm/132511831777?hash=item1eda5216e1:g:A1wAAOSwqy1jwSzB&amdata=enc%3AAQAHAAAA4EBB%2BoSmf2cWup572R0U2UbutVBliv2PXp%2BZiJDDcV0oQ2p767FVgLYiVqxkoqRJ8hNuDI9x7bhy1vJa14Pr6CypQzeE36%2BiTccaSdUoP9BW7RINHc6p5%2FWIAotqR2pSGMX0G1v6AllROKGZYPIT56u7FMHGSCOTURyjnjuDE0lwVJOf%2BP4XRXXFvvw4PptuNE%2Ba6gnVn9iU7ci8c5iXgeBrzEvXiwcxAEJZNPJRRrM2iPWJxZIhh9Ak5oKxG0UFy7UMm8jRwje%2FClBuxkI9zfXHiqv4DEq5gAOCFKHpBXrr%7Ctkp%3ABk9SR-ycg_LdYQ

    Den bekäme ich vom Platz evtl. Auf halbem Wege unter. Ist es jetzt richtig das wenn ich von dort je mit einem Kabel QSFP+ auf CX4 meine vorhandenen Ethernet Router anschließe ich dann quasi eine 10Gbit Ethernet Verbindung innerhalb eines 40Gbit Infiniband Netzes habe?

  • Das ist wieder Infiniband Equipment. Abgesehen davon, dass das _absurd_ viel Strom braucht und vermutlich sogar forced air cooling (also ein Rack mit starkem Luftstrom von vorne nach hinten), ist Infiniband einfach falsch fuer Ethernet/Heimnetze.


    Sowas willst du fuer zu Hause:


    EDIT: achso, Preis/Leistungstipp fuer Bastler:

    HP FlexibleLOM Netzwerkkarten sind haeufig sehr guenstig auf ebay zu haben. Deren Interface ist zwar PCIe, aber pin-inkompatibel.

    Dafuer gibts einen einfachen passiven Adapter (https://shop.sysmocom.de/HPE-F…DIY-kit/flexilom-pcie-kit ), der die dann nutzbar macht.

  • Jetzt sei mir bitte nicht böse, aber ich habe doch oben schon geschrieben das das ne Spielerei sein soll. Ich wollte jetzt eigentlich nur wissen ob ich einen Gedankenfehler mache oder es so funktionieren sollte.

    Ich kenne diese ganze 10 Gbit "Consumer Hardware" und ich will sie nicht. Mir reicht im Alltag mein Gbit Netzwerk vollkommen, wenn ich jetzt "aus Spaß an der Sache" nochmal Geld ausgebe dann Soll es auch Spaß machen aka 40 Gbit aufwärts...

  • Soll es auch Spaß machen aka 40 Gbit aufwärts

    Genau, aber das bekommst du halt mit IB Equipment nie durch.

    IPoIB Kram macht dir die CPUs voll (inbs. weil du von alten 3rd Gen Intel Kisten sprachst) und Ethernet auf IB Equipment "drauf hacken" funktioniert auch in den wenigsten Faellen gut.


    Kurzum: Probier dich halt ruhig mit dem alten Equipment dran, aber es macht keinen Spass.

  • OK, also die Warnung ist angekommen.

    Ich verstehe nur gerade nicht warum das CPUs die aus der Zeit stammen überlasten soll? Ich rede nicht von irgendeinem I3. Hier werkeln schon Xeon E5 Sockel 1366 und 2011 also die Hardware Epoche stimmt doch und dann soll IB doch gerade wenig overhead haben... OK das ist spannend genug um es auszuprobieren.

  • IB doch gerade wenig overhead

    Fuer die Einsatzzwecke, fuer die IB damals gedacht war -- ja, also z.B. um Block storage anzubinden.

    Wenn du IP damit machen willst... puh. Gerade damals klappte Multi-Queueing, etc. noch nicht ordentlich.

    Die CPUs werden dir auf einem Kern vermutlich volllaufen, du hast am Ende 5-6 GBit/s Durchsatz und das war's dann.


    Die Xeons sind ja gerade im Singlecore nochmal deutlich langsamer als die Desktop-CPUs, also joa...


    Genau, wenn's nur ums Spielen geht, mach halt definitiv mal, aber erwarte keine Wunder. Das Zeug hat jahrelang niemand angefasst.

  • Würde gerne hierauf nochmal zurück kommen. Ein guter Bekannter von mir will sein HomeLap in ein Nebengebäude umziehen zu disem Zweck sollen ein oder zwei Glasfaser Leitungen verlegt werden. Die Strecke liegt im Bereich von 25-30m uns ist bewusst das das zur Not auch noch mit Kupfer möglich wäre. Zum einen erscheint uns das nur begrenzt Zukunftsfähig zum anderen reizt durchaus die Auseinandersetzung mit der noch unbekannten Technik.

    Zukunftsfähig ist auch der wesentliche Punkt, aus baulichen Gründen sollen die einmal verlegten Leitung möglichst zukunftssicher sein. Was sich unserer Meinung nach in mindestens 100 Gbit tauglich übersetzt. (Bitte keine Grundsatzdiskussion für was man das Zuhause benötigt)

    An Endgeräten werden zunächst 10 oder 25 gbit Ubiquity oder Microtik switche zum Einsatz kommen.


    Wir wollen jetzt halt vermeiden sein Kabel zu verlegen das sich in den nächsten 20-30 Jahren als Sackgasse herrausstellt...

  • Wuerde bei mir vermutlich auf https://www.fs.com/de/products…l?attribute=1203&id=20770 herauslaufen.


    Auch die Kabel ohne Stahlarmierung (https://www.fs.com/de/products…?attribute=714&id=1090117 ) waeren (je nach Verlegeart) vermutlich eine gute Wahl.


    benoetigte Eckdaten:

    LC-Stecker (weil das an den meisten SFP(+/28/56/etc.)-Modulen/Optiken heute Standard ist)

    Singlemode (OS2, weil Preisunterschied heute vernachlaessigbar und fuer hohe Geschwindigkeiten und lange Strecken besser geeignet)

    UPC-Stecker (die blauen, aka 0° gewinkelt)


    Kabel ohne Stecker zu kaufen waere generell auch moeglich, dann muesstest du aber die Enden irgendwie selbst dranbringen.

    Dafuer gibt es heutzutage Pigtails zu kaufen, die ein kurzes Stueck Faser + Stecker sind.

    Dann brauchst du aber immer noch Zugang zu einem Spleißgerät, die sind aber leider noch nicht so richtig fuer Hobbyisten erschwinglich ($$$$).


    Mit den Kabeln kannst du dann auch (ohne grosse Probleme) 1.6 TBit/s uebertragen, wenn man sich denn die Endgeraete leisten koennte :D

    Das duerfte also unter Zukunftssicher fallen.

  • Du solltest bedenken, daß SFP für Singlemode gerne mal ein Mehrfaches derer für Multimode kosten. Mit 25m können Multimode für hohe Geschwindigkeiten ungeeignet sein. Aber das ist immer nur eine Frage der Optik. Wenn die günstiger wird, wird auch SM günstiger.


    Wenn die Kabel fest verlegt werden, also später nicht mehr zugänglich sind, würde ich mehrere verlegen. Dadurch kann im Fall eines Falles noch eine andere Faser verwendet werden. Idealerweise in verschiedenen Hüllen, also z.B. zwei mal 4 Fasern der so.

  • SFP für Singlemode gerne mal ein Mehrfaches derer für Multimode

    Nuja, wir sprechen hier bei 25GBit/s SFP28 Modulen von 40 vs. 70 Euro in einzelnen Stueckzahlen.


    Ueber 25GBit/s fuehrt dann auch kein Weg an Singlemode-Fasern vorbei, es sei denn, du moechtest mit MPO hantieren (just don't!).

    Selbst 100Gbit/s CWDM4 Transceiver kosten heute nur noch 190 Euro.

  • Nützt natürlich ohne entsprechende Hardware an beiden Enden auch nicht allzuviel...

    Aber das Forum dort scheint mir eine sehr gute Adresse für "anspruchsvolles und innovatives" Homenetwork zu sein! War ich bei meinen Infiniband Nachforschungen auch schon fündig geworden...