Einführung in professionelle (Glasfaser) Netzwerk Technik

  • Hallo Netzwerk Pros,

    Ich möchte mein Heimnetz aufrüsten und dabei kostengünstige gebrauchte Hardware aus dem Rechenzentrum einsetzen. Nicht weil man das braucht sondern weil es mich interessiert!

    Aktueller Stand war das ich 2 3com switche über cx4 10gb verbunden hatte und zusätzlich VM server und Workstation ebenso mittels cx 4 Ethernet karten angebunden waren. Das war auch recht performant mit effektiv 6-7 gb auf meiner "Uralt" Ivey Bridge Hardware...

    Jetzt bin ich umgezogen und hätte eine 25-30m Strecke in die Garage zu überwinden. Da gibt es natürlich kein cx Kupferkabel mehr.

    Jetzt gibt es wohl cx 4 active fiber cable mit eingebauten Transivern auf lwl. Die kosten nur ein Vermögen wenn man sie überhaupt findet :weinen:

    Da zwängt sich mir natürlich die Frage nach Alternativen auf cx4 auf qfsp+ ist zb. Recht preiswert und einfach zu finden. Nur wo anschließen? Evtl. An einem Infinband switch mit Ethernet Kompatibilität?

  • Quote

    Da zwängt sich mir natürlich die Frage nach Alternativen auf cx4 auf qfsp+ ist zb. Recht preiswert und einfach zu finden. Nur wo anschließen? Evtl. An einem Infinband switch mit Ethernet Kompatibilität?

    Hm, also InfiniBand im Allgemeinen würde ich komplett vergessen für Heimnutzung.


    InfiniBand wird auch in der professionellen Ecke eigentlich nur noch in legacy Installationen eingesetzt, oder z.B. für manche Anwendungen in Clustern von z.B. Grafikkarten für wissenschaftliche Berechnungen.


    Aber für die Anwendungen, die unsereins normalerweise hat (Samba/SMB, SSH, HTTP, etc. pp) ist normales Ethernet mit 10GbE die richtige Wahl.

    Ich bin mit den Mellanox ConnectX-3 und -4 Karten privat sehr zufrieden, die bekommt man auf ebay immer mal für ~30-40€/Stück.

    Darauf achten, dass das welche mit Ethernet sind, nicht InfiniBand.


    Manche ConnectX-* Karten können auch beides, dann ist es ein Firmware-Unterschied, aber das Flashing ist etwas nervig.


    Deine bisherigen Karten (mit CX4) sind vermutlich relativ alt und haben wahrscheinlich sogar noch einen aktiven Lüfter?

    Allein aufgrund der neuen Strompreise wäre es dann vermutlich gut, sie auszutauschen.


    Aus den (10Gigabit) ConnectX-Karten fällt dann hinten ein SFP+ Anschluss raus, der ist extrem üblich und du hast verschiedene Möglichkeiten von da weiterzugehen:

    - DAC (direct attach cable), ein Kabel mit 2 SFP+ Steckern dran, max. so ~5m Länge, relativ dick und schwer

    - optische Transceiver (umgangssprachlich einfach nur SFPs oder Optiken genannt), die dann eine oder zwei Fasern aufnehmen und darüber kommunizieren

    - SFP-T Transceiver (wandeln dir SFP+ auf 10GBase-T, also "normales" RJ45 Ethernet mit 10Gbit/s um)


    Wenn du mit Glasfasern arbeiten möchtest, kauf fertig konfektionierte Kabel mit Steckern dran, die sind mittlerweile auch sehr günstig zu haben. Die überschüssige Länge kannst du ja einfach aufgerollt lassen. Zum Verlegen gibt es auch passende Kabel mit Stahlummantelung, etc. .


    Die Variante mit 10Gbase-T (also 10Gigabit über RJ45 Kupferkabel) ist in den USA relativ beliebt, hierzulande aber eher nicht in Mode.

    10Gbase-T braucht Unmengen Strom, die ganze HW wird ordentlich heiß. Kann man für Nachrüst-Aktionen mal machen, für Neuinstallationen unschön.


    Für Spielkram und Privat gibt es z.B. den Anbieter fs.com, die verkaufen Netzwerkhardware direkt aus China, aber aus nem deutschen Lager.
    Qualität ist da ... wechselhaft, das meiste läuft ziemlich gut, für Hobbynutzung definitiv ausreichend. Für berufliche Dinge kauf ich dann eig. immer bei Flexoptix.

    (Ich hoffe die Admins haben da jetzt kein Problem mit, dass ich hier explizit Verkäufer/Namen nenne? Ich werde nicht bezahlt :P
    Wenn es nicht passt, bitte einfach zensieren/Zeilen löschen...)


    Hast dann noch 2x die Qual der Wahl:
    - BiDi oder nicht

    - Singlemode oder Multimode


    Beides erhöht den Preis etwas, hat aber jeweils Vorteile.


    BiDi heißt, du kaufst Optiken, die Licht auf 2 verschiedenen Wellenlängen (oder Farben) für RX und TX verwenden. Dann kommst du mit nur einer einzelnen Glasfaser zu einer Verbindung.

    Nachteil:

    - BiDi Optiken sind etwas teurer

    - brauchst immer Paare aus Optiken, eine muss z.B. 1270nm-TX/1330nm-RX sein und die andere 1330mm-TX/1270nm-RX. 2 Optiken mit den gleichen Wellenlängen verbinden (was bei normalen Optiken ja prima klappt), klappt hier natürlich nicht.


    Singlemode-Fasern sind optisch weitaus überlegen und du kannst auch in die hunderte GBit/s ohne größere Probleme über Singlemode Kabel gehen.

    Singlemode war früher deutlich teurer als Multimode-Faser, der Unterschied hat sich aber über die Jahre fast komplett aufgeweicht.

    Eine Mischung von beiden Kabelarten in der gleichen Installation ist sehr unglücklich und ich würde es in der Praxis immer vermeiden.

    Meine Aufbauten und Rechenzentren der letzten Jahre waren immer 100% Singlemode, kann es nur empfehlen.


    Ansonsten, falls du einen Switch (inbs. mit einem 1Gbit Port) brauchst, ist der MikroTik CRS305-1G-4S+IN ziemlich cool. Hat dann 4 10Gbit/s SFP+ Interfaces und 1x RJ45 1Gbit/s, womit man an das "alte" langsame Heimnetz drangehen kann.


    Bei den Glasfasern gibt es noch eine handvoll Steckertypen, aber "LC" ist der defacto-standard an den Optiken und wird auch (außer für Weitverkehr) sonst immer heutzutage verbaut.

    Aufpassen muss man noch an einer Stelle: Es gibt UPC (0°) und APC (8°) Stecker. UPC Stecker sind fast immer Blau, APC Stecker sind fast immer grün.

    APC Stecker sind am Ende ganz leicht (8°) angeschliffen. Damit passen sie nicht gerade auf UPC (Blau, 0°) Stecker oder Optiken.


    Wenn man sowas dann trotzdem zusammensteckt, hat man eine wunderbare Fehlerquelle, die so ein wenig funktioniert, aber nicht richtig.

    Einfach beim Kauf drauf achten, keinerlei APC Equipment zu kaufen. APC-Stecker werden auch eigentlich nur im Weitverkehrsbereich genutzt. Stolze Besitzer eines häuslichen Glasfaseranschlusses werden vermutlich so ein Kabel mit grünem Stecker an/in ihrem Router vorfinden.


    So... genug Text :)


    Viel Erfolg,

    Tobias

  • https://mikrotik.com/product/crs305_1g_4s_in   MikroTik CRS305-1G-4S+IN ( von da kommt das PDF, gibt auch weitere, umfassendere )


    MikroTik CRS305-1G-4S+IN-CRS305-1G-4S+IN

    MikroTik CRS305-1G-4S+IN - mikrotik-shop.de


    Schönes Teil. Mit 150EUR auch noch im Rahmen. Die Kabel sind ja mittlerweile nicht mehr so abstrus überzogen (für ein Stückchen Plastikkabel), wie das mal war, als das NEU war.


    Danke für den schönen Text. Brauchbar ! , auch wenn das Thema 10GBE hier noch lange nicht ansteht. ( Mark2Me: Warum eigentlich nicht ? ;) )

  • Also ja die ganze 10GbaseT Rechnung geht für mich absolut nicht auf, für das Geld bekommst ja 40 50 Gbit Komponenten. SFP+ ist etwas besser aber für die Strecke über den Hof müsste es dann Glasfaser sein.(danke für die Einführung Manawyrm ) Hauptproblem wäre dann immernoch die Anbindung an die bestehenden Router mittels CX4. Ich möchte ja gerade keine 1000 eur+ für komplett neue Infrastruktur ausgeben.


    Da es im ersten Thread nicht so klar rüber kommt das ganze ist natürlich parallel zum "normalen" Gb Netzwerk von daher ist der Stromverbrauch auch zweitrangig ich kann es einfach mit den Nodes Ein und Ausschalten...

  • SFP+ ist etwas besser aber für die Strecke über den Hof müsste es dann Glasfaser sein

    Der Satz macht für mich keinen Sinn -- wie gesagt, SFP+ ist (wie CX4) erstmal nur der Anschlussstandard, worüber man dann verschiedene Dinge machen kann (wie Glasfaser).


    CX4 ist halt echt extrem alt mittlerweile, viel von dem Equipment ist schon lange lange verschrottet. Selbst SFP+ fliegt gerade aus vielen Rechenzentren raus, deswegen ist das Zeug ganz bezahlbar auf ebay.


    Wenn du das CX4 Zeug im Einsatz lassen willst, fallen mir dafür 2 Möglichkeiten ein:

    - du besorgst einen Switch mit Linecards, wofür es SFP+ und CX4 Module gibt

    - du baust in irgendeine Linux-Büchse an einem passenden Standort 2 Netzwerkkarten ein und legst ne Bridge über beide Karten.


    für das Geld bekommst ja 40 50 Gbit Komponenten

    Jo, weil 40GBit/s mittlerweile die gleiche Generation von Hardware ist, wie SFP+, nur eben mit 4 Lanes (QSFP+) statt 1 Lane.

    In den Rechenzentren heutzutage ist SFP28 (25 GBit/s pro Lane) oder schon SFP56 (50 GBit/s pro Lane) und dann damit 100 oder 200 GBit/s auf 4 Lanes schon Standard.


    Netterweise ist das meiste SFP28 Equipment auch rückwärtskompatibel zu SFP+, so kann man dann etwas problemloser auf die neue Technik wechseln :)

  • Der Satz macht für mich keinen Sinn -- wie gesagt, SFP+ ist (wie CX4) erstmal nur der Anschlussstandard, worüber man dann verschiedene Dinge machen kann (wie Glasfaser).

    Sorry nicht zuende formuliert ich meine jeweils die direkten Kupfer"Patch" Kabel.

    Und ja das ist genau der Trick, es wird eingebaut was die Profis wegschmeißen, das mache ich generell so meine Hauptrechner/Server sind alle noch Ivey/Sandybridge mit DDR 3 RAM etc. Natürlich erkauft man sich das mit einem relativ hohen Stromverbrauch, deswegen läuft das Zeug aber auch nur Stundenweise...


    SFP+ ist in der Heimvernetzung aber durchaus aktuell und deswegen die auf Heimanwender abgestimmten Komponenten sehr teuer finde ich.


    Wenn du das CX4 Zeug im Einsatz lassen willst, fallen mir dafür 2 Möglichkeiten ein:

    - du besorgst einen Switch mit Linecards, wofür es SFP+ und CX4 Module gibt

    ...

    Da dachte ich halt ich nehme einen Mellanox Infinband Router für 100-200eur, die Ethernet Lizenz gibt es mittlerweile für Lau. Dann entsprechende QFSP+ auf CX4 bzw 4x sfp+ Kabel sind Problemlos verfügbar, bleibt das Problem mit welcher Glasfaser Technik ich über den Hof komme...

  • Als Kabel z.B.: https://www.fs.com/de/products…l?attribute=331&id=402794

    und als Transceiver 2x: https://www.fs.com/de/products…attribute=11788&id=546793


    Beim Transceiver-Kauf willst du drauf achten, eine "Marke" für die Hardware auszuwählen, die du am Ende nutzt.

    Dabei wird einfach nur die Hersteller-ID / Typenbezeichnung im I2C-EEPROM innerhalb der Optik verändert.

    Manche Router/Switch-Hersteller sind da aber extrem zickig und wollen partout nicht mit Fremdoptiken arbeiten.

    Mellanox ist da eigentlich ziemlich relaxed und funktioniert mit so ziemlich allem.


    Beim Optikkauf drauf achten, dass es Singlemode (SMF) Optiken sind, die zu dem Singlemode Kabel passen. Keine Multimode (MMF) Optiken an SMF Kabel anschließen oder umgekehrt. Damit bekommst du einen Link, der so ein bisschen funktioniert, aber du hast Unmengen Paketverlust oder ähnliche Probleme und suchst dir einen Wolf!

  • Sorry, dass ich mich hier dran hänge....


    Ich bin günstig an eine Storey Peak QSFP+ Karte von MS gekommen. Gibt es da eine günstige Möglichkeit, sie mit normalen Ethernet zu verbinden? Bin leider noch ziemlich ahnungslos....

  • Die großen FPGA Beschleunigerkarten?


    Kurzum: Nein.


    Wenn jemand dafür passende Gateware und Treiber für alle Systeme schreiben würde… vielleicht.


    Allerdings sind selbst Intel‘s 10Gigabit Karten nahezu unbrauchbarer Mist, wegen Firmware und Treiberbugs (zumindest im professionellen Umfeld), sodass ich von selbstgebauten 10G Karten lieber die Finger lassen würde :)