Vollständige Site-Snapshots bei Wayback Maschine

  • Hallo,


    weiß jemand zufällig, ob es irgendwie möglich ist, vollständige Site-Snapshots von Internetseiten (incl. aller Unterseiten, Bilder, ...) vom Internet Archive herunterzuladen?


    Ich habe zwar schon ein paar Programme ausprobiert, aber leider habe ich es noch nicht geschafft, brauchbare Ergebnisse zu erhalten.


    Ich würde mir gerne eine Site mit Datenblättern sichern und die bei mir daheim auf meinem lokalen Webserver nutzen.

    Aktuelle Retro-Projekte: Amiga 500: RGB2HDMI & PiStorm, Atari Mega ST: PiStorm, C64/128: Repro 1581, div. Reparaturen, Repro-Diskettenhüllen und -labels

  • Wie wäre es mit wget? Rekursiv, robots.txt nicht beachten, und eine Tiefen von 2 (wget -r -e robots=off -l2). Sollen nur PDF geladen werden wäre es wget -r -e robots=off -l2 -A pdf.

    :tuschel: Suche: BeBox, Commodore 900, KIM-1 :tuschel:

  • Der "wayback_machine_downloader" macht das eigentlich ganz gut. Manchmal muß man das Datum aber eingrenzen. Wenn Dinge fehlen liegt das oft schlicht daran, daß es der Bot nicht bekommen hat und es daher auch auf archive gar nicht vorhanden ist.

    -- 1982 gab es keinen Raspberry Pi , aber Pi und Raspberries

  • Wie wäre es mit wget? Rekursiv, robots.txt nicht beachten, und eine Tiefen von 2 (wget -r -e robots=off -l2). Sollen nur PDF geladen werden wäre es wget -r -e robots=off -l2 -A pdf.

    Für wget bin ich zu doof... der lädt bei mir irgendwie immer ab root, also ab web.archive.org... und das ganze Archiv wollte ich nun nicht kopieren ;)

    Der "wayback_machine_downloader" macht das eigentlich ganz gut. Manchmal muß man das Datum aber eingrenzen. Wenn Dinge fehlen liegt das oft schlicht daran, daß es der Bot nicht bekommen hat und es daher auch auf archive gar nicht vorhanden ist.

    Den muss ich mir mal ansehen, kommt mir aber irgendwo bekannt vor... kann sein, dass ich den auch schonmal getestet habe und irgendwas nicht ging. Aber danke, ich sehe ihn mir mal an.

    Aktuelle Retro-Projekte: Amiga 500: RGB2HDMI & PiStorm, Atari Mega ST: PiStorm, C64/128: Repro 1581, div. Reparaturen, Repro-Diskettenhüllen und -labels

  • Kann sein. Ich habe den auhc als Empfehlung hier aus dem Forum von ... keine Ahnung mehr, aber war ein super Tip.


    Bei wget muß man den "-np" Switch mit anschalten, dann klappt das auch besser.

    -- 1982 gab es keinen Raspberry Pi , aber Pi und Raspberries