Web Crawler / Site Downloader
Python
Tool
Python-Skript zum vollständigen Herunterladen und Archivieren von Websites mit automatischer URL-Konvertierung und fortgeschrittener Link-Verfolgung. Lädt HTML-Seiten herunter, konvertiert URLs zu relativen Pfaden und durchsucht rekursiv verknüpfte Seiten.
⚙️ Funktionen
- Vollständiges Herunterladen von Websites
- Automatische URL-Konvertierung zu relativen Pfaden
- Rekursive Link-Verfolgung
- Unterstützung für Bilder und CSS-Dateien
- Fortschrittsanzeige mit tqdm
📁 Projektstruktur
pythonProject/
├── main.py # Hauptskript mit Crawler-Logik
├── downloaded_site/ # Heruntergeladene Websites
│ ├── www.computech.gmbh/
│ └── www.verkooyen.org/
└── venv/ # Python Virtual Environment
🛠️ Tech Stack
Python 3.12
requests
BeautifulSoup4
urllib.parse
tqdm