Convierte una web entera en archivos Markdown, uno por página, conservando tablas e imágenes. Ideal para preparar material que luego usarás con una IA para hacer búsquedas o resúmenes.
Detalles técnicos
Fork de markdown_crawler para RAG en Python con BeautifulSoup y markdownify. Multihilo configurable, control de profundidad, filtros por paths/dominios y selectores CSS (target_content/target_links) con reanudación. Doble uso: CLI y librería md_crawl() para pipelines con OpenWebUI o autogen.
PythonuvBeautifulSoupmarkdownify
Destacados
Multihilo y reanudación con control de profundidad