Traete la web a tu computadora con WebSPHINX

Esta fue la idea original de los creadores de Google, querían traerse la Internet entera a una (o unas cuantas) computadoras.

Inicialmente a muchos les parecía una idea imposible de lograr, y alocada. ¿Para qué querría alguien tener todas las páginas de Internet?

La cuestión es que traerte páginas de un sitio web (no necesariamente de toda la Internet) existen diversas herramientas que lo permiten y las aplicaciones van más allá del objetivo de crear un buscador. Por ejemplo, te puede servir para crear mirrors de tus sitios web, o si no tienes conexión permante a internet, para traerte algo y leerlo offline.

En Linux, por medio de línea de comados se podría usar curl por ejemplo. Una herramienta muy flexible y parametrizable con la cual podemos obtener contenido de sitios remotos.

Si en cambio buscamos alguna interfaz gráfica, podemos usar Websphinx (A Personal Customizable Web Crawler), una herramienta desarrollada en Java que permite recorrer el árbol formado por páginas web, y descargarlas en nuestra computadora.

Websphinx es muy bueno, pero lamentablemente no lo han continuado, y hoy en día hay algunas reglas recientes de CSS o HTML que no han sido adoptadas por el crawler de ésta herramienta. Y por lo tanto, puede pasar que el sitio descargado nos quede incompleto.

Para solventar estas deficiencias del programa, podemos usar otra herramienta que también es muy buena. Se llama httrack, y viene tanto para Linux como para Windows. httrack permite descargar páginas completas incluyendo todas sus referencias, tanto CSS, Javascript, imágenes. Lo bueno es que tiene en consideración muchas de las directivas que no son soportadas por Websphinx.

La imagen de artículo muestra el mapa formado por los nodos de Internet a nivel global y fue obtenida de aquí. Los colores representan los dominios .com, .edu y .org.