La Web visible, la invisible y la oscura

http://upload.wikimedia.org/wikipedia/commons/6/6b/Invisible_Man.png

Cuando se busca información sobre un tema en la Red suele hacerse mediante la navegación e interrogación de directorios temáticos o consultando un motor de búsqueda generalista. La información proporcionada se denomina Web visible (visible Web), Web de superficie (surface Web), Web accesible (open Web) o (generic Web sites).

Comprende todos aquellos sitios cuya información puede ser indexada por los robots de los buscadores convencionales mediante técnicas de rastreo (spidering o link crawling), en las  éstos almacenan únicamente el título de la página web, descripción, autor, su URL y las palabras clave, siendo recuperada mediante una consulta a sus formularios de búsqueda. Sus características principales son:

• su información no está contenida en bases de datos.
• es de libre acceso.
• no requiere la realización de un proceso de registro para acceder a su información.

Mayoritariamente está formada por páginas Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.

La Web invisible o profunda está compuesta por la información accesible únicamente por medio de algún tipo de pasarela o formulario web y que los motores de búsqueda no indizan. Comprende información volátil, dinámica y en formatos especiales. En el contexto de la comunidad científica y profesionales de la información se denomina Web académica invisible y es toda aquella información académica almacenada en bases de datos en Internet que no es recuperada por los buscadores convencionales.

En términos simples, la única manera de acceder a la Web invisible es mediante la realización de una búsqueda en los formularios de cada sitio web o base de datos.

La información almacenada es por consiguiente "invisible" a éstos ya que los resultados se generan en la contestación a una pregunta directa mediante páginas dinámicas (ASP, PHP...), es decir, páginas que no tienen una URL fija y que se construyen en el mismo instante (temporales) desapareciendo una vez cerrada la consulta.

El término Web invisible (invisible Web) fue introducido a mediados de los años 90 por Jill Ellsworth y Matthew Koll y popularizado por Intelliseek en 1998 mediante el servicio invisibleweb.com, desaparecido y absorbido por la compañíaThe Nielsen Company. Posteriormente ha sido denominada mediante los términos Web profunda (deep Web) acuñado por la compañía BrightPlanet Corp, oculta (hidden Web) o infranet.

Su volumen de crecimiento es muy alto y su calidad es considerada superior a la Web de superficie o Web indexable, esencialmente porque la mayor parte de los sitios son especializados y su contenido es creado y aprobado por profesionales y especialistas en cada materia. Basta mencionar por ejemplo:

• Library of Congress Authorities
• REBIUN REd de BIbliotecas UNiversitarias
• BOE - Boletín Oficial del Estado

Hoy los términos invisible Web y deep Web son utilizados para el mismo concepto y la utilización de uno o el otro es simplemente una cuestión de preferencia, aunque el término más correcto desde el punto de vista técnico debería ser Web no indizable.

En los últimos años se ha discutido mucho acerca del término Web profunda, al que se ha malinterpretado e identificado negativamente con la Dark net o Dark Web, red oscura o Internet oscura (Black Holes in cyberspace, dark address space, murky address space, dirty address space), dedicada a las actividades fraudulentas de compra-venta y servicios, archivos de intercambio P2P, etc.

Por ejemplo:

• Silk Road
• Los proyectos The Onion Router, (Tor), ideado en sus orígenes por el U.S. Naval Research Laboratory, software libre cuyo objetivo principal es el desarrollo de una red de comunicaciones distribuida de baja latencia y sobrepuesta a la red internet en la que no se revela la dirección IP, es decir, la identidad de sus usuarios, manteniendo además la integridad y la ocultación de la información que transita por ella, (existe la versión para móvil denominada Orbot) y The Freenet Project de características similares.
• El sistema operativo Tails, cuyo  objetivo es la preservación de su intimidad y el anonimato como el  buscadorDuckduckgo.
• Shodan, buscador especializado en la localización de vulnerabilidades en la red relacionadas con las organizaciones.
• Los programas de software libre para redes P2P descentralizadas como GNUnet o la japonesa Perfect Dark(P2P).

El gran inconveniente de estos programas es que aprovechando la posibilidad de publicar material amparados por el anonimato, algunos de sus usuarios realizan acciones ilícitas y delictivas como la distribución de pornografía infantil y un largo etcétera de actividades ilegales.

He aquí un pequeño botón de muestra del material docente preparado por Ricardo Albiñana para la unidad sobre lainternet invisible.

http://docdigital.typepad.com/servicio_de_alerta/2014/06/la-web-visible-la-invisible-y-la-oscura.html