En internet, se genera miles de paginas y elementos al día, es demasiada información, por lo que sin motores de busqueda, tendriamos que conocer la URL especifica para poder ingresar, pero aun así, los motores de busqueda no conocen todo internet, pues aparte de que es demasiada la información que se genera al día, existen otros motivos por los cuales los motores de busqueda no pueden agregar ciertas paginas a sus contenidos y es por eso que el Internet, se va dividiendo en lo que conocemos como La web superficial y la web profunda.
La Web Superficial o visible
Es la sección más sencilla del internet, a donde todos los buscadores tienen acceso y las arañas de estos buscadores van recorriendo las páginas web, almacenando información que contienen y buscando enlaces a otros sitios web para seguir actualizando sus bases de datos. Con el tiempo acaban recorriendo todas las páginas de Internet que tienen enlaces desde otras.
La Web Profunda o invisible (No indizada)
Por distintos motivos (enlaces generados por JavaScript y Flash, páginas protegidas con contraseña, fichero de exclusión de robots, etc.) algunas páginas no pueden ser alcanzadas por las arañas de los buscadores. Estas páginas forman la Internet Profunda.
La manera de accesar a esta información puede ser a traves de motores de busqueda especializados o a traves de su propia URL
Sherman y Price identifican cuatro tipos de contenidos invisibles en la Web:
Web opaca
Está compuesta por archivos que, si bien podrían estar incluidos en los índices de los buscadores, no lo están por alguno de los siguientes motivos:
- Extensión de la indización: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores.
- Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas.
- Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000).
- URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.
Web privada
Consiste en las páginas Web que podrían estar indizadas en los buscadores pero son excluidas deliberadamente por alguno de estos motivos:
- Las páginas están protegidas por contraseñas.
- Contienen un archivo “robots.txt” para evitar ser indizadas.
- Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte correspondiente al cuerpo de la página.
Este segmento de la Web contiene, en general, documentos excluidos deliberadamente por su falta de utilidad. Ya que son los dueños de la información que contienen, los que deciden que no se encuentre disponible, por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear esa barrera.
Web propietaria
Incluye aquellas páginas en las que es necesario registrarse para tener
acceso al contenido, ya sea de forma gratuita o arancelada.
Web realmente invisible
Se compone de páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.
Ahora ya conoces un poco más acerca de la WEB, si comentas algo con tus conocidos y te preguntan de donde viene tanto conocimiento, no olvides dar las gracias, así como lo hace timmy:
