Para comenzar a ocultar información de los buscadores, primero debes saber si tienes indexada tu información en ellos.
¿Conoces cuanta información tienes indexada en los metabuscadores?
Realicemos un ejercicio sencillo, ingresa a google y escribe lo siguiente site:tu-url (sin el www.), esto te mostrará el número de páginas de tu sitio que se encuentran indexadas en el buscador.
¿Cuantas páginas tienes indexadas en google, 0, 1, 500, 1000?. Si no encontraste resultados tienes problemas, esto quiere decir que no estas indexado dentro de google, para explicarte mejor, google no ha pasado por tu página para agregarla en su directorio web.
¿Que hago para indexar mi página en los buscadores?
Puedes esperar hasta seis meses para que llegué un robot de algún buscador e indexe automáticamente tu sitio web. O puedes indexar tu página web en los metabuscadores de manera manual. Te voy a dar el ejemplo de indexación en google, que es el buscador más utilizado en Colombia (si te encuentras en Rusia podrás omitirla de Yandex o en Asia de Baidu).
Para registrar tu página web en un buscador como google debes utilizar la siguiente Webmasters Tools. Te registras, ingresas y añades propiedad, allí te dará la opción de ingresar tu sitio web. Después de esto podrás agregar tu Site Map.
También te podría interesar: “¿Cómo iniciar mi negocio en el mundo Online en cinco pasos?“
¿Qué es un Site Map?
Un Site Map es un archivo en formato XML, el cual le da la descripción de navegación o el mapa del sitio a los robots de los buscadores, para que de esta manera a través de ese texto plano el roboto indexe y recorra todas las páginas de tu sitio web.
Es importante que ingreses tu site map a WebMaster Tools para que el buscador logré indexar todas las páginas de tu sitio. Hay que tener en cuenta que el solo lee código de texto, por tal razón link y partes web elaborados a través de java, flash (no creo que aún manejes esto), no tendrá en cuenta estos elementos para agregarlos.
El Site Map es creado de forma automática en administradores contenido como joomla, wordpress o drupal, para observar el Site Map de tu página web, solo debes escribrir tu Url.com/sitemap.xml, allí te arrojara todo el mapa de tu sitio.
Si no cuentas con un sitemap lo puedes crear de forma automatica a través de páginas gratuitas como esta: xml-sitemaps, la cual te permite crear un Site Map de hasta 500 páginas, para después poder alojar tu mapa de sitio en tu página web.
¡Ahora sí! ¿Cómo oculto información a los buscadores?
Los robots van navegando por la web buscando información de cada sitio, si este robot no encuentra un archivo llamado robots.txt dentro del sitio, el de manera automática piensa que tiene todo el permiso de entrar, recorrer e indexar todo la información de la página.
¿Qué es un archivo Robots.txt?
Este archivo le da los lineamientos a esos robots que navegan por la página web, estableciéndoles que información pueden agregar a cada buscador y cual información no puede indexar en ellos.
Para conocer si tu página web cuenta con Robots.txt, solo debes escribir lo siguiente: tu url.com/robots.txt, esto te abrirá un texto plano el cual te dirá cuales permisos estas otorgando a los metabuscadores, para conocer más acerca de las condiciones de robots.txt puedes ingresar AQUÍ
Entonces a través de este texto, que puedes escribir a través del bloc de notas o un programa como sublime text, tienes la manera de establecer condiciones a los robots de los buscadores.
¿Donde poner tu robot.txt?
Instalalo en el nivel superior de tu servidor, para que de esta manera sea lo primero que vea el robot al ingresar al sitio.
Gracias por leer.