Back to Question Center
0

Semalt: Cómo bloquear Darodar Robots.txt

1 answers:

El archivo Robots.txt es un archivo de texto típico que contiene instrucciones sobre cómo los rastreadores web o los robots deben rastrear un sitio. Su aplicación es evidente en motores de búsqueda que son comunes en numerosos sitios web optimizados. Como parte del Robots Exclusion Protocol (REP), el archivo robots.txt constituye un aspecto esencial de la indexación del contenido del sitio web, además de permitir que un servidor autentique las solicitudes de los usuarios en consecuencia.

Julia Vashneva, la Semalt Senior Customer Success Manager, explica que la vinculación es un aspecto de la optimización del motor de búsqueda (SEO), que implica obtener tráfico de otros dominios dentro de su nicho. Para los enlaces "seguir" para transferir el enlace de jugo, es esencial incluir un archivo robots.txt en el espacio de alojamiento de su sitio web para actuar como un instructor de cómo el servidor interactúa con su sitio. De este archivo, las instrucciones están presentes al permitir o no permitir el comportamiento de algunos agentes de usuario específicos.

El formato básico de un archivo robots.txt

Un archivo robots.txt contiene dos líneas esenciales:

Usuario-agente: [nombre de usuario-agente]

No permitir: [La cadena URL no debe rastrearse]

Un archivo robots.txt completo debe contener estas dos líneas. Sin embargo, algunos de ellos pueden contener múltiples líneas de agentes de usuario y directivas. Estos comandos pueden contener aspectos como permitir, deshabilitar o retrasos de rastreo. Por lo general, hay un salto de línea que separa cada conjunto de instrucciones. Cada una de las instrucciones de permitir o no permitir está separada por este salto de línea, especialmente para el archivo robots.txt con varias líneas.

Ejemplos

Por ejemplo, un archivo robots.txt puede contener códigos como:

Usuario-agente: darodar

No permitir: / plugin

No permitir: / API

No permitir: / _comentarios

En este caso, se trata de un archivo robots.txt de bloques que impide que el rastreador web Darodar acceda a su sitio web. En la sintaxis anterior, el código bloquea aspectos del sitio web como complementos, API y la sección de comentarios. A partir de este conocimiento, es posible obtener numerosos beneficios de la ejecución efectiva de un archivo de texto de un robot. Robots. Los archivos txt pueden realizar numerosas funciones. Por ejemplo, pueden estar listos para:

1. Permitir todo el contenido de los rastreadores web en una página web. Por ejemplo;

Usuario-agente: *

No permitir:

En este caso, cualquier rastreador web que se solicite para acceder a un sitio web puede acceder a todo el contenido del usuario.

2. Bloquee un contenido web específico de una carpeta específica. Por ejemplo;

Usuario-agente: Googlebot

No permitir: / ejemplo-subcarpeta /

Esta sintaxis que contiene el nombre de agente de usuario Googlebot pertenece a Google. Restringe el acceso del bot a cualquier página web en la cadena www.ourexample.com/example-subfolder/.

3. Bloquee un rastreador web específico de una página web específica. Por ejemplo;

Usuario-agente: Bingbot

No permitir: /example-subfolder/blocked-page.html

El usuario-agente Bing bot pertenece a Bing web crawlers. Este tipo de archivo robots.txt restringe al rastreador web Bing para acceder a una página específica con la cadena www.ourexample.com/example-subfolder/blocked-page.

Información importante

  • No todos los usuarios usan su archivo robts.txt. Algunos usuarios pueden decidir ignorarlo. La mayoría de estos rastreadores web incluyen troyanos y malware.
  • Para que un archivo Robots.txt sea visible, debe estar disponible en el directorio del sitio web de nivel superior.
  • Los caracteres "robots.txt" distinguen entre mayúsculas y minúsculas. Como resultado, no debe alterarlos de ninguna manera, incluida la capitalización de algunos aspectos.
  • El "/robots.txt" es de dominio público. Cualquiera puede encontrar esta información cuando la agrega al contenido de cualquier URL. No debe indexar detalles o páginas esenciales que desee que permanezcan privados.
November 26, 2017
Semalt: Cómo bloquear Darodar Robots.txt
Reply