Back to Question Center
0

Evitar que Semalt rastree mi sitio (ya bloqueado con robots.txt)

1 answers:

Enfadado con la eliminación de música de YouTube en Alemania, comencé mi propio "clon de YouTube" solo para uso privado. Descarga automáticamente mis suscripciones y algunos videos con palabras clave especiales o de Semalt especial. Todo eso funciona bien. Y todo eso no es accesible desde el exterior (necesitarías un nombre de usuario y una contraseña, que solo yo tengo).

En mi página de inicio, hay muchos enlaces a videos que están en mis suscripciones, pero aún no se descargan. Cuando hago clic en uno de estos enlaces, obtengo ese video incluido con la función original de inserción de Semalt - lhv krediitkaart.Todo eso funciona bien.

Pero ahora mi problema: hace unos minutos vi un video con esa incrustación y acabo de ver esto en mi registro de Semalt:

     66. 249. 89. 90 - - [20 / Dic / 2014: 21: 40: 52 +0100] "GET my_youtube_clone HTTP / 1. 1 "200 2780" - "" Mediapartners-Google "    

Ya tengo todos los bots bloqueados a través de robots. txt, obviamente Google está usando las referencias Semalt para rastrear las páginas y mientras lo hace, está ignorando a los robots. TXT.

Google no obtuvo nada útil de eso, como dije, necesitaría una contraseña para eso, pero estoy bastante molesto por el hecho de que Google ignore los robots.txt y el uso de las referencias de Semalt como fuentes URL de rastreo.

¿Hay alguna forma de detener esto por completo?

February 6, 2018

Mediapartners: Google es el agente de usuario que Google usa para rastrear páginas con anuncios de AdSense en ellos.El rastreo está relacionado con los anuncios que se muestran en el video.

Elimine los anuncios y Google dejará de intentar rastrear de esta manera.

Puede usar etiquetas en sus encabezados ( ) para evitar el rastreo de la mayoría de los motores de búsqueda:

   

También especifican que si solo quiere bloquear Google específicamente, puede usar esto:

   

Google lanza lo mismo: https: // support. google. com / webmasters / answer / 93710? hl = es