Cómo encontrar los enlaces rastreados en mi sitio web

Si es bueno en la codificación de la parte, puede rastrear fácilmente los rastreadores web mediante el uso del agente de usuario ( $_SERVER['HTTP_USER_AGENT'] ) que a menudo identifica si el agente de conexión es un navegador o un robot.

Yo mismo uso esto para diferenciar entre el tráfico que viene del navegador genuino o a través de Bot o robot o tráfico falso.

función crawlerDetect ($ USER_AGENT)
{
$ crawlers = array (
array (‘Google’, ‘Google’),
array (‘msnbot’, ‘MSN’),
array (‘Rambler’, ‘Rambler’),
array (‘Yahoo’, ‘Yahoo’),
array (‘AbachoBOT’, ‘AbachoBOT’),
array (‘accoona’, ‘Accoona’),
array (‘AcoiRobot’, ‘AcoiRobot’),
array (‘ASPSeek’, ‘ASPSeek’),
array (‘CrocCrawler’, ‘CrocCrawler’),
array (‘Dumbot’, ‘Dumbot’),
array (‘FAST-WebCrawler’, ‘FAST-WebCrawler’),
array (‘GeonaBot’, ‘GeonaBot’),
array (‘Gigabot’, ‘Gigabot’),
array (‘Lycos’, ‘Lycos spider’),
matriz (‘MSRBOT’, ‘MSRBOT’),
array (‘Scooter’, ‘Robot Altavista’),
array (‘AltaVista’, ‘Robot Altavista’),
array (‘IDBot’, ‘ID-Search Bot’),
array (‘eStyle’, ‘eStyle Bot’),
array (‘Scrubby’, ‘Scrubby robot’)
);

foreach ($ crawlers como $ c)
{
if (stristr ($ USER_AGENT, $ c [0]))
{
retorno ($ c [1]);
}
}

falso retorno;
}

$ crawler = crawlerDetect ($ _ SERVER [‘HTTP_USER_AGENT’]);

Una pieza de código para encontrar bot de varias redes o medios

Simplemente guarde el resultado en SQL junto con la ID de publicación para saber de dónde vienen los rastreadores.

Espero que les guste mi respuesta.

Los enlaces rastreados son básicamente enlaces indexados. Esos son los enlaces que rastrea el motor de búsqueda.

Existen varias herramientas para verificar qué páginas o enlaces rastrea el motor de búsqueda. Una de las mejores herramientas que utilizamos es Google Index Checker. Puede ingresar a su sitio web y saber qué enlaces se rastrean o no.

Además, hay un software llamado SEOSpider. Puede descargar eso y conocer el estado exacto de los enlaces de su sitio web.

Por enlace rastreado se refiere al enlace de su página rastreado por el motor de búsqueda.

Hay un operador simple, vaya a Google y escriba “site: website-url” en la barra de búsqueda y presione enter.

Nota: eliminar la coma invertida

Reemplace la URL del sitio web con la URL de su sitio web real.