I seguint amb els robots.txt si aneu a:
sgae.es/robots.txt
Veureu què és el que no volen que trobeu quan cerqueu als buscadors.
Allà on diu Disallow és una directiva per a dir als cercador el que no volen que indexin, en un intent frustrat que quan la gent busca ladrones, els cercadors no mostrin la web de la sgae la primera.
![]() ![]() | Compartir: ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |