Back to Question Center
0

Semalt: robots.txt: blocca tutte le pagine Web tranne alcune pagine Web?

1 answers:

Ho qualche dubbio riguardo ai robot. txt . Dì, il mio dominio è StackOverflow. com ,

A) Il seguente codice eseguirà quanto segue per tutti i crawler?

     User-agent: *Non consentire: /Consenti: / $
Consenti: / a / $
Permetti: / a / login - buy windows vps usa. php
Permetti: / a / login. php? tornare = / Pligg /    
  1. Accettazione http: // stackoverflow. it / accetterà http: // stackoverflow. com anche tu?

  2. Accettazione http: // stackoverflow. com / a /

  3. Accettazione http: // stackoverflow. com / a / login. php

  4. Accettazione http: // stackoverflow. com / a / login. php? return = / pligg /

  5. Non si accetta alcuna altra pagina su http: // stackoverflow. com

B) Che è giusto: robot. txt o robot. txt ?

February 13, 2018