Yahoo! Supporta Wildcards nel Robot.txt

 

Yahoo! Ha annunciato il pieno supporto di Wildcards nel file robots.txt (il file in formato testo che si inserisce sulla root principale dei siti web per orientare o inibire il crawling agli spiders dei motori di ricerca).

Questa caratteristica permette a "Slurp" il robot di Yahoo di riconoscere due nuovi simboli: il simbolo asterisco * ed il simbolo dollaro $.

Il simbolo asterisco (*) individua e corrisponde ad una serie di caratteri. Il suo utilizzo consente di evitare l'indicizzazione di url che contengano una determinata stringa di testo. Ad esempio:

User-Agent: Yahoo! Slurp Disallow:/*?sessionid

.... indica allo spider di Yahoo di evitare l'indicizzazione di tutte le url nelle quali sia presente la stringa: ?sessionid.

Come probabilmente già saprete url di questo tipo non devono essere mai servite ai motori di ricerca in quanto non indicano diversi contenuti, ma solo diversi accessi ad un medesimo contenuto, per cui Wildcards si rivela uno strumento utile ed adeguato per facilitare il compito di evitare di segnalare allo spider url non corrette.

Il simbolo del dollaro ($) viene ancorato a stringhe di testo che si trovano al termine di determinate url.
Pertanto questo simbolo indica allo spider di evitare di indicizzare url il cui testo termini con una determinata stringa.
Ad esempio:

User-Agent: Yahoo! Slurp Disallow:/*.gif$

...indica a Yahoo di non indicizzare url che terminino con la parola .gif. Dunque in sostanza, nell'esempio in questione, si chiede a Yahoo di non indicizzare tutte le immagini grafiche di tipo GIF.

Ulteriori informazioni possono essere trovate sul blog ufficiale di Yahoo!

 

 

Articoli correlati: