AppleBot est un robot d'Apple qui a été officiellement dévoilé le 5 mai 2015 sur le site de la firme. Apple a édité un texte pour prévenir que les directives inscrites dans les fichiers robots.txt d'AppleBot suivent celle de GoogleBot si aucune contre-indication n'est fournie.
Voici la phrase exacte (traduite en français) :
Si les instructions pour les robots ne mentionnent pas AppleBot mais mentionnent GoogleBot, le robot d'Apple suivra les instructions de GoogleBot.
John Mueller a tout de suite relayé l'information sur son compte Google+ pour informer au mieux les webmasters. Il faut savoir que les autres robots d'indexation (BingBot, Slurp, BaiduSpider...) ne fonctionnent pas ainsi, ils se rangent derrière les directives générales (quand le "user-agent" est défini par le sélecteur universel "*") ou celles qui leur sont dédiées (quand le "user-agent" est leur propre nom).
Pour AppleBot, le fonctionnement identique, sauf si vous indiquer "user-agent: GoogleBot" dans vos directives de fichier robots.txt. Dans ce cas, le robot d'Apple suit le mouvement de GoogleBot. Ce type de pratique peut être utile notamment pour la lecture et l'indexation des liens profonds d'application, par exemple.