Bing spustil novou pomůcku na testování robots.txt. Oznámení v Bing Webmaster Tools makes it easy to edit and verify your robots.txt a samotnou pomůcku najdete na v Bing Webmaster Tools přes www.bing.com/webmasters/robotstxttester. Testovat můžete samozřejmě pouze vlastní weby, po přidání do Bing Webmaster Tools. Ne zcela jim to ale funguje.
Google vypustil do světa parser i specifikaci robots.txt jako Open Source a zároveň některé doposud existující součástí specifikace vypustil z důvodu nepoužívání či nadbytečnosti. Podrobnosti hledejte v Robots.txt Specifications, na GitHubu v google/robotstxt a v A note on unsupported rules in robots.txt (vypouští se hlavně noindex, nofollow a crawl-delay), Další vhodné čtení viz A deep…
Internet Archive má problémy s robots.txt. V praxi to znamená, že přestali robots.txt řešit pro americké vládní a vojenské weby a celé to ukazuje dlouhodobý problém s “archivací internetu”. Viz Robots.txt meant for search engines don’t work well for web archives a pokud netušíte k čemu že ten robots.txt je, tak zkuste robots.txt? K čemu…