Robots Exclusion Protocol

Google Webmaster Central Blog 昨天發表了 Formalizing the Robots Exclusion Protocol Specification 這篇文章，介紹到 Robots Exclusion Protocol (REP) 這個正在標準化的草案，REP 其實就是已經被廣泛使用的 robots.txt 檔案，robots.txt 誕生至今已經 25 年了，當初是由 Martijn Koster 所設計，早期網路的東西基本上就是先做，設計的不錯大家就跟著抄，不一定會有什麼標準的文件，robots.txt 就是這樣其實一直都沒正式的標準文件，我以前還真的有懷……