Nederlander bedacht robotwerend bestandje 25 jaar terug

Formeel gaat het om het Robots Exclusion Protocol (REP). Website-eigenaren kunnen met het bestandje robots.txt dat in de root van de website staat, aangeven welke pagina's wel en niet geïndexeerd mogen worden door webcrawlers van zoekmachines. Martijn Koster was de grondlegger van het protocol in 1994.

Hoewel veel gebruikt, is het REP nooit in een standaard opgenomen. Dat zorgde ervoor dat er verschillende interpretaties van het protocol werden gehanteerd, zodat het voor website-exploitanten lastig is de regels zo te formuleren dat ook alle webcrawlers er correct mee omgaan.

Google heeft nu een concept voor de documentatie van REP gemaakt en dat ingediend bij de Internet Engineering Task Force (IETF). Buiten de originele regels die Martijn Koster in 1994 opstelde heeft Google er een aantal nieuwe regels aan toegevoegd zodat de werking wordt uitgebreid naar FTP en het Constrained Application Protocol (CoAP), een protocol speciaal bedoeld voor het Internet of Things en Machine tot Machine communicatie.

Zoekmachinepionier Martijn Koster

Martijn Koster heeft veel werk verzet in de ontwikkeling van zoekmachines. Hij ontwierp zelfs de eerste zoekmachine op internet - genaamd Aliweb (Archie Like Indexing for the WEB)- in 1993 en presenteerde deze op de  First International Conference on the World Wide Web in mei 1994. Inmiddels werkt Koster bij Google.