# robots.txt for http://www.union-basel.ch/ User-agent:* Disallow:/admin/ # Massendownloader vom CGI Verzeichnis fernhalten # wget rausnehmen für eventuellen backup zu tun User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy php,asp,asp-net,javascript,dhtml,mysql,sql,vbscript