# --------------- # Created by 1508 # --------------- # Hvilke crawlere maa ikke indeksere # googlebot, Roverdog, ia_archiver, * User-agent: * # Hvilke foldere maa ikke indekseres Disallow: /netupadm/ Disallow: /textversionII/ # Hvis enkelte filer ikke maa indekseres #Disallow: xxx.html