在网站的根目录新建robots.txt文件，内容如下:
User-agent: * Disallow: /cgi-bin/ Disallow: /wp- Disallow: /rss.xml Disallow: /author/ Disallow: /page/ Disallow: /tag/ Disallow: */trackback/ Disallow: */feed/ Disallow: /.php$ Disallow: /.inc$ Disallow: /.js$ Disallow: /.css$ Disallow: /.cgi$ Disallow: /? Disallow: /?s= Sitemap: http://你的域名/sitemap.xml