Micolog是没有robot.txt的，可以当搜索引擎访问robot.txt时，总是会产生404错误。

闲着没事加上robots.txt。

做法如下

1.在static目录下创建robots.txt文件，内容如下

User-agent: *
Crawl-delay: 10

Disallow: /admin/
Disallow: /rpc/
Disallow: /myadmin/

也可以直接下载我的robots.txt。

2.编辑app.yaml文件，在- url: /favicon\.ico的后面加上，下面两行记得加缩进，tinymce 自动把每行前面对空格删除了。

- url: /robots\.txt
static_files: static/robots.txt
upload: static/robots.txt

3.上传就ok了。