gitlab をインストールしたら、クローラー設定を拒否しとこう
GitLabをオンプレミスでインストールするときは、たいてい他社・他人に見られたくないレポジトリだったりするので、存在を検索に出したくないので 念の為にクローラーを切っていおくのがいいと思う。
対象ファイル。
/opt/gitlab/embedded/service/gitlab-rails/public/robots.txt
takuya@:nginx$ sudo cat /opt/gitlab/embedded/service/gitlab-rails/public/robots.txt # See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file # # To ban all spiders from the entire site uncomment the next two lines: User-Agent: * Disallow: /
