Djangorobots.txt, クローラー

今回やること

クローラーにトップページのみを読み込ませ、バックの管理画面などは読み込ませないようにします。
また、Djangoにrobots.txtを設置し、Nginxでrobots.txtのエイリアス設定を行います。