Skip to content

Instantly share code, notes, and snippets.

@NikolasMelui

NikolasMelui/robots.html

Created June 9, 2018 09:47
Show Gist options

  • Select an option

    Learn more about clone URLs
  • Save NikolasMelui/65fcfaf08d01c3b00bdd5ffb296a1dec to your computer and use it in GitHub Desktop.

Select an option

Learn more about clone URLs
Save NikolasMelui/65fcfaf08d01c3b00bdd5ffb296a1dec to your computer and use it in GitHub Desktop.
Download ZIP

Revisions

  1. NikolasMelui created this gist Jun 9, 2018.
    15 changes: 15 additions & 0 deletions robots.html
    View file
    Original file line number Diff line number Diff line change
    @@ -0,0 +1,15 @@
    <!--
    /**
    *
    * НИМАНИЕ! АЖНО!!!
    * Эта строчка исключает сайт из индексации! Если кто-то по каким-то соображениям
    * вдруг решит его воскресить или задеплоить его лайвкопи,
    * удалите этот тег:
    * <meta name="robots" content="noindex,nofollow">
    * ...он чуть ниже, прямо под этим комментарием.
    * Мир тебе, о двуногий.
    * з.ы. и в файле robots.txt тоже нужно индексацию включить
    *
    */
    -->
    <meta name="robots" content="noindex,nofollow">
    4 changes: 4 additions & 0 deletions robots.txt
    View file
    Original file line number Diff line number Diff line change
    @@ -0,0 +1,4 @@
    User-agent: *
    Disallow: /
    Disallow: *
    Disallow: /*