Search engine network IP range and CIDR mask list

article Список IP диапазонов и CIDR масок принадлежащих поисковым системам будет в первую очередь полезен веб-мастерам и системных администраторам, например для добавления их в исключения.

Диапазон IP-адресов поисковых роботов пригодится в случае если Вы защищаетесь от набегов татаро-монгольских хакеров при помощи iptables, ModSecurity или Fail2Ban.

Yandex network IP range and CIDR mask

  • 5.255.253.0 - 5.255.253.255 (Russian Federation)
    5.255.253.0/24
  • 77.88.21.0 - 77.88.21.255 (Russian Federation)
    77.88.21.0/24
  • 87.250.224.0 - 87.250.224.255 (Russian Federation)
    87.250.224.0/24
  • 95.108.138.0 - 95.108.138.255 (Russian Federation)
    95.108.138.0/24
  • 93.158.134.0 - 93.158.134.255 (Russian Federation)
    93.158.134.0/24
  • 213.180.193.0 - 213.180.193.255 (Russian Federation)
    213.180.193.0/24
  • 213.180.204.0 - 213.180.204.255 (Russian Federation)
    213.180.204.0/24

Google network IP range and CIDR mask

  • 8.35.200.0 - 8.35.207.255 (USA - California)
    8.35.200.0/21
  • 64.68.80.0 - 64.68.87.255 (USA - California)
    64.68.80.0/21
  • 64.233.160.0 - 64.233.191.255 (USA - California)
    64.233.160.0/19
  • 66.102.0.0 - 66.102.15.255 (USA - California)
    66.102.0.0/20
  • 66.249.64.0 - 66.249.95.255 (USA - California)
    66.249.64.0/19
  • 72.14.192.0 - 72.14.255.255 (USA - California)
    72.14.192.0/18
  • 74.125.0.0 - 74.125.255.255 (USA - California)
    74.125.0.0/16
  • 173.194.0.0 - 173.194.255.255 (USA - California)
    173.194.0.0/16
  • 209.85.128.0 - 209.85.255.255 (USA - California)
    209.85.128.0/17
  • 216.73.80.0 - 216.73.95.255 (USA - Colorado)
    216.73.80.0/20
  • 216.239.32.0 - 216.239.63.255 (USA - California)
    216.239.32.0/19

Mail.ru network IP range and CIDR mask

  • 94.100.176.0 - 94.100.183.255 (Russian Federation)
    94.100.176.0/21
  • 94.100.184.0 - 94.100.191.255 (Russian Federation)
    94.100.184.0/21
  • 128.140.168.0 - 128.140.171.255 (Russian Federation)
    128.140.168.0/22
  • 185.5.136.0 - 185.5.137.255 (Russian Federation)
    185.5.136.0/23
  • 195.218.168.0 - 195.218.168.255 (Russian Federation)
    195.218.168.0/24
  • 217.69.128.0 - 217.69.135.255 (Russian Federation)
    217.69.128.0/21

Baidu network IP range and CIDR mask

Встречайте байиду:))

  • 61.135.0.0 - 61.135.255.255 (China)
    61.135.0.0/16
  • 123.125.114.0 - 123.125.114.255 (China)
    123.125.114.0/24
  • 119.63.192.0 - 119.63.199.255 (Japan)
    119.63.192.0/21
  • 119.75.208.0 - 119.75.223.255 (China)
    119.75.208.0/20
  • 180.76.0.0 - 180.76.255.255 (China)
    180.76.0.0/16
  • 202.108.0.0 - 202.108.255.255 (China)
    202.108.0.0/16
  • 220.181.0.0 - 220.181.255.255 (China)
    220.181.0.0/16

Bing network IP range and CIDR mask

  • 204.79.195.0 - 204.79.197.255
    204.79.195.0/24
    204.79.196.0/23

Yahoo network IP range and CIDR mask

  • 67.195.0.0 - 67.195.255.255 (USA - California)
    67.195.0.0/16
  • 69.147.64.0 - 69.147.127.255 (USA - California)
    69.147.64.0/18
  • 87.248.112.0 - 87.248.113.255 (United Kingdom)
    87.248.112.0/23
  • 98.136.0.0 - 98.139.255.255 (USA - California)
    98.136.0.0/14
  • 206.190.32.0 - 206.190.63.255 (USA - California)
    206.190.32.0/19

Rambler network IP range and CIDR mask

  • 81.19.64.0 - 81.19.66.255 (Russian Federation)
    81.19.64.0/23
    81.19.66.0/24
  • 81.19.67.0 - 81.19.68.255 (Russian Federation)
    81.19.67.0/24
    81.19.68.0/24
  • 81.19.70.0 - 81.19.70.255 (Russian Federation)
    81.19.70.0/24
  • 81.19.88.0 - 81.19.88.255 (Russian Federation)
    81.19.88.0/24
  • 81.19.64.0 - 81.19.95.255 (Russian Federation)
    81.19.64.0/19

LiveInternet network IP range and CIDR mask

  • 88.212.202.0 - 88.212.202.63 (Russian Federation)
    88.212.202.0/26
  • 88.212.196.64 - 88.212.196.127 (Russian Federation)
    88.212.196.64/26

Webalta network IP range and CIDR mask

  • 77.91.224.0 - 77.91.231.255 (Russian Federation)
    77.91.224.0/21

Meta.ua network IP range and CIDR mask

  • 194.0.131.0 - 194.0.131.255 (Ukraine)
    194.0.131.0/24

Это далеко не полный список "поисковых ботов", более полный перечень можно черпнуть в Категория:Поисковые системы — Википедия или в английском исполнении Category:Internet search engines - Wikipedia, the free encyclopedia

Выше перечислены диапазоны ИП адресов основных поисковых роботов, главными среди которых являются Google, Yandex и Bing - остальные так себе и часто их результаты базируются на БД Google, Yandex и Bing, примером такого "поисковика" может быть http://www.metacrawler.com/.

Как узнать IP диапазон поисковой системы?

Для того чтобы узнать IP диапазон поисковой системы можно воспользоваться утилитой nslookup:

nslookup -type=txt google.com
Server:  localhost
Address:  127.0.0.1
 
Non-authoritative answer:
google.com      text =
 
        "v=spf1 include:_spf.google.com ip4:216.73.93.70/31 ip4:216.73.93.72/31
~all"
 
nslookup google.com
Server:  localhost
Address:  127.0.0.1
 
Non-authoritative answer:
Name:    google.com
Addresses:  173.194.39.167, 173.194.39.169, 173.194.39.165, 173.194.39.174
          173.194.39.160, 173.194.39.161, 173.194.39.168, 173.194.39.162, 173.19
4.39.163
          173.194.39.164, 173.194.39.166

Хотя такой способ и не всегда "канает", например nslookup для webalta.ru покажет нам, что сайт расположен в диапазоне 212.7.192.0-212.7.223.255 (Netherlands), который принадлежит "Dediserv Dedicated Servers Sp. z o.o." (dediserv.eu), а боты ходят с 77.91.224.0/21.

Ссылки по теме:


Добавить комментарий


Защитный код
Обновить

no-script
[ Подробнее... ]
13.25 megabytes