Запрет доступа к сайту ботам

Данный пример позволит отсечь наиболее популярных ботов, создающих избыточную и бесполезную нагрузку на ваш сайт.

В файле .htaccess в самом начале после строки:

RewriteEngine On

необходимо добавить:

RewriteCond %{HTTP_USER_AGENT} (SemrushBot|MJ12bot|AhrefsBot|bingbot|Pinterestbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|Uptimebot|Yahoo|StatOnlineRuBot|OdklBot|special_archiver|rogerbot|linkdexbot|SurveyBot|SeznamBot|ResearchBot|DeuSu|Wotbox|KomodiaBot|TarmotBot|DuckDuckGo-Favicons-Bot|Sogou|SiteExplorer|GrapeshotCrawler|zgrab|Krzana|Applebot|DataForSeoBot|Adsbot|RegmarketsBotXML|Miralinks|DuckDuckBot|BLEXBot) [NC]
RewriteRule .* - [F,L]

UPD: обновлено 09.05.2023