Люди которые тут зависали 20 лет назад

[William Wolos]

25-03-2024 16:23
Да, там похоже поисковые роботы (а может и не роботы) активно что-то индексируют
Постоянно идут запросы к базе и проц стал почти на 100% загружен
Пытаюсь разгрести дела, чтобы найти время это как-то решить

Думал я мы решили проблему с производительностью, но вы не поверите : CPU сервера камрада последние 12 часов опять был загружен (ещё не самые максимальные значения load average: 3.89 3.26 .2.87)

От такого замеса я немного прихренел и начал рыться в логах веб-сервера.
В итоге выяснилось что помимо остальных поисковых ботов, нас с особой активностью краулил SemrushBot, который обслуживает одноимённый SEO сервис.
Уже хотел блокировать соответствующие подсети, так как он что-то не хотел реагировать на блокировку в robots.txt
Но, в итоге он, похоже, всё понял и наконец свалил.... загрузка сервера вернулась в норму load average: 0.24 0.57 0.67


P.S. : эта запись для протокола