Quote:
25-03-2024 16:23
Да, там похоже поисковые роботы (а может и не роботы) активно что-то индексируют
Постоянно идут запросы к базе и проц стал почти на 100% загружен
Пытаюсь разгрести дела, чтобы найти время это как-то решить
|
Думал я мы решили проблему с производительностью, но вы не поверите : CPU сервера камрада последние 12 часов опять был загружен
(ещё не самые максимальные значения load average: 3.89 3.26 .2.87)
От такого замеса я немного прихренел и начал рыться в логах веб-сервера.
В итоге выяснилось что помимо остальных поисковых ботов, нас с особой активностью краулил SemrushBot, который обслуживает одноимённый SEO сервис.
Уже хотел блокировать соответствующие подсети, так как он что-то не хотел реагировать на блокировку в robots.txt
Но, в итоге он, похоже, всё понял и наконец свалил.... загрузка сервера вернулась в норму
load average: 0.24 0.57 0.67
P.S. : эта запись для протокола