Андрій Новосьолов (andrzejn) wrote,
Андрій Новосьолов
andrzejn

Опять с DDoSом проблемы...

igrick рассказывает, почему LJ опять плохо. К сожалению, рассказывает он это в том самом LJ, которому плохо, так что фиг прочитаешь. К счастью, я смог достать эту запись из кэша Яндекса. Вот копия:

За что? А пDDoSто так!

Folks, прошло достаточно времени для того, чтобы собрать необходимые данные и с уверенностью сделать из этого неутешительный вывод — к сожалению, это был и есть DDoS, причем такой мощности и характера, что до серверов LiveJournal он даже не дошел, т.е. магистральные провайдеры Qwest и Verizon, поставляющие услуги в дата-центр, где расположены наши сервера, не выдержали нагрузки, и весь дата-центр, т.е. не только LiveJournal, были отрезаны от мира как минимум на 5 часов. Не работала даже резервная консоль, которая позволила бы нам хоть как-то понять, что происходит с сетевым оборудованием (при этом данные пользователей по-прежнему надежно защищены ввиду архитектуры LiveJournal, за это можете не переживать), поэтому единственным источником информации для нас были вышеупомянутые провайдеры, отвечающие на наши вопросы, и не только наши, но и остальных клиентов, в стиле «we are experiencing network routing issues». Позднее был настроен и запущен DDoS Mitigation Protocol, по результатам которого стало видно, что трафик в нашу сторону составлял в среднем около 6 гигабит при пиках в 8 гигабит (напомню, в прошлые разы он составлял около 2-х гигабит в пике), что по всей видимости является потолком для Qwest и Verizon на данной площадке. При этом, как и в прошлый раз, никаких преференций с точки зрения атакуемых выбрано не было и «валят» весь LiveJournal.

Картинки с DDoS Mitigation Report от Verizon:

На данный момент этот протокол все еще в работе и площадку все еще атакуют, и именно работой этой системы и вызвана вся та нестабильность, которая сейчас проявляется при работе с LiveJournal. Но тут либо нестабильность, либо полный blackout (и опять же — не только для нас, но и для всей площадки), так что из двух зол мы выбрали меньшее.

Из того, что в отдельных случаях может не работать (например, на работе работает, а дома — нет):

  • отправка записей;
  • отправка комментариев;
  • изменение настроек;
  • новая авторизация;
  • регистрация;
  • добавление/удаление друзей;
  • и прочие операции, осуществляемые методом POST с более-менее весомым телом.

Из того, что мы делаем/сделали — c Апреля мы увеличили пропускную способность текущих каналов почти в два раза и даже успели прокопать третий, который в данный момент подключают. Производительность оборудования так же была увеличена в разы, и мы в процессе еще большего расширения. Mitigation протоколы настроены и включены.

В очередной раз надеюсь на понимание, терпение и непереключение.



[ DW ]
Tags: вот такое хреновое лето
Subscribe

  • Размер имеет значение

    Психанул и купил себе новый телефон, был Nous NS5006, стал Oukitel WP5 Pro. Старый отслужил уже пять лет и мог бы жить ещё, но в нём начинает…

  • Concerning Hobbits

    Давненько я сюда не постил своих фотографий. Киев, Воздвиженка, 18 апреля 2021, матча-латте, трубка. [ DW ]

  • Новые модельки

    Одно влечёт за собой другое. Повесил на стены новые часы – убрал на кухню с подоконника старые – на подоконнике стало пустовато – добавил к…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 8 comments