Предыстория: в середине лета наша команда DBA взяла на поддержку больше 30 серверов баз данных MySQL одного известного в России маркетплейса. Знакомство было интересным, масса нестандартных задач. Все благодаря тому, что обслуживанием серверов до нашего вмешательства занимались мало или не занимались в принципе, а в случае возникновения проблем заливали сервера ресурсами.
В первую очередь я хочу рассказать о проблеме, с которой столкнулась наша команда во время проведения аудита серверов баз данных. Забегая вперед, до конца не удалось разгадать всех премудростей этого чудного бага (но мы стараемся).
В группе из пятнадцати серверов СУБД, где находились базы данных ПВЗ, отличительно выделялись шесть, по хронологии событий, созданных позже остальных, на которых служба mysqld ежедневно отправлялась в рестарт в хаотичном порядке на протяжении длительного времени. Сильных проблем это не доставляло, но это можно считать большой удачей. Если бы кластер баз данных развалился, больше 100 ПВЗ не смогли бы работать продолжительное время (представьте какой хаос мог бы начаться в обществе
