Метод Уровня 2 для питания и охлаждения: журналы, записи, тренды и владельцы
Собрать и совместить на одной временной шкале записи томографа, ИБП, чиллера, анализатора качества сети и логгеров помещения, отделить первую причину от её последствий и передать доказанную неисправность владельцу отказавшего звена с доказательствами, которые снимают вопрос.
Где заканчивается Уровень 1 и начинается Уровень 2
Уровень 1 дал вам карту: путь энергии от ввода до томографа, путь тепла от гентри или компрессора холодной головы до наружного конденсатора и привычку смотреть за пределы томографа, прежде чем его вскрывать. Эта привычка находит слабое звено во многих вызовах. На Уровень 2 приходят вызовы, где одной привычки мало: отключение случается дважды в неделю и никогда при вас, отказывают два звена сразу, или три стороны наперебой уверяют, что у них всё в порядке.
Работа Уровня 2 состоит из трёх шагов. Первый — доказать, какое звено отказало, записями, а не мнениями. Второй — пройти неисправность внутри этого звена до блока или детали, насколько позволяют ваша подготовка и допуск. Третий — передать остальное владельцу звена в такой форме, чтобы спорить было не о чем. Этот урок — о первом и третьем шаге; остальной курс — о втором, звено за звеном.
Пять источников доказательств и их слепые зоны
Журнал ошибок томографа вы знаете лучше всего, и о площадке он говорит меньше всего. Он сообщает, что почувствовал томограф: пропадание питания, предупреждение по температуре воды, остановку компрессора, аварию инвертора в собственном генераторе. Почему это произошло, он знает редко. На многих системах за первой записью, связанной с площадкой, идёт каскад вторичных ошибок: подсистемы одна за другой теряют питание или перегреваются, и самое громкое сообщение в конце каскада часто наименее полезно.
Журнал событий ИБП фиксирует смены режима: на батарею, на статический байпас, обратно на инвертор, перегрузки, выход входного напряжения или частоты за допуск, результаты теста батарей, аварии вентиляторов и по температуре. Его слабости — ограниченный буфер, который затирает самые старые события, часы, которые никто не выставлял, и расхождение между тем, что хранит передняя панель, и тем, что хранит сетевая карта или программа мониторинга. Некоторые предупреждения зажигают индикатор и вообще ничего не пишут в журнал. Сохраните журнал во всех видах, которые даёт ИБП, до того как кто-то сбросит аварию.
Контроллер чиллера хранит историю аварий: высокое и низкое давление, проток, антифриз или низкая температура воды, перегрузка компрессора, неисправности вентиляторов и датчиков. Одни контроллеры держат только активные аварии и теряют историю при снятии питания; другие отделяют настоящие срабатывания от предупреждений. Выясните, какой контроллер стоит у вас, и сфотографируйте экран аварий до того, как инженерная служба их сбросит.
Анализатор качества электроэнергии даёт то, чего не даёт ни один журнал: формы напряжения и тока на входе томографа с провалами, перенапряжениями, импульсами, гармониками и несимметрией, привязанными ко времени. Он видит только то, что происходит в точке подключения и пока идёт запись, поэтому его ценность решают место и длительность записи. Логгеры помещения и воды дают тренды температуры и влажности и часто оказываются единственным свидетелем того, что было ночью.
Добавьте шестой источник, который не прибор: людей. Рентгенлаборант, снявший на телефон мигающий индикатор ИБП, охранник, слышавший, как остановился чиллер, электрик, переключавший фидер в прошлый вторник. Спрашивайте рано, записывайте со временем и считайте это зацепкой, которую надо подтвердить записью.
Одна шкала времени из многих часов
Записи становятся доказательством, только когда у них общая шкала времени. Выберите одни опорные часы, например время сотовой сети или сервер времени больницы, и в день сбора журналов запишите смещение каждого прибора относительно них: томограф, ИБП, чиллер, анализатор, логгеры. Смещения в минуты — обычное дело; после долгого отключения прибор с севшей резервной батарейкой может уйти на годы. Пишите смещения прямо на шкале, чтобы следующему читателю не пришлось повторять вашу работу.
Затем составьте таблицу: время, источник, событие, значение. События всех приборов — в одном столбце времени. Отметьте разрешение каждого источника: ИБП, пишущий с точностью до секунды, и чиллер, пишущий с точностью до минуты, не докажут, кто был первым, если между событиями тридцать секунд. Когда порядок важен, а разрешения не хватает, судьёй становится анализатор или отдельный логгер.
Читайте таблицу по трём правилам. Причина идёт раньше следствия с учётом погрешности часов. Настоящая причина повторяется: одно совпадение доказывает мало, три события в одном порядке начинают что-то доказывать. И у причины обычно есть «доза»: отключения чаще в жаркие дни после обеда, на тяжёлых последовательностях или при пуске большого двигателя. Когда все три правила указывают в одну сторону, у вас есть гипотеза, достойная проверки; когда они расходятся — продолжайте запись.
Тренд важнее разового замера
Один замер, сделанный, когда неисправности нет, говорит лишь о том, что её нет. Неисправности инфраструктуры обычно развиваются днями или сезонами, и тренды показывают их задолго до отключения. Полезных трендов немного: температуры подачи и обратки и дельта на каждом контуре, давления в контурах, давление конденсации чиллера относительно уличной температуры, наработка компрессора, нагрузка ИБП и её пики, напряжения и внутреннее сопротивление блоков АКБ, температура и влажность помещений.
Сравнивайте сопоставимое. Давление конденсации ничего не значит без уличной температуры в тот же момент; нагрузка ИБП ничего не значит, если неизвестно, стоял томограф или шёл самый тяжёлый протокол. Записывайте условия вместе с каждым значением и сравнивайте с замерами, сделанными в похожих условиях.
Смотрите на форму изменения. Ступенька — показание сдвинулось сразу и так и осталось — указывает на событие: повернули клапан, изменили настройку, заменили насос, переподключили фазу. Ищите, что произошло в тот день. Медленный дрейф указывает на износ или загрязнение: забивается фильтр, зарастает конденсатор, изнашивается крыльчатка насоса, стареет батарейная линейка. Дрейф, который ускоряется, — это приближающийся отказ, и действовать надо до него.
Интерфейсы между зданием и томографом
Между инфраструктурой и томографом идут не только питание и вода, но и сигналы. Чиллер передаёт общую аварию сухим контактом на щит или на томограф; ИБП передаёт сигналы состояния, и некоторые томографы начинают управляемое выключение по сигналу «батарея разряжена»; цепь аварийного отключения проходит через несколько шкафов; блокировки по протоку и температуре останавливают компрессор или усилитель. На каждом таком пути есть реле, клеммы, кабели, а иногда и собственный маленький источник питания.
Когда две стороны расходятся, подозревайте путь между ними. Чиллер работает нормально, а томограф показывает его аварию; томограф выключается по разряду батареи, а ИБП показывает полные батареи — часто неисправен интерфейс: залипшее или сгоревшее реле, ослабшая клемма, контакт, перекинутый во время другой работы. Прочитайте схемы интерфейсов в монтажной документации, проверьте сигнал на каждом конце при безопасном состоянии систем и устраните неисправность в рамках, согласованных с владельцем. Никогда не перемыкайте сигнал интерфейса, чтобы погасить аварию: заглушённая авария никого не предупредит, когда придёт настоящая неисправность.
Владельцы, допуск и пакет доказательств
Уровень 1 требовал знать, кто владеет каждым звеном. На Уровне 2 надо знать ещё и что вам разрешено делать на каждом. Как правило, сервисный инженер томографа может читать дисплеи и журналы, измерять в безопасных контрольных точках подходящими приборами, осматривать, чистить фильтры и теплообменники, где это разрешает владелец, и сбрасывать аварии по документированной процедуре. Вскрытие холодильного контура, переключения в щитах здания, работа с сервисным байпасом ИБП и изменение уставок защит ИБП или чиллера — дело людей, обученных и допущенных к этому оборудованию. Вход в сервисное меню по паролю, который вам «подсказали», допуском не является.
Когда доказательства указывают за пределы вашей зоны, составьте пакет доказательств. Коротко и по фактам: симптом и его закономерность, шкала времени со смещениями часов, значения с условиями замера, что исключено и как, какое звено, по-вашему, отказало и почему, и какой вопрос вы задаёте владельцу. Приложите фото, файлы журналов и выдержки из записи анализатора. Отправьте письменно владельцу и в копию тем, кто решает об использовании томографа.
Хороший пакет превращает спор в работу. Подрядчик по чиллеру, получивший «температура подачи первичного контура поднималась выше допуска площадки за одиннадцать минут до каждой остановки компрессора, три раза за неделю, давление конденсации высокое для такой уличной температуры», не спорит — он везёт средство для мойки конденсатора.
- Сохраняйте каждый журнал до любого сброса, во всех форматах, которые даёт прибор.
- В день сбора записывайте смещение часов относительно одного эталона.
- С каждым значением записывайте условия: нагрузку, протокол, уличную и комнатную температуру.
- Ищите в трендах ступеньки и дрейф, а не только выход за предел.
- Проверяйте сигналы интерфейса на обоих концах, прежде чем винить одну из систем.
- Оставайтесь в пределах допуска; остальное отправляйте письменным пакетом доказательств.
Индикатор на ИБП, которого не видел журнал
На МРТ рентгенлаборанты раз за разом видели, как на передней панели ИБП загорается индикатор, и сняли его на телефон, потому что к приезду инженера он гас, а в журнале событий ИБП за эти моменты не было ничего. Сам томограф ошибок не выдавал. Коллеги, знавшие это семейство ИБП, узнали индикатор по видео: предупреждение линии байпаса о том, что её входные параметры вышли за границы, заданные в настройках ИБП. По их оценке, это не ошибка, и на онлайн-работу оно не влияет, потому что нагрузка шла через инвертор. Вероятный виновник — короткие броски тока, когда градиенты начинают тяжёлую последовательность или на той же линии стартует компрессор чиллера. Предложили либо оставить как есть, либо пересмотреть допуски байпаса вместе с сервисом ИБП.
Видео со временем — это доказательство. Сначала выясните, что означает индикатор, а потом уже считайте его неисправностью, и ищите нагрузку, которая с ним совпадает.
Чиллер починили, а авария осталась
Чиллер Aermec, охлаждающий МРТ, ушёл в аварию по высокому давлению. Причину устранили, чиллер запустился и работал нормально, но лампа аварии чиллера на щите климатического контроля МРТ продолжала гореть, и на объекте решили, что чиллер всё ещё неисправен. Инженеры сначала сбросили аварии на чиллере и уточнили, как на щите сбрасывается общая авария. Лампа не погасла. Неисправность оказалась ни в одной из машин: отказало реле между аварийными контактами чиллера и лампой щита. После его замены авария ушла. Коллеги добавили, что на этих чиллерах активные аварии сбрасываются с контроллера, а предупреждения остаются в журнале тревог как запись.
Когда одна сторона исправна, а другая продолжает показывать неисправность, проверьте путь сигнала между ними, прежде чем лезть в любую из машин.
Пищащий ИБП на удалённом объекте
На удалённом объекте с рабочей станцией лучевой диагностики постоянно пищал ИБП. Объект далеко, и первую версию обсуждали по телефону: севшая батарейка BIOS в АРМ лаборанта, которая даёт странное поведение при загрузке. Вопрос решила проверка самого ИБП. Его аккумулятор выработал ресурс, и писк был предупреждением именно об этом. Новый аккумулятор снял аварию. Время ушло только потому, что прибор, который шумел, проверили не первым.
Начинайте с прибора, который подаёт сигнал, с его собственного журнала или теста. Правдоподобная версия про соседа — не доказательство.
Чек-лист на объекте
- Соберите записи томографа, ИБП, чиллера и логгеров до сбросов.
- Составьте одну шкалу времени с источниками, разрешением и смещениями часов.
- Спросите персонал, что видели и слышали, и когда.
- Ведите тренды дельты, давлений, нагрузки ИБП, данных АКБ и климата.
- Проверяйте реле и контакты интерфейса на обоих концах.
- Отправляйте письменный пакет доказательств владельцу отказавшего звена.