Защо вашата SCADA система забавя по време на смяна на смяната — и как да го поправите

Скритият убиец на производителността във вашата контролна зала

Всяка смяна в производствено предприятие създава предвидима буря в производителността. Операторите влизат едновременно, потвърждават натрупани аларми и зареждат сложни обзорни дисплеи в един и същи момент. Вашият SCADA сървър отговаря със забавени обновявания на екрана, закъснели актуализации на тагове и замръзнали прозорци с трендове. Това не е хардуерен проблем. Това е проблем с управлението на натоварването.

Инсталациите на Honeywell Experion PKS в рафинерии и химически заводи постоянно срещат този модел. Архитектурата на сървъра Experion R500 разпределя споделени паметови пулове за едновременни клиентски сесии. Когато шест оператора влязат в системата в рамките на три минути, процесорът на сървъра достига 85–95% натоварване за до четири минути. Скоростта на сканиране на тагове пада от 500 ms до 2 000 ms. Операторите пропускат критични отклонения в процеса през този прозорец.

Първо, разберете, че този проблем е напълно предотвратим. Второ, решението не изисква никакви хардуерни ъпгрейди. Трето, решението е чисто конфигурационно и изисква оперативна дисциплина.

Основна причина 1: Едновременна инициализация на клиенти

Всяка клиентска работна станция на Experion PKS извършва пълно подписване на абонаменти при стартиране. Станцията заявява всички конфигурирани тагове за дисплей, зарежда таблици с обобщение на аларми и изтегля буфери с история на трендове. Една инициализация на клиент генерира приблизително 1 200 заявки за абонамент OPC DA към сървъра Experion.

Освен това, шест клиента, стартиращи в рамките на 90 секунди, произвеждат 7 200 едновременни заявки за абонамент. Experion Data Access Server (DAS) обработва тези заявки на опашка. Дълбочината на опашката надвишава 5 000 елемента. Закъснението на отговора надвишава 1 500 ms на таг. Операторът вижда замръзнали дисплеи.

Основна причина 2 усложнява този проблем. Операторите потвърждават всички непотвърдени аларми от предишната смяна през първите пет минути. Всяко потвърждение записва времева отметка, ID на оператора и промяна на състоянието в базата данни за аларми и събития. Тежки натрупвания на аларми — 200 или повече непотвърдени аларми — създават 200 последователни транзакции в базата данни в рамките на минути. Времето за изчакване на I/O на SQL Server надвишава 40 ms на транзакция. Honeywell CC-PDIL01 Digital Input Module и подобни полеви I/O карти подават непрекъснати данни за промени на състоянието в този поток от аларми.

Основна причина 3 е автоматизираният отчет за смяна. Модулите Alarm Summary и Production Accounting на Experion генерират отчети в края на смяната чрез заявки за 8–12 часа исторически данни. Този процес изпълнява едновременни операции за четене в базата данни срещу същия SQL Server, който обработва записите за потвърждаване на аларми. Конфликтът между четене и запис спира и двата процеса.

Диагностични стъпки: Определете точното си задръстване преди да го отстраните

Не гадайте. Измерете първо. Използвайте Windows Performance Monitor на сървъра Experion по време на следващата смяна. Заснемете четири брояча едновременно през целия 10-минутен прозорец на предаване.

• Стъпка 1: Отворете Performance Monitor. Добавете брояч: Processor — % Processor Time — _Total. Задайте интервал на пробата на 5 секунди.
• Стъпка 2: Добавете брояч: PhysicalDisk — Avg. Disk Queue Length. Стойности над 2,0 показват задръстване при дисков I/O.
• Стъпка 3: Добавете брояч: SQL Server:Buffer Manager — Page life expectancy. Стойности под 300 секунди показват натиск върху паметта на историческата база данни.
• Стъпка 4: Добавете брояч: Network Interface — Bytes Total/sec. Сравнете със скоростта на вашия порт на суича. Стойности над 70% от капацитета на порта показват наситеност на мрежата.
• Стъпка 5: Отворете Experion Station Performance Monitor. Навигирайте до Server — Diagnostics — DAS Queue Depth. Запишете пиковата дълбочина на опашката по време на смяната.
• Стъпка 6: Експортирайте Experion Alarm Journal за периода на смяната. Пребройте транзакциите за потвърждаване на аларми на минута. Повече от 30 транзакции на минута показват задръстване в натрупването на аларми.

Следователно вече имате точен профил на производителността. Съпоставете измереното задръстване с правилното решение в следващия раздел.

Конфигурационни решения: Насочете се директно към всяка основна причина

Решение 1 адресира едновременния вход на клиенти. Въведете разпределен график за влизане. Определете на всяка операторска работна станция прозорец за влизане. Станция 1 влиза в началото на смяната. Станция 2 влиза в началото на смяната плюс 3 минути. Станция 3 влиза в началото на смяната плюс 6 минути. Това разпределя натоварването на DAS абонаментите в рамките на 9 минути. Пиковата дълбочина на опашката на DAS пада от 7 200 на 1 200 заявки.

Решение 2 адресира конфликта при генериране на отчет за смяна. В Experion Configuration Studio отидете на Scheduling — Automated Tasks. Преместете всички задачи за генериране на отчети за смяна на началото на смяната плюс 45 минути. Това отделя заявките към базата данни за отчетите от записите за потвърждаване на аларми с 45-минутен буфер. Времето за изчакване на I/O на SQL Server се връща към базовите нива под 8 ms.

Решение 3 цели натрупването на аларми. Въведете стандартна оперативна процедура, изискваща операторите да потвърждават алармите в реално време по време на смяната си. Максимален праг за непотвърдени аларми: 15 аларми в края на смяната. Конфигурирайте функцията Alarm Shelving на Experion за досадни аларми с честота над 1 на 10 минути. Shelving изисква документация по ISA-18.2 — създайте запис за рационализация на алармата за всяка поставена на пауза аларма. Honeywell C300 Controller поддържа конфигурация на приоритет на аларми директно на контролера, за да намали натоварването на сървъра нагоре по веригата.

Решение 4 оптимизира конфигурацията на SQL Server за Experion. Задайте Max Server Memory на SQL Server на общата RAM минус 4 GB. За сървър с 32 GB RAM задайте Max Server Memory на 28 672 MB. Активирайте instant file initialization на SQL Server, за да елиминирате забавянията при нулиране при разрастване на файлове с данни. Задайте предварителното разрастване на файла с исторически данни на Experion на 512 MB. Това предотвратява събития за разрастване на файлове по време на операция, които спират транзакциите.

Оптимизация на мрежата и дисплея

Въпреки това, само конфигурационните решения може да не решат всички проблеми с производителността, ако вашата контролна мрежа носи тежък трафик на излъчване по време на смяна. Сегментирайте мрежата на клиентите на Experion с помощта на управлявани суичове с VLAN конфигурация. Поставете всички операторски работни станции в VLAN 10. Поставете сървъра Experion в VLAN 20. Конфигурирайте междувланово маршрутизиране само за необходимите комуникационни портове на Experion: TCP 55555 за Experion Station, TCP 1433 за достъп до SQL Server историка, UDP 5001 за DDE/OPC мост. Honeywell CC-KREBR5 Control Firewall Module осигурява хардуерно ниво на сегментация на мрежата между процесната контролна мрежа и инфраструктурата на корпоративните VLAN.

Дизайнът на дисплея също допринася за натоварването при смяна. Сложни обзорни екрани P&ID с 500 или повече динамични обекта генерират 500 отделни заявки за абонамент на тагове при всеки цикъл на обновяване. Преработете обзорните дисплеи да показват максимум 200 динамични обекта. Използвайте концепцията Level 1 overview на Experion — показвайте само критични променливи на процеса на първия зареден екран. Операторите достъпват подробни P&ID само при поискване.

Освен това конфигурирайте предварително зареждане на дисплеите на Experion станциите. Задайте началния дисплей на станцията на лек статусен екран с по-малко от 50 динамични обекта. Това намалява първоначалното натоварване от абонаменти с 80% в сравнение с пълно зареждане на P&ID при стартиране. Honeywell I/O Chassis инфраструктурата, поддържаща тези дисплеи, се възползва директно от намалената честота на опитване по време на оптимизираната последователност на стартиране.

Заключение и препоръки за действие

Забавянията на SCADA при смяна са решим инженеринг проблем. Първо, измерете реалното си задръстване с Performance Monitor преди да променяте каквато и да е конфигурация. Второ, въведете разпределен график за влизане, за да разпределите натоварването на DAS абонаментите. Трето, отложете генерирането на отчетите за смяна с 45 минути след началото на смяната. Четвърто, наложете практики за потвърждаване на аларми в реално време, за да предотвратите наводнения от аларми в края на смяната.

Специално за Honeywell Experion PKS: задайте Max Server Memory на SQL Server на общата RAM минус 4 GB, активирайте instant file initialization и преработете обзорните дисплеи до по-малко от 200 динамични обекта. Тези четири действия последователно намаляват пиковете на CPU при смяна от 90% до под 55% в полеви реализации. Операторите получават надежден отговор на дисплея в рамките на 30 секунди след влизане, вместо да чакат четири минути. Този прозорец е важен — смущенията в процеса по време на предаване на смяна причиняват 23% от събитията с аномалии според данните от анализа на инциденти ISA-18.2.

Започнете с диагностичните стъпки в раздел две. Изпълнете една пълна смяна с активиран Performance Monitor. Вашите данни ще ви кажат точно кое решение да приложите първо.