Krah performansi SCADA sistema pri smeni: Dijagnostika istovremenog skoka opterećenja na GE HMI i Honeywell Experion

Alarm Management, DCS, GE Proficy iFIX, HMI Performance, Honeywell Experion PKS, Industrial Automation, Root Cause Analysis, SCADA, Shift Change
%Б %д, %И

SCADA Performance Collapse at Shift Change: Diagnosing the Concurrent Load Spike on GE HMI and Honeywell Experion

Simptom: SCADA se zamrzava samo tokom smenske primopredaje

Operateri prijavljuju da SCADA sistem postaje nereagujući tokom promene smene. Grafičke stranice se sporo učitavaju. Potvrde alarma traju 5–10 sekundi. Vrednosti oznaka se na trenutak zamrzavaju na prikazima trendova. PLC nastavlja da radi normalno. Poljski instrumenti prikazuju tačne vrednosti. Zamrzavanje se rešava samo od sebe nakon 15–20 minuta.

Ovaj obrazac ukazuje na skok opterećenja na serverskoj strani, a ne na problem u komunikaciji sa poljem. GE HMI Proficy iFIX sistem i Honeywell Experion PKS oba imaju ovaj problem kada se više događaja poklopi na granici smene. Razumevanje svakog događaja pomaže u izolaciji dominantnog uzroka.

Osnovni uzrok 1: Istovremeni restart radne stanice i ponovna pretplata na oznake

Tokom promene smene, operater koji odlazi zatvara SCADA aplikaciju. Operater koji dolazi pokreće je iznova. Na GE HMI Proficy iFIX, svaki restart radne stanice pokreće potpuno preuzimanje pretplate na oznake sa SCADA servera. Ako se 8 radnih stanica restartuje u roku od 2 minuta, server obrađuje 8 istovremenih zahteva za pretplatu.

Svaka pretplata uključuje upit baze podataka, pronalaženje oznaka i podešavanje rutiranja podataka u realnom vremenu. GE Proficy Cim-Manager servis obrađuje ove zahteve. Pod velikim opterećenjem, dubina reda premašuje limit bafera. Novi zahtevi za pretplatu čekaju u redu. Kašnjenje se manifestuje kao sporo učitavanje grafike na klijentskoj strani.

Rešenje: Konfigurišite radne stanice da koriste nastavak aplikacije umesto potpunog restarta. U Proficy iFIX, podesite opciju Auto-Resume u svojstvima iFIX radnog prostora. Ovo ponovo koristi postojeće pretplate na oznake umesto da ih ponovo gradi od nule. Vreme pokretanja se smanjuje sa 45 na ispod 10 sekundi.

Osnovni uzrok 2: Iznenadni nalet potvrda alarma i oluja upisa u bazu podataka

Tokom primopredaje, operater koji odlazi potvrđuje nagomilane alarme. Tipična smena generiše 200–400 alarmnih događaja. Ako 80% ostane nepotvrđeno, operater koji dolazi potvrđuje ih u seriji. Svaka potvrda generiše transakciju u bazi podataka koja beleži ime operatera, vremensku oznaku, ID alarma i komentar.

U Honeywell Experion PKS, alarmni događaji se upisuju u Alarm Database (ADB). Svaki upis zahteva ažuriranje indeksa. Pod naletom opterećenja, red za ažuriranje indeksa raste brže nego što disk I/O može da obradi. Experion Alarm Server odgovara sa povećanim kašnjenjem. Alarmni iskačući prozori se pojavljuju sa zakašnjenjem od 3–5 sekundi. Naše Honeywell kontrolerske modul kartice i C300 sistemski delovi su dizajnirani da održavaju stabilnost pod ovim uslovima opterećenja.

Na GE Proficy iFIX, potvrde alarma se upisuju u istorijsku bazu preko SCU (System Configuration Utility). Ako je historian na istom serveru, konkurencija za disk I/O se pogoršava. Proficy Process Historian može izgubiti podatke tokom ovog perioda.

Rešenje: Omogućite odlaganje alarma za alarme niskog prioriteta pre kraja smene. U Experion PKS, konfigurišite funkciju odlaganja alarma u kartici Alarm Configuration. Odložite do 50% nepotvrđenih alarma niskog prioriteta. Ovo smanjuje nalet potvrda eliminisanjem ne-kritičnih događaja.

Osnovni uzrok 3: Automatska generacija smenskih izveštaja i preopterećenje upitima

Obe SCADA platforme, GE i Honeywell, podržavaju automatsku generaciju izveštaja u zakazano vreme. Uobičajeni smenski izveštaji uključuju ukupne proizvodne količine, sažetke zastoja, statistiku alarma i potrošnju energije. Ovi izveštaji izvlače podatke iz istorijske baze za hiljade tačaka podataka.

Ako se mehanizam za generisanje izveštaja izvršava na SCADA serveru, on se takmiči za CPU i disk resurse sa operacijama u realnom vremenu. Tipičan upit smenskog izveštaja na GE Proficy Process Historian traje 8–12 sekundi. Tokom tog perioda, SCADA server ima smanjeni kapacitet za ažuriranje oznaka i obradu alarma.

U Honeywell Experion PKS, Reports Workstation generiše izveštaje preko Experion Reports Servera. Ako Reports Workstation deli isti server sa Experion Application Serverom, opterećenje upita pogoršava performanse u realnom vremenu. Server Health Monitor pokazuje skok CPU opterećenja do 85–95% tokom generisanja izveštaja.

Rešenje: Zakazujte smenske izveštaje da se pokreću 10 minuta nakon promene smene, a ne tačno u vreme primopredaje. Ovo odvaja upit izveštaja od naleta potvrda alarma. Proverite raspored u Experion Report Designer-u ili Proficy Process Historian planer izveštaja.

Postupak dijagnostike korak po korak

Kada dođe do zamrzavanja, odmah prikupite dijagnostičke podatke. Nemojte čekati sledeću smenu.

Korak 1: Otvorite Windows Task Manager na SCADA serveru. Zabeležite upotrebu CPU, memorije i dužinu reda za disk. Identifikujte da li je usko grlo CPU, RAM ili disk I/O.
Korak 2: Proverite Windows Event Viewer za neuspehe upisa u bazu ili isteke vremena servisa. Potražite Event ID 833 (prekoračenje latencije baze) u Experion logovima ili Event ID 4096 u Proficy iFIX logovima.
Korak 3: Pregledajte broj pretplata na oznake u SCADA sistemu. U Experion PKS koristite Station Manager za prikaz statistike aktivnih pretplata. U GE Proficy iFIX koristite ekran System Diagnostics za proveru dubine reda Cim-Managera.
Korak 4: Pregledajte alarmni dnevnik za obrazac naleta. Izbrojte broj potvrda alarma u roku od 5 minuta oko promene smene. Ako broj prelazi 50 po minutu, oluja upisa u bazu je dominantan uzrok.
Korak 5: Proverite raspored generisanja izveštaja. Potražite izveštaje podešene da počnu u vreme promene smene. Pomaknite vreme početka za 10–15 minuta da smanjite preklapanje.

Zaključak i preporuke za akciju

Pad performansi SCADA sistema pri promeni smene nastaje zbog tri istovremena događaja. Prvo, radne stanice se restartuju i istovremeno ponovo pretplaćuju na sve oznake. Drugo, operateri potvrđuju nagomilane alarme u seriji, stvarajući oluju upisa u bazu podataka. Treće, automatski smenski izveštaji izvlače podatke iz istorijske baze u vršnom opterećenju.

Na GE HMI Proficy iFIX, omogućite Auto-Resume da eliminišete potpuno ponovno građenje pretplata. Na Honeywell Experion PKS, omogućite odlaganje alarma i pomerite izveštaje da se pokreću 10 minuta nakon promene smene. Obe platforme imaju koristi od premještanja istorijske baze na poseban server. Ovo odvaja obradu oznaka u realnom vremenu od opterećenja upita izveštaja. Pouzdani Honeywell I/O moduli osiguravaju integritet podataka sa terena čak i tokom skokova opterećenja na serverskoj strani.

Dokumentujte dijagnostičke nalaze u CMMS postrojenja. Kreirajte proceduru za performanse pri promeni smene koja raspoređuje tri događaja opterećenja u roku od 30 minuta. Pratite rezultate dve nedelje. Ako upotreba CPU i dalje prelazi 80% tokom promene smene, razmotrite nadogradnju SCADA servera ili dodavanje drugog servera za raspodelu opterećenja.