Krah performansi SCADA sustava pri smjeni: Dijagnosticiranje istovremenog skoka opterećenja na GE HMI i Honeywell Experion

Simptom: SCADA se zamrzava samo tijekom primopredaje smjene
Operateri prijavljuju da SCADA sustav postaje neodgovarajući tijekom promjene smjene. Grafičke stranice se sporo učitavaju. Potvrde alarma traju 5–10 sekundi. Vrijednosti oznaka na prikazima trendova na trenutak se zamrznu. PLC nastavlja normalno raditi. Poljski instrumenti prikazuju ispravne vrijednosti. Zamrzavanje se samo od sebe riješi nakon 15–20 minuta.
Ovaj obrazac ukazuje na vršni opterećenje na strani poslužitelja, a ne na problem komunikacije s poljem. Sustavi GE HMI Proficy iFIX i Honeywell Experion PKS oba imaju ovaj problem kada se više događaja poklopi na granici smjene. Razumijevanje svakog događaja pomaže izolirati dominantni uzrok.
Osnovni uzrok 1: Istovremeni ponovni start radne stanice i ponovno pretplaćivanje na oznake
Tijekom promjene smjene, operater koji odlazi zatvara SCADA aplikaciju. Operater koji dolazi pokreće je iznova. Na GE HMI Proficy iFIX, svaki ponovni start radne stanice pokreće potpuno preuzimanje pretplate na oznake sa SCADA poslužitelja. Ako se 8 radnih stanica ponovno pokrene unutar 2 minute, poslužitelj obrađuje 8 istovremenih zahtjeva za pretplatu.
Svaka pretplata uključuje upit u bazu podataka, pronalazak oznaka i postavljanje usmjeravanja podataka u stvarnom vremenu. GE Proficy Cim-Manager servis obrađuje te zahtjeve. Pod velikim opterećenjem, dubina reda premaši granicu međuspremnika. Novi zahtjevi za pretplatu čekaju u redu. Kašnjenje se očituje kao sporo učitavanje grafike na klijentskoj strani.
Rješenje: Konfigurirajte radne stanice da koriste nastavak aplikacije umjesto potpunog ponovnog pokretanja. U Proficy iFIX-u, postavite opciju Auto-Resume u svojstvima iFIX radnog prostora. Time se ponovno koriste postojeće pretplate na oznake umjesto da se one grade iznova. Vrijeme pokretanja pada s 45 sekundi na manje od 10 sekundi.
Osnovni uzrok 2: Iznenadni val potvrda alarma i oluja zapisa u bazu podataka
Tijekom primopredaje, operater koji odlazi potvrđuje nagomilane alarme. Tipična smjena generira 200–400 alarmnih događaja. Ako 80% ostane nepotvrđeno, operater koji dolazi potvrđuje ih u seriji. Svaka potvrda generira transakciju u bazi podataka koja bilježi ime operatera, vremensku oznaku, ID alarma i komentar.
U Honeywell Experion PKS, alarmni događaji se zapisuju u Alarm Database (ADB). Svaki zapis zahtijeva ažuriranje indeksa. Pod naletom opterećenja, red za ažuriranje indeksa raste brže nego što disk I/O može obraditi. Experion Alarm Server reagira povećanom latencijom. Alarmni skočni prozori pojavljuju se s kašnjenjem od 3–5 sekundi. Naše Honeywell kartice modula kontrolera i C300 sustavni dijelovi dizajnirani su za održavanje stabilnosti pod ovim uvjetima opterećenja.
Na GE Proficy iFIX, potvrde alarma se zapisuju u povijesnu bazu podataka preko SCU (System Configuration Utility). Ako je povijesna baza na istom poslužitelju, natjecanje za disk I/O se pogoršava. Proficy Process Historian može izgubiti podatke tijekom ovog razdoblja.
Rješenje: Omogućite odlaganje alarma za alarme niskog prioriteta prije kraja smjene. U Experion PKS, konfigurirajte značajku odlaganja alarma u kartici Alarm Configuration. Odložite do 50% nepotvrđenih alarma niskog prioriteta. Time se smanjuje val potvrda eliminiranjem nevažnih događaja.
Osnovni uzrok 3: Automatska generacija izvještaja o smjeni i preopterećenje upita
Obje SCADA platforme, GE i Honeywell, podržavaju automatsku generaciju izvještaja u zakazano vrijeme. Uobičajeni izvještaji o smjeni uključuju ukupne proizvodne količine, sažetke zastoja, statistiku alarma i potrošnju energije. Ti izvještaji upitavaju povijesnu bazu podataka za tisuće podataka.
Ako se motor za generiranje izvještaja pokreće na SCADA poslužitelju, on se natječe za CPU i disk resurse s operacijama u stvarnom vremenu. Tipični upit izvještaja o smjeni na GE Proficy Process Historian traje 8–12 sekundi. Tijekom tog razdoblja, SCADA poslužitelj ima smanjeni kapacitet za ažuriranje oznaka i obradu alarma.
U Honeywell Experion PKS, Reports Workstation generira izvještaje preko Experion Reports Servera. Ako Reports Workstation dijeli isti poslužitelj s Experion Application Serverom, opterećenje upita pogoršava performanse u stvarnom vremenu. Server Health Monitor pokazuje skok CPU opterećenja na 85–95% tijekom generiranja izvještaja.
Rješenje: Zakazujte izvještaje o smjeni da se pokreću 10 minuta nakon promjene smjene, a ne točno u vrijeme primopredaje. Time se odvaja upit izvještaja od vala potvrda alarma. Provjerite raspored u Experion Report Designeru ili Proficy Process Historian planer izvještaja.
Postupak dijagnostike korak po korak
Kada dođe do zamrzavanja, odmah prikupite dijagnostičke podatke. Nemojte čekati sljedeću smjenu.
- Korak 1: Otvorite Windows Task Manager na SCADA poslužitelju. Zabilježite korištenje CPU-a, memorije i duljinu reda diska. Utvrdite je li usko grlo CPU, RAM ili disk I/O.
- Korak 2: Provjerite Windows Event Viewer za neuspjehe zapisa u bazu podataka ili isteke vremena usluge. Potražite Event ID 833 (prekoračenje latencije baze podataka) u Experion zapisima ili Event ID 4096 u Proficy iFIX zapisima.
- Korak 3: Pregledajte broj pretplata na oznake u SCADA sustavu. U Experion PKS koristite Station Manager za prikaz statistike aktivnih pretplata. U GE Proficy iFIX koristite zaslon System Diagnostics za provjeru dubine reda Cim-Managera.
- Korak 4: Pregledajte zapisnik alarma za obrazac naleta. Izbrojite broj potvrda alarma unutar 5-minutnog prozora oko promjene smjene. Ako broj prelazi 50 po minuti, oluja zapisa u bazu podataka je dominantni uzrok.
- Korak 5: Provjerite raspored generiranja izvještaja. Potražite izvještaje konfigurirane da počnu u vrijeme promjene smjene. Pomaknite vrijeme početka za 10–15 minuta kako biste smanjili preklapanje.
Zaključak i preporuke za djelovanje
Pad performansi SCADA sustava tijekom promjene smjene proizlazi iz tri istovremena događaja. Prvo, radne stanice se ponovno pokreću i istovremeno ponovno pretplaćuju na sve oznake. Drugo, operateri potvrđuju nagomilane alarme u seriji, stvarajući oluju zapisa u bazu podataka. Treće, automatski izvještaji o smjeni upitavaju povijesnu bazu podataka u vršnom opterećenju.
Na GE HMI Proficy iFIX omogućite Auto-Resume kako biste eliminirali potpuno ponovno izgradnju pretplata. Na Honeywell Experion PKS omogućite odlaganje alarma i preuredite raspored izvještaja da se pokreću 10 minuta nakon promjene smjene. Obje platforme imaju koristi od premještanja povijesne baze podataka na posvećeni poslužitelj. Time se odvaja obrada oznaka u stvarnom vremenu od opterećenja upita izvještaja. Pouzdani Honeywell I/O moduli osiguravaju integritet podataka s polja čak i tijekom vršnih opterećenja na strani poslužitelja.
Dokumentirajte dijagnostičke nalaze u CMMS sustavu postrojenja. Izradite proceduru za performanse tijekom promjene smjene koja raspoređuje tri događaja opterećenja unutar 30-minutnog prozora. Pratite rezultate dva tjedna. Ako korištenje CPU-a i dalje prelazi 80% tijekom promjene smjene, razmotrite nadogradnju SCADA poslužitelja ili dodavanje drugog poslužitelja za raspodjelu opterećenja.
