SCADA veiktspējas sabrukums maiņas laikā: vienlaicīgā slodzes pieauguma diagnostika GE HMI un Honeywell Experion sistēmās

Simptoms: SCADA sistēma iesaldējas tikai maiņas nodošanas laikā

Operatori ziņo, ka SCADA sistēma kļūst neatsaucīga maiņas maiņas laikā. Grafikas lapas ielādējas lēni. Trauksmju apstiprināšana aizņem 5–10 sekundes. Tagu vērtības uz laiku iesaldējas tendences displejos. PLC turpina darboties normāli. Lauka instrumenti rāda pareizas vērtības. Iesaldēšana pati no sevis izzūd pēc 15–20 minūtēm.

Šis modelis norāda uz servera puses slodzes pieaugumu, nevis uz lauka komunikācijas problēmu. GE HMI Proficy iFIX sistēma un Honeywell Experion PKS abi saskaras ar šo problēmu, kad vairāki notikumi sakrīt maiņas pārejas laikā. Katru notikumu izpratne palīdz izolēt galveno cēloni.

Pamatcēlonis 1: Vienlaicīga darba stacijas restartēšana un tagu atkārtota abonēšana

Maiņas maiņas laikā izejošais operators aizver SCADA lietojumprogrammu. Ienākošais operators to palaidīs no jauna. GE HMI Proficy iFIX katrs darba stacijas restartēšanas gadījums izsauc pilnu tagu abonēšanas lejupielādi no SCADA servera. Ja 8 darba stacijas restartējas 2 minūšu laikā, serveris apstrādā 8 vienlaicīgus abonēšanas pieprasījumus.

Katra abonēšana ietver datubāzes vaicājumu, tagu meklēšanu un reāllaika datu maršrutēšanas iestatīšanu. GE Proficy Cim-Manager serviss apstrādā šos pieprasījumus. Lielas slodzes apstākļos rinda pārsniedz bufera limitu. Jauni abonēšanas pieprasījumi gaida rindā. Kavēšanās izpaužas kā lēna grafikas ielāde klienta pusē.

Risinājums: Konfigurējiet darba stacijas, lai izmantotu lietojumprogrammas atsākšanu, nevis pilnu restartu. Proficy iFIX iestatījumos iestatiet Auto-Resume opciju iFIX darba vides īpašībās. Tas atkārtoti izmanto esošās tagu abonēšanas, nevis veido tās no jauna. Palaišanas laiks samazinās no 45 sekundēm līdz mazāk nekā 10 sekundēm.

Pamatcēlonis 2: Trauksmju apstiprināšanas sprādziens un datubāzes rakstīšanas vētra

Maiņas nodošanas laikā izejošais operators apstiprina uzkrātās trauksmes. Tipiska maiņa ģenerē 200–400 trauksmju notikumus. Ja 80% paliek neapstiprinātas, ienākošais operators apstiprina tās partijā. Katrs apstiprinājums ģenerē datubāzes transakciju, kurā tiek ierakstīts operatora vārds, laika zīmogs, trauksmes ID un komentārs.

Honeywell Experion PKS trauksmju notikumi tiek ierakstīti Trauksmju datubāzē (ADB). Katrs ieraksts prasa indeksa atjauninājumu. Sprādziena slodzes laikā indeksa atjauninājumu rinda aug ātrāk nekā diska I/O var apstrādāt. Experion Trauksmju serveris reaģē ar palielinātu latentumu. Trauksmju uznirstošie logi parādās ar 3–5 sekunžu aizkavi. Mūsu Honeywell kontrolieru moduļu kartes un C300 sistēmas komponenti ir izstrādāti, lai saglabātu stabilitāti šādos slodzes apstākļos.

GE Proficy iFIX trauksmju apstiprinājumi tiek ierakstīti vēsturiskajā datubāzē, izmantojot SCU (Sistēmas konfigurācijas utilītu). Ja vēsturnieks atrodas tajā pašā serverī, diska I/O konkurence pasliktinās. Proficy Process Historian var zaudēt datus šajā logā.

Risinājums: Iespējojiet trauksmju nolikšanu zemas prioritātes trauksmēm pirms maiņas beigām. Experion PKS konfigurējiet trauksmju nolikšanas funkciju Trauksmju konfigurācijas cilnē. Noliekiet līdz 50% no neapstiprinātajām zemas prioritātes trauksmēm. Tas samazina apstiprināšanas sprādzienu, izslēdzot nekritiskus notikumus.

Pamatcēlonis 3: Automātiska maiņas pārskatu ģenerēšana un vaicājumu pārslodze

Gan GE, gan Honeywell SCADA platformas atbalsta automātisku pārskatu ģenerēšanu ieplānotajos laikos. Bieži sastopamie maiņas pārskati ietver ražošanas kopapjomus, dīkstāves kopsavilkumus, trauksmju statistiku un enerģijas patēriņu. Šie pārskati vaicā vēsturisko datubāzi tūkstošiem datu punktu.

Ja pārskatu ģenerēšanas dzinējs darbojas SCADA serverī, tas konkurē par CPU un diska resursiem ar reāllaika operācijām. Tipisks maiņas pārskata vaicājums GE Proficy Process Historian aizņem 8–12 sekundes. Šajā laikā SCADA serverim samazinās kapacitāte tagu atjaunināšanai un trauksmju apstrādei.

Honeywell Experion PKS pārskatu darba stacija ģenerē pārskatus caur Experion Reports Server. Ja pārskatu darba stacija atrodas tajā pašā serverī kopā ar Experion Application Server, vaicājumu slodze pasliktina reāllaika veiktspēju. Servera veselības monitors rāda CPU lietojuma pieaugumu līdz 85–95% pārskatu ģenerēšanas laikā.

Risinājums: Ieplānojiet maiņas pārskatus 10 minūtes pēc maiņas maiņas, nevis tieši nodošanas laikā. Tas atdala pārskatu vaicājumu no trauksmju apstiprināšanas sprādziena. Pārbaudiet grafiku Experion Report Designer vai Proficy Process Historian pārskatu plānotājā.

Pakāpeniska diagnostikas procedūra

Kad rodas iesaldēšana, nekavējoties savāciet diagnostikas datus. Negaidiet nākamo maiņu.

• 1. solis: Atveriet Windows uzdevumu pārvaldnieku SCADA serverī. Ierakstiet CPU lietojumu, atmiņas lietojumu un diska rindas garumu. Nosakiet, vai pudelneck ir CPU, RAM vai diska I/O.
• 2. solis: Pārbaudiet Windows notikumu skatītāju datubāzes rakstīšanas kļūdu vai servisa laika pārsniegšanas gadījumiem. Meklējiet notikuma ID 833 (datubāzes latentums pārsniegts) Experion žurnālos vai notikuma ID 4096 Proficy iFIX žurnālos.
• 3. solis: Pārskatiet SCADA tagu abonēšanas skaitu. Experion PKS izmantojiet Station Manager, lai parādītu aktīvo abonēšanas statistiku. GE Proficy iFIX izmantojiet Sistēmas diagnostikas ekrānu, lai pārbaudītu Cim-Manager rindas dziļumu.
• 4. solis: Izpētiet trauksmju žurnālu sprādziena modelim. Saskaitiet trauksmju apstiprinājumu skaitu 5 minūšu logā apmaiņas maiņas laikā. Ja skaits pārsniedz 50 minūtē, datubāzes rakstīšanas vētra ir galvenais cēlonis.
• 5. solis: Pārbaudiet pārskatu ģenerēšanas grafiku. Meklējiet pārskatus, kas iestatīti sākt maiņas maiņas laikā. Pārbīdiet sākuma laiku par 10–15 minūtēm, lai samazinātu pārklāšanos.

Nobeigums un rīcības ieteikumi

SCADA veiktspējas sabrukums maiņas maiņas laikā rodas no trim vienlaicīgiem notikumiem. Pirmkārt, darba stacijas restartējas un vienlaicīgi atkārtoti abonē visus tagus. Otrkārt, operatori partijā apstiprina uzkrātās trauksmes, radot datubāzes rakstīšanas vētru. Treškārt, automātiskie maiņas pārskati vaicā vēsturisko datubāzi maksimālās slodzes laikā.

GE HMI Proficy iFIX iespējojiet Auto-Resume, lai novērstu pilnu abonēšanas pārbūvi. Honeywell Experion PKS iespējojiet trauksmju nolikšanu un pārliecinieties, ka pārskati tiek plānoti 10 minūtes pēc maiņas maiņas. Abas platformas gūst labumu, pārvietojot vēsturisko datubāzi uz atsevišķu serveri. Tas atdala reāllaika tagu apstrādi no pārskatu vaicājumu slodzēm. Uzticami Honeywell I/O moduļi nodrošina lauka datu integritātes saglabāšanu pat servera puses slodzes pieauguma laikā.

Dokumentējiet diagnostikas atziņas rūpnīcas CMMS. Izveidojiet maiņas maiņas veiktspējas procedūru, kas sadala trīs slodzes notikumus 30 minūšu logā. Uzraugiet rezultātus divas nedēļas. Ja CPU lietojums joprojām pārsniedz 80% maiņas maiņas laikā, apsveriet SCADA servera jaunināšanu vai otrā servera pievienošanu slodzes sadalei.