Standard IEC 61850 a transmisja danych – cz. 2: Konfiguracja PRP i HSR w sieciach energetycznych

 

Wstęp

PRP (Parallel Redundancy Protocol) i HSR (High-availability Seamless Redundancy) to unikalne protokoły wprowadzające redundancje Twojej sieci na wyższy poziom. PRP i HSR to protokoły redundantne, których zadaniem jest duplikacja krytycznych pakietów danych sieci OT i przesłanie ich dwiema osobnymi ścieżkami tak, by nawet w przypadku jego utraty lub uszkodzenia pakietu w jednej ze ścieżek dotarł on bezpiecznie do urządzenia końcowego z nienaruszoną zawartością danych. Dzięki wspomnianej duplikacji pakietów PRP i HSR cechują się szczególnie istotną funkcjonalnością tj. zerowym czas rekonfiguracji (zero-recovery-time w przypadku PRP) i zerowym czasem przełączania (zero-switchover-time w przypadku HSR). To sprawia, że Twoja krytyczna sieć OT jest zawsze dostępna dla działających usług i gotowa, by zawsze przesyłać krytyczne najważniejsze dane z Twoich urządzeń.

---

Redundantne przesyłanie pakietów

Ogólna zasada działania protokołów redundantnych PRP i HSR zakłada zduplikowanie przesyłanego krytycznego pakietu danych i przesłanie go w stworzonej fizycznej sieci Ethernet dwiema oddzielnymi ścieżkami. Dzięki temu w przypadku awarii jednej ze ścieżek przesyłany pakiet ma dotrzeć bezpiecznie do celu tj. urządzenia końcowego. Należy tu wykorzystać odpowiednie urządzenia tzw. RedBoxy lub karty PRP/HSR, tj. rozszerzenia sprzętowe, które umożliwiają obsługę ruchu sieciowego i duplikację pakietów wychodzącą z nieprzystosowanego urządzenia np. komputera, zabezpieczenia IED czy sterownika PLC.

Warto także wspomnieć, że urządzenie te służą także do kontroli pakietów, tzn. w przypadku, gdy:

• pierwszy pakiet poprawnie dotrze do takiego urządzenia zostaje przesłany do urządzenia końcowego,
• natomiast drugi, nadprogramowy zostaje usunięty z urządzenia RedBox lub w przypadku awarii przesłany do urządzenia końcowego jako poprawny.Rodzina urządzeń RedBox PT-G510

Przykładami takich rozwiązań są urządzenia autorstwa MOXA, np modele PT-G503 i PT-G510, czy karta rozszerzeń DA-PRP-HSR-I210 lub DE-PRP-HSR-EF dedykowana komputerom serii DA-720. Zastosowanie przedstawionych kart rozszerzeń lub urządzeń RedBox pozwala na implementację do sieci PRP lub HSR starszych urządzeń bądź tych, które nie wspierają protokołów PRP/HSR i nie mogą zostać wprost dołączone do budowanej krytycznej sieci redundantnej.

Na potrzeby dalszej części artykułu należy wspomnieć o pewnych oznaczeniach odnoszących się do urządzeń RedBox oraz SAN i DAN. Urządzenia RedBox służą do budowania sieci PRP/HSR, natomiast SAN i DAN, to oznaczenie urządzeń, które nie posiadają możliwości dostosowania ani przesyłania pakietów za pomocą protokołów redundantnych PRP/HSR. Na przedstawianych w dalszej części artykułu schematach sieci redundantnych urządzenia te zostaną oznaczone w sposób następujący:  

W przypadku urządzeń RedBox kolorami zostały oznaczone porty LAN A (kolor niebieski), LAN B (kolor zielony) oraz port Interlink (kolor szary). Porty LAN A oraz B (na urządzeniach oznaczone jako A i B) służą do dołączenia sieci redundantnej, natomiast port InterLink służy do dołączenia urządzeń niewspierających PRP/HSR takich jak laptopy czy sterowniki PLC będące przykładami urządzeń SAN.

---

Sieć PRP

Topologia sieci oparta o protokół PRP zakłada stworzenie dwóch osobnych i niezależnych podsieci LAN (LAN A i LAN B), co wprowadza redundancję zarówno fizycznych połączeń pomiędzy urządzeniami, jak i samych urządzeń biorących udział w przesyłaniu danych. Sieć A i B stanowią osobne i niezależne podsieci, które nie komunikują się ze sobą. Proces komunikacji z urządzeniami wchodzącymi w skład każdej z podsieci przebiega za pomocą Redbox’ów lub urządzeń z kartą PRP/HSR. To właśnie te urządzenia weryfikują i duplikują pakiety z danymi i pozwalają uzyskać dostęp nieprzystosowanym urządzeniom SAN do sieci redundantnej.

Poniższy schemat przedstawia topologię PRP z urządzeniami RedBox i SAN znajdującymi się na obu końcach sieci oraz sposób przesyłania pakietów przez protokół PRP w stworzonych sieciach LAN A i LAN B.

Transmisja pakietów z urządzenia źródłowego do urządzenia końcowego w powyższej sieci została oznaczona niebieskimi i zielonymi strzałkami, gdzie kolorem niebieskim oznaczono kierunek transmisji ramki A natomiast, kolorem zielonym ramki B.

Analizując powyższy schemat zauważamy, że miejscem duplikacji pakietu staje się najbliższy połączony z urządzeniem źródłowym RedBox, który duplikuje pakiety i przesyła je do dołączonych LANów A i B. Zduplikowane pakiety są kolejno przesyłane przez urządzenia znajdujące się w każdej podsieci (w tym przypadku dla LANu A, switche 1 i 2, natomiast dla LANu B, switche 1 i 3). Każdy ze stworzonych LANów jest połączony z kolejnym urządzeniem RedBox, którego zadaniem jest zweryfikować, czy powstała sieć nie uległa awarii i pakiet został przesłany poprawnie. Po wstępnej weryfikacji RedBox przesyła pierwszy pozyskany pakiet do urządzenia docelowego, a następnie usuwa drugi, nadliczbowy pakiet, tak by nie zaburzać transmisji pomiędzy urządzeniami SAN źródłowym i SAN docelowym. Poprawnie zbudowana sieć oparta o wykorzystanie protokołu PRP posiada cechę zero-recovery-time, która odnosi się do zerowego czasu rekonfiguracji sieci i przesyłania danych bez żadnego opóźnienia podczas awarii jednej ze ścieżek komunikacji.

---

Sieć HSR

Protokół HSR wymaga stworzenie redundantnej sieci o topologii połączeń przypominającej topologię pierścienia. W sieci HSR każdy węzeł sieciowy jest połączony z dwoma sąsiednimi węzłami za pomocą portów A i B. Kiedy jedno urządzenie wysyła pakiet do kolejnego, jest on przesyłany w obu kierunkach jednocześnie – zgodnie i przeciwnie do ruchu wskazówek zegara (strzałki: niebieska (kierunek transmisji ramki A)  i zielona (kierunek transmisji ramki B)). Gdy pakiet dociera do RedBoxa odbiorcy, ten akceptuje pierwszy otrzymany pakiet, weryfikuje poprawność sieci oraz pakietu i przesyła go do odbiorcy poprzez port interlink, natomiast drugi, nadprogramowy pakiet jest usuwany (zasada działania RedBoxa podobna jak w PRP). Podobnie jak w przypadku PRP, jeśli jedno połączenie zostanie przerwane, dane nadal docierają do celu przez drugą dostępną ścieżkę. W przypadku HSR, sieć stworzona o ten protokół posiada cechę zero-switchover-time, czyli zerowy czas przełączenia. Dzięki tej cesze pakiety przesyłane w sieci dostarczane są nieprzerwanie do odbiorcy bez żadnego, nawet minimalnego opóźnienia i wystąpienia awarii sieci.

---

Jak stworzyć własną topologię PRP/HSR?

Stworzenie takiej topologii jest stosunkowo proste i odnosi się do odpowiedniego połączenia i skonfigurowania urządzeń, które mają znaleźć się w naszej sieci HSR lub PRP. Tworzenie sieci tego typu powinniśmy rozpocząć od konfiguracji urządzeń sieciowych, z których najważniejszymi są RedBox oraz karta rozszerzeń komputera (jeśli taka została zaimplementowana).

Konfiguracja urządzeń RedBox 

W przypadku konfiguracji urządzeń Redbox należy zacząć od odpowiedniej konfiguracji ustawień sieciowych (ważne, aby wszystkie urządzenia były w tej samej sieci IP). Po wykonaniu tych czynności należy przejść do sekcji Communication Redundancy -> IEC 62439-3 Protocol -> Status and Settings, gdzie w zależności od budowanej topologii należy wybrać protokół PRP lub HSR. 

Należy także zaznaczyć możliwość przesyłania ramki nadzorującej (ang. Supervision Frame). To specjalna wysyłana cyklicznie przez urządzenia w sieci informacja, której celem jest monitorowanie integralności sieci oraz obecności poszczególnych węzłów w sieci redundantnej. To właśnie dzięki tym ramkom urządzenia Redbox mogą weryfikować poprawność działania redundancji weryfikując, czy ramki nadzoru docierają z obu portów tj. A i B umożliwiając sprawdzanie, czy wszystkie węzły w sieci są aktywne i prawidłowo funkcjonują oraz pozwalają identyfikować inne urządzenia w sieci, w tym ich adresy MAC oraz tryby operacyjne i informacje dotyczące akceptacji lub odrzucania duplikatów ramek. W przypadku urządzeń typu RedBox, Supervision Frame dodatkowo informują inne węzły o urządzeniach podłączonych przez interfejs interlink. Dzięki temu możliwe jest utrzymanie aktualnej tabeli węzłów w sieci, co ułatwia zarządzanie i diagnostykę infrastruktury sieciowej. 

Kolejnymi istotnymi parametrami, na które należy zwrócić uwagę, są Entry Forget time oraz Life Check Interval. Life Check Interval określa jak często urządzenia w sieci wysyłają ramki Supervision Frame. Brak pojawienia się ramki SF we wskazanym czasie postrzegane jest przez system jako potencjalna awaria lub utrata połączenia z daną sekcją sieci. Standardowo interwał ten wynosi 2 sekundy, natomiast powinien on zostać dostosowany do potrzeb wymagań aplikacji i urządzeń działających w budowanej sieci redundantnej. Entry Forget Time określa czas, przez jaki urządzenie zapamiętuje identyfikator ramki, uznając ją za nową. Każda ramka w PRP jest identyfikowana przez unikalny numer sekwencyjny oraz adres MAC źródła. Gdy RedBox odbierze ramkę, zapisuje jej identyfikator na określony czas. Jeśli w tym czasie otrzyma ramkę o tym samym identyfikatorze, traktuje ją jako duplikat i odrzuca rozwiązując potencjalny problem duplikacji ramek. 

Konfiguracja karty sieciowej PRP/HSR 

Przedstawione we wcześniejszej części artykułu urządzenia SAN tj. np. komputery stanowiskowe czy serwery, na których może działać specjalne oprogramowanie typu SCADA, MX View One, czy Syslog to często urządzenia niedostosowane do pracy w sieci PRP lub HSR. Takie urządzenia pomimo posiadania wielu interfejsów sieciowych nie mają możliwości duplikowania pakietów, przez co pakiety przez nie generowane lub do nich dostarczane w łatwy sposób mogą zostać utracone w wyniku awarii sprzętu lub uszkodzenia łącza.  

Jednym z rozwiązań takiego problemu jest dostosowanie takiego komputera czy serwera poprzez zaimplementowanie modułu wspierającego redundancję PRP-HSR. Taki moduł to specjalna karta rozszerzeń, którą dołącza się do złącza PCIe znajdującego się na płycie głównej naszego komputera lub serwera.  

Po odpowiednim zamontowaniu karty do komputera należy pobrać i zainstalować pakiet sterowników oraz oprogramowania dostarczany przez producenta.  
W przypadku urządzeń Moxa taki pakiet software znajduje się na stronie produktu w zakładce Resources i sekcji driver.  

Zainstalowane oprogramowanie należy uruchomić i skonfigurować. Wspomniana konfiguracja odnosi się do wybrania karty PRP/HSR, którą chcemy konfigurować (Module index), wybrania trybu pracy (PRP/HSR Mode) oraz w przypadku wykorzystania portu światłowodowego na wkładkę SFP, prędkości z jaką będą przesyłane dane.

Po wybraniu wybranych opcji należy zatwierdzić ustawienia przyciskiem Apply i przystąpić do fizycznego budowania sieci. W tym miejscu należy także wspomnieć, że dane mogą być przesyłane zarówno skrętką np. do LAN’u A oraz światłowodem do LAN’u B, co daje pewnego rodzaju swobodę w budowaniu sieci redundantnej.

---

Coupling i Quadbox, czyli jak połączyć PRP z HSR’em.

Coupling to jedna z ważniejszych funkcji urządzeń Redbox. Coupling umożliwia połączenie sieci LAN A i LAN B charakterystycznych dla topologii PRP z pierścieniem HSR. Takie połączenie tj. Coupling pozwala wykorzystać najlepsze cechy PRP i HSR pozwalając w łatwy sposób na stworzenie bardziej złożonych rozwiązań dla krytycznych sieci danych pozwalając dołączyć do sieci np. redundantne serwery SCADA i pozostając przy tym niezwykle elastycznym i w łatwy sposób skalowalnym rozwiązaniem, tak, by budowana przez Ciebie sieć nieprzerwanie mogła działać i przesyłać Twoje krytyczne dane OT.  

Jak skonfigurować i połączyć sieć Coupling?

Podobnie jak w przypadku wyżej budowanych sieci PRP i HSR, jest to bardzo proste i polega na zmianie trybu pracy urządzeń RedBox będących na styku sieci PRP i HSR z trybu dedykowanego (PRP lub HSR) na tryb Coupling oraz wskazaniu numeru podsieci, ustawionego czasu Entry Forget time oraz informacji z jaką siecią LAN (A lub B) będzie komunikował się RedBox.

Po skonfigurowaniu urządzenia można przystąpić do łączenia sieci PRP i HSR. W przypadku sieci PRP wyprowadzenie do sieci LAN A i B należy wpiąć kolejno do portu Interlink urządzenia RedBox 1 i urządzenia RedBox 2, natomiast sieć HSR powinna zostać wpięta poprzez porty A i B urządzeń RedBox, tak jak to zostało opisane w części poświęconej HSR.

---

Quadbox

QuadBox to funkcja obecnie dostępna jedynie na urządzeniach RedBox PT-G503, która umożliwia połączenie dwóch niezależnych pierścieni HSR w sposób zapewniający nieprzerwaną komunikację między nimi. Połączenie trybem QuadBox dwóch niezależnych pierścieni HSR (w odróżnieniu od jednej dużej sieci HSR) wprowadza kilka pozytywnych aspektów takich jak:

• lepsze zarządzanie ruchem danych, redukując opóźnienia i przeciążenia, które mogą wystąpić w jednej dużej sieci,
• pozwala zwiększyć bezawaryjność i szybkość lokalizacji uszkodzeń sieci, gdyż podział sieci na mniejsze pierścienie minimalizuje wpływ awarii na całą rozległą infrastrukturę, a samo uszkodzenie jest łatwiej zlokalizować,
• wprowadza elastyczność topologii, np. w kontekście łączenia topologii PRP i HSR.

Jak skonfigurować i połączyć sieć Quadbox ?

Połączenie kilku sieci HSR za pomocą Quadbox w pierwszej kolejności polega na zmianie trybu pracy urządzeń RedBox PT-G503 będących na styku pierścieni HSR z trybu dedykowanego dla HSR na tryb Quadbox.

Redundantne połączenie trybem QuadBox wymaga wykorzystania co najmniej czterech urządzeń PT-G503, które trzeba połączyć w następujący sposób tj. w przypadku portów A i B na wykorzystanych urządzeniach QuadBox powinny one być dołączone do zbudowanych sieci HSR, natomiast samo połączenie pomiędzy pierścieniami HSR odbywa się z wykorzystaniem portów Interlink, tak jak na znajdującym się niżej schemacie.

---

Budowanie odpornej sieci z wykorzystaniem Turbo Ring V2 lub Turbo Chain.

Redundancja zasobów, to podstawowa praktyka uodparniająca Twoją sieć na potencjalne awarie i problemy, które mogą jej zagrozić w poprawnym działaniu. Wykorzystując redundancję w postaci PRP lub HSR wprowadzamy możliwość duplikacji pakietów, natomiast łącząc protokoły PRP/HSR z protokołami redundantnymi jak Turbo Ring v2, czy Turbo Chain wprowadzamy także nadmiarowe, awaryjne ścieżki transportowe dla naszych pakietów. Taka praktyka sprawia, że nasza sieć będzie działać nieprzerwanie o każdej porze dnia i nocy niezależnie od uszkodzenia urządzeń czy łącza danych.

Co daje wprowadzenie Turbo Ring v2 lub Turbo Chain? Ekspresowe przełączanie łącza w przypadku jego awarii! W przypadku protokołu Turbo Ring v2 oraz Turbo Chain rekonfiguracja łącza dla danych przesyłanych z prędkością 100Mb/s to ok. 20ms natomiast dla 1000Mb/s to ok. 50ms umożliwiając przy tym połączenie do 250 urządzeń w jednej, dużej topologii redundantnej, co w porównaniu z protokołami STP/RSTP, czy MRP pokazuje jak sprawnie MOXA potrafi poradzić sobie z awarią łącza.

Pomimo tego, że protokoły redundantne Turbo Ring i Turbo Chain występują jedynie na urządzeniach MOXA, przez co ich konfiguracja pozornie może wydawać się na skomplikowaną, to poprawne skonfigurowanie redundancji opartej o te protokoły jest banalnie proste! Aby zobaczyć jak to zrobić  zapoznaj się z artykułem nt. konfiguracji protokołów redundancji na przełącznikach MOXA, który dla Ciebie przygotowaliśmy.

---

Podsumowanie

Protokoły PRP i HSR w połączeniu z Turbo Ringiem v2 lub Turbo Chainem pozwalają na sprawne zarządzanie sieciami przemysłowymi i bezpieczne, nieprzerwane przesyłanie krytycznych danych Twoich usług OT, spełniając przy tym szereg krytycznych norm.


Jeśli topologia lub wybór konkretnego rozwiązania jest dla Ciebie problematyczny? Potrzebujesz wsparcia i sprawnego doradztwa? Serdecznie zapraszamy do kontaktu na moxa@elmark.com.pl lub telefonicznie na numer +48 22 541 89 37.

Jeżeli interesują Cię konkretne modele PT-G510 kliknij w switche dla energetyki lub wejdź na naszą stronę Elmark Automatyka, by zapoznać się z bieżącą ofertą produktów.