Öt figyelmeztető jel, hogy tesztautomatizálása még nem áll készen a DORA-ra

A tesztautomatizálás felgyorsíthatja a regressziós tesztelést és javíthatja a szoftverminőséget, ám a DORA (Digital Operational Resilience Act) magasabb követelményeket támaszt a teszteléssel szemben a pénzügyi szolgáltatási szektorban. A bankok és egyéb pénzügyi intézmények számára már nem elegendő csupán több ezer automatizált tesztesettel rendelkezni. A tesztelésnek egy szélesebb körű, kockázatalapú digitális működési reziliencia-programot kell támogatnia, amely képes a gyengeségek feltárására, a kritikus rendszerek validálására, a korrekciós intézkedések elősegítésére, valamint megbízható bizonyítékok szolgáltatására. Íme öt figyelmeztető jel, amely arra utalhat, hogy jelenlegi tesztautomatizálási megközelítése még nem áll készen erre a feladatra.

test-automation-dora-readiness-proofit

A digitális működési ellenálló képességről szóló törvény (DORA) megváltoztatta azt a kontextust, amelyben az európai pénzügyi intézmények a szoftvertesztelésről gondolkodnak.

A DORA előírja az érintett pénzügyi szervezetek számára – a vonatkozó rendelkezések szerinti mikrovállalkozások kivételével –, hogy az IKT-kockázatkezelési keretrendszerük részeként átfogó digitális működési ellenálló képesség tesztelési programot hozzanak létre, tartsanak fenn és vizsgáljanak felül. A programnak kockázatalapú megközelítést kell követnie, és legalább évente megfelelő tesztelést kell végezni a kritikus vagy fontos funkciókat támogató IKT-rendszereken és alkalmazásokon.

A rendelet azt is egyértelművé teszi, hogy a digitális működési ellenálló képesség tesztelése szélesebb körű, mint a hagyományos funkcionális regressziós tesztelés. A 25. cikk azonosítja a megfelelő tesztelési módszereket, beleértve a sebezhetőségi felméréseket, a forráskód-felülvizsgálatokat, ahol lehetséges, a forgatókönyv-alapú tesztelést, a kompatibilitási tesztelést, a teljesítménytesztelést, a teljes körű tesztelést és a penetrációs tesztelést.

Egy pénzügyi intézmény rendelkezhet technikailag sikeres tesztautomatizálási programmal, és mégis jelentős hiányosságok lehetnek a tágabb működési ellenálló képesség tesztelési megközelítésében.

A következő öt figyelmeztető jel segíthet a szervezeteknek azonosítani, hogy hol kell fejleszteniük automatizálási stratégiájukat.

1. figyelmeztető jel: A tesztmennyiséget méri az üzleti kockázat helyett

Egy gyakori tesztautomatizálási irányítópult a következőket mutathatja: 10 000 automatizált teszt, 95%-os regressziós automatizálás, havi több ezer végrehajtás. Ezek a számok aktivitást mutathatnak, de meglepően keveset mondanak a működési ellenálló képességről.

A DORA kockázatalapú megközelítést igényel, amely figyelembe veszi többek között a változó IKT-kockázati környezetet, a pénzügyi szervezetre leselkedő specifikus kockázatokat, valamint az információs eszközök és szolgáltatások kritikusságát. Ez azt jelenti, hogy a szervezeteknek képesnek kell lenniük a tesztelési prioritások összekapcsolására az üzleti és technológiai kockázatokkal. Vegyünk két alkalmazást.

Az első egy belső adminisztratív rendszer, korlátozott működési hatással. A második több millió tranzakció fizetésfeldolgozását támogatja. A működési ellenálló képesség szempontjából az első alkalmazás 95%-os automatizált lefedettsége nem kompenzálja a második jelentős tesztelési hiányosságait.

Egy érettebb automatizálási stratégia a teszteket a kritikus üzleti folyamatokhoz, rendszerekhez, kockázatokhoz és követelményekhez rendeli.

Ahelyett, hogy arra keresnénk a választ: „A teszteseteink hány százaléka automatizált?”, az következőket kellene megvizsgálni: „Mely kritikus vagy fontos funkciókat tudjuk bizonyítani, hogy megfelelően teszteltek?”

Egy bank számára ez azt jelentheti, hogy azonosítani kell az automatizálási lefedettséget a fizetésfeldolgozás, az ügyfél-hitelesítés, a tranzakciókezelés, a digitális banki szolgáltatások, a csalás elleni védekezés, az alapvető banki integrációk és más kritikus szolgáltatások terén. A cél nem a maximális automatizálás, hanem a kockázattal összehangolt automatizálás.

2. figyelmeztető jel: A teszteredmények nem követhetők vissza a követelményekig és a kockázatokig

Az automatizált tesztek hatalmas mennyiségű információt generálnak. Az információ azonban nem automatikusan bizonyíték. Képzeljünk el egy szervezetet, amely 30 000 automatizált tesztet hajt végre egy nagyobb kiadás előtt. Szinte mindegyik sikeres.

Ha arra a kérdésre, hogy „Mely kritikus üzleti követelményeket validálták valójában ezek a tesztek?”, a válaszadás több mérnököt, több táblázatot és napokig tartó vizsgálatot igényel, akkor nyomonkövethetőségi probléma merül fel.

A DORA tesztelési keretrendszere túlmutat a tesztek végrehajtásán. A 24. cikk előírja a pénzügyi szervezetek számára, hogy eljárásokat és szabályzatokat dolgozzanak ki a tesztelés során feltárt problémák rangsorolására, osztályozására és elhárítására, valamint belső validációs módszertanokat annak megerősítésére, hogy az azonosított gyengeségeket, hiányosságokat vagy réseket teljes mértékben kezelték. A hatékony nyomonkövethetőség segít abban, hogy ez a folyamat kezelhető legyen.

Egy érett minőségmérnöki környezetnek lehetővé kell tennie a releváns követelmények vagy kockázatok, tesztesetek, végrehajtások, hibák, korrekciós tevékenységek és eredmények közötti kapcsolatok megállapítását. A nyomonkövethetőség lehetővé teszi a csapatok számára, hogy gyorsan megválaszolják a gyakorlati kérdéseket:

  • Mely tesztek fedik le ezt a kritikus folyamatot?
  • Mi történt a legutóbbi végrehajtás során?
  • Melyik hiba eredt a hibából?
  • Kijavították a problémát?
  • Újra tesztelték a javítást?
  • Milyen bizonyítékok igazolják a jelenlegi eredményt?

Az az automatizálás, amely több ezer eredményt generál anélkül, hogy megadná ezt a kontextust, nem eredményez elegendő átláthatóságot. A DORA-felkészültség ezért a bizonyítékok automatizálását is megköveteli, nem csak a tesztfuttatás automatizálását.

3. figyelmeztető jel: Az automatizálás megáll a funkcionális tesztelésnél

A funkcionális regressziós automatizálás értékes, de a működési rugalmasságnak csak egy dimenzióját képviseli. Egy fizetési alkalmazás sikeresen kiszámíthatja a tranzakciókat, alkalmazhat üzleti szabályokat, és kommunikálhat a downstream szolgáltatásokkal a funkcionális tesztelés során.

De mi történik, ha a tranzakciók mennyisége drámaian megnő? Mi történik, ha egy külső függőség lelassul? Képes-e a rendszer elfogadható válaszidőket fenntartani csúcsidőszakban? A szolgáltatás megfelelően helyreáll-e a zavar után?

A DORA 25. cikkelye kifejezetten azonosítja a tesztelés több formáját, amelyek egy megfelelő digitális működési rugalmasság tesztelési program részét képezhetik, beleértve a forgatókönyv-alapú, a kompatibilitási, a teljesítmény-, a végponttól végpontig terjedő, a sebezhetőségi és a penetrációs tesztelést. Ha egy szervezet automatizálási stratégiája szinte teljes egészében a felhasználói felület vagy az API funkcionális regressziójára összpontosít, akkor azt figyelmeztető jelként kell kezelni.

A teljesítmény a rugalmasság része. A teljesítménytesztelés különösen fontos a kritikus pénzügyi szolgáltatások esetében. Egy rendszernek nem kell teljesen összeomlania ahhoz, hogy komoly működési problémát okozzon. A növekvő válaszidők, a kimerült erőforrások, a növekvő üzenetsorok, az adatbázis-versengés vagy a túlterhelt függőségek fokozatosan ronthatják a szolgáltatást, miközben az alapvető funkcionális tesztek továbbra is sikeresek.

A teljesítménymérnökség segíthet a szervezeteknek megérteni:

  • tranzakcióáteresztő képességet;
  • válaszidőket;
  • konkurenciális korlátokat;
  • erőforrás-kihasználást;
  • skálázhatóságot;
  • szűk keresztmetszeteket;
  • stabilitást tartós terhelés alatt.

A funkcionális helyesség és a működési rugalmasság összefügg, de nem ugyanaz. Egy érett tesztelési stratégiának mindkettőt meg kell vizsgálnia.

4. figyelmeztető jel: A kritikus, végponttól végpontig tartó folyamatokat nem rendszerként tesztelik

A modern pénzügyi szolgáltatások összekapcsolt technológiától függenek. Egy látszólag egyszerű ügyfélművelet – például egy fizetés – magában foglalhat egy mobilalkalmazást, hitelesítési szolgáltatást, API-átjárót, fizetési motort, csalásmegelőzési platformot, adatbázisokat, üzenetközvetítőket, külső szolgáltatókat és jelentéskészítő rendszereket. Minden komponens tökéletesen működhet, ha külön-külön tesztelik. Az általános üzleti folyamat mégis meghibásodhat.

Ezért a végponttól végpontig tartó tesztelés továbbra is fontos marad azokban az architektúrákban is, ahol a csapatok már kiterjedt egység-, komponens- és API-automatizálással rendelkeznek. A DORA kifejezetten felsorolja a végponttól végpontig tartó tesztelést azon tesztelési megközelítések között, amelyek a digitális működési rugalmasság tesztelési programjának részét képezhetik.

A csapatoknak nemcsak azt kell megérteniük, hogy az egyes alkalmazások lefedettek-e, hanem azt is, hogy a kritikus üzleti folyamatok validálva vannak-e a szállításukhoz szükséges rendszereken és függőségeken keresztül.

Egy érett stratégia kombinálhatja a különböző tesztelési rétegeket. Az egység- és komponenstesztek gyors visszajelzést adnak. Az API-tesztek validálják a interfészeket és a szolgáltatás viselkedését. Az integrációs tesztek interakciókat vizsgálnak. A végponttól végpontig tartó tesztek validálják a kiválasztott kritikus üzleti folyamatokat. A teljesítménytesztek azt mérik, hogy ezek a folyamatok megbízhatóak maradnak-e valós terhelések mellett.

A cél nem az, hogy mindent költséges, végponttól végpontig automatizáljanak. Ehelyett a szervezeteknek azonosítaniuk kell azokat az üzleti folyamatokat, ahol a végponttól végpontig tartó biztosítás érdemi bizonyítékot szolgáltat, amelyet a komponensszintű tesztelés önmagában nem tud biztosítani.

5. figyelmeztető jel: A sikertelen teszteket kijavítják, de a javítási folyamat nem követhető nyomon

A hibák felkutatása csak a tesztelés része. Ami ezután történik, az ugyanolyan fontos. Tegyük fel, hogy egy automatizált teszt komoly gyengeséget észlel egy kritikus alkalmazásban. Létrejön egy hibajegy. A fejlesztő végrehajt egy változtatást. A teszt végül sikeres. Be tudja-e bizonyítani a szervezet a teljes láncot a felfedezéstől az osztályozáson, a javításon, az érvényesítésen és a lezáráson át?

A DORA 24. cikke eljárásokat és szabályzatokat ír elő a tesztelés által feltárt problémák rangsorolására, osztályozására és orvoslására. Belső érvényesítési módszereket is előír annak megállapítására, hogy az azonosított gyengeségeket, hiányosságokat vagy réseket teljes mértékben kezelték. Ez a javítást a tesztelési életciklus részévé teszi, nem pedig egy utána következő adminisztratív tevékenységgé.

Az automatizálásnak támogatnia kell a bizonyítékláncot. Egy érett környezetnek lehetővé kell tennie a történtek rekonstruálását anélkül, hogy teljes mértékben az egyéni tudásra támaszkodnánk.

A hasznos információk a következők lehetnek:

  • a problémát azonosító teszt és végrehajtás;
  • az érintett rendszer vagy kritikus folyamat;
  • súlyosság vagy kockázati besorolás;
  • a kapcsolódó hiba vagy javítási tevékenység;
  • a megoldás érdekében végrehajtott változtatások;
  • az ellenőrzés vagy újratesztelés; a végeredmény és a bizonyítékok.

Ez különösen fontossá válik, ha összetett rendszereket tesztelnek ismételten több kiadás között. Ha ez az információ széttöredezett a szétválasztott eszközök, táblázatok, e-mail beszélgetések és az egyes csapatok között, akkor a következetes ellenőrzés bizonyítása nehezebbé válik.

+1 figyelmeztető jel: Kellően független a tesztelésed?

Bár a cím öt figyelmeztető jelet ígér, van egy másik DORA-követelmény is, amely különös figyelmet érdemel. A 24. cikk kimondja, hogy a teszteket független feleknek, belső vagy külső feleknek kell elvégezniük. Amennyiben belső tesztelőket alkalmaznak, a szervezeteknek elegendő erőforrást kell biztosítaniuk, és el kell kerülniük az összeférhetetlenséget a tesztek tervezése és végrehajtása során.

A függetlenség nem feltétlenül jelenti azt, hogy minden tesztet kiszerveznek. Azt jelenti, hogy a szervezeteknek megfelelő tesztelési modellre van szükségük, amely elkerüli, hogy kizárólag azokra az emberekre támaszkodjanak, akik egy rendszert terveztek, annak rugalmasságának meghatározásakor.

Ez az elv egyre relevánsabbá válik az AI által támogatott szoftverfejlesztés és az AI által generált tesztelés növekedésével. Ha a fejlesztők és az AI-asszisztensek ugyanazon feltételezések alapján hozzák létre mind a megvalósítást, mind a teszteket, a független ellenőrzés még értékesebbé válik a kritikus rendszerek esetében.

Mit kell támogatnia a DORA-ra kész tesztautomatizálásnak?

A DORA nem ír elő konkrét automatizálási keretrendszert, és nem követeli meg a szervezetektől, hogy egy adott tesztelési platform kategóriáját vásárolják meg. Ehelyett a szabályozás a digitális működési ellenálló képességgel kapcsolatos eredményeket és követelményeket határoz meg.

Egy erős automatizálási képesség támogathatja ezeket az eredményeket, ha lehetővé teszi a szervezetek számára a kritikus rendszerek következetes tesztelését, a tesztelés kockázat szerinti rangsorolását, a tesztelés megfelelő formáinak végrehajtását, megbízható eredmények rögzítését, a hibák elhárítással való összekapcsolását és a bizonyítékok reprodukálását, amikor szükséges.

Néhány pénzügyi szervezet számára a fejlett fenyegetésvezérelt behatolási tesztelés (TLPT) ennek a környezetnek egy másik részét képezi. A DORA TLPT követelményeket határoz meg az azonosított szervezetek számára, és a kapcsolódó szabályozási technikai szabványok tovább határozzák meg a területeket, beleértve a hatókört, a módszertant, a tesztelési fázisokat, az eredményeket, a lezárást és a elhárítást. A tesztautomatizálást ezért a szélesebb körű működési ellenálló képesség egyik összetevőjeként kell értelmezni – nem pedig annak helyettesítőjeként.

A DORA többet igényel, mint automatizált regresszió

A DORA nem teszi elavulttá a tesztautomatizálást, helyette a hatékony automatizálást szorgalmazza, és feltárja az elsősorban a manuális regressziós erőfeszítések csökkentésére épülő automatizálási stratégiák korlátait is. A pénzügyi intézmények számára a tesztelésnek most egy tágabb célt kell támogatnia: annak bizonyítását, hogy a kritikus digitális szolgáltatások ellenállóak maradhatnak a hibákkal, változásokkal, sebezhetőségekkel, teljesítménynyomással és egyéb IKT-kockázatokkal szemben.

Ez többet igényel, mint nagyméretű tesztkészleteket. Kockázatalapú lefedettséget, nyomon követhetőséget, teljes körű ellenőrzést, teljesítménytesztelést, fegyelmezett korrekciót, megbízható bizonyítékokat és megfelelő függetlenséget.

A legfontosabb kérdés tehát már nem az: „A tesztelésünk mekkora része automatizált?” Hanem az: „Tud-e a tesztelésünk hiteles bizonyítékot szolgáltatni arra, hogy kritikus rendszereink ellenállóak?”

Erősítse a tesztautomatizálást a DORA és a kritikus rendszerek számára

A DORA tesztelési képességeinek előkészítése többet igényel, mint az automatizálási lefedettség növelését. A szervezeteknek olyan mérnöki megközelítésre van szükségük, amely képes összekapcsolni az automatizált tesztelést, a teljesítménytesztelést, a kockázatot, a nyomon követhetőséget és a működési ellenálló képességet.

A ProofIT bizonyított referenciákkal rendelkezik a banki, telekommunikációs és repülőgépipari komplex, üzletileg kritikus rendszerek automatizált tesztelésében és teljesítménytesztelésében.

Szakértőink segítenek a szervezeteknek skálázható tesztautomatizálást fejleszteni, validálni komplex, teljes körű folyamatokat, értékelni a rendszer teljesítményét valós körülmények között, és megerősíteni a minőségbiztosítást az igényes és szabályozott környezetekben.

Vegye fel a kapcsolatot a ProofIT szakértőivel a business@proofit.tech e-mail címen vagy a +44 73 6049 4722 telefonszámon, hogy megbeszéljük, hogyan fejleszthető jelenlegi tesztelési stratégiája a DORA és a digitális működési rugalmasság jobb támogatása érdekében.

Forrás: 1 2 3 4 5