"Vores projekt skal ikke omtales i pressen på grund af problemer". Det var en af målsætningerne, da undervisningsministeriet skulle have udviklet et nyt Studieadministrativt Informations System (SIS) til de danske pædagogseminarier. 

Alligevel var det nær ved at ende galt efter den første delleverance af det nye system.

Leverandøren af systemet var WM-data, og ifølge kontrakten var det kunden - altså Undervisningsministeriet - der havde ansvaret for accepttest af systemet. Det stod tidligt klart, at i dette tilfælde var ministeriet ikke modne købere. 

Ved den første kundetest blev der fundet mange fejl. Undervisningsministeriet havde ingen test-strategi og ikke tid nok til at lave en ordentlig test-planlægning eller til at udvikle test-cases.

- Vi blev klar over, at hvis vi ikke hurtigt fik fokuseret på vores test-metodik, var der stor sandsynlighed for, at vi ikke ville kunne nå at teste det hele og derved få udryddet fejlene, siger Birthe Hartmann, projektleder i Undervisningsministeriet.

Der var brug for assistance udefra - og den kom i form af konsulenter fra DELTA.

Risikobaseret test

DELTA trådte ind i projektet som kvalitetskoordinator og rådgiver i forbindelse med ministeriets planlægning, udførelse og opfølgning på projektets testfase. Rådgivningen tager udgangspunkt i risikobaseret test - en metode udviklet af DELTA, der sikrer optimal anvendelse af testressourcerne.

Kort sagt, går risikobaseret test ud på at identificere en række kritiske områder - og herefter koncentrere testen inden for disse områder. På den måde får man hurtigst muligt udryddet flest alvorlige fejl.

Grundlaget for metoden er en prioritering af testopgaverne, så der bliver mulighed fo en systematisk gennemgang af risikoområderne. Den risikobaserede test indeholder fire hovedelementer:

• Detaljeret planlægning af testen.
• Kvalitetsvurdering af de software-komponenter, som indgår i testen.
• Gennemførelse af tests inden for de enkelte kritiske områder.
• Opfølgning på resultaterne.

Risikoworkshop

Det vigtige er, at alle parter, både kunde, leverandør og brugere, bliver inddraget i processen, så alle forventninger og ønsker er kendt fra starten.

DELTA har udviklet en risikoworkshop, som bringer parterne sammen. Workshoppen giver deltagerne:

• En forståelse af principperne bag risikobaseret test.
• En fælles indsigt i og forståelse for hvor testressourcerne skal anvendes.
• Identifikation af konkrete forretningsmæssige risikoområder. 
• Testplaner for de enkelte kritiske områder.

- Workshoppen i starten af et risikobaseret testforløb sikrer, at der dannes et fælles grundlag for prioritering af testindsatsen. Ved at prioritere testen på denne måde, og løbende overvåge den, sikrer man sig, at testressourcerne bruges inden for de områder, som er mest kritiske for den samlede applikation, siger Kai Ormstrup Jensen, senioringeniør hos DELTA.

I SIS-projektet blev resultatet af workshoppen en prioriteret plan for test af 14 kritiske områder, som den samlede test blev fokuseret omkring.

Procesforbedringer hos leverandøren

Efter den problematiske kundetest af den første delleverance - og samtidid med indførelsen af risikobaseret test på kundesiden - iværksatte leverandøren, WM-data en række procesforbedringer.

Det var nødvendigt at sikre en bedre kvalitet i de efterfølgende delleverancer, hvis projektet skulle resultere i et velafprøvet og velfungerende system.

Leverandørens testforløb blev forbedret bl.a. ved tilknytning af en aktiv testkoordinator. Procedurerne for modultest, systemtest og installationstest blev efterlevet, og der blev løbende målt på fremdrift og fejl.

Andre procesforbedringer resulterede i bedre kvalitet af de udviklede komponenter. Her indgik kodereviews som et vigtigt element.

Den effektive risikobaserede test hos kunden og leverandørens procesforbedringer betød tilsammen, at alle væsentlige fejl blev fundet og rettet inden systemet blev taget i brug.

- Vi har faktisk ikke oplevet alvorlige fejl siden systemet blev sat i drift i 2001, det er noget der giver kundetilfredshed og
minimerer omkostningerne til dyre fejlrettelser under drift, siger Karsten Bank Petersen, kvalitetschef hos WM-data.

Spar på supporten

Da systemet blev taget i brug var brugernes reaktioner gode. Som følge af testforløbet var de fleste forventninger kortlagt tidligt - og derfor blev de fleste forventninger også indfriet.

Det nye informationssystem var færdigt kun et halvt år efter tidsplanen (en forlængelse der blev besluttet tidligt i testfasen) og over 50% af det reserverede beløb til support fra underleverandøren blev ikke brugt.

Kunden var godt tilfredse med projektets forløb.

- Det mest enestående var den vilje der opstod til at løfte opgaven i fællesskab. Vi havde fælles mål og kunne konstruktivt drøfte og løse problemerne efterhånden som de opstod. Det betød meget, at vi havde nogen der fulgte hele testforløbet og holdt fanen højt,  siger Birthe Hartmann.