7/28/2019 ISO 9000 y la CMM

1/8

-,

E L S E V I E R Information & Management 32 (1997) 267-274

Re s e a r c h

I S O 9 0 0 0 v e r s u s C M M :S t a n d a r d i z a t i o n a n d c e r t i f i c a t i o n o f I S d e v e l o p m e n t

. a G . J . v a n d e r P 1j1 ' , G . J . R S w i n k e l s l " u'c , J . G . V e r r i j d t ca T i lbur g Univer s i t y , POB 90153 , 50 00 LE T i lbur g, The N ether la nds

b R a b o b a n k N e d e r l a n d , U n i v e r s i ty o f A m s t e r d a m , A m s t e r d a m , T h e N e t h e r l a n d sc R a b o b a n k N e d e r l a n d , E i n d h o v e n , T h e N e t h e r l a n d s

A b s t r a c t

A growing n um ber of software developers u se standards as a basis for their quality systems. Som e of them go one step furtherand have their quality systems certified. In this paper, two well-known quality standards, ISO 9000 and the CMM, arecom pared. I t is concluded that both standards are useful but there' is a growing need for mor e specific standards. 1997Elsevier Science B.V.Keywords: ISO-900 0; Capability maturity mod el; Certification; Standardization; Inform ation syste m developm ent; Softwarequality; Software engineering; Quality standards; Quality systems

1 . I n t r o d u c t i o n

Si n c e s e r i o u s s o f t w a r e d e v e l o p e r s c a n n o l o n g e ra f f o r d t o d e l i v e r p o o r q u a l i t y s o f t w a r e , mo d e m s o f t -w a r e d e v e l o p m e n t o r g a n i z a t i o n s a r e p a y i n g a g r e a td e a l o f a t t e n t i o n t o q u a l i t y ma n a g e me n t [ 1 , 2 ] . I nE u r o p e , t h e I SO 9 0 0 0 s e t o f q u a l i t y s t a n d a r d s [ 3 ] a r ew i d e l y u s e d s t a n d a rd s f o r q u a l it y m a n a g e m e n t i ns o f t w a r e d e v e l o p me n t . I SO 9 0 0 0 - 3 [ 4 ] w a s s p e c i f i -c a l l y d e s i g n e d f o r s y s t e ms d e v e l o p me n t . T o d a y , ag r o w i n g n u m b e r o f I S d e v e l o p e r s u s e s t a n d a r d s a s ac o n t r o l o n i mp l e me n t i n g q u a l i t y s y s t e ms . T h e r e i s ,h o w e v e r , m u c h d i s c u s s i o n o f t h e s e s ta n d a r d s a n d t h ec e r ti f ic a t es t h a t a c c o m p a n y t h e i r u s e ; m a n y c o m p a n i e sa r e e a g e r t o o b t a i n a c e r t i f i c a t e b e c a u s e o f ma r k e t

*Corresponding author. Tel.: 003113662138; e-mail: PIJL@K-UB.NL.1E-mail address: swinkles@tref.nl.0378-7206/97/$17.00 1997 Elsevier Science B.V. All rights reservedP H S-0378-7206(97)00019-0

p r e s s u r e . T h i s o f t e n me a n s t h a t a m i n i mu m s e t o fp r o c e d u r e s a n d q u a l i t y h a n d b o o k s a r e d e v e l o p e d i nt h e c o mp a n y w i t h o u t a q u a l i t y s y s t e m r e a l l y b e i n gi m p l e m e n t e d o r q u a l i t y a w a r e n e s s b e i n g c r e a t e da mo n g t h e e mp l o y e e s . I n s u c h c a s e s , t h e p o s s e s s i o no f c e r t i f i c a t e s d o e s n o t g u a r a n t e e t h e q u a l i t y o f t h es o f t w a r e p r o d u c t i o n p r o c e s s o r a r e a s o n a b l e p r i c e / /p e r f o r ma n c e r a t i o f o r t h e p r o d u c t s d e l i v e r e d t o t h ec l i e n t . M o r e o v e r , e v e n w h e n a c o m p a n y m a i n t a i n sa q u a l i t y s y s t e m t h a t me e t s t h e I SO 9 0 0 0 s t a n d a r d s ,t h e q u a l i t y o f t h e f i n a l p r o d u c t c a n n o t b e g u a r a n t e e d .Worse s t i l l , adher ing to s t r i c t so f tware qua l i ty s t an -d a r d s c a n , i n s o me c i r c u ms t a n c e s , b e c o u n t e r p r o d u c -t i v e , b e c a u s e t h e s p e c i f i c s y s t e ms d e v e l o p me n te n v i r o n me n t i n w h i c h t h e p r o d u c t i o n t a k e s p l a c es h o u l d b e t a i l o r e d f o r s p e c i a l c i r c u ms t a n c e s a n d t h es o f t w a r e d e v e l o p m e n t p r o c e s s m a y n e e d t o b e c h a n -g e d t o a c c o m m o d a t e t h e s p e c i fi c t y p e o f s y s t e m t o b ep r o d u c e d [ 5 ] .

7/28/2019 ISO 9000 y la CMM

2/8

268 G . J . v a n d e r P i f l e t a l . / I n f o r m a t i o n & M a n a g e m e n t 3 2 ( 1 9 9 7 ) 2 6 7 - 2 7 4

In t h i s pape r , we d i s cus s t he u s e o f s t andards i n t hec o n t r o l o f t h e q u a l i ty o f t h e i n f o r m a t i o n s y s t e m s d e v e -l o p m e n t p r o c e s s . T h e I S O m o d e l , w h i c h i s t h e m o s tp o p u l a r s t a n d a r d i n E u r o p e a n d J a p a n , i s c o m p a r e dwi t h t he C apab i l i t y Mat u r i t y Mode l (C MM) [6 , 7 , 8 ,9 ] , w h i c h is o n e o f t h e c o m m o n s ta n d a r ds o f th e U S A .When l ook i ng a t s t andards l i ke t hes e , we s ee t ha tt h e y s e r v e tw o p u r p o s e s . O n t h e o n e h a n d , t h e y c a n b eus ed t o p rov i de gu i dance t o o rgan i za t i ons i n s t a l l i ngq u a l i ty s y s t e m s t o p r o d u c e g o o d s a n d s e r v i ce s o f t h edes i r ed qua l i t y . On t he o t he r hand , t hey a re t he bas i sfo r t he ce r t i f i ca t i on o f qua l i t y s y s t em s . Q ua l i t y ce r t i -f i ca t e s ar e m e a n t t o g i v e b u y e r s o f g o o d s a n d s e r v ic e san i m pres s i on o f the qua l i t y o f t he s upp l i e r s and ,i nd i r ec t ly , o f t he qua l i t y o f t he i r p roduc t s a nd s e rv i ces[10 ] . P rob l em s wi t h s t andards can a r i s e i n e i t he r o fthese f i e lds .A l t h o u g h C M M s o l v e s s o m e o f t h e p r o b le m s o f t h eIS O m ode l , i t a l s o has s om e s ho r t com i ngs . In t h i spaper we i nd i ca t e t he d i r ec t i on i n wh i ch s o f t warequa l i t y a s s u rance and s o f t w are qua l i ty s t andards havet o d e v e l o p i n o r d e r t o i m p r o v e t h e q u a l i ty o f d e l i v e re dIS . Our conc l u s i ons a re bas ed o n a l i t e r a tu re s t udy ande x p e r i e n c e s in a p p l y i n g b o t h I S O 9 0 0 0 a n d t h e C M Mi n s y s t e m s d e v e l o p m e n t p r o j e c ts i n a l a r g e b a n k a n ds evera l o rgan i za t i ons i n t he Ne t he r l ands .

2 . T h e I S O 9 0 0 0 st a n d a r d s

T h e i n t e r n a t i o n a l s t a n d a r d s 9 0 0 0 - 9 0 0 4 d e s c r i b eh o w c o m p a n i e s c a n i m p l e m e n t q u a l it y s y st e m s . O n c ea s y s t em i s in p l ace , i t m ay be ce r t i f i ed by an i nde -penden t i n s t i t u t i on . The ce r t i f i ca t e s can t hen be u s edt o s h o w c u s t o m e r s t h a t t h e c o m p a n y a d h e r e s t o e x t e r -na l l y ve r i f i ed qua l i t y s t andards. T he p h i l o s oph y o f t hes t andards i s cons i s t en t w i t h deve l opm en t s i n t he t he -o ry o f qua l i t y m ana gem en t [ 11 ] . The focus i s s h i f ti ngf rom con t ro l l i ng t he qua l i t y o f t he f i na l p roduc t t ocon t ro l l i ng t he qua l i t y o f i t s p roduc t i on p roces s es[12 ]. The e s s e nce o f the IS O 9000 s t andard i s t ha t acom pany s hou l d v i s i b l y con t ro l a l l a s pec t s o f t heb u s i n e s s i n o r d e r t o g u a r a n t e e a m i n i m u m q u a l i t yl eve l fo r i t s p roduc t s . V i s i b i li t y i s r ea l i zed by des c r i b -i ng t he qua l i t y s y s t em i n a Qua l i t y Handbook . Thes t andard doe s no t de f i ne wh a t i s the m os t e f f ec t i ve wayo f con t ro l l i ng bus i nes s p roces s es ; i t s i m p l y r equ i r e st he o rgan i za t i on t o m a i n t a i n s e t s o f qua l i t y p rocedu res

and gu i de l i nes w i t hou t s pec i fy i ng t hem . Th i s i s bo t ht he s t r eng t h and t he weaknes s o f the s t andard . Theopenn es s m ak es i t app l i cab l e t o m any d i f f e ren t p ro -duc t i on p roces s es , bu t i t m ak es i t ha rd fo r p roduc e r s o fgoods and s e rv i ces t o dec i de on t he s pec i f i c t ype o fm eas u res t o be t aken . F o r pu rchas e r s , i t m eans t ha t aqua l i t y ce r t i f i ca t e does n o t nece s s a r i l y i nd i ca t e t ha t thequa l i t y s y s t em o f t he s upp l i e r i s we l l a t t uned t o t hes pec i f ic p roduc t and m a rke t s i t ua t ion . Th i s i s t he m a i nreas on w hy m ore s pec i f i c ve r s i ons and i n t e rp re ta t i onso f t he s t andard a re deve l oped i n d i f f e ren t t ypes o findus t r i es .

F o r s y s t em s deve l opm en t , t he re i s t he IS O 9000 -3s t andard : ' Gu i de l i nes fo r the deve l opm en t s upp l y andm ai n t enance o f s o f t ware . ' I n t h i s, t he l i f e cyc l e o f ISdeve l opm en t i s t aken as t he p roces s t o be con t ro l l ed .How ever , t he s t andard r em ai ns a ve ry gene ra l des c r ip -t i on o f t he p rocedu res and gu i de l i nes fo r qua l i t ym a n a g e m e n t .

I S O 9 0 0 0 i s v e r y p o p u l a r i n th e U n i t e d K i n g d o mand t he Ne t he r l ands a nd t he num ber o f app l i ca t i ons i nGe rm a ny i s ri s ing . Th ere i s , howe ver , m uch c r i t i c i s m ,s t e m m i n g p a r t l y f r o m t h e f a c t t h a t c o m p a n i e s a r et ry i ng t o ob t a i n IS O 9000 ce r t i f i ca t e s fo r r eas ons o fm arke t i ng r a t he r t han ( t o ta l ) qua l it y m anage m en t . B u teven i f we as s um e t ha t com pan i es u s e s t andards t oi m pro ve t he i r p roduc t i on p roces s es , i t i s pos s i b l e t o bec r i t i ca l o f t he con t en t s and cons t ruc t i on o f t he s t an -da rds . The m a i n c r i t i c is m s o f t he u s e o f IS O 9000 -3f o r s y s t e m s d e v e l o p m e n t a r e : The gene ra l na tu re o f t he s tandard . The f ac t t ha t it is s pec i f i ed fo r qua l i t y s y s t em s o f

s ys t em s deve l opm en t o rgan i za t i ons and t ha t l i t t l ea t t en t i on is g i ven t o qua l i t y m eas u res on t he l eve l o fs pec i f i c deve l opm en t p ro j ec t s .

T h a t I S O 9 0 0 0 r e c o g n i z e s o n l y o n e c e rt if i a b le le v e lo f qua l i t y , wh i l e i n p rac t i ce d i f f e ren t qua l i ty l eve l sm ay be adv i s ab l e fo r d i f f e ren t s i t ua t i ons .

The em phas i s on s t ri c t p roced u res and the i r docu -m en t a t i on i n m anua l s l eads t o a bu reauc ra t i c t ypeo f b e h a v i o r i n s te a d o f a g r o w i n g a w a r e n e s s o f t h ei m po r t ance o f qua l i t y fo r the o rgan i za t i on . S ea rch -i ng fo r new i n s i gh t s and m e t hodo l og i es i n s y s t em sd e v e l o p m e n t m a y b e h a m p e r e d . A g o o d e x a m p l e i sB oehm ' s ' s p i r a l m ode l ' [ 13 ] wh i ch copes w i t hunce r t a i n t y i n s y s t em s deve l opm en t bu t c l a s heswi t h t he ru l e s o f IS O 9000 -3 .

7/28/2019 ISO 9000 y la CMM

3/8

G . J . v a n d e r P i j l e t a l . / In f o r m a t i o n & M a n a g e m e n t 3 2 ( 1 9 9 7 ) 2 6 7 - 2 7 4 26 9 T h o u g h t h r o u g h p u t t im e m a y b e m o r e im p o r t a n t in

s o m e c a s e s t h a n s u p e r b q u a l i t y a n d a s o m e w h a t' q u i c k a n d d i r t y ' a p p r o a c h m i g h t t h e n b e a d v i s a b l e,q u a l i t y s t a n d a r d s l e a v e v e r y l it tl e r o o m f o r t h e i d e ao f e n d - u s e r a n d r a p i d a p p l ic a t i o n d e v e l o p m e n t .

3 . T h e C a p a b i l i t y M a t u r i t y M o d e lT h e S o f t w a r e E n g i n e e r i n g I n s t i t u t e ' s C M M b u i l d s

o n t he w o r k o f H u m p h r e y . T h e m o d e l p r e s en t s ag r o w t h t h e o r y w h e r e t h e q u a l i t y l ev e l o f a s y s t e m sd e v e l o p m e n t o r g a n i z a t i o n c a n g r o w a l o n g a g i v e np a t h . T h e e s s e n c e o f th e m o d e l i s t h a t s e v e r al q u a l i t yl e v e ls c a n b e r e c o g n i z e d . A n o r g a n i z a t i o n c a n g o f r o mo n e s t a g e t o a n o t h e r a n d t h u s g r o w f r o m h a v i n g n oq u a l i t y m a n a g e m e n t t o a m a t u r e s i t u a ti o n w i t h a v e r yh i g h l e v e l o f q u a l i ty c o n t r o l , a s s h o w n i n F i g . 1 .

E a c h l e v e l is d e t e r m i n e d b y a s e t o f k e y p r o c e s sa r e a s, w h i c h , i n t u r n c o n s i s t o f s et s o f k e y p r a c t i c e s[ 1 4 ]. B y m e a s u r i n g t h e d e g r e e t o w h i c h k e y p r a c t i c e sa r e i m p l e m e n t e d , t h e m a t u r i t y l e v e l o f a s y s t e m sd e v e l o p m e n t o r g a n i z a t i o n i s m e a s u r e d . T h e s t r u c t u r ef o r th i s m e a s u r e m e n t i s g i v e n i n F i g. 2 , w h e r e e a c hk e y p r o c e s s c a n b e j u d g e d a s b e i n g s u f f i c i e n tl y ( S ),p a r t l y ( P ) , o r i n s u f f i c i e n t l y ( I ) i m p l e m e n t e d . T h e t o t a ls e t o f k e y p r a c t ic e s i s s p e c i fi c a l ly a i m e d a t t h e s y s t e m sd e v e l o p m e n t o r g a n i z a t i o n , a n d i s m u c h m o r e d e t a i l e dt h a n th e p r e s c ri p ti o n s o f I S O - 9 0 0 0 . T h e r e f o r e C M Ml e a v e s m u c h l e s s r o o m f o r i n t e r p r e t a t i o n .

E a c h q u a l i t y l e v e l c a n b e s e e n a s a w e l l - d e f i n e ds t a g e o n t h e w a y t o m a t u r e o r g a n i z a t i o n . A s e t o f w e l l -d e f i n e d s m a l l s t e p s l e a d s f r o m e a c h s t a g e t o t h e n e x th i g h e r q u a l i t y l e v e l. O f c o u r s e , th e m a i n i d e a b e h i n dt h e m o d e l i s th a t a h i g h e r d e g r e e o f m a t u r i t y l e a d s t ob e t t e r r e s u lt s i n t e r m s o f d e fe c t s , c o s t s , t h r o u g h p u tt im e s , a n d q u a l i t y o f t h e s y s t e m s d e l i v e r e d . R e c e n tr e s e a r c h [ 1 5 ] s h o w s t h a t t h e C M M ' s q u a l i t y le v e l s ar en o t a l w a y s e x a c t l y e q u a l t o t h o s e i n t h e r e a l w o r l d .P o s s i b l y , a m o r e g r a d u a l p a t t e r n o f g r o w t h w o u l d b em o r e r e a li s ti c . T h i s , h o w e v e r , d o e s n o t f u n d a m e n t a l l yc h a n g e t h e i d e a o f C M M a s a n e l a b o r a t e w a y t o in s ta llq u a l i t y m a n a g e m e n t i n s y s t e m s d e v e l o p m e n t i n as e r i e s o f s te p s . I t m i g h t , h o w e v e r , i n f l u e n c e t h e i d e at h a t t h e q u a l i ty o f a s o f t w a r e s u p p l i e r 's d e v e l o p m e n tp r o c e s s c a n b e a s s e s s e d b y l o o k i n g a t a d e ta i l ed s e t o fk e y p r o c e s s e s a n d p r a c t i c e s , a s s e s s in g t h e s t a g e o f t h es u p p l i e r . T h e r e m a y b e o t h e r p o s s i b l e g r o w t h p a t h st h a t e n a b l e s u p p l i er s t o d e l iv e r s o f t w a r e o f th e d e s i r e dq u a l i t y . T h i s i s e s p e c i a l l y t r u e a t t h e h i g h e r l e v e l s o ft h e m o d e l , w h e r e t h e C M M r u l e s e x c e e d g e n e r a le n g i n e e r i n g p r a c t i ce s . T h e q u a l i t y o f t h e s e s u p p l i e rsw o u l d n o t b e r e c o g n i z e d i f t h e ir b u s i n e s s p r o c e s s e s a r ec o m p a r e d o n l y to t h e le v e ls o f C M M .

4 . C o m p a r i n g I S O 9 0 0 0 -3 a n d C M MI n a p r o j e c t a s s e s s i n g t h e a p p l i c a b i l i ty o f I S O 9 0 0 0

a n d C M M i n IS d e v e l o p m e n t e n v i r o n m e n t s i n a l a rg e

level o f CMM process descriptionl."initial" ad ho c, sometimeschaotic

pro ject uccess not guaranteed2."repeatable" co st s ontrolled

productoriented reactive nuanagement ystem3."defined" pro cessdocumentedand standardized

tailored tandards for each project4."managed" pro cessunderstood, measuredand controlled5."optimizing" fo cu s n process mprovementand rapid echnology

updating

Fig. 1. The quali ty levels of CMM.

7/28/2019 ISO 9000 y la CMM

4/8

2 7 0 G . J. v a n d e r P i j l e t a l ./ I n f o r m a t i o n & M a n a g e m e n t 3 2 ( 1 9 9 7 ) 2 6 7 - 2 7 4

l e v e l 2' r e p e a t a b l e '

l e v e l 1' in i t ia l '

l e v e l 5 ,1] ' o p t i m i z i n g ]l e v e l 4 od efe ct r~wentiom e c h n i c al c h a n g e m g t .' m a n a g e c t " , p r o c e s s c h a n g e m g t .

le v e l 3 .so ,wareu a l it y m g t .'def ined' - q u a n t i t a ti v e p r o c e s s mg t .

p e e r r e v i e w s n t e r g r o u p c o o r d i n a t i o n s o f t w a r e p r o d u c t e n g . n t e g r a te d s o f t w a r e mg t . r a i n i n g p r o g r a mo r g . p r o c e s s d e f i n i t io no r g . p r o c e s s f o c u s r e q u i r e m e n t s mg t . i p s

s o f t w a r e p r o j e c t p l a n n i n g s o f t w a r e p r o j e c t t r a c k i n g s o f t w a r e s u b c o n t r a c t mg t . s o f t w a r e q u a l i ty a s s u r a n c e s o f t w a r e c o n f i g u r a t i o n m g t .

I I 1 E

i p sF i g . 2 . A s s e s s i n g t h e q u a l i t y l e v e l o f a n o r g a n i z a t io n .

i p s

b a n k , w e f o r m u l a t e d a s e t o f c r it e r i a f o r a s s e s s i n g t h eu s e f u l n e s s o f g u id e l i n e s f o r q u a l i t y s y s t e ms . I n F i g . 3 ,t h e s c o r es o f I S O a n d C M M o n t h e se c r i te r i a ar ep resen ted . From th i s , i t i s c l ear tha t : Bo t h a p p r o a c h e s s c o r e h i g h o n s ta b i l i ty ( A . 1 ) I SO

9 0 0 0 i s p r o d u c e d a n d ma i n t a i n e d b y t h e i n t e r n a -t i o n a l s ta n d a r d s o r g a n i z a t i o n , w h i c h g u a r a n t e e s t h a tt h e s t a n d a r d w i l l b e a v a i l a b l e a n d a d a p t e d t o d e v e l -o p m e n t s i n t h e f i e ld o f q u a l it y s y s t e ms . T h e SE I w i l lma i n t a i n t h e CMM i n i t s p r e s e n t f o r m u p t o 1 9 9 6 .F r o m t h e n o n , b o t h a p p r o a c h e s w i l l p r o b a b l y b ec o mb i n e d i n a n e w i n t e r n a t i o n a l s t a n d a r d .

N e i t h e r s t a n d a r d c o m p l e t e l y c o v e r s th e a r e a o f I Sd e v e l o p m e n t . O n t h e o n e h a n d , C M M i s l i m i te d t oI S d e v e l o p m e n t , w h i l e I S O 9 0 0 0 a l s o c o v e r s p r o -c u r e m e n t . O n t h e o t h e r h a n d , C M M c o v e r s a w i d e rr a n g e o f I S d e v e l o p m e n t o r g a n iz a t io n s b e c a u s e i tc o v e r s a w i d e r r a n g e o f q u a l i t y l e v e ls . O u r r e s e a r c h[ 1 6] s h o w s t h a t t h e r e is mu c h o v e r l a p b e t w e e n I SO

9 0 0 0 a n d t h e f ir s t t h r e e l e v e l s o f CM M . A l mo s t a llp a r t s o f t he I SO s t a n d a r d c a n b e t r a n s l a te d i n t o k e yp r a c t i c e s a t t h e s e t w o l e v e l s . I mp l e me n t i n g CMMu p t o t h e t h i r d l e v e l a n d c o mp l e t i n g i t w i t h o n l y af e w a d d i t io n a l i t e ms f r o m I S O 9 0 0 0 - 3 ( 5 .2 . 2. ' c o n -t r a c t i t e ms o n q u a l i t y ' ; 5 .8 ' a c c e p t a n c e ' ; 5 .9 ' r e p l i -c a t i o n , d e l i v e r y a n d i n s ta l l a t i o n ' ; 6 .2 . 4 ' d o c u m e n tc h a n g e s ' ; 6 . 8 ' i n c l u d e d s o f t w a r e ' ) ma k e s c e r t i f i c a -t i o n a c c o r d i n g t o I SO 9 0 0 0 p o s s i b l e . T h e h i g h e rl e v e l s o f CM M , h o w e v e r , a re n o t a d d r e s s e d in I SO9 0 0 0 . T h e s e f i n d i n g s w e r e r e c e n t l y c o n f i r me d b yPa u l k [ 1 7 ] . T h e r e f o r e , w e q u a l i f i e d t h e s c o p e o fb o t h a p p r o a c h e s a s a v e r a g e ( A . 2 ) .C M M i s sp e c i a ll y a i m e d a t s o f tw a r e d e v e l o p m e n t .A l t h o u g h t h e k e y p r a c t i c e s a t t h e l o w e r l e v e l s a r el i k e t h o s e o f o t h e r ' e n g i n e e r i n g ' o r g a n i z a t i o n s , a tt h e h i g h e r l e v e l s , it mo d e l s t h is s o f t w a r e p r o c e s s i na mu c h mo r e d e t a i l e d a n d s p e c i f i c w a y t h a n I SO9 0 0 0 . T h e q u a l i t y c h a r a c t e r i s t i c s a r e d e s c r i b e d i nmu c h m o r e d e t a i l t h a n t he q u a l i t y c h a r a c t e r i st i c s o f

7/28/2019 ISO 9000 y la CMM

5/8

G.J. van der Pi t et al./lnformation & Management 32 (1997) 267-274 271

R E Q U I R E M E N T s co re C M M s co re I S O

A . R e q u i r e m e n t s f o r t h em o d e l

A. 1 Stabi l i ty high highA . 2 Sc o p e o f t h e mo d e l a v e r a g e a v e r a g eA.3 Area o f app l i ca t ion h igh average13. Ea se o f appl icat ion average h ighB. 1 Avai l ab i l i ty o f too l s average averageB.2 Avai l ib i l i ty o f exper i ence average h ighC E a s e o f g r a d u a l h igh low

i m p r o v e m e n tD E a s e o f p r e s e n t i n g r e s u lt s h i g h a v e r a g eE D e g r e e o f a c c e p t a n c e l ow h igh

Fig. 3. Comparing SO 9000 and CMM

I SO 9 0 0 0 - 3 . Be c a u s e o f th i s, w e f o u n d i t t o b e mu c he a s i e r t o d e s c r i b e t h e q u a l it y o f I S d e v e l o p m e n tg r o u p s in t e rm s o f C M M a n d to u se C M M a s ag u i d e l i n e f o r b u i l d i n g q u a l i t y s y s t e ms . T h e r e f o r e ,t h e e a s e o f a p p l i c a t i o n o f I SO 9 0 0 0 i s s c o r e d a sa v e r a g e a n d t h a t o f C M M a s h i g h ( A . 3 ) . T h i se x p l a i n s w h y a c e n t r a l I S d e v e l o p me n t g r o u p i nt h e b a n k w e s t u d i e d i s n o w s w i t c h i n g f r o m I SO9 0 0 0 t o C M M a s th e b a s is f o r q u a li t y i m p r o v e m e n t ,e v e n t h o u g h t h e a s p i r a t i o n l e v e l h a s n o t r e a l l yc h a n g e d . F o r m e r l y i t w a s a i m e d a t t h e I S O 9 0 0 0l e v e l ; n o w t h e t a r g e t i s s e t a s CM M l e v e l t h r e e . O u rr e s e a r c h s h o w e d t h a t b o t h a p p r o a c h e s h a v e t o b ea d a p t e d t o t h e s p e c i f i c e n v i r o n me n t i n w h i c h t h e ya r e a p p l i e d . Be c a u s e o f t h e g r e a t v a r i e t y o f s o f t w a r es y s t e ms i n a b a n k i n g e n v i r o n me n t , a r a n g e o fs l i g h tl y d i f f e r i n g q u a l i t y s t a n d a r d s f o r I S d e v e l o p -me n t h a s t o b e u s e d t h r o u g h o u t t h e o r g a n i z a t i o n .

T h e r e a r e n o t o o l s f o r e i t h e r a p p r o a c h , o t h e r t h a nt h e s t a n d a r d s t h e ms e l v e s a n d t h e CMM q u e s t i o n -n a i r e s to s u p p o r t t h e i mp l e m e n t a t i o n o f th e q u a l i t ys y s t e m. Co n s e q u e n t l y , w e s c o r e d t h e m b o t h a sa v e r a g e ( B . 1 ).A t t h e ti m e o f o u r r e s e a r ch I S O 9 0 0 0 -3 w a s m u c hb e t t e r k n o w n i n t h e E u r o p e a n o r g a n i z a t i o n s w ev i s i t e d t h a n C M M . T h i s m e a n t t h a t i t w a s m u c he a s i e r to b u i ld o n e a r l i e r e x p e r i e n c e w i t h I SO - 9 0 0 0t h a n w i th C M M . T h u s , w e s c o r e d I S O a s h i g h a n dCM M a s a v e r a g e i n t h i s r e s p e c t ( B . 2 ). I n t h e me a n -t i me , t h e u s e o f CMM i n t h e N e t h e r l a n d s h a s b e e ni n c r e a s i n g r a p i d l y , w h i c h me a n s t h a t e x p e r i e n c ew i t h CMM i s a l s o a v a i l a b l e n o w . A n e x a mp l ec a n b e f o u n d i n , v . d . G e n u g t e n [ 1 8 ] w h o d e s c r i b e st h e u s e o f CM M i n t h e Ph i l ip s o r g a n i z a t io n . H es h o w s t h a t th e n u m b e r o f f a u l t s in s o f t w a r e d e v e l -o p m e n t i s d ra s t ic a l ly r e d u c e d b y u s i n g C M M .

7/28/2019 ISO 9000 y la CMM

6/8

272 G . J. v a n d e r P i j l e t a L / l n f o r m a t i o n & M a n a g e m e n t 3 2 ( 1 9 97 ) 2 6 7 - 2 7 4 T h e s t a g e s o f C M M d e s c r ib e a g r o w t h p a t h t o

h igher l eve l s o f qua l i ty . Fo l lowing th i s pa thm a k e s g r a d u a l i m p r o v e m e n t o f q u a l i t y e a s i e r i nC M M t h a n i n I S O 9 0 0 0 . T h e I S O s t a n d a r d s p r e -s c r i b e o n e f i x e d l e v e l o f q u a l it y ma n a g e m e n t . C M Mpoin t s ou t tha t d i f fe ren t ones a re poss ib le , bu t i td o e s n o t p r e s c r i b e w h i c h l e v e l h a s t o b e c h o s e n :t h i s c h o i c e i s d e t e r mi n e d b y t h e s p e c i f i c s i t u a t i o ni n w h i c h s y s t e m s d e v e l o p m e n t t a k e s p l a c e a n db y t h e d e ma n d s o f t h e s o f t w a r e p u r c h a s e r. Re c e n te x p e r i e n c e s i n t h e b a n k i n g e n v i r o n me n t h a v ema d e i t c l e a r t h a t i t i s mu c h e a s i e r t o d i s c u s sd e s i r a b l e a n d a t t a i n a b l e q u a l i t y l e v e l s o n t h e b a s i so f C M M ( C) .

B e c a u s e o f th e m o r e d e t ai l ed c h a r a c t e r o f C M M , i tp r o v e d t o b e t h e b e t t e r me t h o d f o r p r e s e n t i n g t h er e s ul ts o f q u a l i ty m e a s u r e m e n t . T h e r e f o r e C M Ms c o r e s h i g h a n d I SO o n l y a v e r a g e ( D ) . T h e r e i s , o fc o u r s e , a s t r o n g c o r r e l a t i o n b e t w e e n t h is c o n c l u s i o na n d t h e o n e a b o v e .

C M M w a s s ti ll r e l at i v el y u n k n o w n a t th e m o m e n t o fo u r r e s e a r c h , w h i c h ma d e t h e a c c e p t a n c e o f t h i ss t a n d a r d r a t h e r d i f f ic u l t. I SO s c o r e d h i g h f o r a c c e p -t a n c e a n d CMM o n l y l o w ( E ) . A t t h i s p o i n t h o w -e v e r , CMM i s i n t r o d u c e d a s a p h i l o s o p h y f o ri m p r o v i n g s o m e i m p o r t a n t IS d e v e l o p m e n t d e p a r t-me n t s i n t h e b a n k .I t w i l l b e c l e a r f r o m t h i s c o mp a r i s o n t h a t CMM

s o l v e s s o m e o f t h e p r o b l e m s a s s o c i a t e d w i t h I S O9 0 0 0 . T h e m o r e d e t a i l e d s p e c i f i c a t i o n o f q u a l i ty c h a r -a c t e r i s t i c s m a k e s i t m u c h e a s i e r t o u s e C M M a s ab luepr in t . Due to the exp l i c i t a t t en t ion to re l evan ta s p e c t s o f d e v e l o p me n t , i t i s a ls o mu c h e a s i e r t o a t tu n eCMM t o d i f f e r e n t c i r c u ms t a n c e s . I n t h e b a n k i n ge n v i r o n m e n t , w h e r e i n f o r m a t i o n s y s t e m s o f a v e r yd i v e r s e n a t u r e a r e b u i l t b y d i f f e r e n t I S g r o u p s i n t h eorgan iza t ion , t h i s i s a very impor tan t d i s t inc t ionb e t w e e n t h e t w o a p p r o a c h e s . I S d e v e l o p m e n t g r o u p sc a n c h o o s e t h e CM M q u a l i t y l e v e l t h e y w a n t t o a tt a in .T h i s a l s o me a n s t h a t t h e s o f t w a r e p u r c h a s e r c a nc h o o s e a s u p p l i e r w i t h a q u a l i t y s y s t e m t h a t me e t sh i s o r her spec i f i c needs .

S i n c e t h e g r o w t h p a t h t o q u a l i ty i n d i c a t e d b y CM Mi s n o t t h e o n l y p o s s i b l e g r o w t h p a t h , o n e s h o u l d b ec a r e f u l n o t t o u s e CMM e x c l u s i v e l y . O r g a n i z a t i o n sf o l l o w i n g a d i f f e r e n t g r o w t h p a t h c o u l d a l s o d e l i v e rg o o d q u a l i t y s o f t w a r e [ 1 9 ] .

5 . E xp ec ted tren d sSo f t w a r e p r o j e c t s h a v e t o b e e v a l u a t e d r e l a t i v e t o

t h e s tr e n g t h s a n d w e a k n e s s o f b o t h t h e d e v e l o p m e n to r g a n i z a t i o n a n d t h e u s e r o r g a n i z a t i o n [ 2 0 ] . T h i sa n a l y s i s d e t e r mi n e s t h e s p e c i f i c s e t o f q u a l i t y me a -s u r e s t o b e t a k e n b u t ma k e s i t v e r y d i f f i c u l t t o u s e as t a n d a r d q u a l i ty a s s u r a n c e s y s t e m . W e m u s t t h e r e f o r es t r ik e a b a l a n c e b e t w e e n s p e c i f y i n g a s et o f m i n i mu mr e q u i r e me n t s f o r a ll p r o j e c ts a n d l e a v i n g e n o u g h r o o mf o r t h e p e c u l i a r it i e s o f i n d i v i d u a l p r o j e c ts . A c o m p l e t eq u a l i t y s y s t e m t a k e s i n t o a c c o u n t a l l f a c t o r s t h a te x p l a i n t h e q u a l i t y o f t h e f i na l p r o d u c t. A v a r i e t y o fa s p e c t s , s u c h a s t h e p e o p l e i n v o l v e d , t h e me t h o d s a n dt o o l s u s e d , a n d t h e m a n a g e m e n t c o m m i t m e n t i n f l u -e n c e t h e r e s u lt . P r a c t i c a l e x p e r i e n c e w i t h t h e b a n k a n do t h e r o r g a n i z a t i o n s s h o w s , h o w e v e r , t h a t w e d o n o tk n o w a l l th e f a c t o r s a n d c a u s a l r e l a t io n s h i p s i n v o l v e d[21].

M e a s u r e s o f i mp r o v i n g q u a l i ty a r e d i v e r s e ( p r e v e n -t i v e , d e t e c t i v e , c o r r e c t i v e ) a n d a r e p a r t l y e x c h a n g e -a b l e ; f o r e x a m p l e , i f s o m e m e m b e r s o f t h e p r o j e c tt e a m h a v e n o t l e a r n e d t h e me t h o d s , t h e y w i l l h a v e t opay more a t t en t ion to t es t ing the f ina l p roduct . Us ings e v e r a l me t h o d s ma k e s i t p o s s i b l e t o t a k e c a r e o f t h es p e c i fi c s o f e a c h p r o j e c t ; h o w e v e r , d i f f e r e n c e s i n s t e p sa n d d e l i v e r a b l e s m a k e i t d if f i c u lt to c o m p a r e p r o j e c t sa n d t h u s a c c u mu l a t e e x p e r i e n c e . T h e r e a r e s o met r e n d s t h a t s u p p o r t t h e d e v e l o p me n t o f mo r e s i t u a -t ion -spec i f i c norms , such as those fo r spec i f i c a reas( e .g . d e t a c h me n t ) , d e v e l o p me n t o f q u a l i t y me t r i c s(e .g . us ing func t ion po in t s ) , and spec i fy ing so f twarequal i ty [22] .

T h e mo r e o r g a n i z a t i o n s t h a t u s e q u a l i t y s y s t e ms ,the more l ike ly i t i s t ha t par t i es par t i c ipa t ing in so f t -w a r e c o n t r a c t s w i l l u s e d i f fe r e n t q u a l i ty s y s t e m s . E v e ni f t hose sys t ems do no t conf l i c t , t ak ing a l l t heser e q u i r e me n t s i n t o a c c o u n t w i l l o f t e n b e v e r y c o mp l i -c a t e d a n d c o s t l y . Cu r r e n t q u a l i t y s t a n d a r d s a r e m a i n l yo r i e n t e d t o w a r d s s t a n d a r d i z i n g a c t i v i t i e s a n d p r o c e -d u r e s. I n n o v a t i v e p r o je c t s , h o w e v e r , r e q u i r e r o o m f o rn e w i d e a s a n d c r e a t i v i ty . S t a n d a r d i z a ti o n m a y e n c o u -r a g e c r e a t i v i t y i f i t t a k e s a w a y t h e w o r r i e s o f b a s i cq u a l i ty i s s u es . S t a n d a r d i z a t i o n m a y h a mp e r c r e a t i v i tyi f i t l i m i t s t h e n u mb e r o f n e w s o l u t i o n s t h a t c a n b et a k e n i n t o a c c o u n t . I n t h is t y p e o f p r o j e c t s , r e l y i n g o ns t a n d a r d i z a t i o n t o o h e a v i l y ma y h a mp e r c r e a t i v i t y .S t a n d a r d i z a t i o n i s n o t t h e o n l y w a y t o g u a r a n t e e

7/28/2019 ISO 9000 y la CMM

7/8

G.J. van der Pijl et al./Information & Management 32 (1997) 267-274 273q u a l i t y . O t h e r c o o r d i n a t i o n me c h a n i s ms c a n a l s o b eu s e d , f o r e x a mp l e , s t a n d a r d i z a t i o n o f s k i l l s , s t a n d a r -d i z a ti o n o f o u tp u t s a n d c o m m u n i c a t i o n a m o n g a l lc o n c e r n e d [ 2 3 , 2 4 ] .

P r o j e c t - a n d o r g a n i z a t i o n - s p e c i f i c q u a l i t y s y s t e mi m p r o v e m e n t s c a n b e i m p l e m e n t e d a n d c e r t if ie d o n l yi f p r o d u c t s a n d p r o c e s s e s c a n b e m e a s u r e d w i t h a c l e a rs e t o f me t r i c s . T h i s i s t r u e f o r b o t h I SO a n d CMM,a l t h o u g h C M M s t r e s s e s m e a s u r e m e n t m o r e t h a n I S O9000 . In t e res t ing work in th i s d i rec t ion i s go ing on int h e E SP RI T - A M I p r o j e c t [ 2 5] b u t s o f a r t h e r e i s n og e n e r a l l y a c c e p t e d s e t o f me t r i c s . I n f o r ma t i o n t e c h -n o l o g y a n d m e t h o d s o f i n f o r m a t io n s y s t e m s d e v e l o p -me n t a r e c h a n g i n g q u i c k l y . I n t e r n a t i o n a l s t a n d a r d sg e n e r a l l y d e v e l o p a t a mu c h s l o w e r p a c e .

T h e s p e c i f i c a ti o n o f a q u a l it y s y s t e m i s a ma t t e r o fw e i g h i n g c o s t s a n d b e n e f i t s f o r o r g a n i z a t i o n s a s aw h o l e a s w e l l a s s p e c i f i c p r o j e c t s . So me i mp o r t a n tq u e s t i o n s a r e : A r e o u r c l ie n t s o b l ig i n g u s t o c o mp l y w i t h s t a n d a r d s

( s u ch a s C M M f o r t h e m i l it a r y s e c to r a n d n o w a d a y se v e n f o r a ll g o v e r n m e n t i n t h e U S A o r L l y o d s f o rthe s t ee l i ndus t ry )?

D o e s a c e rt i fi e d q u a li t y s y s t e m r e a l l y i mp r o v e t h eb o t t o m l i n e b e c a u s e o f it s c o m m e r c i a l i m p o r t a n c e ?

D o e s s u c h a f o r m a l i z e d a p p r o a c h f it t h e c u l t u r e o ft h e o r g a n i z a t i o n ?

D o e s a w e l l - b a l a n c e d q u a l it y s y s t e m ma k e i t p o s -s i b le t o o f f e r o u r c l i e n t s b e t t e r , l o w e r r i s k c o n t r a c t s(e .g . f ixed da te , f ixed p r i ce , f ixed qua l i ty )?

H o w s u r e a r e w e t h a t w e c a n p r o f i t f r o m o u ri n v e s t me n t i n q u a l i t y p r o d u c t i o n s y s t e ms ?

D o e s r e d u c t i o n o f t h e n u m b e r o f e r r o r s r e d u c e c o s t s( e .g . b e c a u s e o f a s m a l l e r n u m b e r o f m o d i f i ca t i on so r l o w e r i n su r a n c e p r e m i u m s ) ?A d v a n t a g e s a n d d i s a d v a n ta g e s o f i m p r o v e m e n t s i n

t h e s y s t e m s d e v e l o p m e n t p r o c e s s h a v e to b e w e i g h e da g a i n s t e a c h o t h e r a n d a g a i n s t t h e c o s t s o f i mp l e me n -t a t io n [ 2 6] . Re s u l t s m a y d i f f e r f o r d if f e r e n t p a r t s o f t h eo r g a n i z a t i o n . I n t h e l o n g r u n , e f f o r ts s h o u l d b e d i r e c -t e d a t f o r mu l a t i n g m o r e s p e c i fi c s t a n d a rd s f o r s p e c i f ics i tua t ions o r e l se a t deve lop ing s t andards tha t con ta ins u b s t a n d a r d s t h a t a p p l y i n d i f f e r e n t c i r c u ms t a n c e s .

F i n a l ly , w e w a n t t o d r a w a t t e n t io n t o t h e f a c t t h a t aq u a l i t y s y s t e m c a n o n l y d e l i v e r g o o d p r o d u c t s i f t h es p e c i f i c a t i o n s w i t h w h i c h t h e s y s t e ms d e v e l o p me n ts t a rt s c o n f o r m t o t h e w i s h e s o f th e u s e r s o f t h e p r o d u c t .

T h i s m e a n s t h a t t h e p h a s e o f f o r mu l a t i n g t h e s p e c i -f i ca t ions has to be a t t ended to in the qua l i ty sys t emsi t se l f . For tuna te ly , we see tha t i n the oncomingn e w v e r s i o n o f t h e I SO - 9 0 0 0 - 3 t h e r e i s mu c h m o r ea t t en t ion to th i s po in t t han in the f i r s t ed i t ion o ft h i s s t a n d a r d . I n mo r e r e c e n t a p p r o a c h e s t o s y s t e msd e v e l o p me n t l i k e p r o t o t y p i n g a n d RA D t h e s p e c i f i c a -t i o n o f r e q u i r e me n t s i s a n i n t e g r a t e d p a r t o f t h ed e v e l o p me n t p r o c e s s . Q u a l i t y s y s t e ms f o r t h e s ea p p r o a c h e s t h u s h a v e t o c o v e r t h e s p e c i f i c a t i o n p a r to f t h e p r o c e s s .

6 . S u m m a r y a n d c o n c l u s i o n sA t p r e s e n t t h e r e i s a c o n f l i c t b e t w e e n t h e d e s i r e f o r

b e t t e r q u a l i t y s y s t e ms r e s u l t i n g i n me a s u r a b l ei m p r o v e m e n t s o f t h e s y s t e m s d e v e l o p m e n t p r o c e s sa n d t h e w a y i n w h i c h t h i s i s i mp l e me n t e d b y me a n so f s t a n d a r d s . Q u a l i t y c e r t i f i c a t e s c a n g i v e a w r o n gi mp r e s s i o n o f t h e r e a l c a p a b i l i ti e s o f a n o r g a n i z a t io n ,bu t th i s shou ld no t l ead to the abo l i t i on o f s t andards .T h e ma j o r i t y o f o r g a n i z a t i o n s c a n i mp r o v e t h e i r s y s -t e ms b y ma k i n g ( s e n s i b le ) u s e o f t h e s t a n d a rd s . I n t h es h o r t t e r m , t h e q u a l i t y o f s y s t e ms d e v e l o p me n t c a n b ei mp r o v e d b y a n a p p r o a c h t h a t is s p e c i a l l y c o n s t ru c t e df o r a s s e ss i n g s y s t e ms d e v e l o p me n t e n v i r o n me n t s , t h a ts u p p o rt m e a s u r a b l e i m p r o v e m e n t in t he d e v e l o p m e n tp r o c e s s , a n d t h a t s u p p o r t t h e c h o i c e a n d i mp l e me n t a -t i o n o f a c t i o n s . A l th o u g h n o t p e r f e c t , CM M o f f e r smo r e p o s s i b i l i t i e s t h a n I SO - 9 0 0 0 - 3 .

In the longer t e rm, s t andards and cer t i f i ca t es wi l lhave to t ake in to acco un t the d iver s i ty tha t ex i s t s i n therea l wor ld . S tandards and cer t i f i ca t es wi l l have toa c c o mmo d a t e t h i s . W e t h i n k t h i s p r o c e s s w i l l t a k es o m e t i me a n d t h a t , t h e r e f o r e , o r g a n i z a t io n s w i l l h a v eto carefu l ly as sess the va lue o f qua l i ty cer t i f i ca t es ind i f fe ren t s i tua t ions .

Re fe r e n c e s[1] D.d. Phan, J.E Geo rge and D.R. Vogel, "M anaging softwarequality in a very large development project," Informationand Management, 29 (1995), pp. 277-283.[2] M.J. Pearson, C.S. M cCahon and R .T. Hightower, "Totalquality managem ent: Are information systems managersready?" Information and Management, 29 (1995), pp. 251 -263.

7/28/2019 ISO 9000 y la CMM

8/8

2 7 4 G.J . van der P i j l e t aL / ln form at ion & Managem ent 32 (1997) 267-274[ 3 ] I S O 9 0 0 0 - 9 0 0 4 Q u a l i ty M a n a g e m e n t a n d Q u a l i ty A s su r a n c e

Standards, 1 9 8 7 .[ 4 ] I S O 9 0 0 0 - 3 , Q u a l i t y m a n a g e m e n t a n d q u a l i t y a s s u r a n c e

s t a n d a r d s , p a r t 3 : Guide l ines o r the App l ica t ion o f lSO 9001to the Development, Supp ly and Mainten ance o f Software,1 9 9 1 .

[ 5 ] B . F a z l o ll a h i a n d M . R . T a n n i ru , " S e l e c t i n g a r e q u i re m e n td e t e r m i n a t i o n m e t h o d o l o g y - C o n t i n g e n c y a p p r o a c hr e v i s i t e d , " In format ion and Management , 2 1 ( 1 9 9 1 ) , p p .2 9 1 - 3 0 3 .

[ 6 ] W . S . H u m p h r e y , C h a r a c t e r i z i n g t h e s o f tw a r e p r o c e s s, I E E ESoftware, M a r c h 1 9 8 8 .

[ 7 ] W . S . H u m p h r e y , Managing the So f tware Process ( A d d i s o nW e s l e y , 1 9 8 9 ) .

[ 8 ] M . C . P a u l k , B . C u r t i s a n d M . B . C h r i s s i s , Capabil i ty Maturi tyM o d e l f o r S o f tw a r e , S o f t w a r e E n g i n e e r i n g I n s t i t u t e ,C M U / S E I - 9 1 - T R - 2 4 , D T I C N u m b e r A D 2 4 0 6 3 , A u g u st ,1 9 9 1 .

[ 9 ] M . C . P a u l k , B . C u r t i s , M . B . C h r i s s i s a n d C . V . W e b e r ,Capabil it y Matur i t y M ode l for So ftware , V er s io n 1 . 1 . S o f t -w a r e E n g i n e e r i n g I n s t it u t e , C M U / S E I - 9 3 - T R - 2 4 , A u g u s t ,1 9 9 3 .

[ 1 0 ] D . R u g g , U s i n g a c a p a b i l i t y e v a l u a t i o n t o s e l e c t a c o n t r a c t o r ,IEEE Software, J u ly , 1 9 9 3 .

[ 1 1 ] J . M . J u r a n , Juran on P lann ing fo r Qual it y , M c M i l l a n , N e wY o r k , 1 9 8 8 .

[ 1 2 ] G . J . v a n d e r P ij l , " M e a s u r i n g t h e s t ra t e g i c d i m e n s i o n s o f t h eq u a l i t y o f i n f o r m a t i o n , " T h e Journa l o f S t ra teg ic In format ionSystems, 3 ( 3 ) ( 1 9 9 4 ) .

[ 1 3 ] B . W . B o e h m , " A s p i ra l m o d e l o f s o f t w a r e d e v e l o p m e n t a n de n h a n c e m e n t , " Computer, 2 1 ( 5 ) ( 1 9 8 8 ) , p p . 6 1 - 7 2 .

[ 1 4 ] C . V . W e b e r , M . C . P a u l k , C . J . W i s e a n d J . V . W i t h e y , K e yP r a c t i c e s o f t h e C a p a b i l i t y M a t u r i t y M o d e l , S o f t w a r eE n g i n e e r i n g I n s ti t u te , C M U / S E I - 9 1 - T R - 2 5 , A u g u s t , 1 9 9 1 .[ 1 5 ] D . D r e h m e r , S . e n D a k l a v a , M e a s u r i n g s o f tw a r e e n g i n e e r i n gm a t u r i t y : A R a s h c a l i b r a t i o n , Proceed ings o f the Fourteen thInternational Conference on Information Systems, O r l a n d o ,D e c e m b e r , 1 9 9 3 .

[ 1 6 ] J . G . V e r r i j d t , Her beheersen van kwal i t e i t sverbe ter ing:g r o e i e n v a n M u r p h y n a a r H u m p h r e y ( C o n t r o l l i n g q u a l i t yi m p r o v e m e n t s: D e v e l o p m e n t f r o m M u r p h y t o H u m p h r e y ) .

[ 1 7 ] M . C . P a u l k , H o w I S O 9 0 0 0 c o m p a r e s w i t h t h e C M M , I E E ESoftware, J a n u a r y , 1 9 9 5 , p p . 7 4 - 8 2 .

[ 1 8 ] J . R o o o i j m a n s , H . A e r t s a n d M . v a n G e n u c h t e n , " S o f t w a r eq u a l i t y i n c o n s u m e r e l e c t r o n i c p r o d u c t s , " IEEE Software,J a n u a r y , 1 9 9 6 .

[ 1 9 ] T . B o l l i n g e r a n d C . M c G o w a n , " A c r i t ic a l l o o k a t s o f t w a r ec a p a b i l i t y e v a l u a t i o n s , " IEEE Software, ( 1 9 9 1 ) , pp . 2 5 - 4 1 .

[ 2 0 ] L . J . M . W . G i e l e n a n d G .J .P . S w i n k e l s , K w a l i t e i t s b e h e e r s i n gb i j d e o n t w i k k e l i n g v a n i n f o r m a t i e s y s t e m e n v i a k n e l p u n t e -n a n a l y s e ( A n a l y s i n g s t r e n g t h s a n d w e a k n e s s e s a s a m e a n s o fq u a l i t y a s s u r a n c e f o r t h e d e v e l o p m e n t o f i n f o r m a t i o ns y s t e m s ) , Handboek A.I .V., N o v e m b e r , 1 9 9 2 .

[ 2 1 ] C a p e r s J o n e s , Programming Productivity, M c G r a w - H i l l ,1986.[ 2 2 ] ISO 9126 So f tware Produc t Eva lua t ion - Qual i t y Charac ter -i s t ic s and Guide l ines fo r the i r Use , I n t e r n a t i o n a l O r g a n i z a -t i o n f o r S t a n d a r d i z a t i o n , G e n e v a , 1 9 9 1 .

[ 2 3 ] H . M i n t z b e r g , Struc ture in F ives ; Des ign ing E f fec t i veOrganizations, P r e n t i c e H a l l I n t e r n a ti o n a l , E n g l e w o o d C l i ff s ,N J , 1 9 8 3 .

[ 2 4] P i j l G . J. v a n d e r , E L M . W e t e r i n g s , S t a n d a a r d i sa t i e i ns y s t e e m o n t w i k k e l i n g ( S t a n d a r d i z a t i o n a n d s y s t e m s d e v e l o p -m e n t ) , M aan dbla d voor bedrij fsadministrat ie en organisatie ,D e c e m b e r , 1 9 9 0 .

[ 2 5 ] C . D e b o u , J . L i p t f ik , H . J. e n S c h i p p e r s , " D e c i s i o n m a k i n gf o r s o f t w a r e p r o c e ss i m p r o v e m e n t : A q u a n t i t a t iv e a p p r o a c h , "Journa l o f Sys tems So ftware , 2 6 ( 1 ) , p p . 4 3 - 5 2 .

[ 2 6 ] R . D i o n , P r o c e ss i m p r o v e m e n t a n d t h e c o r p o r a te b a l a n c es h e e t , IEE E So ftware , J u ly 1 9 9 3 .

F r i t s S w i n k e l s g r a d u a t e d f r o m T i l b u r g U n i v e r s i t y ( M a n a g e m e n tI n f o r m a t i o n S y s t e m s a n d A c c o u n t a n c y ) . H e h a s s e v e r a l y e a r s o fe x p e r i e n c e a s c o n s u l t a n t a n d E D P - a u d i t o r , w o r k i n g w i t h a l a r g ea u d i t a n d c o n s u l t a n c y f L r m , s p e c i a l iz e d i n i n f o r m a t i o n s y s t e m sd e v e l o p m e n t a n d q u a l i t y a s s u ra n c e . C u r r e n t l y h e i s w i th R a b o b a n kN e d e r l a n d , a l a r g e D u t c h b a n k , a s p r o j e c t m a n a g e r . H e i s a l s ow o r k i n g p a r t - t i m e w i t h t h e U n i v e r s i t y o f A m s t e r d a m a s a n a s s i st a n tp r o f e s s o r a t t h e f a c u l t y o f e c o n o m i c s a n d e c o n o m e t r i c s . H i sr e s e a r c h i n t e r e s t s a r e s y s t e m s d e v e l o p m e n t , q u a l i t y , r i s k a n a l y s i sa n d c o s t s a n d b e n e f i t s o f i n f o r m a t i o n s y s t e m s .G . J o h n v a n d e r P i l l i s A s s i s t a n t p r o f e s s o r i n i n f o r m a t i o n s y s te m sa t T i l b u r g U n i v e r s i t y , d e p a r t m e n t o f I n f o r m a t i o n S y s t e m s a n dD i r e c t o r o f s t u d i e s o f t h e p o s t - g r a d u a t e t r a i n i n g p r o g r a m m e i nE D P - a u d i t i n g a t t h e T i l b u r g I n s t i t u t e o f A d v a n c e d s t u d i e s .P u b l i s h e d a P h . D . o n " Q u a l i t y o f I n f o r m a t i o n i n t h e o r y a n dp r a c ti c e ." T e a c h e s S y s te m s D e v e l o p m e n t a n d M a n a g e m e n tI n f o r m a t i o n i n t h e m a s t e r s p r o g r a m m e o f t h e u n i v e r s i t y a n ds e v e r a l ' q u a l i t y ' - r e l a t e d t o p i c s i n v a r i o u s p o s t g r a d u a t e p r o -g r a m m e s . R e s e a r c h t o p i c s : q u a l i ty o f i n f o r m a t i o n , t h e a p p l i c a t i o no f g r o u p w a r e i n s y s t e m s d e v e l o p m e n t , I T a p p l i c a ti o n s i n t o u r is m ,E D P - a u d i t i n g .J e ro en G . V e r r i j d t g r a d u a t e d f r o m T i l b u r g U n i v e r s i t y ( M a n a g e -m e n t I n f o r m a t i o n S y s t e m s a n d A c c o u n t a n c y ) . C u r r e n t l y h e i sw o r k i n g w i t h R a b o b a n k N e t h e r l a n d s a s p r o j e c t m a n a g e r i n t h ed i v i s i o n C l i e n t A d v i s e A f f i l ia t e d B a n k s .