1

Indicadores Formales de Complejidad Esencial de Sistemas de Información: ¿un punto de encuentro entre usuarios y desarrolladores?

Dr. Pedro Salvetto

Departamento de Lenguajes y Sistemas Informáticos e Ingeniería del Software

2

Agenda

1. INTRODUCCIÓN Y MOTIVACIÓN

2. PLANTEAMIENTO DEL PROBLEMA

3. DESARROLLO DE LA SOLUCIÓN

4. EVALUACIÓN DE LA PRECISIÓN Y CONSISTENCIA DE LOS MODELOS

5. VALIDACIÓN EMPÍRICA DE LOS INDICADORES DE COMPLEJIDAD DE LOS DATOS Y LOS MODELOS EMPÍRICOS DE ESTIMACIÓN

6. DISCUSIÓN Y CONCLUSIONES

3

El Riesgo y la Estimación

4

EL PROBLEMA

(1) Las técnicas de estimación más extendidas actualmentea) se apoyan en la premisa - poco realista - de estabilidad de requisitos y datos

b) requieren expertos humanos, y

c) se basan en métricas disponibles recién en la fase de diseño temprano del sistema

(2) Los modelos de estimación incorporan numerosos parámetros intentando modelar las fuentes de variación

(3) Cono de incertidumbre [BOE81, BOE89, SOM01].

(4) No disponemos de modelos de estimación e indicadores de complejidad para sistemas de gestión intensiva de datos (SIGID) independientes del juicio experto y aplicables en etapas muy tempranas del ciclo de vida.

DESARROLLO DE LA SOLUCIÓN

6

CÍRCULOS VICIOSOS QUE CONTRIBUYEN A EXPLICAR LA CRISIS DEL SOFTWARE

7

NUESTRA PROPUESTA

8

NUESTRAS PREGUNTAS DE INVESTIGACIÓNP1 MÉTRICAS INDEPENDIENTES DEL JUICIO EXPERTO

RECOLECTABLES AUTOMÁTICA Y TEMPRANAMENTE

P2 INDICADORES DE COMPLEJIDAD ESENCIAL

P3 PREDICCIÓN DE TIEMPO Y ESFUERZO

P4 RESTRICCIONES A LOS PROCESOS DE CONSTRUCCIÓN Y ESTIMACIÓN

9

Algunas Fuentes de Variabilidad en los Procesos de Construcción y Estimación

• Tecnología

• Metodología

• Métricas no automáticas

• Modelos de Estimación

• Expertos en estimación

• Grupos de Desarrollo (no comprendemos sus procesos internos)

• Producto intangible

• Procesos repetibles raros

• Proyectos replicables pero no repetibles

HERRAMIENTAS DE ESPECIFICACIÓN FORMAL Y GENERACIÓN AUTOMÁTICA DE CÓDIGO

QUE APOYAN UNA METODOLOGÍA ESTÁNDAR y LA OBTENCIÓN AUTOMÁTICA DE

MÉTRICASMÉTRICAS E INDICADORES DE COMPLEJIDAD

OBTENIDOS AUTOMÁTICAMENTE

PRESCINDENCIA DEL JUICIO EXPERTO

GRUPOS DE DESARROLLO REDUCIDOS CON

USUARIOS INTEGRADOS A ELLOS

METODOLOGÍAS ÁGILES

NO ACTUAMOS SOBRE ELLOS

10

PIR

ÁM

IDE

CO

NC

EPTU

AL

11

HIPÓTESIS ACERCA DE LOS SISTEMAS OBSERVADOS

Hipótesis IV-1: Son SIGIDES (Sistema de Gestión Intensiva de Datos Esencial)

Hipótesis IV-2: Fueron desarrollados con una metodología ágil que parte de las visiones de datos de los usuarios apoyada por una Herramienta de Especificación Formal y Desarrollo de SIGID (HEFDS)

Hipótesis IV-3: Fueron desarrollados por grupos reducidos (de entre 3 y 5 personas) con usuarios integrados a los mismos basándose exclusivamente en las solicitudes de los usuarios

12

Alcance de la Investigación y Ámbito de Aplicación de sus Resultados

Sistemas que Incluyen Algoritmos de Alta Complejidad

Sistemas de Gestión Intensiva en Datos (SIGID)

Sistemas Desarrollados en torno a Bases de Datos Relacionales

Sist

emas

suj

etos

a

Res

tric

cion

es e

n el

Tie

mpo

de

Res

pues

ta Sistemas de Gestión Intensiva en Datos Esenciales (SIGIDES)

SIGIDES Desarrollados mediante Herramientas de Especificación Formal y Desarrollo de SIGID (HEFDS)

13

Análisis de los Resultados del Trabajo de Campo y Depuración de Observaciones

Las métricas obtenidas pueden clasificarse en dos categorías:

a) tomadas automáticamente a partir de la especificación.

b) que involucraban la estimación o recuperación desde registros

14

NUESTRAS HIPÓTESIS DE TRABAJO

15

La Complejidad Esencial

¿Qué semántica tiene?Funcionalidad Potencial de los Datos del Sistema

Complejidad de la Estructura de los Datos del Sistema

Expresividad de los Datos del Sistema

Complejidad Cognitiva de la Estructura de los Datos del Sistema

MODELOS DE ESTIMACIÓN MUY TEMPRANA DE TIEMPO Y ESFUERZO e

INDICADORES DE COMPLEJIDAD ESENCIAL DE LA ESTRUCTURA DE LOS

DATOS

17

NOMENCLATURA MODELOS

18

DESARROLLO DE LOS MODELOS

• ANÁLISIS EXPLORATORIO DE LOS DATOS

• SELECCIÓN ALEATORIA DE UN 70% DE LAS

OBSERVACIONES PARA DESARROLLO

• REGRESIÓN LINEAL SOBRE VARIABLES

TRANSFORMADAS MEDIANTE LOGARITMO

19

FORMA GENERAL DE LOS MODELOS DE ESTIMACIÓN

gb c d e fVD=a EMI VR DRT RD NA NT

gd e fIC ED = DRT RD NA NT

b c d e f g hV D =a EM I V R FO R IF FO R AN IFAN IC ED

β

b cV D = a E M I V R IC E D

V D = α IC E D

TEMPRANA

INDICADOR DE COMPLEJIDAD ESENCIAL DE LA ESTRUCTURA DE LOS DATOS

POST MORTEM

20

CARACTERÍSTICAS DE LOS MODELOS

• ESTÁTICOS Y GLOBALES

• NO REQUIEREN JUICIO EXPERTO

• LAS MÉTRICAS PUEDEN OBTENERSE AUTOMÁTICA Y MUY TEMPRANAMENTE

• COMETEN (PARA LA POBLACIÓN OBSERVADA) ERRORES RELATIVOS MENORES AL 30%

• NO SE OBSERVA RELACIÓN ENTRE LOS ERRORES RELATIVOS Y LA MAGNITUD DE LA VARIABLE

ESTIMADA O LOS INDICADORES DE COMPLEJIDAD

• NO SON PESIMISTAS NI OPTIMISTAS

• CALIFICAN COMO EXCELENTES DE ACUERDO A LOS CRITERIOS DE CONTE ET AL (1986)

• SE VERIFICÓ EMPÍRICAMENTE QUE CON 99% DE CONFIANZA LAS DIFERENCIAS ENTRE LAS MEDICIONES

FINALES, ESTIMACIONES TEMPRANAS Y POST MORTEM PUEDEN SER ATRIBUIDAS AL AZAR Y A

EFECTOS PRÁCTICOS NO EXISTE DIFERENCIA PARA LA POBLACIÓN OBSERVADA

21

CONTRIBUCIÓN A LA EXPLICACIÓN DE LA VARIABLE DEPENDIENTE (ESTIMACIÓN TEMPRANA)

• ICED EXPLICA CASI LA TOTALIDAD DE LA VARIACIÓN

• VR CONTRIBUYE DE FORMA IMPORTANTE

• EMI REALIZA UNA CONTRIBUCIÓN MENOR

22

CONTRIBUCIÓN A LA EXPLICACIÓN DE LA VARIABLE DEPENDIENTE (ESTIMACIÓN POST MORTEM)

• ICED EXPLICA CASI LA TOTALIDAD DE LA VARIACIÓN

• VR CONTRIBUYE DE FORMA IMPORTANTE

• EMI REALIZA UNA CONTRIBUCIÓN MENOR

• LAS MÉTRICAS POST MORTEM CASI NO CONTRIBUYEN

23

CARACTERÍSTICAS DE LOS ICED

• NO CONTIENEN INFORMACIÓN AJENA AL NEGOCIO

• SON MUY TEMPRANOS

• CORRELACIONAN MUY BIEN CON TIEMPO Y ESFUERZO

• NO REQUIEREN JUICIO EXPERTO

• NO DEPENDEN DEL CONJUNTO DE VISIONES DE DATOS DE USUARIO DEL QUE

SE PARTA

24

4 5 6 7LNICEDE

1

2

3

4

LNES

FUER

ZO

1

23

4

5

67

8

9

10

11

12

13 14

15

16

17

1819

20

R2 lineal = 0,919

4 5 6 7LNICEDT

0

1

2

2

2

3

4

LNTI

EMPO

1

2

3

4

5

67

8

9

10

11

12

13

14

15

16

17

18

19

20

R2 lineal = 0,897

CORRELACIONAN CON TIEMPO Y ESFUERZO

25

DOMINA NA

2

2NAICEDE

DRT NT≅

2

2,5 0,2 0,3NAICEDT

DRT RD NT≅

ESTIMACIÓN DE ESFUERZO

27

28

e<=0,05

0,05<e<=0,1

0,1<e<=0,15

0,15<e<=0,2

0,2<e<=0,25

0,25<e<=0,3

6 3 5 4 1 1 NÚMERO DE OBSERVACIONES

30% 45% 70% 90% 95% 100% PORCENTAJE ACUMULADO

11 3 1 4 1 NÚMERO DE OBSERVACIONES

55% 70% 75% 95% 100% PORCENTAJE ACUMULADO

7,42% 4,13% 6,90% 0,968EX MEPMEICEDE 0,10% 21,12%

10,62% 11,39% 7,03% 0,966EX METEICEDE 0,13% 25,61%

TODA LA POBLACIÓN

CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2

Error Relativo en Valor Absoluto

e<=0,05

0,05<e<=0,1

0,1<e<=0,15

0,15<e<=0,2

0,2<e<=0,25

0,25<e<=0,3

2 1 0 2 0 1NÚMERO DE OBSERVACIONES

33% 50% 50% 83% 83% 100% PORCENTAJE ACUMULADO

1 0 1 2 1 NÚMERO DE OBSERVACIONES

20% 20% 40% 80% 100% PORCENTAJE ACUMULADO

12,97% 14,26% 6,65% 0,934EX MEPMEICEDE 3,62% 21,12%

Error Relativo en Valor Absoluto

EX METEICEDE 2,54% 25,61% 12,18% 12,06% 8,61% 0,968

CASOS DE CONTRASTE

CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2

ESTIMACIÓN DE TIEMPO

30

31

e<=0,05

0,05<e<=0,1

0,1<e<=0,15

0,15<e<=0,2

0,2<e<=0,25

0,25<e<=0,3

2 3 0 0 0 1NÚMERO DE OBSERVACIONES

33% 83% 83% 83% 83% 100%PORCENTAJE ACUMULADO

4 1 0 1 NÚMERO DE OBSERVACIONES

67% 83% 83% 100% PORCENTAJE ACUMULADO

5,57% 3,60% 5,91% 0,976EX MEPMTICEDT 0,67% 17,27%

10,09% 8,33% 8,99% 0.977EX METTICEDT 2,97% 27,64%

CASOS DE CONTRASTE

CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2

Error Relativo en Valor Absolutoe<=0,05

0,05<e<=0,1

0,1<e<=0,15

0,15<e<=0,2

0,2<e<=0,25

0,25<e<=0,3

9 5 4 1 0 1 NÚMERO DE OBSERVACIONES

45% 70% 90% 95% 95% 100% PORCENTAJE ACUMULADO

11 5 1 3 NÚMERO DE OBSERVACIONES

55% 80% 85% 100% PORCENTAJE ACUMULADO

6,53% 4,58% 5,32% 0,992EX MEPMTICEDT 0,14% 17,27%

8,42% 6,96% 6,35% 0,986EX METTICEDT 1,60% 27,64%

TODA LA POBLACIÓN

CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2

Error Relativo en Valor Absoluto

DISCUSIÓN Y CONCLUSIONES

CONCLUSIONES

1. ACERCA DE LOS INDICADORES DE COMPLEJIDAD ESENCIAL

2. ACERCA DE LOS MODELOS DE ESTIMACIÓN

3. LINEAS DE TRABAJO FUTURASa) GENERALIZACIÓN DE LOS RESULTADOS

a) SISTEMAS DESARROLLADOS CON OTRASHERRAMIENTAS

b) SISTEMAS DESARROLLADOS BAJO LAS MISMAS CONDICIONES

b) MODELOS DETALLADOSc) MODELOS FORMALES DE ESTIMACIÓN DE

RIESGO

FORTALEZAS Y DEBILIDADES

FORTALEZASa) RELEVANCIA DEL TEMAb) ENFOQUE EMPÍRICOc) OBSERVACIÓN DE PROYECTOS DE LA

INDUSTRIAd) PLANTEAR RESTRICCIONES A LOS

PROCESOS DE CONSTRUCCIÓN Y ESTIMACIÓN PARA RESULTAR PREDECIBLE

e) ACOTACIÓN DEL ÁMBITO DE PROYECTOS A TRATAR Y ALCANCE

f) ORIGINALIDAD ESTIMACIÓN POST MORTEMg) COMPROMISO CON LA CALIDAD DE LA

INFORMACIÓNh) RIGUROSIDAD METODOLÓGICAi) PUBLICACIONES

DEBILIDADESa) TAMAÑO DE LA MUESTRAb) TESIS EXTENSA Y

POSIBLEMENTE ABURRIDA

35

PUBLICACIONESINTERNATIONAL CONFERENCE ON COMPUTER SCIENDE SOFTWARE ENGINEERING, INFORMATION TECHNOLOGY, E-BUSINESS AND

APPLICATIONS (CSITeA’03)SAL03 Salvetto, Pedro, Nogueira Juan C Size Estimation for Management Information Systems Based on Early Metrics :An Automatic Metric Tool Based in

Formal Specifications. Proceedings of the International Conference on Computer Sience, Software Engineering,Information Technology, e-Business and Applications (CSITeA’03), june 5-7, 2003 Rio de Janeiro, Brazil in Cooperation with the International Society for Computers and Their Applications (ISCA), USA Winona State University (WSU), USA Universidad Nacional de San Luis (UNSL), Argentina Net of National Universities with Computer Science Careers (RedUNCI), Argentina. Pags 72-77.ISBN 0-9742059-0-7.

IX CONGRESO ARGENTINO DE CIENCIAS DE LA COMPUTACIÓN 2003 (CACIC03)LAT03 Latorres, Enrique, Salvetto, Pedro, Larre Borges Uruguay, Nogueira Juan C, Una herramienta de apoyo a la gestión del proceso de desarrollo de software.

CACIC 2003 6-10 octubre 2003 La Plata, ArgentinaXXX CONFERENCIA LATINOAMERICANA DE CIENCIAS DE LA COMPUTACIÓN (CLEI 2004)SAL04a Salvetto, Pedro, Nogueira Juan C, Segovia, Javier Modelos Automatizables de Estimación muy Temprana del Tiempo y Esfuerzo de Desarrollo de

Software de Gestión (CLEI2004) 27 de septiembre – 1 de octubre 2004. Arequipa Perú.IV JORNADAS IBEROAMERICANAS DE INGENIERÍA DE SOFTWARE E INGENIERÍA DEL CONOCIMIENTO JIISIC’04SAL04b Salvetto, Pedro, Nogueira Juan C, Segovia, Javier. Gestión de Cambios Apoyada por Modelos Formales de Estimación de Tiempo y Esfuerzo. Facultad

de Informática Universidad Politécnica de Madrid. 3-5 de noviembre de 2004.

SAL04c Salvetto, Pedro, Nogueira Juan C, Fernández, Julio, Segovia Javier. Una Verificación Empírica de ModelosAutomatizables de Estimación muy Temprana de Proyectos de Desarrollo de Sistemas de Gestión. Facultad de Informática Universidad Politécnica de Madrid. 3-5 de noviembre de 2004.

X CONGRESO ARGENTINO DE CIENCIAS DE LA COMPUTACIÓN 2004 (CACIC04)SAL04d Salvetto , Pedro, Martínez ,Milton, Luna Carlos, Segovia, Javier. A Very Early Estimation of Software Development Time and Effort Using Neural

Networks. San Justo, Buenos Aires. Argentina, octubre de 2004.

36

PUBLICACIONESII INTERNATIONAL CONFERENCE ON SOFTWARE PROCESS SOFTWARE AND SOFTWARE METRICS SPSM´05II CONFERENCIA INTERNACIONAL ENCUENTRO ISBSG-AEMESVI CONFERENCIA ANUAL DE LA ASOCIACIÓN ESPAÑOLA DE MÉTRICAS DE SISTEMAS INFORMÁTICOS

SAL05 Salvetto, Pedro, Marbán, Óscar, Carrillo, José, Fernández, Julio, Nogueira, Juan C. Segovia, Javier. Indicadores Empíricos Formales y muy Tempranos de Complejidad Esencial de Sistemas de Gestión Intensiva de Datos: un modelo

conceptual. Madrid, 4-5 de octubre de 2005. (Publicado en la Revista de Procesos y Métricas de la Asociación Española de Métricas de Software Volumen 3 número 7, marzo de 2006).

JOURNAL OF THE BRAZILIAN COMPUTER SOCIETY ESPECIAL ISSUE ON EXPERIMENTATION IN SOFTWARE ENGINEERING (2006) (JBCS-ESE) (submitted, under review)

Salvetto, Pedro, Fernández Julio, Nogueira, Juan C., Carrillo, José, Marbán, Óscar, Segovia, Javier. Very Early Formal EssentialComplexity Indicators for Intensive Data Management Systems: an Empirical Research

CONFERENCIAS DICTADASSalvetto, Pedro, Modelos Automatizables de Estimación muy temprana de Tiempo Y Esfuerzo de Desarrollo. XIV encuentro internacional

Genexus. Montevideo, Uruguay 16/05/04.Transmitida en vivo por internet. La conferencia y transparencias pueden descargarse de http://www.gxtechnical.com/main/hevviewsession.aspx?8,60,581,19%3a569 SE

Salvetto, Pedro, Modelos Automatizables de Estimación muy temprana de Tiempo Y Esfuerzo de Desarrollo. XVI encuentro internacional Genexus. Montevideo, Uruguay 20/09/06.Transmitida en vivo por internet. La conferencia y transparencias pueden descargarse de http://www.genexus.com/portal/hgxpp001.aspx?2,27,480,O,S,0,MNU;E;105;13;MNU;,

Gracias por su atención

38

RECONOCIMIENTOSLAS VISITAS DEL AUTOR A UPM FUERON FINANCIADAS POR EL PROGRAMA DE DESARROLLO TECNOLÓGICO FINANCIADO POR EL BID BID Y POR UPM (BANCO

SANTANDER) AÑO LECTIVO 2004-2005

LA ASISTENCIA A CONGRESOS DEL AUTOR FUE FINANCIADA POR EL PDT, LA FACULTAD DE INFORMÁTICA DE UPM Y EL FONDO DE INVESTIGACIÓN DE UNIVERSIDAD ORT URUGUAY

ESTE TRABAJO NO HABRÍA SIDO POSIBLE SIN EL APOYO DENICOLÁS JODAL, KARINA SANTO, JOSÉ LUIS CHALAR, GUSTAVO CARRIQUIRY Y CLAUDIA ARAUJO

DE ARTECH CONSULTING

ENRIQUE LATORRES Y JOSÉ LUIS SUBELZÚDEL DPTO DE INFORMÁTICA DEL MINISTERIO DE TRANSPORTE Y OBRAS PÚBLICAS DE URUGUAY

JUAN ANDRÉS LEIRASDEL DPTO DE INFORMÁTICA DE SANIDAD POLICIAL

GONZALO PÉREZ Y JOAQUÍN GONZÁLEZDE CONEX CONSULTING

ÓSCAR CAMARGODE UNIVERSIDAD DEL TRABAJO Y UNIVERSIDAD ORT

FUERON MUY IMPORTANTES LAS SUGERENCIAS RECIBIDAS DEERNESTINA MENASALVAS, ANA MARÍA MORENO Y SIRA VEGAS DE UPM

LUIS OLSINA DE UNLP KARINA SANTO, JOSÉ LUIS CHALAR Y NICOLÁS JODAL DE ARTECH CONSULTING

REGINA MOTZ Y JULIO FERNÁNDEZ DE UNIVERSIDAD ORT

LAS HERRAMIENTAS DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS FUERON DESARROLLADAS EN TRABAJOS DE FINAL DE CARRERA DIRIGIDOS POR EL AUTOR EN EL LISI DE FACULTAD DE INGENIERÍA UNIVERSIDAD ORT URUGUAY DE ACUERDO AL SIGUIENTE DETALLE:

HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS VERSIÓN 1GABRIELA CAMACHO, XIMENA GARCÍA Y PABLO REBAGLIATTI

IDE INTEGRADO DE RECOLECCIÓN DE MÉTRICASSUSANA ABULAFIA, JOSÉ CARDOZO LIMA Y RODRIGO PORTUGAL VIDAL

SEGUNDA VERSIÓN DE LA HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS ILIANA IBARRA, MARTÍN LORENZO Y FERNANDO PINTOS

TERCERA VERSIÓN DE LA HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS Y LA HERRAMIENTA DE INGRESO DE VISTAS DE DATOS DE USUARIOS Y GENERACIÓN DE ESQUEMA RELACIONAL EN 3FN

LUIS ÁLVAREZ, ADRIÁN ARREDONDO, MARTÍN CAMPS Y SERGIO CORA

CUARTA VERSIÓN DE LA HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS Y LA HERRAMIENTA DE INGRESO DE VISTAS DE DATOS DE USUARIOS Y GENERACIÓN DE ESQUEMA RELACIONAL EN 3FN

RODRIGO GÓMEZ Y JAVIER PAZ