indicadores formales de complejidad esencial de sistemas ...herramientas de especificaciÓn formal y...
Post on 19-Apr-2020
10 Views
Preview:
TRANSCRIPT
1
Indicadores Formales de Complejidad Esencial de Sistemas de Información: ¿un punto de encuentro entre usuarios y desarrolladores?
Dr. Pedro Salvetto
Departamento de Lenguajes y Sistemas Informáticos e Ingeniería del Software
2
Agenda
1. INTRODUCCIÓN Y MOTIVACIÓN
2. PLANTEAMIENTO DEL PROBLEMA
3. DESARROLLO DE LA SOLUCIÓN
4. EVALUACIÓN DE LA PRECISIÓN Y CONSISTENCIA DE LOS MODELOS
5. VALIDACIÓN EMPÍRICA DE LOS INDICADORES DE COMPLEJIDAD DE LOS DATOS Y LOS MODELOS EMPÍRICOS DE ESTIMACIÓN
6. DISCUSIÓN Y CONCLUSIONES
3
El Riesgo y la Estimación
4
EL PROBLEMA
(1) Las técnicas de estimación más extendidas actualmentea) se apoyan en la premisa - poco realista - de estabilidad de requisitos y datos
b) requieren expertos humanos, y
c) se basan en métricas disponibles recién en la fase de diseño temprano del sistema
(2) Los modelos de estimación incorporan numerosos parámetros intentando modelar las fuentes de variación
(3) Cono de incertidumbre [BOE81, BOE89, SOM01].
(4) No disponemos de modelos de estimación e indicadores de complejidad para sistemas de gestión intensiva de datos (SIGID) independientes del juicio experto y aplicables en etapas muy tempranas del ciclo de vida.
DESARROLLO DE LA SOLUCIÓN
6
CÍRCULOS VICIOSOS QUE CONTRIBUYEN A EXPLICAR LA CRISIS DEL SOFTWARE
7
NUESTRA PROPUESTA
8
NUESTRAS PREGUNTAS DE INVESTIGACIÓNP1 MÉTRICAS INDEPENDIENTES DEL JUICIO EXPERTO
RECOLECTABLES AUTOMÁTICA Y TEMPRANAMENTE
P2 INDICADORES DE COMPLEJIDAD ESENCIAL
P3 PREDICCIÓN DE TIEMPO Y ESFUERZO
P4 RESTRICCIONES A LOS PROCESOS DE CONSTRUCCIÓN Y ESTIMACIÓN
9
Algunas Fuentes de Variabilidad en los Procesos de Construcción y Estimación
• Tecnología
• Metodología
• Métricas no automáticas
• Modelos de Estimación
• Expertos en estimación
• Grupos de Desarrollo (no comprendemos sus procesos internos)
• Producto intangible
• Procesos repetibles raros
• Proyectos replicables pero no repetibles
HERRAMIENTAS DE ESPECIFICACIÓN FORMAL Y GENERACIÓN AUTOMÁTICA DE CÓDIGO
QUE APOYAN UNA METODOLOGÍA ESTÁNDAR y LA OBTENCIÓN AUTOMÁTICA DE
MÉTRICASMÉTRICAS E INDICADORES DE COMPLEJIDAD
OBTENIDOS AUTOMÁTICAMENTE
PRESCINDENCIA DEL JUICIO EXPERTO
GRUPOS DE DESARROLLO REDUCIDOS CON
USUARIOS INTEGRADOS A ELLOS
METODOLOGÍAS ÁGILES
NO ACTUAMOS SOBRE ELLOS
10
PIR
ÁM
IDE
CO
NC
EPTU
AL
11
HIPÓTESIS ACERCA DE LOS SISTEMAS OBSERVADOS
Hipótesis IV-1: Son SIGIDES (Sistema de Gestión Intensiva de Datos Esencial)
Hipótesis IV-2: Fueron desarrollados con una metodología ágil que parte de las visiones de datos de los usuarios apoyada por una Herramienta de Especificación Formal y Desarrollo de SIGID (HEFDS)
Hipótesis IV-3: Fueron desarrollados por grupos reducidos (de entre 3 y 5 personas) con usuarios integrados a los mismos basándose exclusivamente en las solicitudes de los usuarios
12
Alcance de la Investigación y Ámbito de Aplicación de sus Resultados
Sistemas que Incluyen Algoritmos de Alta Complejidad
Sistemas de Gestión Intensiva en Datos (SIGID)
Sistemas Desarrollados en torno a Bases de Datos Relacionales
Sist
emas
suj
etos
a
Res
tric
cion
es e
n el
Tie
mpo
de
Res
pues
ta Sistemas de Gestión Intensiva en Datos Esenciales (SIGIDES)
SIGIDES Desarrollados mediante Herramientas de Especificación Formal y Desarrollo de SIGID (HEFDS)
13
Análisis de los Resultados del Trabajo de Campo y Depuración de Observaciones
Las métricas obtenidas pueden clasificarse en dos categorías:
a) tomadas automáticamente a partir de la especificación.
b) que involucraban la estimación o recuperación desde registros
14
NUESTRAS HIPÓTESIS DE TRABAJO
15
La Complejidad Esencial
¿Qué semántica tiene?Funcionalidad Potencial de los Datos del Sistema
Complejidad de la Estructura de los Datos del Sistema
Expresividad de los Datos del Sistema
Complejidad Cognitiva de la Estructura de los Datos del Sistema
MODELOS DE ESTIMACIÓN MUY TEMPRANA DE TIEMPO Y ESFUERZO e
INDICADORES DE COMPLEJIDAD ESENCIAL DE LA ESTRUCTURA DE LOS
DATOS
17
NOMENCLATURA MODELOS
18
DESARROLLO DE LOS MODELOS
• ANÁLISIS EXPLORATORIO DE LOS DATOS
• SELECCIÓN ALEATORIA DE UN 70% DE LAS
OBSERVACIONES PARA DESARROLLO
• REGRESIÓN LINEAL SOBRE VARIABLES
TRANSFORMADAS MEDIANTE LOGARITMO
19
FORMA GENERAL DE LOS MODELOS DE ESTIMACIÓN
gb c d e fVD=a EMI VR DRT RD NA NT
gd e fIC ED = DRT RD NA NT
b c d e f g hV D =a EM I V R FO R IF FO R AN IFAN IC ED
β
b cV D = a E M I V R IC E D
V D = α IC E D
TEMPRANA
INDICADOR DE COMPLEJIDAD ESENCIAL DE LA ESTRUCTURA DE LOS DATOS
POST MORTEM
20
CARACTERÍSTICAS DE LOS MODELOS
• ESTÁTICOS Y GLOBALES
• NO REQUIEREN JUICIO EXPERTO
• LAS MÉTRICAS PUEDEN OBTENERSE AUTOMÁTICA Y MUY TEMPRANAMENTE
• COMETEN (PARA LA POBLACIÓN OBSERVADA) ERRORES RELATIVOS MENORES AL 30%
• NO SE OBSERVA RELACIÓN ENTRE LOS ERRORES RELATIVOS Y LA MAGNITUD DE LA VARIABLE
ESTIMADA O LOS INDICADORES DE COMPLEJIDAD
• NO SON PESIMISTAS NI OPTIMISTAS
• CALIFICAN COMO EXCELENTES DE ACUERDO A LOS CRITERIOS DE CONTE ET AL (1986)
• SE VERIFICÓ EMPÍRICAMENTE QUE CON 99% DE CONFIANZA LAS DIFERENCIAS ENTRE LAS MEDICIONES
FINALES, ESTIMACIONES TEMPRANAS Y POST MORTEM PUEDEN SER ATRIBUIDAS AL AZAR Y A
EFECTOS PRÁCTICOS NO EXISTE DIFERENCIA PARA LA POBLACIÓN OBSERVADA
21
CONTRIBUCIÓN A LA EXPLICACIÓN DE LA VARIABLE DEPENDIENTE (ESTIMACIÓN TEMPRANA)
• ICED EXPLICA CASI LA TOTALIDAD DE LA VARIACIÓN
• VR CONTRIBUYE DE FORMA IMPORTANTE
• EMI REALIZA UNA CONTRIBUCIÓN MENOR
22
CONTRIBUCIÓN A LA EXPLICACIÓN DE LA VARIABLE DEPENDIENTE (ESTIMACIÓN POST MORTEM)
• ICED EXPLICA CASI LA TOTALIDAD DE LA VARIACIÓN
• VR CONTRIBUYE DE FORMA IMPORTANTE
• EMI REALIZA UNA CONTRIBUCIÓN MENOR
• LAS MÉTRICAS POST MORTEM CASI NO CONTRIBUYEN
23
CARACTERÍSTICAS DE LOS ICED
• NO CONTIENEN INFORMACIÓN AJENA AL NEGOCIO
• SON MUY TEMPRANOS
• CORRELACIONAN MUY BIEN CON TIEMPO Y ESFUERZO
• NO REQUIEREN JUICIO EXPERTO
• NO DEPENDEN DEL CONJUNTO DE VISIONES DE DATOS DE USUARIO DEL QUE
SE PARTA
24
4 5 6 7LNICEDE
1
2
3
4
LNES
FUER
ZO
1
23
4
5
67
8
9
10
11
12
13 14
15
16
17
1819
20
R2 lineal = 0,919
4 5 6 7LNICEDT
0
1
2
2
2
3
4
LNTI
EMPO
1
2
3
4
5
67
8
9
10
11
12
13
14
15
16
17
18
19
20
R2 lineal = 0,897
CORRELACIONAN CON TIEMPO Y ESFUERZO
25
DOMINA NA
2
2NAICEDE
DRT NT≅
2
2,5 0,2 0,3NAICEDT
DRT RD NT≅
ESTIMACIÓN DE ESFUERZO
27
28
e<=0,05
0,05<e<=0,1
0,1<e<=0,15
0,15<e<=0,2
0,2<e<=0,25
0,25<e<=0,3
6 3 5 4 1 1 NÚMERO DE OBSERVACIONES
30% 45% 70% 90% 95% 100% PORCENTAJE ACUMULADO
11 3 1 4 1 NÚMERO DE OBSERVACIONES
55% 70% 75% 95% 100% PORCENTAJE ACUMULADO
7,42% 4,13% 6,90% 0,968EX MEPMEICEDE 0,10% 21,12%
10,62% 11,39% 7,03% 0,966EX METEICEDE 0,13% 25,61%
TODA LA POBLACIÓN
CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2
Error Relativo en Valor Absoluto
e<=0,05
0,05<e<=0,1
0,1<e<=0,15
0,15<e<=0,2
0,2<e<=0,25
0,25<e<=0,3
2 1 0 2 0 1NÚMERO DE OBSERVACIONES
33% 50% 50% 83% 83% 100% PORCENTAJE ACUMULADO
1 0 1 2 1 NÚMERO DE OBSERVACIONES
20% 20% 40% 80% 100% PORCENTAJE ACUMULADO
12,97% 14,26% 6,65% 0,934EX MEPMEICEDE 3,62% 21,12%
Error Relativo en Valor Absoluto
EX METEICEDE 2,54% 25,61% 12,18% 12,06% 8,61% 0,968
CASOS DE CONTRASTE
CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2
ESTIMACIÓN DE TIEMPO
30
31
e<=0,05
0,05<e<=0,1
0,1<e<=0,15
0,15<e<=0,2
0,2<e<=0,25
0,25<e<=0,3
2 3 0 0 0 1NÚMERO DE OBSERVACIONES
33% 83% 83% 83% 83% 100%PORCENTAJE ACUMULADO
4 1 0 1 NÚMERO DE OBSERVACIONES
67% 83% 83% 100% PORCENTAJE ACUMULADO
5,57% 3,60% 5,91% 0,976EX MEPMTICEDT 0,67% 17,27%
10,09% 8,33% 8,99% 0.977EX METTICEDT 2,97% 27,64%
CASOS DE CONTRASTE
CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2
Error Relativo en Valor Absolutoe<=0,05
0,05<e<=0,1
0,1<e<=0,15
0,15<e<=0,2
0,2<e<=0,25
0,25<e<=0,3
9 5 4 1 0 1 NÚMERO DE OBSERVACIONES
45% 70% 90% 95% 95% 100% PORCENTAJE ACUMULADO
11 5 1 3 NÚMERO DE OBSERVACIONES
55% 80% 85% 100% PORCENTAJE ACUMULADO
6,53% 4,58% 5,32% 0,992EX MEPMTICEDT 0,14% 17,27%
8,42% 6,96% 6,35% 0,986EX METTICEDT 1,60% 27,64%
TODA LA POBLACIÓN
CAL CONTE MODELO MIN MAX MMRE MEDIANA DESV EST R2
Error Relativo en Valor Absoluto
DISCUSIÓN Y CONCLUSIONES
CONCLUSIONES
1. ACERCA DE LOS INDICADORES DE COMPLEJIDAD ESENCIAL
2. ACERCA DE LOS MODELOS DE ESTIMACIÓN
3. LINEAS DE TRABAJO FUTURASa) GENERALIZACIÓN DE LOS RESULTADOS
a) SISTEMAS DESARROLLADOS CON OTRASHERRAMIENTAS
b) SISTEMAS DESARROLLADOS BAJO LAS MISMAS CONDICIONES
b) MODELOS DETALLADOSc) MODELOS FORMALES DE ESTIMACIÓN DE
RIESGO
FORTALEZAS Y DEBILIDADES
FORTALEZASa) RELEVANCIA DEL TEMAb) ENFOQUE EMPÍRICOc) OBSERVACIÓN DE PROYECTOS DE LA
INDUSTRIAd) PLANTEAR RESTRICCIONES A LOS
PROCESOS DE CONSTRUCCIÓN Y ESTIMACIÓN PARA RESULTAR PREDECIBLE
e) ACOTACIÓN DEL ÁMBITO DE PROYECTOS A TRATAR Y ALCANCE
f) ORIGINALIDAD ESTIMACIÓN POST MORTEMg) COMPROMISO CON LA CALIDAD DE LA
INFORMACIÓNh) RIGUROSIDAD METODOLÓGICAi) PUBLICACIONES
DEBILIDADESa) TAMAÑO DE LA MUESTRAb) TESIS EXTENSA Y
POSIBLEMENTE ABURRIDA
35
PUBLICACIONESINTERNATIONAL CONFERENCE ON COMPUTER SCIENDE SOFTWARE ENGINEERING, INFORMATION TECHNOLOGY, E-BUSINESS AND
APPLICATIONS (CSITeA’03)SAL03 Salvetto, Pedro, Nogueira Juan C Size Estimation for Management Information Systems Based on Early Metrics :An Automatic Metric Tool Based in
Formal Specifications. Proceedings of the International Conference on Computer Sience, Software Engineering,Information Technology, e-Business and Applications (CSITeA’03), june 5-7, 2003 Rio de Janeiro, Brazil in Cooperation with the International Society for Computers and Their Applications (ISCA), USA Winona State University (WSU), USA Universidad Nacional de San Luis (UNSL), Argentina Net of National Universities with Computer Science Careers (RedUNCI), Argentina. Pags 72-77.ISBN 0-9742059-0-7.
IX CONGRESO ARGENTINO DE CIENCIAS DE LA COMPUTACIÓN 2003 (CACIC03)LAT03 Latorres, Enrique, Salvetto, Pedro, Larre Borges Uruguay, Nogueira Juan C, Una herramienta de apoyo a la gestión del proceso de desarrollo de software.
CACIC 2003 6-10 octubre 2003 La Plata, ArgentinaXXX CONFERENCIA LATINOAMERICANA DE CIENCIAS DE LA COMPUTACIÓN (CLEI 2004)SAL04a Salvetto, Pedro, Nogueira Juan C, Segovia, Javier Modelos Automatizables de Estimación muy Temprana del Tiempo y Esfuerzo de Desarrollo de
Software de Gestión (CLEI2004) 27 de septiembre – 1 de octubre 2004. Arequipa Perú.IV JORNADAS IBEROAMERICANAS DE INGENIERÍA DE SOFTWARE E INGENIERÍA DEL CONOCIMIENTO JIISIC’04SAL04b Salvetto, Pedro, Nogueira Juan C, Segovia, Javier. Gestión de Cambios Apoyada por Modelos Formales de Estimación de Tiempo y Esfuerzo. Facultad
de Informática Universidad Politécnica de Madrid. 3-5 de noviembre de 2004.
SAL04c Salvetto, Pedro, Nogueira Juan C, Fernández, Julio, Segovia Javier. Una Verificación Empírica de ModelosAutomatizables de Estimación muy Temprana de Proyectos de Desarrollo de Sistemas de Gestión. Facultad de Informática Universidad Politécnica de Madrid. 3-5 de noviembre de 2004.
X CONGRESO ARGENTINO DE CIENCIAS DE LA COMPUTACIÓN 2004 (CACIC04)SAL04d Salvetto , Pedro, Martínez ,Milton, Luna Carlos, Segovia, Javier. A Very Early Estimation of Software Development Time and Effort Using Neural
Networks. San Justo, Buenos Aires. Argentina, octubre de 2004.
36
PUBLICACIONESII INTERNATIONAL CONFERENCE ON SOFTWARE PROCESS SOFTWARE AND SOFTWARE METRICS SPSM´05II CONFERENCIA INTERNACIONAL ENCUENTRO ISBSG-AEMESVI CONFERENCIA ANUAL DE LA ASOCIACIÓN ESPAÑOLA DE MÉTRICAS DE SISTEMAS INFORMÁTICOS
SAL05 Salvetto, Pedro, Marbán, Óscar, Carrillo, José, Fernández, Julio, Nogueira, Juan C. Segovia, Javier. Indicadores Empíricos Formales y muy Tempranos de Complejidad Esencial de Sistemas de Gestión Intensiva de Datos: un modelo
conceptual. Madrid, 4-5 de octubre de 2005. (Publicado en la Revista de Procesos y Métricas de la Asociación Española de Métricas de Software Volumen 3 número 7, marzo de 2006).
JOURNAL OF THE BRAZILIAN COMPUTER SOCIETY ESPECIAL ISSUE ON EXPERIMENTATION IN SOFTWARE ENGINEERING (2006) (JBCS-ESE) (submitted, under review)
Salvetto, Pedro, Fernández Julio, Nogueira, Juan C., Carrillo, José, Marbán, Óscar, Segovia, Javier. Very Early Formal EssentialComplexity Indicators for Intensive Data Management Systems: an Empirical Research
CONFERENCIAS DICTADASSalvetto, Pedro, Modelos Automatizables de Estimación muy temprana de Tiempo Y Esfuerzo de Desarrollo. XIV encuentro internacional
Genexus. Montevideo, Uruguay 16/05/04.Transmitida en vivo por internet. La conferencia y transparencias pueden descargarse de http://www.gxtechnical.com/main/hevviewsession.aspx?8,60,581,19%3a569 SE
Salvetto, Pedro, Modelos Automatizables de Estimación muy temprana de Tiempo Y Esfuerzo de Desarrollo. XVI encuentro internacional Genexus. Montevideo, Uruguay 20/09/06.Transmitida en vivo por internet. La conferencia y transparencias pueden descargarse de http://www.genexus.com/portal/hgxpp001.aspx?2,27,480,O,S,0,MNU;E;105;13;MNU;,
Gracias por su atención
38
RECONOCIMIENTOSLAS VISITAS DEL AUTOR A UPM FUERON FINANCIADAS POR EL PROGRAMA DE DESARROLLO TECNOLÓGICO FINANCIADO POR EL BID BID Y POR UPM (BANCO
SANTANDER) AÑO LECTIVO 2004-2005
LA ASISTENCIA A CONGRESOS DEL AUTOR FUE FINANCIADA POR EL PDT, LA FACULTAD DE INFORMÁTICA DE UPM Y EL FONDO DE INVESTIGACIÓN DE UNIVERSIDAD ORT URUGUAY
ESTE TRABAJO NO HABRÍA SIDO POSIBLE SIN EL APOYO DENICOLÁS JODAL, KARINA SANTO, JOSÉ LUIS CHALAR, GUSTAVO CARRIQUIRY Y CLAUDIA ARAUJO
DE ARTECH CONSULTING
ENRIQUE LATORRES Y JOSÉ LUIS SUBELZÚDEL DPTO DE INFORMÁTICA DEL MINISTERIO DE TRANSPORTE Y OBRAS PÚBLICAS DE URUGUAY
JUAN ANDRÉS LEIRASDEL DPTO DE INFORMÁTICA DE SANIDAD POLICIAL
GONZALO PÉREZ Y JOAQUÍN GONZÁLEZDE CONEX CONSULTING
ÓSCAR CAMARGODE UNIVERSIDAD DEL TRABAJO Y UNIVERSIDAD ORT
FUERON MUY IMPORTANTES LAS SUGERENCIAS RECIBIDAS DEERNESTINA MENASALVAS, ANA MARÍA MORENO Y SIRA VEGAS DE UPM
LUIS OLSINA DE UNLP KARINA SANTO, JOSÉ LUIS CHALAR Y NICOLÁS JODAL DE ARTECH CONSULTING
REGINA MOTZ Y JULIO FERNÁNDEZ DE UNIVERSIDAD ORT
LAS HERRAMIENTAS DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS FUERON DESARROLLADAS EN TRABAJOS DE FINAL DE CARRERA DIRIGIDOS POR EL AUTOR EN EL LISI DE FACULTAD DE INGENIERÍA UNIVERSIDAD ORT URUGUAY DE ACUERDO AL SIGUIENTE DETALLE:
HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS VERSIÓN 1GABRIELA CAMACHO, XIMENA GARCÍA Y PABLO REBAGLIATTI
IDE INTEGRADO DE RECOLECCIÓN DE MÉTRICASSUSANA ABULAFIA, JOSÉ CARDOZO LIMA Y RODRIGO PORTUGAL VIDAL
SEGUNDA VERSIÓN DE LA HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS ILIANA IBARRA, MARTÍN LORENZO Y FERNANDO PINTOS
TERCERA VERSIÓN DE LA HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS Y LA HERRAMIENTA DE INGRESO DE VISTAS DE DATOS DE USUARIOS Y GENERACIÓN DE ESQUEMA RELACIONAL EN 3FN
LUIS ÁLVAREZ, ADRIÁN ARREDONDO, MARTÍN CAMPS Y SERGIO CORA
CUARTA VERSIÓN DE LA HERRAMIENTA DE RECOLECCIÓN AUTOMÁTICA DE MÉTRICAS Y LA HERRAMIENTA DE INGRESO DE VISTAS DE DATOS DE USUARIOS Y GENERACIÓN DE ESQUEMA RELACIONAL EN 3FN
RODRIGO GÓMEZ Y JAVIER PAZ
top related