consorci de bibliotecas universitàries de catalunya y universitat pompeu fabra

IX Asamblea del Grupo Español de Usuarios de Innovative

Consorci de Bibliotecas Universitàries de Catalunyay

Universitat Pompeu Fabra

Repositorio y metabuscador de cubiertas del CBUC

IX Asamblea del Grupo Español de Usuarios de InnovativeUniversidad Pablo de Olavide

Sevilla, 23 y 24 de marzo de 2011

IX Asamblea del Grupo Español de Usuarios de Innovative2

Repositorio y metabuscador de cubiertas del CBUC

CBUC:La misión del Consorcio de Bibliotecas Universitarias de Catalunya (CBUC) es mejorar los servicios bibliotecarios a través de la cooperación. Formado por 10 instituciones miembros, 9 instituciones asociadas y muchas mas instituciones participando en proyectos. Trabajando con 10 grandes proyectos.Millennium e Innovative:

• Catalogo colectivo (CCUC)• Gestión servidores de las universidades• Cluster Millennium• ...

IX Asamblea del Grupo Español de Usuarios de Innovative3

Repositorio y metabuscador de cubiertas del CBUC

UPF:Universidad pública creada en el año 1990 con sede en Barcelona

8.500 estudiantes de grado

3.000 estudiantes de postgrado

1.300 personal docente e investigador (800 equivalentes a tiempo

completo)

580 Personal de administración y servicios

22 titulaciones, 90 másters, 9 programas de doctorado

IX Asamblea del Grupo Español de Usuarios de Innovative4

Repositorio y metabuscador de cubiertas del CBUC

Sumario:

Objetivos

Script de búsqueda a múltiples repositorios

Repositorio de cubiertas del CBUC

Mejorar el rendimiento con una caché

IX Asamblea del Grupo Español de Usuarios de Innovative5

Repositorio y metabuscador de cubiertas del CBUC

Objetivos

Millennium sólo permite recuperar cubiertas desde un único proveedor. Debido a ello hemos puesto un servidor intermedio que hará la búsqueda en múltiples repositorios de diferentes proveedores.

Por otro lado hemos creado un repositorio propio para depositar las cubiertas que difícilmente nos serán proporcionadas por los proveedores comerciales. El CBUC se convierte en un proveedor más.

IX Asamblea del Grupo Español de Usuarios de Innovative6

Repositorio y metabuscador de cubiertas del CBUC

Sumario:

Objetivos

Script de búsqueda a múltiples repositorios

Repositorio de cubiertas del CBUC

Mejorar el rendimiento con una caché

IX Asamblea del Grupo Español de Usuarios de Innovative7

Script de búsqueda a múltiples repositorios:

¿Porqué?

Cubiertas según proveedor

Repositorio y metabuscador de cubiertas del CBUC

IX Asamblea del Grupo Español de Usuarios de Innovative8

Repositorio y metabuscador de cubiertas del CBUC

Script de búsqueda a múltiples repositorios:

Sólo hace falta editar la weboption BIBIMAGE. Debe quedar así:

• https://cobertes.cbuc.cat/cobertes.php?isbn=%s&institucio=XXXX|I|https://cobertes.cbuc.cat/cobertes_link.php?institucio=XXXX&isbn=%s

Se ha programado en PHP. No necesita acceso a ninguna base de datos.

A cada institución XXXX se le asocia un fichero de configuración dónde hay los parámetros de búsqueda a los diferentes repositorios.

IX Asamblea del Grupo Español de Usuarios de Innovative9

Repositorio y metabuscador de cubiertas del CBUC

Script de búsqueda a múltiples repositorios:Tenemos definidos los siguientes repositorios:

• Syndetic Solution

• Amazon

• Repositorio CBUC

• OpenLibrary (en pruebas)

• LibraryThing (en pruebas)

• Google (en pruebas)

Cada institución configura a qué proveedores busca y en qué orden.

Syndetic tiene un apartado propio de configuración.

IX Asamblea del Grupo Español de Usuarios de Innovative10

Repositorio y metabuscador de cubiertas del CBUC

Script de búsqueda a múltiples repositorios:Fichero de configuración de recursos

IX Asamblea del Grupo Español de Usuarios de Innovative11

Repositorio y metabuscador de cubiertas del CBUC

Script de búsqueda a múltiples repositorios:Ejemplo de fichero de configuración:

IX Asamblea del Grupo Español de Usuarios de Innovative12

Repositorio y metabuscador de cubiertas del CBUC

Script de búsqueda a múltiples repositorios:

IX Asamblea del Grupo Español de Usuarios de Innovative13

Repositorio y metabuscador de cubiertas del CBUC

Script de búsqueda a múltiples repositorios:

IX Asamblea del Grupo Español de Usuarios de Innovative14

Repositorio y metabuscador de cubiertas del CBUC

Sumario:

Objetivos

Script de búsqueda a múltiples repositorios

Repositorio de cubiertas del CBUC

Mejorar el rendimiento con una caché

IX Asamblea del Grupo Español de Usuarios de Innovative15

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

IX Asamblea del Grupo Español de Usuarios de Innovative16

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

Alojado en un servidor del CBUC

Programación PHP, base de datos Mysql

Las imágenes se guardan en el sistema de ficheros del servidor, en una estructura en pairtree

• https://confluence.ucop.edu/download/attachments/14254128/PairtreeSpec.pdf?version=2&modificationDate=1295552323000

Tiene tres niveles de usuarios: administrador global, administrador de institución, usuario final.

IX Asamblea del Grupo Español de Usuarios de Innovative17

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

IX Asamblea del Grupo Español de Usuarios de Innovative18

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

Permite subir cubiertas escaneadas en formato jpeg, gif o png. Se pueden subir los ficheros de forma individual o agrupados en un fichero zip.Posibilidad de controlar el dígito de control del ISBNSi la cubierta ya existe avisa. Da la posibilidad de sobrescribirla o conservar la existente.Las cubiertas borradas se pueden recuperar

IX Asamblea del Grupo Español de Usuarios de Innovative19

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

IX Asamblea del Grupo Español de Usuarios de Innovative20

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:Todas las cubiertas deben tener un identificador

• ISBN– 8477203946

• Número de sistema del Catalogo Colectivo (CCUC) ampliado a 13 dígitos.– .b42877131 -> 1111142877131

• ISSN (en estudio)

IX Asamblea del Grupo Español de Usuarios de Innovative21

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

IX Asamblea del Grupo Español de Usuarios de Innovative22

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:Permite buscar imágenes utilizando el ISBN o código

IX Asamblea del Grupo Español de Usuarios de Innovative23

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

Dispone de un módulo de estadísticas

• Estadísticas globales

• Estadísticas por institución

• Permite descargar ficheros de log para procesamiento externo por las instituciones

IX Asamblea del Grupo Español de Usuarios de Innovative24

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

IX Asamblea del Grupo Español de Usuarios de Innovative25

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

El módulo de administrador global permite crear y gestionar instituciones y usuarios. También es el encargado de configurar los recursos de los proveedores de cubiertas

Se ha desarrollado un script para detectar posibles inconsistencias entre la base de datos y el sistema de ficheros. Envía los resultados por correo electrónico

IX Asamblea del Grupo Español de Usuarios de Innovative26

Repositorio y metabuscador de cubiertas del CBUC

Repositorio de cubiertas del CBUC:

Como pintar una cubierta en una página web cualquiera:

• Buscando a múltiples repositorios:

• Buscando directamente al repositorio del CBUC:

IX Asamblea del Grupo Español de Usuarios de Innovative27

Repositorio y metabuscador de cubiertas del CBUC

Sumario:

Objetivos

Script de búsqueda a múltiples repositorios

Repositorio de cubiertas del CBUC

Mejorar el rendimiento con una caché

IX Asamblea del Grupo Español de Usuarios de Innovative28

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:Las pantallas de browse muestran simultáneamente hasta 50 cubiertas.El tiempo de respuesta de los proveedores comerciales es demasiado grande. Para cargar al completo una pantalla de browse se tarda del orden de 30 o 40 segundos

IX Asamblea del Grupo Español de Usuarios de Innovative29

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:Con el uso de la caché el tiempo de respuesta mejora sustancialmente. La misma pantalla de browse se carga en tan sólo 6 segundos.

Hemos mejorado la velocidad más de 5 veces

IX Asamblea del Grupo Español de Usuarios de Innovative30

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:

Proveedores de cubiertas:

• Syndetic Solutions

• Amazon

• OpenLibrary

– Los usuarios pueden colgar cualquier imagen. Hay que revisarlas

• GoogleBooks – Cubiertas pequeñas y marcadas. Bloqueo script detección proceso

automático

• LibraryThing

– Comercial (?)

IX Asamblea del Grupo Español de Usuarios de Innovative31

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:Prioridades de carga:

• Syndetic Solution

• Amazon

• OpenLibrary

IX Asamblea del Grupo Español de Usuarios de Innovative32

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:

Características

• No se necesita ninguna base de datos

• Las imágenes se guardan en el sistema de ficheros en una estructura en pairtree

• Se integra en el metabuscador como si fuera un proveedor más.

• De momento sólo está operativo en la UPF

IX Asamblea del Grupo Español de Usuarios de Innovative33

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:

Recolección inicial en febrero del 2010 a partir de 292.372 ISBN

• Syndetics: 65h40m -> 54.120/54.144 cubiertas

• Amazon: 32h37m -> 22.031/64.054 cubiertas

• OpenLibrary: 60h47m -> 7.388/84.559 cubiertas

• Total: 84.074 cubiertas

Recolección diaria:

• Para Syndetic y Amazon diariamente se recolectan y cargan cubiertas de los nuevos ISBN del sistema

• Para OpenLibrary diariamente se recolectan. Mensualmente se revisan y finalmente se cargan

• Total en marzo 2011: 90.408 cubiertas

IX Asamblea del Grupo Español de Usuarios de Innovative34

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:

Proceso de recolección:

• Obtener un fichero de ISBN con “crear listas”

• Ejecutar para cada ISBN un php que recolecta la cubierta.

• Cargar las cubiertas recolectadas en el sistema de ficheros (pairtree)

• Se aprovecha la carga para redimensionar las cubiertas a un máximo de 70x100 px

IX Asamblea del Grupo Español de Usuarios de Innovative35

Repositorio y metabuscador de cubiertas del CBUC

Mejorar el rendimiento con una caché:Integración con el metabuscador:

• Se crea un script de recuperación:

– se le pasa el parámetro ISBN

– accede al pairtree

– devuelve la cubierta

• Se configura cómo un recuso más:

IX Asamblea del Grupo Español de Usuarios de Innovative36

Repositorio y metabuscador de cubiertas del CBUC

Conclusiones finales:

Acceso a mayor número de cubiertas(catálogos Millennium y no Millennium)

Aportación de las cubiertas y Imágenes de nuestras colecciones que nunca van a estar en otros repositorios

Acceso más rápido

IX Asamblea del Grupo Español de Usuarios de Innovative37

Repositorio y metabuscador de cubiertas del CBUC

Gracias por su atención:

Antoni Borràs – UPF

antoni.borras@upf.edu

Jordi Pallarès – CBUC

jpallares@cbuc.cat

IX Asamblea del Grupo Español de Usuarios de Innovative38

Contraportada

IX Asamblea del Grupo Español de Usuarios de InnovativeUniversidad Pablo de Olavide

Sevilla, 23 y 24 de marzo de 2011