Crédito:Centro John Innes
Gratis El equipo de informática del John Innes Center ha diseñado un conjunto de herramientas de código abierto para ayudar a los investigadores a lidiar con la sobrecarga de administración de datos.
La caja de herramientas, llamado "dtool, "es un conjunto de software para administrar datos científicos y hacerlos accesibles para los investigadores de primera línea que trabajan en múltiples áreas de proyectos.
Funciona empaquetando datos y metadatos (información que identifica los datos) en prácticos cuadros o conjuntos de datos.
Estos paquetes autónomos de datos y metadatos facilitan el traslado de conjuntos de datos y la creación de copias de seguridad remotas.
Las herramientas funcionan tanto con sistemas de archivos tradicionales como con opciones en la nube como Amazon S3 y Microsoft Azure. permitiendo a los investigadores elegir la solución de almacenamiento que mejor se adapte a sus necesidades y presupuestos.
El sistema significa que los investigadores pueden encontrar rápidamente conjuntos de datos de interés sin el dolor de cabeza de tener que acceder y mantener una base de datos central. Los metadatos empaquetados se pueden usar para verificar la integridad de los datos en el cuadro.
El equipo del Centro John Innes describe los beneficios de dtool en un artículo publicado en PeerJ, el Journal of Life and Environmental Sciences.
Dicen que el conjunto de herramientas ofrece tranquilidad porque los investigadores saben que los datos que sustentan los resultados científicos son seguros. Se puede buscar y acceder a través de un entorno de investigación altamente distribuido, como el Centro John Innes.
Dr. Tjelvar Olsson, Gerente Senior de Infraestructura y Datos Científicos en el Centro John Innes, quien es uno de los creadores del sistema, dijo:"En el Centro John Innes tenemos 40 grupos de investigación diferentes que se ocupan de grandes volúmenes de todo tipo de datos.
"Queremos que más personas utilicen dtool para administrar sus datos. Lo hemos diseñado de manera que se adapte a su forma de trabajar, un peso ligero, solución utilizada de una manera mínima que se asienta sobre lo que ya están haciendo ".
Uno de los primeros en adoptar dtool es el equipo del Dr. Brande Wulff que trabaja en la resistencia a las enfermedades en el trigo en el Centro John Innes.
Los avances en tecnologías como la secuenciación genética y la biología de sistemas computacionales han contribuido a una explosión en los volúmenes y tipos de datos. Si bien esto ha dado lugar a importantes avances en la ciencia vegetal y microbiana, ha generado desafíos sustanciales en la gestión y el procesamiento de datos para los investigadores de primera línea.
Dr. Matthew Hartley, Jefe del equipo de informática de JIC, que ayudó a idear dtool, dijo que el impacto ya se estaba sintiendo.
"La gestión de datos a escala es uno de los mayores desafíos en la investigación biológica computacional. Dtool ha hecho que almacenar nuestros datos sea más barato, nos dio tranquilidad y aceleró nuestra investigación. ".
"Gestión de datos ligera con dtool" se publica en PeerJ .