Hoy estuve escuchando las dificultades para los laboratorios de conseguir mayor efectividad y menores problemas en los medicamentos para personas con enfermedades múltiples, o sea condiciones más complejas de lo esperado. Se me ocurrió que podríamos pensar en la medicina de datos asi cómo ya existe el periodismo de datos.

Este médico contaba cómo los medicamentos eran probados en personas que tenían una enfermedad X, pero sólo esta enfermedad. En la realidad los pacientes son más complejos, muchas veces ya padecen otras enfermedades y están tomando otros medicamentos. Esto lo complica todo porque las reacciones de nuestro cuerpo puede no ser las esperadas.

Pero bién ¿hay alguna solución? Creo que sí.

Hace algunos años hice un software que permitía a los psicólogos documentar los resultados del Test de Zulliger (similar a Rorschach pero para el ámbito laboral) por motivos de respeto de los datos personales de los pacientes estos se resguardaban en internet sin el nombre del paciente, sólo su edad, sexo, profesión, etc. Estos datos podían después ser analizados por otros profesionales. No quiero desviar mucho el tema, este proyecto me recuerda que es posible que múltiples profesionales carguen datos anónimos de seguimiento de pacientes en alguna especie de wiki de datos duros.

Esto puede darle la posibilidad a un médico o un laboratorio de conocer resultados muy específicos en pacientes similares a los que se está tratando. Saber cómo le fue a un paciente de condiciones similares (los que tengan la mayor cantidad de condiciones en común) ante un tratamiento específico. De otra forma conseguir datos tan particulares no sería simple.

Además de esto cada médico podría anticipar cuáles son las enfermedades más comunes en cada momento y en cada zona, podríamos tener mapas, podríamos seguir el crecimiento de una epidemia mediante visualizaciones modernas, etc.

Qué les parece?

¿Y que tal si los numerosos set de datos provinciales y nacionales disponibles pudieran analizarse por ciudad transversalmente?

Me pregunte esto porque en general trabajo con datos que son analizados individualmente. Me refiero a que los datos abiertos de censos o de elecciones en general son fuente de estudios de manera individual sobre el tema de los datos. Hacemos estudios sobre una elección o sobre un censo como conceptos más generales. Pero ¿que sucede si yo quiero contar la historia de una ciudad mirando solo los datos de ese gobierno local que han sidos publicados en sets de datos mas grandes a lo largo de la historia?

En general los análisis de datos son costosos y requieren de personal calificado. Los gobiernos locales no tienen acceso a esta valiosa información, son pocas las ciudades que realizan la inversión necesaria. Municipedia busca que los sets de datos que ya existen puedan ser cargados en una misma plataforma pero que se puedan visualizar por ciudad. De esta forma los esfuerzos por liberar información que ya se hacen podrán ser aprovechados de una forma simple y económica por gobiernos, periodistas e investigadores locales.

La idea del proyecto municipedia (@municipedia) es encargarse de presentar datos ya liberados en fichas individuales para cada ciudad permitiendo contar historias locales. Uno de los desafíos son los códigos de identificación con que las instituciones provinciales y nacionales etiquetan a cada ciudad. Por ejemplo para el ministerio de educación de San Luis el código de la ciudad de Merlo es distinto que para la Policía Federal.

La clave de Municipedia es que cada set de datos agregado requiere poder engancharse a la base de datos pre-cargada en el sistema. Actualmente se resuelve con tablas accesorias que guardan los índices de las ciudades según las denominaciones que usa cada institución para poder reutilizar en el futuro.

Finalmente una aplicación de twitter permite un login para la carga de datos que ya esta abierta al público. Se usó la tecnología de google drive para distribuir plantillas con la lista de ciudades de Argentina y que los interesados puedan cargar nuevos datos.

Desafíos pendientes

Conseguir listas de ciudades de otros países para agregar al sistema, actualmente solo pueden incluirse datos de Argentina. Permitir a los usuarios hacer visualizaciones con los datos existentes. Hoy solo se muestran listas de datos. Incluir un sistema de control de los datos cargados al sistema por la comunidad como tiene Wikipedia. Abrir un API para el consumo de datos desde otras aplicaciones. Simplificar el proceso de carga de datos. Liberar el código fuente (solo resta quitar datos privados de accesos a bases de datos, aplicaciones de twitter, etc)

Nota: El proyecto pudo ver su primera versión gracias a los datos que liberó Manuel Aristarán y contó en un post de su blog

Descubrí hace algunos días que el diario cordobés Comercio y Justicia tenía algunas fallas en la herramienta que mostraba sus tapas históricas en PDF. Los ficheros estaban disponibles pero la herramienta no los mostraba. Después de leer un poco de la interesante historia del diario decidí hacer un scrape de los documentos, convertirlos a imágenes para poder mostrarlos más pequeños en un índice y luego publicarlo más cómodamente.

Usé la gran herramienta ImageMagick para conversiones de este tipo. Si bien el procesamiento de imágenes es una tarea pesada funciono perfecto y rápido. Traje todos los documentos disponibles de los últimos años.

Como agregado final deje el script programado para ejecutarse todos los días y así actualizarse automáticamente todos los días sin mi intervención. El sitio final puede verse aquí.