Temimbo'e (Publicaciones sobre hackathons)

HackatONG 2016

Andres Vazquez — Sat, 24 Sep 2016 12:00:00 GMT

Proyecto del colectivo OpenDataCordoba. El sitio del evento vive en opendatacordoba.org/HackatONG/2016/ — este post es un backup personal de mi participación.

Tercera edición del HackatONG, jornada para colaborar con ONGs en problemas técnicos que para nosotros son simples de resolver pero para esas instituciones representan costos o barreras inviables. Sábado 24 de septiembre de 2016, 8:30 a 18:30, Pabellón Argentina de la Universidad Nacional de Córdoba.

Qué hicimos como equipo

Definición de proyectos en conjunto con las ONGs participantes en reuniones previas, para llegar al sábado con desafíos concretos.
Hackdash (hackdash.org/dashboards/ong2016) con los proyectos cargados.
Inscripción y logística vía Eventbrite, para organizar el espacio y las remeras.
Reglamento y comunicación del desarrollo del evento.

El evento fue posible gracias al esfuerzo conjunto de la Mesa Sectorial TIC de Córdoba, el Cluster Córdoba Technology, la UNC y el grupo OpenDataCordoba.

Mi participación: una más de las muchas manos que armaron esto. Es difícil separar contribuciones individuales; es trabajo de equipo.

Otras ediciones

2014: HackatONG + Program.AR
2015: HackatONG 2015

Elecciones 2015 — PrimerVueltómetro y datos abiertos en Córdoba

Andres Vazquez — Mon, 26 Oct 2015 12:00:00 GMT

Proyecto del colectivo OpenDataCordoba. El sitio del proyecto vive en opendatacordoba.org/elecciones2015/ — este post es un backup personal de mi participación.

Durante las elecciones nacionales 2015 (PASO, generales, balotaje) en OpenDataCordoba armamos una infraestructura para procesar y exponer los resultados oficiales en formatos abiertos. Yo fui uno más del equipo: trabajé sobre todo en el scraping de los datos de DINE+INDRA, la API en PHP y una visualización rápida llamada PrimerVueltómetro.

Qué hicimos como equipo

Recolección de datos desde el portal oficial DINE/INDRA cada vez que publicaba una nueva tanda. Los CSVs se descargaban y procesaban automáticamente.
API en PHP que devolvía JSON listo para usar:
- totales nacionales por alianza (con y sin lemas), PASO y definitivos
- totales por provincia, departamento y elección (presidenciales, senadores, diputados, gobernador, etc.)
- totales por lista en cada sección electoral
- GeoJSON de departamentos de Córdoba
Visualizaciones sobre esa API: el PrimerVueltómetro (proyección sobre el resultado de primera vuelta) y un dashboard del balotaje 2015.
Dataset abierto del balotaje 2015 desagregado por mesa, en CSV, publicado para reutilización.

Backup

El proyecto y el código vivieron en github.com/OpenDataCordoba y se publicaron desde el sitio de ODC. Si en algún momento ese sitio cae, este post es la nota mínima de qué se hizo y de mi rol concreto.

Jornadas GoberNET 2015

Andres Vazquez — Sat, 17 Oct 2015 12:00:00 GMT

Proyecto del colectivo OpenDataCordoba en conjunto con COPEC, el Concejo Deliberante de Córdoba, ICDA y Junar. El sitio del evento vive en opendatacordoba.org/jornadas/GoberNET/ — este post es un backup personal de mi participación.

GoberNET 2015 — Nuevos Espacios de Transparencia. Dos días en el auditorio Diego De Torres del ICDA (Obispo Trejo 323, Córdoba):

Sábado 17 de octubre: hackathon, 9 a 18 hs.
Martes 20 de octubre: conferencia, 9 a 13 hs.

Qué hicimos como equipo

Hackathon (17/10). Trabajamos en cinco desafíos:

Plataforma virtual de Políticas Públicas (COPEC).
Transparencia de compras públicas — escalando Medusapp para que las empresas proveedoras del Estado adhieran voluntariamente a publicar información de licitaciones.
Datos abiertos del Concejo Deliberante de Córdoba.
Herramientas para analizar elecciones, preparándonos para las nacionales del 25/10.
Cabildear.org — plataforma web/móvil para impulsar proyectos legislativos.

Conferencia (20/10). Panel de gobiernos contando experiencias de transparencia, panel de expertos sobre los desafíos de implementación, y exposición de los resultados del hackathon.

Más de 100 participantes entre los dos días, con adhesión de Universidad Empresarial Siglo 21, Instituto Universitario Aeronáutico, Fundación Mediterránea, IERAL, Santex, Red Nuestra Córdoba, Cluster Córdoba Technology, FIDE, Fundación E+E, Incubadora UNC, Incutex, Mundos E, Startup Weekend, Subsecretaría Pyme, y el Ministerio de Comunicación Pública.

Mi parte

Fui disertante del evento y también colaboré en la organización (fue un evento colectivo).

Material

HackatONG 2015

Andres Vazquez — Mon, 01 Jun 2015 12:00:00 GMT

Segunda edición del HackatONG, hackathon donde se desarrollan proyectos para ONGs. Junio de 2015, organizado por OpenDataCordoba en el marco de la Semana TIC.

Colaboré en la organización general y armé el sitio del evento con la convocatoria y los resúmenes.

Más sobre la edición en semanatic.com/hackatong. Mi resumen de la edición 2014 está en HackatONG + Program.AR.

III Encuentro de Data Science Córdoba

Andres Vazquez — Fri, 01 May 2015 12:00:00 GMT

Tercer encuentro del grupo Data Science Córdoba, mayo de 2015. Colaboré en la organización general y armé el sitio del encuentro.

II Encuentro de Data Science Córdoba

Andres Vazquez — Wed, 01 Apr 2015 12:00:00 GMT

Segundo encuentro del grupo Data Science Córdoba, abril de 2015. Colaboré en la organización general y armé el sitio del encuentro.

I Encuentro de Data Science Córdoba

Andres Vazquez — Tue, 10 Mar 2015 12:00:00 GMT

Primer encuentro del grupo Data Science Córdoba, marzo de 2015. Colaboré en la organización general y armé el sitio del encuentro.

Resumen en el blog de OpenDataCordoba
Cobertura en el noticiero de los SRT (Universidad Nacional de Córdoba)
Convocatoria en Meetup

NICathon 2015

Andres Vazquez — Thu, 05 Mar 2015 12:00:00 GMT

Proyecto del colectivo OpenDataCordoba. El sitio del evento vive en opendatacordoba.org/NICathon/. Este es un proyecto que lideré, pero el evento se organizó desde ODC.

NICathon fue un hackathon dedicado a los datos del registro de dominios .com.ar, del 5 al 20 de marzo de 2015. Continuación natural de la recolección de datos sobre dominios argentinos en la que veníamos trabajando: la idea fue exponer públicamente lo relevado y proponer que la comunidad construyera visualizaciones, historias o análisis sobre esos datos.

La zona .AR

Cada país administra su zona de dominios. En Argentina lo hace NIC.ar. Durante unos 20 años el registro fue gratuito, lo que permitió mucho emprendimiento y también mucha especulación. Desde el 5 de marzo de 2014 el servicio pasó a ser pago, y eso provocó la caída masiva de dominios — cosa que se ve clara en los datos liberados para el evento.

Modalidad

15 días, datos publicados en más de un formato, y compromiso de difundir cada trabajo enviado: visualizaciones, historias, análisis, cruces con otros sets. El evento incluyó además el código fuente del API y de la aplicación web+móvil que ya habíamos publicado antes.

Análisis posibles que sugerimos

Medir el abandono de dominios después de que el servicio se hizo pago.
Geolocalización automática de dominios según quién los registra.
¿Por qué hay dominios vencidos o en proceso de alta hace años, sin resolverse?
Lectura automática de los sitios listados → mapa de tecnologías usadas en Argentina.
Especulación con dominios que cambian periódicamente de fecha de reserva.
Análisis de los DNSs para entender el mercado de hosting.
Dominios "abandonados" y renovados justo antes del cobro.

Consideraciones sobre los datos

Casi 700.000 dominios — no la totalidad, sólo la parte que relevamos.
Las fechas son las de detección, no las del cambio real.
Entre mediados de 2012 y enero de 2014 el motor de lectura no funcionó por cambios en NIC.ar.
Desde el 25/12/2014, gracias a Poderopedia, agregamos lectura automática del Boletín Oficial. Desde esa fecha sí podríamos considerar la base como población total.
No guardamos dominios con acentos, eñes u otros caracteres no estándar.
Sólo zona .com.ar (no .org.ar, .tur.ar, etc.).

El análisis técnico

Quedó en otro post: Datos abiertos sobre dominios .com argentinos.

Apoyaron el evento

Poderopedia (especialmente Juan Eduardo, @devpoderopedia) y Vía Libre. Asesoramiento de Javier Pallero y Derecho entre Líneas en la cuestión de publicar datos personales de registrantes.

En los medios

HackatONG+Program.AR

Andres Vazquez — Sun, 07 Sep 2014 15:26:05 GMT

Ayer alrededor de 150 nos juntamos con la excusa del Hack(at)ONG + Program.AR en las Aulas D de la Universidad Nacional de Córdoba. Me quede con algunas historías de las doce que al final del día los participantes nos contaron. Un pibito -en medio de la presentación de su equipo- tomo el micrófono y nos contó:

" ... desde que me entregaron la netbook empecé a programar, ya tengo doce aplicaciones desarrolladas ..."

Estaba lleno de entusiasmo y un poco nervioso. No todos los días uno habla frente a más de cien personas, no creo que el olvide esa experiencia, le será muy útil para el futuro.

Una madre luego de perder a un hijo por peligros en la vía publica nos contó que canalizo ese dolor formando la organización Relevando Peligros. Ellos trabajan en notificar a las autoridades de peligros en la vía pública desde su sitio web. Algunas semanas antes del evento nos preguntaron si sería viable una aplicación que permita desde cualquier teléfono fotografiar y enviar esa información a su sitio web para atenderla. Una vez que lo publicamos un equipo por adelantado (caso único en este evento) comenzó a desarrollar la aplicación. Ayer pudieron seguir avanzando y ya esta casi lista la aplicación que nos permitirá colaborar desde cualquier dispositivo móvil.

El Movimiento Campesino de Córdoba a través de Germán y Lucia nos contaron la problemática de desalojos violentos que sufren algunos habitantes de las sierras de nuestra provincia. La única vía de comunicación que tienen los afectados es el SMS por lo que se desarrollo una aplicación que al recibir estos mensajes pueda multiplicar la alerta para que muchas personas del movimiento pueden tener la notificación temprana y acudir en ayuda de estas personas. Nos mostraron además un video muy interesante de esta triste realidad que tenemos en la provincia.

Esto son solo algunos de los proyectos, todos muy interesantes y ahora disponibles y liberados al público. Pueden verse en github.com/HackatONG-ProgramAR El 90% de los asistentes no tenía experiencia anterior en eventos de este tipo. Es un grano de arena para difundir estos encuentros horizontales y colaborativos en un futuro próximo. Pudimos darle más fuerza e impulso a nuestra iniciativa local OpenDataCordoba donde esperamos se pueda sumar más gente para seguir colaborando. Este hackathon fue posible gracias al Plan Nacional Program.AR, al Cluster Córdoba Tecnology, a la Universidad Nacional de Córdoba, al Gobierno de la Provincia de Córdoba y a muchas otras voluntades que se sumaron a colaborar.

Recursos del evento

En los medios

La coparticipación provincial de recursos en Córdoba

Andres Vazquez — Sat, 07 Jun 2014 00:34:59 GMT

Buscar datos liberados de municipios no es tarea fácil. Hay casos interesantes pero la norma general es que es difícil encontrar municipios que tengan sitio web y se actualice con regularidad. En el siguiente análisis -por ejemplo- solo 8 de 168 comunas estudiadas (en Córdoba son ciudades con menos de 2000 habitantes) tienen sitio web (2012). Existen numerosas normativas para la transparencia de la gestión municipal en Córdoba. El estado provincial en su ley orgánica (que rige a todos los municipios hasta que tienen 10.000 habitantes, el 90% de las localidades) indica que debe informarse mensualmente a la ciudadanía mediante un boletín informativo (ley 8.102, artículo 38). Esto lamentablemente no se cumple en general (no conozco casos). Atendiendo a la conservación y publicación de estos datos el gobierno de Córdoba obliga a los municipios a enviar estos datos a la administración provincial que lo publicará en el Registro Provincial de Legislacion Municipal. Esta institución lamentablemente no entrega datos por internet. Como si estas normas no fueran suficientes existe además la ley 9.206 de regionalización. Es un excelente instrumento para crear organizaciones supra-municipales que puedan pensar problemas zonales y sumar el esfuerzos de las localidades vecinas. Los artículos 22 y 23 de esta ley prevén la creación de innovadores "Indicadores de desarrollo regional". Estos indices (que nos permitirían saber mucho de los municipios) pasaron por un exhaustivo análisis luego del cual se arribo a la definición de numerosos indicadores que hubieran sido muy interesante de conocer. Las definiciones técnicas de los indices regionales, no tiene desperdicio y pueden leerse aquí: SISTEMA DE INDICADORES DE DESARROLLO REGIONAL EN LA PROVINCIA DE CORDOBA. Hay indices de transparencia, de desarrollo, actividad económica, etc. Gran trabajo, vale nombrar a los investigadores: Dr. Victor Mazzalay, Mg. Matías Bianchi, Dra. María Marta Santillan Pizarro, Dr. Sebastian Freille, Mg. Daniel Scandizzo y Lic. Pablo Sofﬁetti Previo a este material Mario Riorda y Emilio Graglia escribieron un excelente documento analizando las virtudes de la regionalización de Córdoba. El material esta disponible y es ineludible para pensar en municipios y regionalización: Desarrollo, municipalismo y regionalización. A pesar de toda esta serie de normativas no es posible acceder a datos de municipios de manera simple. Lo que si se puede conseguir es una de las fuentes principales de ingresos de los municipios, la coparticipación provincial. El siguiente análisis parte de los datos que libera la provincia de Córdoba en cuanto al dinero que envía a municipios y comunas en concepto de coparticipación. Los datos pueden verse en el sitio cba.gov.ar/coparticipacion/. Lamentablemente los datos se encuentran en formato PDF (son 44 documentos del período 2009/2014), que presenta numerosas complicaciones para su análisis. * Los archivos no están nombrados siguiendo una serie (que permita una descarga automática). Más bien parecen nombrados manualmente cada trimestre de publicación. * Algunos archivos presentan errores extraños. * No todos los PDFs estan generados con el mismo formato, margenes y estilo por lo que un conversor aplicado masivamente a todos los archivos no funcionaría. Por suerte existe Tabula que fue de gran ayuda y me permitió extraer los datos en relativamente poco tiempo. De todas formas los datos no pueden usarse a la primera, requieren de control. Una vez los datos en CSV que genera el software Tabula aplicamos una primera validación de los datos por los totales de las columnas que el mismo tabula extrajo. Si algún dato se extrae incorrectamente este error se podrá ver comparando la suma de los datos de cada columna con el total extraído por el software. Esta validación, cuando está disponible, difícilmente falla. Corregidos algunos detalles menores y teniendo en cuenta que la ley 8.663 de coparticipación es bastante estricta en cuanto a como se reparten estos fondos hay otros análisis para hacer. La variación de estos datos en cada municipio deben seguir crecimientos iguales. A la planilla terminada de resultados finales le agregamos planillas que duplican las series de datos pero contemplando para cada dato su variación con el mes anterior. Esto me permitió detectar fallas pero también variaciones no esperadas. Estos son los casos de Bower e Ycho Cruz que pasaron de Comunas a Municipios y multiplicaron su coparticipación en marzo de 2011. Al parecer en Marzo de 2011 hubo además recategorizaciones o cambios en el cálculo ya que Ana Zumaran y Cerro Colorado (entre otros) tuvieron cambios con respecto a las demás localidades. Un dato notable es que entre enero de 2009 y abril de 2014 (donde termina la serie de datos liberados) el crecimiento de la coparticipación en los municipios fue del 350%, mucho más que cualquier estimación de inflación. Para hacer más interesante estos datos se mezclaron con los del censo provincial 2008 e información de disponibilidad de sitio web (datos extraídos de Municipedia) y se colocaron en un mapa interactivo. Este mapa muestra cada ciudad como un circulo cuyo tamaño cambia para mostrar diferentes indicadores mencionados en este estudio (la ciudad de Córdoba se reubicó para poder respetar sus proporciones sin interferir con el mapa).

Click en el mapa para usar la versión interactiva de todos los datos procesados

Hasta aquí llega este informe, quedan propuestas y caminos abiertos para continuar con el uso de estos datos (journalist needed): .- Los 44 archivos PDF, las extracciones de Tabula en CSV (algunas reordenadas por mi) y todos los archivos que use en este proceso se pueden descargar aquí. .- Hay numerosos municipios que tienen esa categorización sin tener los 2.000 habitantes requeridos por ley. ¿Por que sucede? .- Analizar los municipios que si tienen página web y estudiar cuales de ellos liberan información (hay casos interesantes). .- Cruzar este mapa con información del censo nacional 2010 o con datos de las elecciones en córdoba que ya están disponibles. .- Uno de los coeficientes calculados y disponibles en el mapa es el de coparticipación / habitante (uso datos de censo Cba 2008). Este tiene valores similares pero no iguales para todos los casos. ¿Es posible que la provincia haya aplicado los datos del censo 2010 (que no esta oficialmente calculado para municipios)?

Sobre el hackathon "La ruta del dinero"

Este análisis fue parte de "La ruta del dinero", hackathon regional sobre transparencia presupuestaria.