¿Como crear nuevas instancias de Cargografias?

Antes de Empezar

Antes de crear la instancia, recomendamos investigar a profundidad la escena local, buscando iniciativas parecidas que ya existan en el mercado. No buscamos competir, sino colaborar y construir.

Al mismo tiempo, se deben tomar como referencia otras instancias de Cargografias que ya estén funcionando para convocar a otros participantes, generar vínculos o alianzas con medios de comunicación, hacktivistas y universidades. Mostrar otras instancias funcionando es la mejor forma de explicar el alcance y el objetivo de la nueva instancia a crear.

Punto de partida del Dataset

Realizar una copia del spreadsheet base El mismo tiene una breve descripción sobre cómo se llena, y cada columna tiene su explicación. Las columnas no se deben eliminar ni renombrar, pero sí se pueden agregar cuantas columnas sean necesarias para ampliar los datos del funcionario.

La plantilla debe tener una suficiente cantidad de datos para poder importarlas al Popit, el componente de Poplus que utilizamos como base de datos.

Luego de la carga masiva inicial, se sigue operando desde el panel de control de Cargografías para editar, agregar o eliminar datos.

¿Cómo llenar la base de datos?

- Se debe colocar UN (1) cargo por cada fila. Si una persona cumple el mismo cargo más de una vez, también se debe poner un cargo por fila.

- Los nombres de las columnas deben mantenerse iguales. Si se necesita hacer un cambio, se tiene que modificar el script de importación.

- En ciertas columnas (sexo, cargotipo, cargoclase, etc) se busca que las opciones sean acotadas, para poder luego filtrar por las mismas. Recomendamos usar validación de dato para que los usuarios no cometan errores de tipeo o data entry, y asi alivianar la tarea posterior de refinado de datos.

- Otras columnas son libres, pero se debe intentar respetar lo ya escrito: si en la fila “Apellido” se escribió “Pérez”, la misma palabra debe mantenerse para llenar otro cargo del mismo funcionario. Lo mismo aplica para nombres de organizaciones como ‘Cámara de Diputados’, donde debe respetarse el uso de mayúsculas y minúsculas, acentos, etc.

-Es obligatorio llenar las columnas en rojo:

  • Nombre
  • Apellido
  • CargoNominal
  • FechaInicio o FechaInicioYear (una u otra)

- Si no conoce la fechaInicio o fechaFin con exactitud de día/mes/año, se puede llenar fechaInicioYear solo con el año. No hace falta llenar ambas.

- El campo Observaciones o Cargado son de uso interno para trackear el llenado de la planilla.

Una vez cargada con suficientes datos la planilla se procederá a:

-Limpiar los datos en el spreadsheet (eliminar espacios con TRIM, revisar acentos, etc)

-Refinar los datos con OpenRefine o similar, buscando que cada dato esté escrito de la misma forma o eliminar aquellos que estén duplicados.

-Subir todo a la base de PopIt via nuestro script, con lo cual se obtendrá la instancia de Cargografías correspondiente.

CARGA DE DATOS

Recomendamos dividir las tareas en tres etapas para la obtención de datos:

  1. Carga Masiva: Scrapeo de datos y refinamiento de datasets disponibles. En este etapa se intenta cargar la mayor cantidad de datos sobre funcionarios públicos, de todos los niveles, territorios y épocas que se logren encontrar.
  2. Hacer una hoja aparte donde acumular URLs y fuentes de datos posibles
  3. Utilizar un spreadsheet aparte para realizar el scrapeo y el refinamiento de datos. Una vez armado, volcarlo en una hoja nueva del spreadsheet principal.
  4. Una vez conformado al formato de la tabla principal (Hoja N.2) copiarlo a la misma revisando que coincidan las columnas.
  5. Recordar guardar la fuente de cada scrapeo en el Sheet correspondiente.
  6. Carga Puntual: Levantar manualmente (búsqueda específica de información) la carrera política de cada funcionario.
  7. Levantar una hoja con los 30 o 40 políticos más influyentes de la instancia a crear.
  8. Plasmar en un documento los criterios de selección para escoger a los políticos influyentes.
  9. Cada investigador puede ir marcando con color el funcionario que está cargando.
  10. Establecimiento de Criterios: Las columnas de base son fijas, pero las categorías internas no lo son. Por ejemplo, en CargoTipo se categorizan los cargos por el área al que pertenecen (Ejecutivo, Legislativo, Judicial) pero en cada país habrá particularidades y excepciones propias.
  11. Este grupo debe revisar cada columna y establecer los criterios de cada categoría. Véase el ejemplo de la Instancia de Uruguay: https://docs.google.com/document/d/10w9kNW5IVFtD1M6UitIzLOGuPQxA0CW2atLMCK1kGB0/edit
  12. Los criterios no solamente pueden ser concernientes a los datos de la tabla en cuestión, sino a lo que el grupo crea pertinente.
  13. Invitamos a compartir con el resto de las instancias los hallazgos o problemas encontrados en el establecimiento de criterios a través de http://cargografias.slack.com )

Otras consideraciones obligatorias de carga de información:

  1. Cuando un cargo no tiene una duración institucional predeterminada, la columna “duración” queda en blanco.
  2. Si el cargo aún está en funciones se deja en blanco la FechaFin y FechaFinYear

PRIMERA PUESTA EN MARCHA

  1. Debemos primero tener una buena cantidad de datos: no solamente en extensión (cantidad de Funcionarios) sino en profundidad (cantidad de cargos pasados de cada funcionario)
  2. Debemos tener una instancia de Popit creada (actualmente no se pueden crear más instancias en el Popit de Mysociety, pero tenemos varios creados para este fin, y de ser necesario podemos correr una instancia propia de Popit, o utilizar la que ha instalado Cargografias Paraguay)
  3. Correremos el Script (https://github.com/cargografias/cargografias-popit-loader) que va a inyectar todos los datos de nuestro spreadsheet a nuestra flamante instancia de Popit
  4. Entramos al panel.cargografias.org con el usuario y password de nuestra instancia, y corremos el UPDATE. Esto generará una copia de toda la base de Pop en un archivo JSON disponible para que los Usuarios Comunes puedan navegar la instancia.
  5. Recomendamos compartir esta primera versión de su Instancia solo con allegados, comunidad, equipo de trabajo. Probablemente aún no tenga una cantidad suficiente de Funcionarios cargados como para satisfacer la demanda del Usuario Común Curioso, y tenga duplicados y faltantes.
  6. Utilizar el front end para revisar los datos, chequear duplicados y faltantes.
  7. Si es necesario, agregar y corregir los datos en el spreadsheet
  8. Volver a ejecutar el Script, pero primero eliminando todos los datos para luego volver a subir los nuevos.
  9. Volver a correr el Update en el Panel.
  10. Una vez conformes, podremos generar los presets, y empezar a compartir la instancia en las redes. TENGAN EN CUENTA: cada vez que se borran todos los datos y se corre el script de carga, se PIERDEN LOS IDS de cada funcionario, por lo que si alguien ya había linkeado a una línea de tiempo en particular, no le volverá a andar. De aqui en adelante, no queda otra opcion que hacer las modificaciones o agregados a la base a traves del http://Panel.cargografias.org