dissabte, 5 de novembre del 2011

Herramientas para hacer nubes de palabras o tag clouds (1)

En esta entrada mostraré algunos métodos útiles para construir nubes de palabras.

Esta manera de representar gráficamente la información está a la orden del día para todas aquellas personas que se dedican a la infografía. A menudo encontramos en páginas web o en diarios estos word clouds que representan gráficamente la intensidad de un fenómeno mediante gráficos en los cuales el tamaño de la palabra es proporcional a su frecuencia. A continuación daré algunas herramientas para que nosotros mismos, con recursos gratuitos y sin necesidad de ningún programa específico de diseño, podamos contabilizar palabras relativamente rápido y elaborar con ellas nuestras propias nubes de información.

Para hacer la entrada algo más interesante y darle un toque de actualidad explicaré de principio a fin en unos pocos pasos cómo graficar según este método las palabras más presentes en los programas electorales de algunas de las principales formaciones que se presentan a las elecciones del próximo 20 de noviembre en España. Cabe decir que este tipo de gráfico también se puede hacer con otro tipo de datos siempre y cuando dispongamos de la frecuencia o el peso que representa cada variable.

Paso 1. Recopilar la información.

Como en todo proceso de análisis de datos, el primer paso es buscar y seleccionar la información que queremos graficar. En este caso, analizaremos los programas electorales de cinco formaciones políticas: PP, PSOE, ERC, CiU e IU y graficaremos las 25 palabras que más se repiten en cada uno. Se pueden descargar los programas en formato PDF de las respectivas páginas web. En esta ocasión, en este enlace del diario El País se encuentran recopilados todos estos programas.

Paso 2. Contabilizar las palabras.

A menudo nos encontraremos con una ingente cantidad de datos para analizar. En este caso, los programas de las distintas formaciones políticas acostumbran a tener entre cien y doscientas páginas, por lo que necesitaremos de la ayuda de algún programa informático que nos haga el trabajo “sucio” de sintetizar y contabilizar las palabras. Existen numerosos programas de análisis textual. Como la intención de esta entrada no es hacer una relación de este tipo de programas, presentaré únicamente el que he utilizado en este caso concreto que es Textalyser, un programa gratuito que encontré en internet destinado a analizar la complejidad de textos y a aportar estadísticas sobre la frecuencia de palabras. Si tenemos los archivos originales en PDF o en cualquier otro archivo de texto simplemente con hacer un Seleccionar todo, un Copiar y un Pegar en el programa, en muy pocos segundos obtendremos un informe de las palabras y frases utilizadas en el mismo. También se puede cargar directamente el archivo.

Paso 3. Ordenar la información. 

Textalyser nos da como resultado un informe en HTML con las frecuencias de frases, palabras y otros indicadores de complejidad textual. Para el caso que nos ocupa, lo que más nos interesa es la última parte del informe, donde se da una relación de las palabras individuales y su frecuencia. Si vamos directamente a este apartado podemos seleccionar y copiar estas palabras y su frecuencia (aquí es de gran utilidad el complemento de Firefox Table2Clipboard que expliqué en esta entrada para seleccionar sólo aquellas celdas o columnas que nos interesen). Una vez seleccionadas abrimos un archivo de Excel donde tendremos que trabajar un poco los datos, colocándolos en diferentes columnas repitiendo cada palabra en función de su frecuencia. Aquí cabe decir que, evidentemente, tendremos que hacer una depuración de los datos ya que el programa informático nos dará todos los resultados y está claro que no todas las palabras nos interesan. Nos encontraremos, por ejemplo, con que tendremos que eliminar los conectores textuales, los artículos, las preposiciones, los determinantes… que aparecerán con mayor frecuencia, y quedarnos con las palabras verdaderamente relevantes. Tendremos que tener cuidado también con los femeninos y masculinos y con los singulares y plurales, pues en muchos casos tendremos que sumar frecuencias cuando aparezca un mismo concepto con distintas formas gramaticales.

Paso 4. Construir los gráficos. 

Una vez repetidas las palabras en función de su frecuencia de aparición, tenemos diversas opciones para obtener los gráficos. Una de ellas es GoogleDocs. Subiendo a esta plataforma ofimática el archivo de Excel, seleccionamos todo el rango de datos y hacemos click en el menú Insert – Gadget, y aquí seleccionamos el Gadget Word cloud. Automáticamente se generará la nube de palabras en la que cada una tendrá un tamaño y una intensidad proporcional a su frecuencia de aparición en el rango de datos seleccionado.

Otra herramienta muy práctica para hacer esto es Wordle, que además nos permite personalizar el tipo de letra, los colores y las pautas de dibujo de las letras (horizontal, vertical, combinación de las dos, etc.)

Paso 5. Publicar los gráficos.

Cuando tenemos nuestras nubes de palabras hechas, tanto en Wordle como en GoogleDocs tenemos la opción de obtener el código HTML que usaremos para publicarlas en nuestra web.

A continuación muestro los distintos ejemplos de tag clouds de las 25 palabras que aparecen con mayor frecuencia en los programas electorales de las 5 formaciones políticas seleccionadas, realizados con GoogleDocs. Adjunto también el enlace a la hoja de cálculo que he utilizado.

Programa electoral - Partido Popular

Programa electoral – Partido Socialista Obrero Español

Programa electoral – Esquerra Republicana de Catalunya

Programa electoral – Convergència i Unió

Programa electoral – Izquierda Unida Los Verdes

dissabte, 29 d’octubre del 2011

Herramientas para trabajar de manera más productiva con tu navegador (entrada 2 de 3)

En relación con la primera, en esta segunda entrada expondré 5 utilidades o complementos relacionados con la optimización de búsquedas y descargas en internet.

1. Omnibar.

Omnibar es un complemento que unifica las barras de navegación y de búsqueda de Firefox en una sola, al estilo de Google Chrome. Podemos determinar en las opciones el motor de búsqueda por defecto y para buscar algo simplemente lo escribimos en la barra de navegación.


2. Google enhancer.

Google enhancer es otro complemento que optimiza los resultados en el buscador de Google. Si bien es cierto que las versiones actuales del propio buscador incorporan las prestaciones que tenía Google enhancer (seleccionar fecha, seleccionar idioma y resaltar las palabras buscadas) aún tiene una opción muy útil, que es la de seleccionar el tipo de archivo que se busca. De este modo podemos seleccionar mediante el desplegable “Any file” la extensión del archivo que buscamos. Es decir, si sólo queremos buscar PDF, AVI, JPG, FLV, DOC, XLS... seleccionando el tipo de archivo, la búsqueda sólo nos mostrará aquellos que coincidan con nuestras preferencias.


3. Video DownloadHelper.

Video DownloadHelper es una extensión que permite extraer contenido de páginas web, como por ejemplo videos o imágenes. Una vez instalado este complemento aparece un botón en nuestra barra de herramientas que se activa y se anima cuando encuentra un contenido para descargar, sea vídeo o imágenes. Esta utilidad va muy bien para descargar de manera rápida vídeos de Youtube o cualquier otra plataforma multimedia directamente a nuestro disco duro para poder verlos sin conexión, además de convertirlos al formato que se determine.


4. PDF download.

PDF download es un complemento para optimizar la descarga y visualización de documentos PDF, uno de los formatos más utilizados. Si bien es un complemento que personalmente no uso pues ya me va bien el visualizador de PDF integrado en Firefox, PDF download ofrece múltiples opciones como predeterminar qué es lo que queremos que haga el navegador para visualizar un PDF o incluso convertir el contenido de una página web a PDF.



5. Table2Clipboard.

Table2Clipboard es una utilidad altamente recomendable para quienes trabajamos con datos y estadísticas vía web. Permite copiar en el portapapeles las filas/columnas que deseemos de una tabla con formato HTML. A menudo encontramos en nuestras búsquedas tablas de datos de las cuales sólo nos interesa una celda, una fila o una columna específicas. Este complemento evita tener que copiar la tabla entera y seleccionar (haciendo control+click) sólo aquellas cifras o elementos que nos interesan para posteriormente hacer un pegado en un documento de Word o de Excel.

dissabte, 22 d’octubre del 2011

Herramientas para trabajar de manera más productiva con tu navegador (entrada 1 de 3)

En este grupo de entradas pretendo hacer una recopilación de algunas (se admiten más aportaciones) herramientas para dotar al navegador de internet de un mayor rendimiento y conseguir una mayor productividad desde el punto de vista del trabajo intelectual. Cabe decir que cuando hable de navegador de internet de aquí en adelante me referiré exclusivamente a Mozilla Firefox que es el que utilizo, no teniendo ninguna intención de comparar entre los existentes.

Las herramientas que presentaré se tratan tanto de complementos (plugins) como de sitios web de acceso rápido que se pueden tener en la barra de marcadores. En este sentido lo ideal es no sobrecargar el navegador con complementos que no vayamos a utilizar nunca o casi nunca porque eso sólo hará que consuma más memoria de nuestro ordenador y vaya más lento (lo contrario de lo que buscamos). Cuando se trata de complementos es recomendable instalar sólo aquellos que utilicemos o nos sean útiles para cada caso. De hecho, la configuración del navegador es algo muy personal y lo que a alguien le puede resultar muy útil otra persona puede no utilizarlo en la vida o parecerle simplemente una tontería.

He dividido las utilidades en tres grupos: las relacionadas con la sincronización, las relacionadas con la optimización de búsquedas y descargas, y finalmente otras utilidades diversas para el trabajo cotidiano cuando usamos internet.

En esta primera entrada expondré 3 utilidades o complementos relacionados con la sincronización de direcciones web y marcadores.

1. Barra de herramientas de marcadores.

Esta utilidad no es ninguna herramienta en sí, de hecho a mucha gente le podrá parecer una obviedad pero tener los enlaces a las páginas web que visitamos normalmente de una manera organizada en una barra de marcadores ayuda mucho a navegar de manera más rápida. Normalmente la barra de marcadores se muestra por defecto en Firefox, aunque se puede ocultar y volver a mostrar haciendo click con el botón derecho en las barras superiores. Para añadir un marcador simplemente hay que arrastrar la dirección a la barra, pudiéndose organizar en carpetas de temáticas similares, por ejemplo, para encontrar más rápidamente los accesos directos a nuestras páginas de consulta habitual.


2. Firefox Sync.

Ésta es una herramienta de sincronización, que viene por defecto en Firefox desde la versión 4. Es una de las más útiles pues permite sincronizar preferencias y marcadores en distintos ordenadores de tal manera que, por ejemplo, si añadimos un marcador en el ordenador del trabajo o en el portátil, automáticamente nos aparezca en el sobremesa de casa cuando iniciemos Firefox, y viceversa. Para usar esta utilidad hay que desplegar el menú de Opciones de nuestro navegador y seleccionar la pestaña Sync, tras lo cual tenemos que registrar nuestro correo electrónico y poner una contraseña, entonces recibiremos una clave de sincronización que tenemos que guardar para introducirla junto a la contraseña en todos los ordenadores que queramos sincronizar. Cabe decir que no sólo podemos sincronizar la barra de marcadores sino también las contraseñas que usamos en los sitios web, el historial de navegación, las preferencias o las pestañas de inicio. Esto ya depende de las preferencias de cada uno y de lo que quiera compartir en los diversos ordenadores.



3. Evernote/Delicious.

Estos dos complementos son dos de las herramientas más utilizadas para clasificar y ordenar enlaces, artículos, páginas web y bookmarks, pudiendo acceder rápidamente a ellos y compartirlos si es necesario. Su instalación se puede hacer fácilmente a través de la página de complementos de Firefox. Su uso es muy sencillo, tanto Evernote como Delicious se pueden colocar en forma de botón en la barra de herramientas del navegador y a través de ellos se pueden hacer capturas de páginas, etiquetar las mismas según temas y acceder a ellas en cualquier otro momento. Esto es muy útil cuando mientras estamos navegando encontramos una página o un artículo interesante pero en ese momento no tenemos tiempo para leerlo y queremos ahorrarnos el apuntarlo en otro sitio. Guardando la página a través de los botones ideados para tal fin podemos acceder rápidamente en otro momento, o compartirla a través de redes sociales, por email o con otras personas gracias a las utilidades de la propia herramienta.

divendres, 16 de setembre del 2011

Herramientas de (auto) defensa estadística

La estadística es una ciencia exacta, o sea, dice exactamente lo que queremos que diga. 

Esta máxima es uno de los motivos por los que hay que estar alerta cada vez que desde la prensa escrita, televisión u organismos públicos se lanzan datos y tenemos que interpretarlos. Cabe decir que la estadística en sí no es mala. De hecho, sin ella muchísimos de los avances en el conocimiento de un sinfín de campos no hubieran sido posibles. Sin embargo, como todo(s), la estadística en ocasiones puede ser maliciosa. En esta entrada pretendo ofrecer un conjunto de herramientas en forma de bibliografía para protegernos de los ataques perversos de datos a los que cada día nos vemos sometidos, en concreto en el ámbito de las ciencias sociales o el estudio “científico” de la sociedad, que es el que trabajo.

La estadística está por todas partes. En ocasiones incluso sin darnos cuenta estamos haciendo estadística, o contribuyendo a ella. Cada vez que nacemos (en este caso, sólo una vez, excepto para quien crea en reencarnaciones), tomamos un avión, subimos a un autobús, entramos en el metro, retiramos una bicicleta del Bicing, visitamos una página web, nos descargamos un archivo de internet, ponemos un “Me gusta” en Facebook, superamos un curso académico o nos inscribimos en la oficina de empleo, estamos haciendo estadística. Nuestro paso por el mundo en que vivimos deja huella en forma de número. Y estos registros se suelen utilizar para obtener conocimiento de la realidad. Desde el punto de vista pesimista, para controlarnos mejor. Desde el punto de vista optimista, para conocernos mejor y actuar en consecuencia.

La cantidad ingente de información que generamos después de recolectada es, normalmente, analizada estadísticamente e interpretada. Esta capacidad analítica, sin embargo, no siempre es bien utilizada. Que los datos digan exactamente lo que dicen o exactamente lo que queramos que digan depende de quién los trabaje y de cómo se hayan obtenido. Pero es tarea de quien recibe la información el interpretarlos y el despertar un espíritu crítico hacia esos datos. La estadística social, económica, demográfica, los sondeos, las encuestas, los análisis y la visualización de datos son susceptibles de cometer errores de concepto o de análisis. Ante ello, es necesario estar prevenido.

He aquí algunos libros o recursos en internet que ayudan a tamaña empresa (se aceptan sugerencias para completar la relación):

Claudi Alsina. Asesinatos matemáticos. Ariel. 2010.
Claudi Alsina es catedrático de matemáticas en la Universidad Politécnica de Catalunya y tiene diversas obras de divulgación matemática. En este interesante y entretenido libro se dedica a analizar en clave de humor anécdotas cotidianas de la política, la salud, los medios de comunicación, la cocina o la educación poniéndolos en tela de juicio y haciendo la correcta aclaración matemática cuando es necesario.

Pere Grima. La certeza absoluta y otras ficciones. RBA. 2010.
Pere Grima es profesor en la Universidad Politécnica de Catalunya y trabaja en temas de gestión de calidad y estadística industrial, además de la divulgación de la estadística. La certeza absoluta y otras ficciones es una magnífica introducción a la estadística donde se explica su origen, evolución, temas principales e incluso algunas anécdotas históricas. Parte del contenido de este libro y otros aspectos interesantísimos están disponibles en su perfil de la página web de la UPC.

Michael Blastland, Andrew Dilnot. El tigre que no está. Turner. 2009
Los británicos Michael Blastland y Andrew Dilnot participan en un famoso programa radiofónico sobre números llamado More or Less. En El tigre que no está hacen una recopilación de algunos temas tratados en su programa que se ocupan de los principales temas de la estadística, desde problemas de muestreo a interpretaciones o presentaciones de datos erróneas.

Blog Malaprensa.com
El blog de Malaprensa.com es la herramienta más cercana de autodefensa estadística. En él se analizan periódicamente noticias que aparecen en los medios de comunicación que contienen algún error en los datos que presentan o en la interpretación de los mismos. Frecuentemente tomamos como un dogma de fe la información que aparece en los periódicos, pero en ocasiones hay (muchos) errores. Es un blog muy recomendable para despertar el espíritu crítico a la hora de leer una noticia en un diario.


Para terminar, me gustaría decir que el mes de febrero de 2011 el Ateneu Barcelonès realizó un ciclo de conferencias llamado “Curs d’autodefensa matemática”, una gran iniciativa en la cual me he basado para realizar esta entrada y en el que participaron algunos de los autores de los libros que he explicado anteriormente.

dissabte, 9 de juliol del 2011

Linux contra la obsolescencia programada

El otro día leí este artículo super interesante sobre la relación de los sistemas operativos de nuestros ordenadores y la obsolescencia programada. Partiendo del hecho de la ralentización y "estaticidad" con el paso del tiempo de sistemas operativos como Windows, trata algunos temas interesantes para replantearse el uso de unos u otros.