Desarrollo de ÐApps RSK+Python en un VPS con Ubuntu 16.4

La madureza a la que están llegando los proyectos basados en tecnología blockchain y el momentum que tienen están atrayendo la atención de muchos desarrolladores. Abruma la diáspora de plataformas y de herramientas de desarrollo de smart contracts y ÐApps. Más aún desde que RSK permite la ejecución de smart contracts con la EVM (Ethereum Virtual Machine) sobre la plataforma Bitcoin.

Siendo el primer artículo sobre esta temática, el objetivo de esta serie de artículos es facilitar el entorno necesario para el desarrollo de aplicaciones basadas en blockchain con smart contracts en Ethereum y Bitcoin sin entrar en detallar la filosofía o tecnología de las plataformas blockchain.

Leer Más

Web scraping con Python, Neo4j y R

Siguiendo las indicaciones de Víctor con respecto a la instalación de un entorno virtual de Python, se abren un mundo de posibilidades. Más allá del “Hello world!”, un ejemplo iniciático podría ser el de recopilar datos de esta web (ibón.es) con Python, montar un pequeño grafo en Neo4j con los datos capturados y trabajar con ellos en el entorno R.

Leer Más

Análisis geográfico de líneas de autobús en Barcelona (2/2)

Objetivo: Determinar solapamientos de líneas de autobús con códigos postales en la ciudad de Barcelona (España)

[Continuación del artículo Análisis geográfico de líneas de autobús en Barcelona (1/2)]

Líneas de autobús

Este ejercicio se centra en tres líneas: 7, 21 y 92. La línea 7, que cruza casi la totalidad de la ciudad por la Diagonal. La 21 conecta la Zona Franca con el Paral·lel. La línea 92 disecciona la ciudad desde el Tibidabo a la Barceloneta. La elección de estas líneas surge de una diferenciación implícita entre las mismas. La línea 7 toca zonas residenciales, universitarias y de oficinas. La 21 conecta zona industrial con zona residencial. La línea 92 cruza zonas residenciales con alto interés turístico.
Las líneas de autobús se muestran directamente en la página de TMB. Rebuscando un poco en las llamadas que se realizan, se puede obtener la URL con la que emular las peticiones.

Leer Más

Análisis geográfico de líneas de autobús en Barcelona (1/2)

Objetivo: Determinar solapamientos de líneas de autobús con códigos postales en la ciudad de Barcelona (España)

Desde hace tiempo tengo la curiosidad sobre cómo se distribuyen las líneas de transporte público (autobús, tranvía y metro) en la ciudad de Barcelona. Al mismo tiempo que empiezo a practicar con objectos espaciales (Spatial Polygons y Lines principalmente), he decidio hacerlo con alguna línea de autobús y los códigos postales de la ciudad de Barcelona. Los códigos postales son de gran relevancia para el análisis de mercado al ser un estándar de agrupación de datos sociales, administrativos, poblacionales, etc. tanto a nivel de las administraciones públicas como de empresas que venden dicha información. En un futuro se puede trabajar en la casuística en la que los barrios y los códigos postales no concuerdan geométricamente.

Leer Más

Hortonworks en un VPS con Ubuntu 16.04

A lo largo de los últimos días hemos estado trabajando en hacer realidad la idea de tener un VPS con una distribución de Hadoop instalada. Después de haber pasado un tiempo trabajando con una máquina virtual en mi ordenador personal, quería experimentar con un entorno más potente que me permitiese trabajar con más datos y a más velocidad.

Finalmente nos hemos decidido por lo siguiente:

  • VPS con 24 GBs de memoria RAM
  • 4 cores a 2,4 GHz
  • Imagen Docker de Hortonworks

hw

Leer Más

Instalar R y RStudio Server en un VPS

El paquete de procesado estadístico de software libre R ha tenido un gran empuje gracias a la capa visual proporcionada por RStudio. Trabajar con R desde el terminal es posible pero realmente tedioso si se compara con la versión gráfica de RStudio. Para servidores, en vez de instalar la versión de sobremesa (Desktop), se instala la de servidor (Server).

Dar el salto del entorno local de RStudio a uno en un VPS (Servidor Virtual Privado) es razonablemente sencillo.
Leer Más

De Data Science a Intelligent Apps (I)

Con bastante frecuencia, cuando trabajamos en lo que se suele denominar ‘Analítica avanzada’, solemos centrarnos en el desarrollo de un algoritmo que resuelve un problema. Por ejemplo, un algoritmo que nos recomiende una serie de películas en base al histórico que se pueda tener de la actividad de muchos usuarios.

En estos casos, se suele entrenar el algoritmo y, una vez que la precisión de dicho algoritmo es lo suficientemente buena, se empaqueta para que pueda ser utilizado por desarrolladores (por ejemplo en una web de compra de películas).

Es decir, se establece una frontera entre lo que supuestamente hace un “científico de datos” y un desarrollador web.
Leer Más

Publicar directamente a WordPress con RMarkdown

Es interesante darse cuenta de que a medida que uno va descubriendo y aprendiendo y le asaltan dudas, muchos otros con anterioridad han pasado por la misma situación y planteado soluciones al respecto.

Habida cuenta de la gran presencia de bitácoras escritas en tecnología WordPress, en la librería knitr se creó un envoltorio (wrapper) para la automática publicación de un documento procesado en WordPress. Markdown es un lenguaje de marcado que permite fácilmente publicar documentos híbridos con texto y código que se ejecuta en el momento de la generación del mismo documento. En RStudio se utiliza la librería RMarkdown para crear desde HTML dinámicos como PDFs.
Leer Más

Se acerca el invierno

Desde hace tiempo se nos advierte desde el norte que el invierno se acerca y con el invierno las bajas temperaturas y la nieve convierten los lagos pirenaicos en ibones. Haciendo un símil con el término Data Lake tan en boga últimamente, tales repositorios de datos pueden llegar a una congelación invernal sin las herramientas y gestión adecuada.

Un grupo de profesionales con extensa experiencia en consultoría de proyectos de BI y Analytics hemos querido seguir aprendiendo emprendiendo. Ibón será el ágora dónde compartir, enseñar y aprender en lo que se refiere a las tendencias y técnicas de la Ciencia de Datos (Data Science) mediante la divulgación de herramientas o trucos así como casos prácticos.