Material de clases/Capítulo 4/Parte a/02 - Análisis de datos  - Ejemplo práctico encuesta origen-destino.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<p>\n",
    "<font size='5' face='Georgia, Arial'>IIC2115 - Programación como herramienta para la ingeniería</font><br>\n",
    "</p>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "nSZJgf5xUrVT"
   },
   "source": [
    "# Análisis de datos en Python: ejemplo real de uso con información de la EOD 2012\n",
    "(Los mayores agradecimientos a **Eduardo Graells-Garrido** por los ejemplos usados a continuación)\n",
    "\n",
    "(Se recomienda fuertemente trabajar este archivo en Google Colab)\n",
    "\n",
    "En este ejemplo se analiza la encuesta Origen Destino de Santiago, realizada el año 2012. La Encuesta Origen-Destino de Santiago, efectuada por última vez el año 2012, es el instrumento principal que utilizan las autoridades para tomar decisiones respecto a transporte en la ciudad. Consistió en entrevistar a los residentes de más de 18000 hogares haciéndoles la siguiente pregunta:\n",
    "\n",
    "> ¿Qué viajes hiciste ayer?\n",
    "\n",
    "Las personas encuestadas responden a través de un diario de viaje. En este diario incluyen todos los datos pertinentes de sus viajes: a qué hora lo iniciaron, a qué hora terminaron, los puntos de origen y destino (coordenadas), el propósito del viaje, el/los modo(s) de viaje utilizados, etc. También incluye información socio-demográfica de cada persona que responde.\n",
    "\n",
    "La encuesta es representativa a nivel comunal. Esto quiere decir que podemos sacar conclusiones sobre como se moviliza la población de Providencia, pero no de un barrio específico de la comuna. Puede ser que exista información de ese barrio específico, pero no podemos sacar conclusiones extrapolables al barrio completo."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "7BatR0RpUrVW"
   },
   "source": [
    "## Datasets\n",
    "\n",
    "En este ejemplo trabajaremos con la base de datos de la EOD disponible en la página de datos del Gobierno disponible en el siguiente link.\n",
    "\n",
    "  * [Encuesta Origen-Destino Santiago 2012](http://datos.gob.cl/dataset/31616)\n",
    "\n",
    "Con el comando **git clone** descargaremos a la memoria de este notebook la información requerida para trabajar."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 102
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 31262,
     "status": "ok",
     "timestamp": 1527886296065,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "HkCA5S28Uzwq",
    "outputId": "2cf2a91d-47a2-456b-f9f1-99a867d91340"
   },
   "outputs": [],
   "source": [
    "!git clone https://github.com/carnby/carto-en-python.git "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "r6TRMWQQUrVZ"
   },
   "source": [
    "\n",
    "## Previo\n",
    "\n",
    "Primero vamos a importar alguna de la librerías descritas en el primer notebook de este capíutlo.\n",
    "\n",
    "Usaremos:\n",
    "\n",
    "* `numpy` (vectores)\n",
    "* `pandas`(DataFrames)\n",
    "* `matplotlib` (visualización de bajo nivel)\n",
    "* `seaborn` (visualización estadística). \n",
    "\n",
    "Ya tienen experiencia con algunas de estas cuatro bibliotecas, pero con este ejemplo profundizaremos en las dos últimas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "J9RHk5h8UrVm"
   },
   "source": [
    "## `matplotlib`\n",
    "\n",
    "`matplotlib` es una biblioteca de **bajo nivel** para visualización en Python, con un paradigma **imperativo**.\n",
    "\n",
    "  * De bajo nivel quiere decir que entrega las primitivas gráficas necesarias para crear visualizaciones más complejtas.\n",
    "  * Imperativo quiere decir que se focaliza en las instrucciones que recibe la biblioteca, ya que no _abstrae_ las operaciones o codificaciones visuales de modo que operemos sobre éstas."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "1LU80g9nUrVp"
   },
   "source": [
    "## `seaborn`\n",
    "\n",
    "`seaborn` es una biblioteca que se construye _sobre_ `matplotlib`, y que incluye gráficos estadísticos y algunas funcionalidades avanzadas de modelamiento y reducción de complejidad. Esto permite _hacer más con menos código_. Al mismo tiempo, `seaborn` incluye opciones para trabajar con la codificación visual de manera más efectiva que `matplotlib`, por ejemplo, a través de la facilitación de elección de paletas de colores, o de la detección de parámetros siguiendo buenas prácticas.\n",
    "\n",
    "Y para completar más esta oferta, `seaborn` es directamente compatible con `pandas`. `matplotlib` también, pero no de manera nativa, por lo que todo lo que se relaciona con `pandas` requiere más trabajo. En el ejemplo de abajo vemos que no solamente hizo el gráfico, sino que incluso etiquetó automáticamente el eje $x$. Sin embargo, en `seaborn` la idea no es reemplazar los métodos de `matplotlib`. En realidad, lo que haremos será trabajar de manera diferente. Lo primero que debemos hacer es cambiar el formato de los datos. En `seaborn` se trabaja con **tidy data**. O datos ordenaditos.\n",
    "\n",
    "(Aquí hay dos explicaciones interesantes sobre _tidy data_: en [Python](http://www.jeannicholashould.com/tidy-data-in-python.html). El paper que explica el razonamiento detrás está [aquí](http://courses.had.co.nz.s3-website-us-east-1.amazonaws.com/12-rice-bdsi/slides/07-tidy-data.pdf))."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "XY0ucqSDUrVc"
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "import numpy as np\n",
    "\n",
    "# Esto configura la apariencia de los gráficos utilizando configuraciones de seaborn\n",
    "sns.set(context='poster', style='ticks', palette='inferno')\n",
    "\n",
    "# Esto es una instrucción de Jupyter que hace que los gráficos se desplieguen en el notebook\n",
    "%matplotlib inline\n",
    "\n",
    "# la encuesta tiene tantas columnas que hacemos esto para imprimirlas todas\n",
    "pd.set_option('max_columns', 1000)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "XVAbgrX8UrVq"
   },
   "source": [
    "## Los datos: endimiento y limpieza\n",
    "\n",
    "Esto involucra:\n",
    "\n",
    "  * Inspeccionar el contenido de la base de datos para saber qué cargar.\n",
    "  * Ajustar las perillas de los métodos para cargar datos, de modo que lean lo que queremos que leamos, y no se equivoquen.\n",
    "  * Realizar visualización exploratoria para saber si está todo en orden.\n",
    "  * Eliminar observaciones que no sirven, sea porque vienen _sucias_, _incompletas_, o bien no son relevantes para nuestro análisis.\n",
    "  \n",
    "  \n",
    "El siguiente comando muestra los parámetros de la EOD."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 374
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 1610,
     "status": "ok",
     "timestamp": 1527886595145,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "Oz_7uP6pZEvb",
    "outputId": "77386c23-ea18-48d3-d920-178ca446a966"
   },
   "outputs": [],
   "source": [
    "!ls ./carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La siguiente consulta muestra las tablas de información de la EOD."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 68
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 1665,
     "status": "ok",
     "timestamp": 1527886598711,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "bbJBQrZDzCz-",
    "outputId": "43ca47c1-95b6-4584-f181-7544ff169655"
   },
   "outputs": [],
   "source": [
    "!ls ./carto-en-python/input/2012_eod_stgo/EOD_STGO/"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Si queremos visualizar, por ejemplo información de viajes:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 224
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 1111,
     "status": "ok",
     "timestamp": 1527886601610,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "7qLGfWMLzKr-",
    "outputId": "de57ad14-832c-4045-ae35-d7505ac060dc"
   },
   "outputs": [],
   "source": [
    "trip_data = pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/viajes.csv', sep=';')\n",
    "trip_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 187
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 818,
     "status": "ok",
     "timestamp": 1527886604602,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "4t63Lb5rUrV5",
    "outputId": "0271c008-8b38-4e29-daf0-7fd26b2bc578"
   },
   "outputs": [],
   "source": [
    "trip_data.columns"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "kUfNfJmMUrWA"
   },
   "source": [
    "Por ejemplo, notemos que las columnas ComunaOrigen y ComunaDestino tienen valores numéricos que deben ser IDs."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 204
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 605,
     "status": "ok",
     "timestamp": 1527886636640,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "yEchdD4hUrWC",
    "outputId": "697e435f-a2c6-4716-cbd6-935331c30697"
   },
   "outputs": [],
   "source": [
    "municipalities = pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Comuna.csv', sep=',')\n",
    "municipalities.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "BTUarpjHUrWJ"
   },
   "source": [
    "Entonces, seguramente las comunas de origen/destino de un viaje contienen esos valores, pero codificados."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 663
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 664,
     "status": "ok",
     "timestamp": 1527886650347,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "X_P5QlfAUrWL",
    "outputId": "bd645672-7c75-4080-9387-1ff1602e41ab"
   },
   "outputs": [],
   "source": [
    "trip_data.merge(municipalities, left_on='ComunaOrigen', right_on='Id').iloc[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 204
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 732,
     "status": "ok",
     "timestamp": 1527886671470,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "v21my2acUrWR",
    "outputId": "47e29731-6421-4190-b92a-d8d5a55e911d"
   },
   "outputs": [],
   "source": [
    "def decode_column(df, fname, col_name, index_col='Id', target_col=None, value_col=None, sep=';', encoding='utf-8'):\n",
    "    '''\n",
    "    param :df: DataFrame del que leeremos una columna.\n",
    "    param :fname: nombre del archivo que contiene los valores a decodificar.\n",
    "    param :col_name: nombre de la columna que queremos decodificar.\n",
    "    param :index_col: nombre de la columna en el archivo @fname que tiene los índices que codifican @col_name\n",
    "    param :value_col: nombre de la columna en el archivo @fname que tiene los valores decodificados\n",
    "    param :sep: carácter que separa los valores en @fname. \n",
    "    param :encoding: identificación del _character set_ que utiliza el archivo. Usualmente es utf-8, si no funciona,\n",
    "                     se puede probar con iso-8859-1.\n",
    "    '''\n",
    "    if value_col is None:\n",
    "        value_col = 'value'\n",
    "        \n",
    "    if target_col is None:\n",
    "        target_col = col_name\n",
    "        \n",
    "    values_df = pd.read_csv(fname, sep=sep, index_col=index_col, names=[index_col, value_col], header=0,\n",
    "                            dtype={index_col: np.float64}, encoding=encoding)\n",
    "    \n",
    "    src_df = df.loc[:,(col_name,)]\n",
    "    \n",
    "    return pd.Series(src_df.join(values_df, on=col_name)[value_col], name=target_col)\n",
    "\n",
    "decode_column(trip_data.head(10), './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Comuna.csv', 'ComunaOrigen', sep=',')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Adv4zwKZUrWY"
   },
   "source": [
    "Estudiaremos el uso de modos de viaje. Hay una tabla de parámetros que tiene esa información:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 187
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 1588,
     "status": "ok",
     "timestamp": 1527886675502,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "VvHbYAhkUrWa",
    "outputId": "e523ce20-fd16-43e9-cbee-30fc479ce6a5"
   },
   "outputs": [],
   "source": [
    "!head ./carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Modo.csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 1071
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 630,
     "status": "ok",
     "timestamp": 1527886683404,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "UIhvmFYlUrWg",
    "outputId": "3c1c5164-5bc0-4e23-bfde-2d5f675001b6"
   },
   "outputs": [],
   "source": [
    "trip_data.MediosUsados.value_counts()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Ixsj5O_hUrWl"
   },
   "source": [
    "Existe otra tabla llamada ViajesDifusion:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 235
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 592,
     "status": "ok",
     "timestamp": 1527886687699,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "hnCLgdPMUrWo",
    "outputId": "e4e65c34-ed26-4e6d-eda6-fc39ffe50453"
   },
   "outputs": [],
   "source": [
    "trip_mode = pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/ViajesDifusion.csv', sep=';', index_col='Viaje')\n",
    "trip_mode.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 306
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 650,
     "status": "ok",
     "timestamp": 1527886688767,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "h3CxJzi_UrWv",
    "outputId": "dbf85b89-a92d-45c8-a2f9-db300edb5d68"
   },
   "outputs": [],
   "source": [
    "decode_column(trip_mode.sample(15), './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/ModoDifusion.csv', 'ModoDifusion', sep=';', index_col='ID', encoding='iso-8859-1')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "FR2cuntiUrW4"
   },
   "source": [
    "Al parecer es más adecuada para lo que queremos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 224
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 611,
     "status": "ok",
     "timestamp": 1527886691763,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "U5KBuUR7UrW6",
    "outputId": "2e0e2d0f-3c9e-4712-a658-6bc4a93ea1ac"
   },
   "outputs": [],
   "source": [
    "trip_data.head().join(trip_mode)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "0AAWjDc_UrW9"
   },
   "source": [
    "Hagamos fast-forward :)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 495
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 1985,
     "status": "ok",
     "timestamp": 1527886701333,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "RIdljaX1UrW_",
    "outputId": "3cf46480-1fd3-41ba-9f7e-47ade3380cea"
   },
   "outputs": [],
   "source": [
    "trip_data = (pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/viajes.csv', sep=';', index_col='Viaje')\n",
    "             .assign(ComunaOrigen=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Comuna.csv', 'ComunaOrigen', sep=','))\n",
    "             .assign(ComunaDestino=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Comuna.csv', 'ComunaDestino', sep=','))\n",
    "             .assign(SectorOrigen=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Sector.csv', 'SectorOrigen', sep=';'))\n",
    "             .assign(SectorDestino=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Sector.csv', 'SectorDestino', sep=';'))\n",
    "             .join(pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/ViajesDifusion.csv', sep=';', index_col='Viaje'))\n",
    "             .assign(ModoDifusion=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/ModoDifusion.csv', 'ModoDifusion', sep=';', index_col='ID', encoding='iso-8859-1'))\n",
    "             .assign(Proposito=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Proposito.csv', 'Proposito', sep=';'))\n",
    "             .join(pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/DistanciaViaje.csv', sep=';', index_col='Viaje'))\n",
    "            )\n",
    "\n",
    "trip_data.sample(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "JQ1jutiNUrXC"
   },
   "source": [
    "Todavía hay un par de asuntos que queremos resolver. Por ejemplo, los tiempos de viaje y las coordenadas geográficas. Antes de eso, limpiemos el dataset sacando valores nulos e inválidos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "6dt2XCeSUrXD"
   },
   "outputs": [],
   "source": [
    "trip_data = trip_data.dropna(subset=['HoraIni', 'HoraFin', 'SectorOrigen', 'SectorDestino', 'ComunaOrigen', 'ComunaDestino', 'Proposito', 'ModoDifusion'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 170
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 3539,
     "status": "ok",
     "timestamp": 1527886708151,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "NJpkkLzJUrXM",
    "outputId": "4cccba49-51cb-4a88-b3a4-611fb87fef16"
   },
   "outputs": [],
   "source": [
    "trip_data['HoraIni'] = trip_data.HoraIni.str.split(':').map(lambda x: pd.Timedelta(hours=int(x[0]), minutes=int(x[1])))\n",
    "trip_data['HoraIni'].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 170
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 3529,
     "status": "ok",
     "timestamp": 1527886711726,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "ts4-GqcAUrXR",
    "outputId": "c30be19a-9911-4784-bf72-e2a63dc6b734"
   },
   "outputs": [],
   "source": [
    "trip_data['HoraFin'] = trip_data.HoraFin.str.split(':').map(lambda x: pd.Timedelta(hours=int(x[0]), minutes=int(x[1])))\n",
    "trip_data['HoraFin'].describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "uqEvliGDUrXZ"
   },
   "source": [
    "En algunos casos, la hora de fin es _menor_ a la hora de inicio. Eso lo podemos corregir:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 102
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 825,
     "status": "ok",
     "timestamp": 1527886737605,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "ye5q41-NUrXa",
    "outputId": "f282aa36-ea3c-40b4-aead-e2213b3d7c83"
   },
   "outputs": [],
   "source": [
    "trip_data['HoraFin'][trip_data['HoraFin'] < trip_data['HoraIni']] = trip_data['HoraFin'][trip_data['HoraFin'] < trip_data['HoraIni']] + pd.Timedelta(days=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 752
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 965,
     "status": "ok",
     "timestamp": 1527886747347,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "tY56r7yxUrXf",
    "outputId": "967fdaae-7042-442d-914d-6f0f3d2c397c"
   },
   "outputs": [],
   "source": [
    "trip_data.sample(15)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "kXRfTls-UrXq"
   },
   "source": [
    "¡Ya podemos hacer cosas!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 325
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 922,
     "status": "ok",
     "timestamp": 1527886852062,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "AZIlEy2uUrXr",
    "outputId": "d1d33f3c-9031-43aa-952c-2510731695aa"
   },
   "outputs": [],
   "source": [
    "sns.distplot(trip_data.HoraIni / pd.Timedelta(hours=1))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "aWMTfQvJUrXx"
   },
   "outputs": [],
   "source": [
    "\n",
    "trip_data['departure_time'] = trip_data.HoraIni / pd.Timedelta(hours=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 325
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 875,
     "status": "ok",
     "timestamp": 1527886854632,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "0S3kEvEMUrX0",
    "outputId": "63b31c1e-1c27-445b-a4bc-649bd31ed82f"
   },
   "outputs": [],
   "source": [
    "sns.distplot(trip_data.HoraIni / pd.Timedelta(hours=1))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 1126
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 6733,
     "status": "ok",
     "timestamp": 1527886863455,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "UCNyktu3UrX8",
    "outputId": "10c281d2-f0d0-41a4-ab12-26cdbe01d0dc"
   },
   "outputs": [],
   "source": [
    "asdf = sns.FacetGrid(data=trip_data, col='Proposito', col_wrap=3, sharey=False, aspect=1.75, size=3)\n",
    "asdf.map(sns.distplot, 'departure_time')\n",
    "asdf.set(xlim=(0,24))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 442
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 883,
     "status": "ok",
     "timestamp": 1527886908857,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "wmL1-zkgUrYB",
    "outputId": "22ea572b-52b7-4f5b-fb70-5be69fa16d48"
   },
   "outputs": [],
   "source": [
    "people_data = (pd.read_csv('./carto-en-python/input/2012_eod_stgo/EOD_STGO/personas.csv', sep=';', index_col='Persona')\n",
    "               .assign(Sexo=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Sexo.csv', 'Sexo', sep=';'))\n",
    "               .assign(Relacion=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Relacion.csv', 'Relacion', sep=';'))\n",
    "               .assign(Ocupacion=lambda x: decode_column(x, './carto-en-python/input/2012_eod_stgo/EOD_STGO/Tablas_parametros/Ocupacion.csv', 'Ocupacion', sep=';'))\n",
    "              )\n",
    "people_data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "pwRoDwDEUrYD"
   },
   "outputs": [],
   "source": [
    "trip_data = trip_data.join(people_data.loc[:,('Sexo', 'Relacion', 'Ocupacion')], on='Persona')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 442
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 683,
     "status": "ok",
     "timestamp": 1527886913803,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "JoFxbwKBdijl",
    "outputId": "2a5e6fdc-305f-4729-e6f8-61b3de9b1302"
   },
   "outputs": [],
   "source": [
    "trip_data.sample(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "M6gbiLypUrYH"
   },
   "source": [
    "Ahora podemos desagregar el gráfico por más variables:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 1126
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8414,
     "status": "ok",
     "timestamp": 1527886922354,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "YNmWewHkUrYH",
    "outputId": "2d87322e-726a-491e-aa3d-e7056322b1ae"
   },
   "outputs": [],
   "source": [
    "g = sns.FacetGrid(data=trip_data, col='Proposito', hue='Sexo', col_wrap=3, sharey=False, aspect=1.75, size=3, palette='PuOr')\n",
    "g.map(sns.distplot, 'departure_time')\n",
    "g.set(xlim=(0,24))\n",
    "g.add_legend()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 1106
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 8780,
     "status": "ok",
     "timestamp": 1526505445953,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "qXtkYA5yfTIn",
    "outputId": "1edb07bb-279e-4612-e36e-e8b1286a714c"
   },
   "outputs": [],
   "source": [
    "g = sns.FacetGrid(data=trip_data, col='Proposito', hue='Sexo', col_wrap=3, sharey=False, aspect=1.75, size=3, palette='PuOr')\n",
    "g.map(sns.distplot, 'departure_time')\n",
    "g.set(xlim=(0,24))\n",
    "g.add_legend()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 187
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 612,
     "status": "ok",
     "timestamp": 1526505469776,
     "user": {
      "displayName": "Francisco Garrido Valenzuela",
      "photoUrl": "//lh6.googleusercontent.com/-NiK1WNJqXGQ/AAAAAAAAAAI/AAAAAAAABd4/i52f3LSLYzs/s50-c-k-no/photo.jpg",
      "userId": "110660410574104035572"
     },
     "user_tz": 240
    },
    "id": "D3BZx788g2ya",
    "outputId": "d077046e-5715-4815-82cd-bddd30ce7924"
   },
   "outputs": [],
   "source": [
    "ocupations = trip_data.Ocupacion.value_counts()\n",
    "ocupations"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 1127
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 9263,
     "status": "ok",
     "timestamp": 1526500516436,
     "user": {
      "displayName": "Eduardo Graells",
      "photoUrl": "//lh6.googleusercontent.com/-OE_hxRHvRqU/AAAAAAAAAAI/AAAAAAAAEMc/H_VKGBkRclg/s50-c-k-no/photo.jpg",
      "userId": "104090567818286937180"
     },
     "user_tz": 240
    },
    "id": "Z33u_N9MUrYK",
    "outputId": "a59fdb21-e265-44ee-e295-1d00bf3d2ef4"
   },
   "outputs": [],
   "source": [
    "g = sns.FacetGrid(data=trip_data, col='Proposito', hue='Ocupacion', col_wrap=3, sharey=False, aspect=1.75, size=3, palette='husl',\n",
    "                 hue_order=ocupations.index[0:4])\n",
    "g.map(sns.distplot, 'departure_time')\n",
    "g.set(xlim=(0,24))\n",
    "g.add_legend()"
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "default_view": {},
   "name": "Mini Case Study - Encuesta Origen Destino.ipynb",
   "provenance": [],
   "version": "0.3.2",
   "views": {}
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}