stgo - User contributions [en]

Walkyourplace Django

2017-08-04T15:42:10Z

Cris: /* Características nuevas */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

=== UPDATE Paralelización ===

Al analizar la ciudad de Santiago con un archivo CSV, éste tardaba cerca de 23 horas en completar más de 52000 puntos, por lo que se decidió usar paralelización para utilizar todo el rendimiento de la VM. Para ello se utilizaron los librerías de Python '''threading''' y '''Queue'''. El código cambió en las siguientes líneas:

<source lang="Python">
import threadint
import Queue

if csv_model.type_of_analysis == 'Bike':
args_list = list()
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
args_list.append([start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value,csv_model.escenario.id,start_time])
if len(args_list)==40 or lines.index(line) == len(lines)-1:
process_list = list()
queue_list = list()
for arg in args_list:
q = Queue.Queue()
process = threading.Thread(target=text_from_bike, args=arg+[q])
process.start()
process_list.append(process)
queue_list.append(q)
args_list = list()
for process in process_list:
process.join()
for queue in queue_list:
text = queue.get()
temp.write(text)
logging.info(text.strip('\n'))
id_result += 1
</source>

El cambio en los otros modos es similar. El gran cambio de esta metodología es que crea grupos de 40 pequeños programas que solo se encargan de realizar la evaluación, éste recupera todos estos resultados y después ejecuta otros 40, con ésto el tiempo se reduce considerablemente, ya que habían puntos que tardaban solo 1 segundo en tener respuesta como otros más de 10. Por cada 40 puntos a analizar el nuevo tiempo corresponde a la duración del que tarde más. En otras palabras, si el grupo de 40 puntos son de score 0 y tardan menos de 1 segundo en ser analizados, el tiempo será menos de 1 segundo para todo el grupo en comparación a los respectivos 40 que sería analizar uno a uno.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

== Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==

Se trabaja actualmente en la construcción de una herramienta que permia cambiar las frecuencias de las líneas de buses y metro de la ciudad de Santiago con el objetivo de poder analizar los cambios de accesibilidad urbana derivadas de ésto. Con ello, en Django Python, se cargó en una base de datos SQLite (aparte de la que ya utiliza Django) el GTFS de los datos de la ciudad en cuestión gracias al módulo pygtfs. Para utilizar sus datos solo basta con llamarlos con sus funciones.

Con ello, las frecuencias de los recorridos se encuentran en el archivo frequencies.txt dentro del archivo comprimido GTFS.zip. Con el módulo pygtfs previamente configurado se pueden llamar dichos datos con los comandos

<source lang="python">
sched = pygtfs.Schedule(MEDIA_ROOT + 'gtfs.sqlite')
frequencies = sched.frequencies
</source>

generando en '''frequencies''' una lista con todas las frecuencias y los datos adjuntos que podemos ver en el mismo archivo de texto pero como objeto python.

Luego se creó una vista en [http://146.155.17.19:17080/gtfs/update_frequencies] en donde encontraremos un espacio de selección de viaje identificado por su ID en la cual al ser seleccionada se desplegará su información, tal como su hora de inicio, hora de fin y su frecuencia de salida, este último en un campo editable. Cuando ya cambiamos este valor, podemos guardar este dato en una lista de futuros datos para ser actualizados, la cual la podemos ver en la zona inferior de este formulario. Ésta lista puede ser tan grande como SQLite aguante.

Para construir esta lista, se debió de crear una copia de los modelos que hay en pygtfs en la base de datos local de Django manteniendo solo los datos que se desean cambiar, al ser eliminados de la lista también son eliminados de la base de datos para evitar que éste se llene o cause algún tipo de inconveniente.

Ya cuando tengamos todos nuestros cambios guardados, apretamos en el botón de '''Actualizar GTFS'''. Éste proceso puede llegar a tardar entre 7 a 8 minutos en ser completado, por lo que el botón se bloqueará durante este tiempo. Una vez finalizado debemos dirigirnos al panel de administración para cambiar el router de evaluación y utilizar el que acabamos de construir. Para ello se entra a [http://146.155.17.19:17080/admin/wyp/server/1/change/] y se modifica la URL en cuestion para cambiar '''/routers/<texto-a-cambiar>/isochrone?''' por '''/routers/WYP/isochrone?'''. Una vez realizado este cambio podemos efectuar las consultas con nuestras nuevas frecuencias de buses.

Cabe destacar que este proceso es temporal mientras no se construya un front-end ideal, ésta herramienta se construyó de esta forma para probar su funcionalidad y no garantiza lo más óptimo.

== API REST para obtener datos del archivo de frecuencia de buses ==

Para que el putno anterior de esta documentación funcione correctamente, fue necesario que se creara una API REST que nos permita obtener datos de las frecuencias mientras que por GET le enviemos la ID correspondiente al tramo a evaluar. En otras palabras, debemos ingresar una URL como ésta [http://146.155.17.19:17080/gtfs/frec_REST?f=101-I-S_V25-B14] y obtendremos un objeto Json con la información en cuestión.

== Sistema de análisis multiple de forma visual ==

Se agregó la opción '''Mapping bbox''', el cual permite analizar el recuadro que vemos en el mapa con múltiples puntos. Al abrir esta opción nos encontramos con la selección del método de viaje que deseamos evaluar, la opción demográfica y la cantidad de puntos que deseamos procesar para obtener un mapeo de los resultados. Para este proceso se utilizó la parametrización, es decir, si se deciden evaluar con 3 puntos horizontales y 3 verticales, los 9 sectores a evaluar se realizan todos a la vez, por lo que mientras más puntos a evaluar, más carga para la VM.

Los resultados son mostrados en el mapa de forma de colores, el blanco representa score 0 y verde un score de 100.

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Walkyourplace Django

2017-08-04T15:38:08Z

Cris: /* Análisis de muchos puntos mediante la subida de un archivo CSV */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

=== UPDATE Paralelización ===

Al analizar la ciudad de Santiago con un archivo CSV, éste tardaba cerca de 23 horas en completar más de 52000 puntos, por lo que se decidió usar paralelización para utilizar todo el rendimiento de la VM. Para ello se utilizaron los librerías de Python '''threading''' y '''Queue'''. El código cambió en las siguientes líneas:

<source lang="Python">
import threadint
import Queue

if csv_model.type_of_analysis == 'Bike':
args_list = list()
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
args_list.append([start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value,csv_model.escenario.id,start_time])
if len(args_list)==40 or lines.index(line) == len(lines)-1:
process_list = list()
queue_list = list()
for arg in args_list:
q = Queue.Queue()
process = threading.Thread(target=text_from_bike, args=arg+[q])
process.start()
process_list.append(process)
queue_list.append(q)
args_list = list()
for process in process_list:
process.join()
for queue in queue_list:
text = queue.get()
temp.write(text)
logging.info(text.strip('\n'))
id_result += 1
</source>

El cambio en los otros modos es similar. El gran cambio de esta metodología es que crea grupos de 40 pequeños programas que solo se encargan de realizar la evaluación, éste recupera todos estos resultados y después ejecuta otros 40, con ésto el tiempo se reduce considerablemente, ya que habían puntos que tardaban solo 1 segundo en tener respuesta como otros más de 10. Por cada 40 puntos a analizar el nuevo tiempo corresponde a la duración del que tarde más. En otras palabras, si el grupo de 40 puntos son de score 0 y tardan menos de 1 segundo en ser analizados, el tiempo será menos de 1 segundo para todo el grupo en comparación a los respectivos 40 que sería analizar uno a uno.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

== Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==

Se trabaja actualmente en la construcción de una herramienta que permia cambiar las frecuencias de las líneas de buses y metro de la ciudad de Santiago con el objetivo de poder analizar los cambios de accesibilidad urbana derivadas de ésto. Con ello, en Django Python, se cargó en una base de datos SQLite (aparte de la que ya utiliza Django) el GTFS de los datos de la ciudad en cuestión gracias al módulo pygtfs. Para utilizar sus datos solo basta con llamarlos con sus funciones.

Con ello, las frecuencias de los recorridos se encuentran en el archivo frequencies.txt dentro del archivo comprimido GTFS.zip. Con el módulo pygtfs previamente configurado se pueden llamar dichos datos con los comandos

<source lang="python">
sched = pygtfs.Schedule(MEDIA_ROOT + 'gtfs.sqlite')
frequencies = sched.frequencies
</source>

generando en '''frequencies''' una lista con todas las frecuencias y los datos adjuntos que podemos ver en el mismo archivo de texto pero como objeto python.

Luego se creó una vista en [http://146.155.17.19:17080/gtfs/update_frequencies] en donde encontraremos un espacio de selección de viaje identificado por su ID en la cual al ser seleccionada se desplegará su información, tal como su hora de inicio, hora de fin y su frecuencia de salida, este último en un campo editable. Cuando ya cambiamos este valor, podemos guardar este dato en una lista de futuros datos para ser actualizados, la cual la podemos ver en la zona inferior de este formulario. Ésta lista puede ser tan grande como SQLite aguante.

Para construir esta lista, se debió de crear una copia de los modelos que hay en pygtfs en la base de datos local de Django manteniendo solo los datos que se desean cambiar, al ser eliminados de la lista también son eliminados de la base de datos para evitar que éste se llene o cause algún tipo de inconveniente.

Ya cuando tengamos todos nuestros cambios guardados, apretamos en el botón de '''Actualizar GTFS'''. Éste proceso puede llegar a tardar entre 7 a 8 minutos en ser completado, por lo que el botón se bloqueará durante este tiempo. Una vez finalizado debemos dirigirnos al panel de administración para cambiar el router de evaluación y utilizar el que acabamos de construir. Para ello se entra a [http://146.155.17.19:17080/admin/wyp/server/1/change/] y se modifica la URL en cuestion para cambiar '''/routers/<texto-a-cambiar>/isochrone?''' por '''/routers/WYP/isochrone?'''. Una vez realizado este cambio podemos efectuar las consultas con nuestras nuevas frecuencias de buses.

Cabe destacar que este proceso es temporal mientras no se construya un front-end ideal, ésta herramienta se construyó de esta forma para probar su funcionalidad y no garantiza lo más óptimo.

== API REST para obtener datos del archivo de frecuencia de buses ==

Para que el putno anterior de esta documentación funcione correctamente, fue necesario que se creara una API REST que nos permita obtener datos de las frecuencias mientras que por GET le enviemos la ID correspondiente al tramo a evaluar. En otras palabras, debemos ingresar una URL como ésta [http://146.155.17.19:17080/gtfs/frec_REST?f=101-I-S_V25-B14] y obtendremos un objeto Json con la información en cuestión.

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Trabajo Cristian

2017-08-04T15:26:31Z

Cris: /* Script de 19:13 */

= Documentación instalación de CartoDB =

Todo se encuentra acá
http://wiki.geosteiniger.cl/mediawiki-1.22.7/index.php/Installing_CartoDB_for_CEDEUS#Trabajo_Cristian

= Recuperación de Grub de servidor =

Todo acá http://wiki.geosteiniger.cl/mediawiki-1.22.7/index.php/Solving_Ubuntu_GRUB_issue

= Configuración UPS =

== Configuración de red ==

La UPS se encuentra configurada por red desde el servidor 146.155.17.19 por la salida de red "em2".
Su configuración de red es:

IP: 192.168.100.2
Mask: 255.255.255.0
Gateway: 192.168.100.1

La configuración en la UPS se realizó mediante un cable USB-Serial hacia el servidor y la comunicación se hizo por minicom con la configuración:

A - Serial Device : /dev/ttyUSB0 |
B - Lockfile Location : /var/lock |
C - Callin Program : |
D - Callout Program : |
E - Bps/Par/Bits : 9600 8N1 |
F - Hardware Flow Control : No |
G - Software Flow Control : No

Por lo mismo, la configuración de la boca de red "em2" debe tener la siguiente IP para que funcione correctamente:

IP: 192.168.100.1
Mask: 255.255.255.0

Por otro lado, para la configuración del servidor es necesario que se fije estáticamente la IP a la tarjeta de red em2. Para ello editamos el archivo <code>/etc/network/interfaces</code> y agregamos las líneas:

auto em2
iface em2 inet static
address 192.168.100.1

== Configuración en el servidor ==

Se decide realizar la instalación con Nat, para ello lo instalamos mediante:

apt-get install nut nut-monitor nut-cgi nut-snmp snmp

Luego, se verifica si el usuario nut fue creado posterior a la instalación:

'''root@cedeusgeonode:~# id nut'''
uid=109(nut) gid=117(nut) groups=117(nut),20(dialout)

Luego se edita el archivo '''/etc/nut/ups.conf''' para indicar el driver a utilizar para detectar la UPS, en nuestro caso es el siguiente:

[trust]
driver = snmp-ups
port = 192.168.100.2
community = public
snmp_version = v1
pollfreq = 15
privProtocol=AES
desc = "Dispositivo UPS APC SNMP v1"

Luego iniciamos el servicio

upsdrvctl start

Lo siguiente es configurar los servicios correspondientes que monitoreen la UPS, con tal de que apaguen el servidor cuando no exista energía.

Editamos el archivo /etc/nut/upsd.user y agregamos

[root]
password=t3st
actions = SET
instcmds = ALL

[upsmon]
password=pass
upsmon master
upsmon slave

Con esto estamos agregando usuarios que permitan la interacción entre los módulos.
Luego para upsmon editamos el archivo /etc/nut/upsmon.conf y modificamos las siguientes líneas:

MONITOR snmpv1 1 upsmon pass master
POWERDOWNFLAG /etc/killpower
SHUTDOWNCMD "/sbin/shutdown -h now"

Damos los permisos necesarios a los archivos para que sean ejecutados correctamente

chown root:nut /etc/nut/*
chmod 640 /etc/nut/*

Finalmente le decimos que inicie los servicios cuando prenda el servidor, creamos un archivo llamado /etc/default/nut y le agregamos:

START_UPSD=yes
START_UPSMON=yes

y editamos /etc/nut/nut.conf

MODE=standalone

Se espera que con esta configuración, el servidor que está conectado directamente con la UPS se apague cuando la UPS esté con poca energía, sin embargo falta aún la configuración del otro servidor, el cual se debe hacer modificando las configuraciones de upsd y upsmon respectivamente.

== Ver estado de la UPS ==

Para ver en que estado se encuentra la UPS, podemos ver todos los detalles gracias al comando:

upsc snmpv1

En caso de que no exista conexión, puede ser a causa de que el dirver no se encuentre corriendo, la solución para levantar dicho driver es ejecutar

upsdrvctr start

== Agregar -18 y .14 al apagado ==

http://2tazasdelinux.blogspot.cl/2014/11/controlar-nuestro-sai-con-nut.html

= Mantención VM MiCiudad=

El problema que contenía la VM fue que no se podía instalar ni actualizar ningún programa debido a que la carpeta /boot estaba al 100%, esto es causado por reiteradas actualizaciones de kernel (es normal) en donde se guarda una copia del kernel instalado anteriormente, por lo que hay que borrar dichos respaldos.

Al utilizar el comando <code>df -h</code> vemos el disco lleno. Basta con ejecutar los siguientes comandos con permisos de administrador:

dpkg --get-selections|grep 'linux-image*'|awk '{print $1}'|egrep -v "linux-image-$(uname -r)|linux-image-generic" |while read n;do apt-get -y remove $n;done
apt-get autoclean

Luego de esto ya es posible la actualización e instalación de aplicaciones via apt-get

= omeka.org =

== Ubuntu ==

Se propuso la instalación del servicio Omeka, para ello utilizamos una VM con Ubuntu, en el caso de prueba se utiliza Ubuntu 15.04.

Primero, con permisos de administrador, se actualiza la VM y se instalan las dependencias para Omeka

sudo apt-get update
sudo apt-get install -y unzip php5 php5-mysql apache2 mysql-server imagemagick

Luego se descargan los archivos para la instalación de Omeka

cd
wget http://omeka.org/files/omeka-2.3.1.zip
unzip omeka-2.3.1.zip

Se mueven los archivos al directorio web

sudo mv omeka-2.0/* /var/www/
sudo mv omeka-2.0/.htaccess /var/www/
sudo rm /var/www/index.html

Configurar la base de datos, creando un usuario y sus permisos

sudo groupadd webdev
sudo usermod -a -G webdev ubuntu
cd /var
sudo chown -R root.webdev www
sudo chmod 775 www
cd /var/www
sudo find . -type d | xargs sudo chmod 775
sudo find . -type f | xargs sudo chmod 664
sudo find files -type d | xargs sudo chmod 777
sudo find files -type f | xargs sudo chmod 666

Crear la base de datos

mysql -u root -p

create database omeka;
grant all privileges on omeka.* to 'ubuntu' identified by 'reverse';
flush privileges;
quit;

Editar el archivo db.ini modificando

[database]
host = "localhost"
username = "ubuntu"
password = "reverse"
dbname = "omeka"
prefix = "omeka_"

Finalmente activar mod_rewrite

sudo a2enmod rewrite

Editar el archivo /etc/apache2/sites-available/default cambiando "AllowOverride None" a "AllowOverride All".

Listo :)

Lamentablemente esta instalación trae problemas con la activación de mod_rewrite.

== Fedora Server 23 ==

Lo primero son las dependencias

dnf install unzip mysql-server php php-mysql ImageMagick

chkconfig --levels 235 httpd on
chkconfig --levels 235 mariadb on

setenforce 0
systemctl start mariadb

mysql_secure_installation

Colocar contraseña para cuenta de administrador en base de datos

mysql -u root -p
mysql> use mysql
mysql> insert into user(host, user, password) values('localhost','omeka_user',password('test'));
mysql> insert into db(host,db,user,Select_priv, Insert_priv, Update_priv, Delete_priv, Create_priv, Drop_priv) values ('localhost','omeka_db','omeka_user','Y','Y','Y','Y','Y','Y');
mysql> quit

mysqladmin -u root -p create omeka_db
mysqladmin -u root -p reload
mysql> ALTER DATABASE omeka_db DEFAULT CHARACTER SET 'utf8' DEFAULT COLLATE 'utf8_unicode_ci';
mysql> quit

Editar el archivo /etc/httpd/conf/httpd.conf, cambiando el valor de AllowOverride que se encuentra dentro del bloque <Directory "/var/www/html"> por All.

systemctl restart httpd

wget http://omeka.org/files/omeka-2.3.1.zip

descomprimir archivo zip y renombrar carpeta por <code>omeka</code>

editar el archivo <code>omeka/db.ini</code> con sus respectivos datos:
[database]
host = "localhost"
username = "omeka_user"
password = "test"
name = "omeka_db"
prefix = "omeka_"
;port = ""

= Extractor de tweets =

dependencias de trabajo:

sudo apt-get install git vim

dependencias: tweepy y psycopg2

sudo pip install tweepy
sudo apt-get install python-psycopg2

También es necesario instalar y crear un usuario en postgresql

sudo apt-get install postgresql postgresql-contrib
sudo -i -u postgres
createuser --interactive
# csfuente as superuser
createdb csfuente
logout

luego clonar el repositorio git

git clone http://146.155.17.18:18080/csfuente/twitter_extractor.git
cd twitter_extractor

Aquí tenemos dos archivos que ejecutar, primero es main.py el cual, al ser ejecutado por primera vez hay que poner un -r al final para crear la tabla de la base de datos (también borra todo dato anterior).

python main.py <Cuenta de twitter> [-r]

Luego que finalice el anterior, se debe ejecutar el streaming, para recepcionar los tweets que vendrán.

python stream <Cuenta de twitter>

Ejemplo

python main.py Cristian_F_G -r
python main.py Cristian_F_G

= OwnCloud =

backup location after clicking on OwnCloud update: /var/www/html/owncloud/data/updater_backup/8.2.2.2-8fa08547

Variable for URL name:
'overwrite.cli.url' => 'http://146.155.17.18:17080/owncloud',

= OpenTripPlanner =

== Instalación ==

Son necesarios dos programas escenciales, Java 8 y Maven mayor a 3.1.1

Para Java ejecutamos

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update
sudo apt-get install openjdk-8-jdk

Para Maven

sudo apt-get install gdebi
wget http://ppa.launchpad.net/natecarlson/maven3/ubuntu/pool/main/m/maven3/maven3_3.2.1-0~ppa1_all.deb
sudo gdebi maven3_3.2.1-0~ppa1_all.deb
sudo ln -s /usr/share/maven3/bin/mvn /usr/bin/mvn

Luego necesitamos git

sudo apt-get install git

Y finalmente procedemos con la copia e instalación de OpenTripPlanner

git clone https://github.com/opentripplanner/OpenTripPlanner.git
cd OpenTripPlanner
mvn clean package -DskipTests

Creamos la carpeta con la data

mkdir /home/csfuente/otp
cd /home/csfuente/otp

Descargamos la data en esta carpeta....

wget http://www.dtpm.cl/descargas/gtfs/GTFS.zip

Ejecutamos OTP desde su directorio con el comando

./otp --build /home/csfuente/otp --inMemory

Y para todo Chile:
./otp --build /home/csfuente/otpTransantiago --inMemory

== Actualizar la información ==

Para actualizar la información es necesario ir revisando los cambios de los archivos GTFS que se encuentran disponibles en la red, cuando notemos que uno es más nuevo es necesario descargarlo y ubicarlo en la carpeta que contiene todos los archivos similares (Actualmente se está utilizando la carpeta /home/csfuente/otpTransantiago ) por lo que entramos a dicha carpeta y descargamos los datos con '''wget'''. Finalmente reiniciamos la VM, esperamos a que inicie (cerca de ~10 minutos) y estará con todos los datos actualizados.

= OSM + Overpass =

== Instalación de servidor de OSM ==

Para la instalación se utiliza una VM con Ubuntu 14.04. Las instrucciones fueron sacadas de:
* https://switch2osm.org/serving-tiles/manually-building-a-tile-server-14-04/
Y actualizadas con la nueva versión de osm2pgsql
* https://github.com/openstreetmap/osm2pgsql

Lo primero es instalar las dependencias necesarias para proceder con la instalación de los componentes que utiliza OSM.

sudo apt-get install libboost-all-dev subversion git-core tar unzip wget bzip2 build-essential \
autoconf libtool libxml2-dev libgeos-dev libgeos++-dev libpq-dev libbz2-dev libproj-dev munin-node \
munin libprotobuf-c0-dev protobuf-c-compiler libfreetype6-dev libpng12-dev libtiff4-dev libicu-dev \
libgdal-dev libcairo-dev libcairomm-1.0-dev apache2 apache2-dev libagg-dev liblua5.2-dev ttf-unifont \
lua5.1 liblua5.1-dev libgeotiff-epsg node-carto

Luego hay que instalar Postgresql y postgis

sudo apt-get install postgresql postgresql-contrib postgis postgresql-9.3-postgis-2.1

Ahora es necesario crear la base de datos, para ello necesitaremos de un usuario en postgres, por ahora se utilizará 'username' para la documentación.

sudo -u postgres -i
createuser username
createdb -E UTF8 -O username gis
exit

Lo mismo para el sistema Unix

sudo useradd -m username
sudo passwd username

Creamos las tablas de postgres y las asignamos al usuario

sudo -u postgres psql
\c gis
CREATE EXTENSION postgis;
ALTER TABLE geometry_columns OWNER TO username;
ALTER TABLE spatial_ref_sys OWNER TO username;
\q
exit

Pasamos a la instalación de osm2pgsql, para ello crearemos la carpeta 'src' en la raiz de root para adjuntar los archivos

mkdir ~/src
cd ~/src
git clone https://github.com/openstreetmap/osm2pgsql.git

Instalamos sus dependencias

sudo apt-get install make cmake g++ libboost-dev libboost-system-dev \
libboost-filesystem-dev libexpat1-dev zlib1g-dev \
libbz2-dev libpq-dev libgeos-dev libgeos++-dev libproj-dev lua5.2 \
liblua5.2-dev

Compilamos e instalamos

mkdir build && cd build
cmake ..
make
sudo make install

Procedemos a instalar Mapnik

cd ~/src
git clone git://github.com/mapnik/mapnik
cd mapnik
git branch 2.2 origin/2.2.x
git checkout 2.2
python scons/scons.py configure INPUT_PLUGINS=all OPTIMIZATION=3 SYSTEM_FONTS=/usr/share/fonts/truetype/
make
sudo make install
sudo ldconfig

Podemos verificar que Mapnik funciona con

python
>>> import mapnik
>>>

Ahora la instalación de mod_tile y render

cd ~/src
git clone git://github.com/openstreetmap/mod_tile.git
cd mod_tile
./autogen.sh
./configure
make
sudo make install
sudo make install-mod_tile
sudo ldconfig

Se crea la carpeta /usr/local/share/maps/style para los archivos stylesheet y los recursos necesarios, además instalamos y configuramos OSM Bright

sudo mkdir -p /usr/local/share/maps/style
sudo chown username /usr/local/share/maps/style
cd /usr/local/share/maps/style
wget https://github.com/mapbox/osm-bright/archive/master.zip
wget http://data.openstreetmapdata.com/simplified-land-polygons-complete-3857.zip
wget http://data.openstreetmapdata.com/land-polygons-split-3857.zip
mkdir ne_10m_populated_places_simple
cd ne_10m_populated_places_simple
wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/10m/cultural/ne_10m_populated_places_simple.zip
unzip ne_10m_populated_places_simple.zip
rm ne_10m_populated_places_simple.zip
cd ..
unzip '*.zip'
mkdir osm-bright-master/shp
mv land-polygons-split-3857 osm-bright-master/shp/
mv simplified-land-polygons-complete-3857 osm-bright-master/shp/
mv ne_10m_populated_places_simple osm-bright-master/shp/
cd osm-bright-master/shp/land-polygons-split-3857
shapeindex land_polygons.shp
cd ../simplified-land-polygons-complete-3857/
shapeindex simplified_land_polygons.shp
cd ../..

Ahora configuramos OSM Bright

vim osm-bright/osm-bright.osm2pgsql.mml

Acá hay que buscar las direcciones que se encuentran al lado derecho del tag 'file' y cambiar la dirección por la ruta de los archivos que cambiamos anteriormente, además agregamos su característica de 'type' tal como se muestra a continuación

"file": "/usr/local/share/maps/style/osm-bright-master/shp/land-polygons-split-3857/land_polygons.shp",
"type": "shape"

"file": "/usr/local/share/maps/style/osm-bright-master/shp/simplified-land-polygons-complete-3857/simplified_land_polygons.shp",
"type": "shape",

"file": "/usr/local/share/maps/style/osm-bright-master/shp/ne_10m_populated_places_simple/ne_10m_populated_places_simple.shp",
"type": "shape"

Hay que ser riguroso con no olvidar las comas finales de cada línea.
Luego, en la sección 'ne-places', reemplazar 'srs' y 'srs-name' con esto:

"srs": "+proj=longlat +ellps=WGS84 +datum=WGS84 +no_defs"

Guardamos y salimos.

Nos queda ahora compilar todo para que Mapnik pueda ser utilizado. Creamos el archivo de configuración y cambiamos la linea de pointing de ~/Documents/Mapbox/project a /usr/local/share/maps/style y cambiamos dbname de osm a gis. Guardamos y salimos.

cp configure.py.sample configure.py
vim configure.py
#Realizar cambios nombrados
./make.py
cd ../OSMBright/
carto project.mml > OSMBright.xml

Listo con ésto, ahora debemos configurar el render. Como root es necesario editar el archivo de configuración de render ubicado en /usr/local/etc/renderd.conf y cambiar las siguientes lineas en las secciones de render, mapnik y default.

socketname=/var/run/renderd/renderd.sock
plugins_dir=/usr/local/lib/mapnik/input
font_dir=/usr/share/fonts/truetype/ttf-dejavu
XML=/usr/local/share/maps/style/OSMBright/OSMBright.xml
HOST=localhost

Las líneas que se encuentran comentadas con un ; deben ser descomentadas.

Ahora creamos las carpetas necesarias para usar el sistema de mod_tile

sudo mkdir /var/run/renderd
sudo chown username /var/run/renderd
sudo mkdir /var/lib/mod_tile
sudo chown username /var/lib/mod_tile

creamos en archivo /etc/apache2/conf-available/mod_tile.conf y agregamos una sola línea:

LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

Y editamos el archivo /etc/apache2/sites-available/000-default.conf agregando esto justo después del email del administrador

LoadTileConfigFile /usr/local/etc/renderd.conf
ModTileRenderdSocketName /var/run/renderd/renderd.sock
# Timeout before giving up for a tile to be rendered
ModTileRequestTimeout 0
# Timeout before giving up for a tile to be rendered that is otherwise missing
ModTileMissingRequestTimeout 30

Finalmente agregamos mod_tile a apache y lo reiniciamos

sudo a2enconf mod_tile
sudo service apache2 reload

Ahora debemos dejar mas potente postgres para que no funcione lento al momento de solicitar datos, editamos con sudo el archivo /etc/postgresql/9.3/main/postgresql.conf para cambiar:

shared_buffers = 128MB
checkpoint_segments = 20
maintenance_work_mem = 256MB
autovacuum = off

editamos tambien con sudo el archivo /etc/sysctl.conf para agregar una línea entre las definiciones de kernel

# Increase kernel shared memory segments - needed for large databases
kernel.shmmax=268435456

Reiniciamos la VM y luego ejecutamos:

sudo sysctl kernel.shmmax

y verificamos que nos muestre el número que pusimos

Ahora nos queda cargar las tiles correspondientes al servidor, para este trabajo se utilizan solo las tiles de Chile.

sudo mkdir /usr/local/share/maps/planet
sudo chown username /usr/local/share/maps/planet
cd /usr/local/share/maps/planet
wget http://download.geofabrik.de/south-america/chile-latest.osm.pbf

Importamos la data descargada en la base de datos, el número que se encuentra luego de -C debe ser cambiado dependiendo de la memoria RAM disponible para la máquina. Se sugiere comenzar con un númerp 16000 y si excede la memoria entonces reducir dicho número. Para las pruebas fue posible ejecutar el comando con un -C de 3500

osm2pgsql --slim -d gis -C 3500 --number-processes 3 /usr/local/share/maps/planet/chile-latest.osm.pbf

Tomar café y esperar. Dependiendo de la información a cargar, puede tardar entre 10 minutos hasta 24 horas.

Finalmente levantamos el servidor y lo hacemos correr, para ello ejecutamos

sudo mkdir /var/run/renderd
sudo chown username /var/run/renderd
sudo -u username renderd -f -c /usr/local/etc/renderd.conf

y en una terminal diferente

sudo service apache2 reload

Podemos probar que el servidor se encuentra corriendo entrando a la dirección http://localhost/osm_tiles/0/0/0.png para ver una imagen del mundo. Para otras imágenes es necesario rescatarlas con http://localhost/osm_tiles/{z}/{x}/{y}.png (localhost puede ser cambiado por la IP de la VM)

== Instalación de Overpass API ==

La información fue extraida desde las siguientes páginas con modificación en los link de descarga de la data:

http://overpass-api.de/no_frills.html
http://overpass-api.de/full_installation.html

Los comandos utilizados fueron:

Primero son las dependencias base

sudo apt-get install wget g++ make expat libexpat1-dev zlib1g-dev

Luego se realiza la instalación del software de Overpass, para ello se utiliza como directorio de ejecutables la misma base del archivo a descargar (perfectamente se podría cambiar)

wget http://dev.overpass-api.de/releases/osm-3s_v0.7.52.tar.gz
gunzip <osm-3s_v0.7.52.tar.gz | tar xvf -
cd osm-3s_v0.7.52/
./configure --prefix="`pwd`"
make CXXFLAGS="-O3"

Se crea la carpeta de la base de datos, se descarga la información y se adjunta a Overpass (Es posible solo utilizar Chile)

mkdir db
wget -O planet.osm.bz2 "http://planet.osm.org/planet/planet-latest.osm.bz2"
bin/init_osm3s.sh planet.osm.bz2 "db/" "./" --meta

Con esto ya tenemos la data de Overpass, ahora lo uniremos a Apache, para ello lo instalamos y configuramos para cgi según http://wiki.openstreetmap.org/wiki/Overpass_API/Installation#Setting_up_the_Web_API

sudo apt-get install apache2
sudo a2enmod cgi
sudo vim /etc/apache2/sites-available/000-default.conf

En el archivo agregamos las líneas faltantes para que nos quede algo similar a esto:

<source lang="bash">
<VirtualHost *:80>
ServerAdmin webmaster@localhost
ExtFilterDefine gzip mode=output cmd=/bin/gzip
DocumentRoot [YOUR_HTML_ROOT_DIR]
# This directive indicates that whenever someone types http://www.mydomain.com/api/
# Apache2 should refer to what is in the local directory [YOUR_EXEC_DIR]/cgi-bin/
ScriptAlias /api/ [YOUR_EXEC_DIR]/cgi-bin/
# This specifies some directives specific to the directory: [YOUR_EXEC_DIR]/cgi-bin/
<Directory "[YOUR_EXEC_DIR]/cgi-bin/">
AllowOverride None
Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
# For Apache 2.4:
# Order allow,deny
# For Apache > 2.4:
Require all granted
#SetOutputFilter gzip
#Header set Content-Encoding gzip
</Directory>
ErrorLog /var/log/apache2/error.log
# Possible values include: debug, info, notice, warn, error, crit, alert, emerg
LogLevel warn
CustomLog /var/log/apache2/access.log combined
</VirtualHost>
</source>

Utilizando [YOUR_HTML_ROOT_DIR] por el que venía por defecto, [YOUR_EXEC_DIR] la dirección completa en donde compilamos Overpass y dejando sin editar ErrorLog y CustomLog.

Luego se reinicia el demonio de apache

sudo service apache2 restart

Finalmente ejecutamos el proceso que nos permite recuperar los archivos que buscamos, para ello nos posicionamos en la carpeta del ejecutable en donde instalamos Overpass y escribimos el siguiente comando:

sudo nohup bin/dispatcher --osm-base --meta --db-dir="db" &

Listo, ahora para poder recuperar un archivo xml con los cambios que deseamos probar, debemos ejecutar el siguiente comando en algún otro computador (o el mismo)

wget --output-document=[nombre_archivo.xml] http://[IP_de_la_máquina]/api/interpreter?data=[código_a_ejecutar_en_overpass]

como ejemplo, en la misma máquina podemos ejecutar

wget --output-document=test.xml http://localhost/api/interpreter?data=%3Cprint%20mode=%22body%22/%3E

<source lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<osm-derived>
<note>
The data included in this document is from www.openstreetmap.org. It has there been collected
by a large group of contributors. For individual attribution of each item please refer to
http://www.openstreetmap.org/api/0.6/[node|way|relation]/#id/history
</note>
<meta osm_base=""/>

</osm-derived>
</source>

PD: Los bancos de mi ciudad:

<source lang="html4strict">
http://localhost/api/interpreter?data=%3Cosm-script%3E%3Cquery%20into=%22_%22%20type=%22node%22%3E%3Chas-kv%20k=%22amenity%22%20modv=%22%22%20v=%22bank%22/%3E%3Cbbox-query%20e=%22-71.72712922096252%22%20into=%22_%22%20n=%22-35.59095565308603%22%20s=%22-35.5972720219081%22%20w=%22-71.73655986785889%22/%3E%3C/query%3E%3Cprint%20e=%22%22%20from=%22_%22%20geometry=%22skeleton%22%20limit=%22%22%20mode=%22body%22%20n=%22%22%20order=%22id%22%20s=%22%22%20w=%22%22/%3E%3C/osm-script%3E
</source>

<source lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<osm version="0.6" generator="Overpass API">
<note>The data included in this document is from www.openstreetmap.org. The data is made available under ODbL.</note>
<meta osm_base=""/>

<node id="2540586850" lat="-35.5947536" lon="-71.7334849">
<tag k="amenity" v="bank"/>
<tag k="name" v="BancoEstado"/>
</node>
<node id="2540586923" lat="-35.5946228" lon="-71.7339302">
<tag k="amenity" v="bank"/>
<tag k="name" v="Banco de Chile"/>
</node>
<node id="2540635212" lat="-35.5956784" lon="-71.7295394">
<tag k="amenity" v="bank"/>
<tag k="name" v="Santander"/>
</node>

</osm>
</source>

=== Actualización de Overpass ===

Para la actualización debemos realizar nuevamente una instalación completa por cada vez que sale una versión, por lo que tenemos que comenzar con descargar la nueva versión desde el comando '''wget''' en adelante.
La última versión instalada actualmente es la '''0.7.53'''. Es posible utilizar el mismo archivo .osm.bz2 para evitar descargarlo nuevamente, éste lo encontraremos dentro de la carpeta de la versión anterior.

En la edición del archivo /etc/apache2/sites-available/000-default.conf debemos cambiar la ruta '''[YOUR_EXEC_DIR]''' por la nueva generada por la descompresión de la nueva versión.

Para encontrar las nuevas versiones de Overpass es necesario visitar http://dev.overpass-api.de/releases/

= Arrancar web cuando páginas están en Django Python =

Cuando una VM se encuentra con una web en etapa de desarrollo con Django Python, para que ésta corra hay que hacer lo siguiente:

Primero entrar a la VM

<source lang="bash">
ssh 146.155.17.18 -p 22022
</source>

Posicionarse en la carpeta del proyecto (Ejemplo con VM de Gatherer)

<source lang="bash">
cd hibridinterfaz
</source>

Iniciar Screen, aplicación que abre una nueva terminal que es independiente a SSH

<source lang="bash">
screen
</source>

Correr el servidor de Django con el comando

<source lang="bash">
python manage.py runserver
</source>

Con esto ya la web está corriendo sin problemas, para salir de Screen hay que apretar '''Ctrl+a''' y luego '''Ctrl+d'''.

== VMs con Django ==

{| class="wikitable"
! style="text-align: center;" | VM
! style="text-align: center;" | Carpeta de proyecto
|-
| style="text-align: center;" | 18:22080
| style="text-align: center;" | /home/csfuente/hibridinterfaz
|-
| style="text-align: center;" | 18:21080
| style="text-align: center;" | /home/csfuente/Indicadores
|-
| style="text-align: center;" | 19:17080
| style="text-align: center;" | /home/csfuente/wyp-django
|}

= CartoDB =

== Levantar CartoDB cuando la máquina es encendida ==

Subir CartoDB es un poco tedioso pero es posible sin complicaciónes, lo primero es exportar lo siguiente: (copy/paste a la terminal)

<source lang="bash">
export PATH=$PATH:/opt/rubies/ruby-2.2.3/bin
export CPLUS_INCLUDE_PATH=/usr/include/gdal
export C_INCLUDE_PATH=/usr/include/gdal
export PATH=$PATH:/usr/include/gdal
export PATH=$PATH:$PWD/node_modules/grunt-cli/bin
</source>

En mi cuenta agregué esas lineas al archivo .bashrc para que se ejecuten cada vez que entro por ssh a la VM.
Lo siguiente es ejecutar los procesos necesarios para que cartodb corra, para ello se ejecuta cada uno de ellos en una screen distinta (ya que no contamos con varias terminales por ssh)

<source lang="bash">
cd /home/csfuente/
screen
redis-server
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
cd cartodb
screen
bundle exec script/resque
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
screen
bundle exec thin start --threaded -p 3000 --threadpool-size 5
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
cd /home/csfuente/Wireshark***
screen
node app.js development
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
cd /home/csfuente/CartoDB-SQL-API
screen
node app.js development
</source>

'''ctrl+a''' y '''ctrl+d'''

Con todo esto ahora podemos entrar a 146.155.17.18:3000 y usar cartodb.

== Puertos utilizados en .18 por cartodb ==

{| class="wikitable"
! style="text-align: center;" | Puerto
! style="text-align: center;" | Servicio
|-
| style="text-align: center;" | 18:3000
| style="text-align: center;" | cartodb
|-
| style="text-align: center;" | 18:8080
| style="text-align: center;" | cartodb-SQL-API
|-
| style="text-align: center;" | 18:8181
| style="text-align: center;" | Wireshark
|-
| style="text-align: center;" | 18:6379
| style="text-align: center;" | redis-server
|}

= Obtener polígonos formato .poly de ciudades =

Gracias a las instrucciones dadas en https://github.com/JamesChevalier/cities podemos obtener el polígono de la ciudad solicitada, los pasos son los siguientes:

* Entrar a http://nominatim.openstreetmap.org/ y poner en el buscador la ciudad que estamos buscando
* Al encontrarla, nos vamos a sus Detalles
* Copiamos el número que aparece en OSM: Relation '''XXXXXX'''
* Vamos a http://polygons.openstreetmap.fr/ y pegamos éste número en '''Id of relation'''
* Descargamos la información en el link '''poly''' correspondiente

= Migración OTP, Overpass en VM de WYP =

== Migración de OTP ==

Con el trabajo realizado ya de la instalación de OTP más arriba en esta wiki, se movió la carpeta en la cual fue compilado el repositorio junto con los graphs generados hasta entonces a la VM de WYP. los archivos quedaron en la carpeta /home/csfuente/OTP/ en donde se es posible ejecutar el servidor sin problemas.
OTP al ser ejecutado, su servidor trabaja en el puerto 5050 por lo que se creó una nueva regla nat para la VM el cual se es posible llegar a ella mediante el puerto 17050 en el servidor .19.

El comando para ser ejecutado en esta VM es:

<source lang="bash">
./home/csfuente/OTP/otp --server --basePath /home/csfuente/OTP/ --router chile --preFlight --autoScan --autoReload --port 5050
</source>

== Migración de Overpass ==

Al igual que OTP, Overpass no es necesario ser recompilado. Los archivos de Overpass fueron trasladados a la VM a la carpeta /home/csfuente/Overpass/ y al ser ejecutado funciona directamente en el puerto 80. La regla nat fue modificada para apache redirigiendo lo del puerto 80 al puerto 17051 del servidor .19.

Tambien fue necesario agregar las reglas de Apache2 correspondientes (también en esta misma wiki)

Para ejecutarlo en esta VM es necesario escribir en la terminal:

<source lang="bash">
rm /home/csfuente/Overpass/db/osm3s* || true
rm /dev/shm/osm3s* || true
cd /home/csfuente/Overpass && bin/dispatcher --osm-base --meta --db-dir="db"
</source>

== Modificaciones en arranque de WYP ==

WYP estaba funcionando bajo Nginx, el cual se encargaba de redirigir el puerto 8000 al puerto 80 para que fuera leido por .19 en su puerto 17080. Para no modificar la URL de WYP fue necesario volver a cambiar a apache2 y ejecutar Django en el puerto 81. Crear una nueva regla nat para que leyera el puerto 81 de la VM y fuera ejecutado en 17080. De esta forma la URL no cambia para éste.

El nuevo comando para ejeutar WYP es:

<source lang="bash">
cd /home/csfuente/wyp-django/ && python manage.py runserver 0.0.0.0:81
</source>

== Ejecutar todos los procesos al iniciar la VM ==

Para ello fue necesario editar el archivo '''/etc/rc.local'''

<source lang="bash">
#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.

# Overpass
rm /home/csfuente/Overpass/db/osm3s* || true
rm /dev/shm/osm3s* || true
cd /home/csfuente/Overpass && bin/dispatcher --osm-base --meta --db-dir="db" &

# WYP
cd /home/csfuente/wyp-django/ && python manage.py runserver 0.0.0.0:81 &

# OTP
./home/csfuente/OTP/otp --server --basePath /home/csfuente/OTP/ --router chile --preFlight --autoScan --autoReload --port 5050 &

exit 0
~
</source>

= Actualizar archivo OSM con un archivo OSC =

Para actualizar la información con calles/nodos/parques nuevos en un arhivo de formato OSM, es necesario generar un archivo OSC. Para combinarlos hay que usar el comando

<source lang="bash">
osmchange -i=old.osm changefile.osc >new.osm
</source>

== Link de interes ==

http://wiki.openstreetmap.org/wiki/Osmchange_(program)
http://wiki.openstreetmap.org/wiki/Osmchange

= Instalación Nominatim 3.0 =

Nominatim 3.0 fue instalado en la VM 18:22081. Para la instalación se siguieron los pasos a continuación.

La VM 18:22 se encontraba con Ubuntu 14.04 LTS, lo primero que se hizo fue actualizar a Ubuntu 16 para utilizar las últimas dependencias, para eso ejecutamos:

<source lang="bash">
sudo apt-get update
sudo apt-get upgrade
sudo apt-get dist-upgrade
sudo do-release-upgrade
</source>

Posterior a esto solo hay que seguir las indicaciones en pantalla.

Luego, comienza la instalación de Nominatim, se siguieron las instrucciones de [https://github.com/openstreetmap/Nominatim/blob/master/docs/Install-on-Ubuntu-16.md Github Nominatim], lo primero es instalar las dependencias

<source lang="bash">
sudo apt-get install -y build-essential cmake g++ libboost-dev libboost-system-dev \
libboost-filesystem-dev libexpat1-dev zlib1g-dev libxml2-dev\
libbz2-dev libpq-dev libgeos-dev libgeos++-dev libproj-dev \
postgresql-server-dev-9.5 postgresql-9.5-postgis-2.2 postgresql-contrib-9.5 \
apache2 php php-pgsql libapache2-mod-php php-pear php-db \
php-intl git
</source>

Se crea el usuario 'nominatim'.

<source lang="bash">
sudo useradd -d /srv/nominatim -s /bin/bash -m nominatim
</source>

Para hacer las cosas más comodas ejecutamos estos export para ahorrarnos text más adelante

<source lang="bash">
export USERNAME=nominatim
export USERHOME=/srv/nominatim
</source>

Permitimos que la carpeta de nominatim sea leida por el server

<source lang="bash">
chmod a+x $USERHOME
</source>

Ahora, debemos crear la base de datos en postgres, el usuario que manejará la base de datos será nominatim, por lo que ejecutamos

<source lang="bash">
sudo -u postgres createuser -s $USERNAME
sudo -u postgres createuser www-data
sudo systemctl restart postgresql
</source>

buscamos y editamos el archivo fe configuración de postgres llamado ''postgresql.conf'' y editamos los valores

<source lang="bash">
shared_buffers (2GB)
maintenance_work_mem (10GB)
work_mem (50MB)
effective_cache_size (24GB)
synchronous_commit = off
checkpoint_segments = 100 # only for postgresql <= 9.4
checkpoint_timeout = 10min
checkpoint_completion_target = 0.9
</source>

Creamos el archivo de configuración para apache en un archivo aparte en ''conf-available'' ejecutando el siguiente comando

<source lang="bash">
sudo tee /etc/apache2/conf-available/nominatim.conf << EOFAPACHECONF
<Directory "$USERHOME/Nominatim/build/website">
Options FollowSymLinks MultiViews
AddType text/html .php
DirectoryIndex search.php
Require all granted
</Directory>

Alias /nominatim $USERHOME/Nominatim/build/website
EOFAPACHECONF
sudo a2enconf nominatim
sudo systemctl restart apache2
</source>

Recién ahora pasamos a la instalación de Nominatim, nos vamos al home de nominatim, copiamos el repositorio y ejecutamos los siguientes comandos

<source lang="bash">
cd $USERHOME
git clone --recursive git://github.com/openstreetmap/Nominatim.git
cd Nominatim
mkdir build
cd build
cmake $USERHOME/Nominatim
make
tee settings/local.php << EOF
<?php
@define('CONST_Website_BaseURL', '/nominatim/');
EOF
</source>

Ahora, debemos importar la información de OSM, para ello descargamos el archivo .osm correspondiente, OJO, el archivo debe estar en formato .osm.

<source lang="bash">
wget http://download.geofabrik.de/south-america/chile-latest.osm.bz2
bzip2 -d chile-latest.osm.bz2
./utils/setup.php --osm-file chile.latest.osm --all 2>&1 | tee setup.log
</source>

Con esto tenemos Nominatim corriendo con la data de Chile. Para agregar más información (como la data de OSM de Canadá) es necesario limpiar la base de datos de postgres, unir todos los archivos .osm en uno solo y ejecutar el último comando señalada en esta documentación con el nuevo nombre del archivo .osm.

= Mapas de OSM en Geonode =

Es posible publicar mapas actualizados en geonode desde la data obtenida directamente de los servidores de OSM, se utilizó [http://docs.geonode.org/en/latest/tutorials/advanced/adv_data_mgmt/osm.html#using-the-osm-extract-script-to-download-osm-data-into-postgis esta guía] para poder realizar la actualización. Se debieron utilizar 2 VMs para este trabajo debido a que geonode está instalado en Ubuntu 12.04 y tiene conflictos con los paquetes de postgres el cual, al tratar de instalar una nueva versión de éste, solicita eliminar geonode (lo cual obviamente no queremos) por lo que el trabajo de osmosis y transformación de los datos a sql se realiza en la VM 18:22 (Gatherer). Se construyeron dos script, uno para la VM 18:22 y otro para la 19:13 (Geonode), Se explicarán los script en el orden en que se ejecutan.

== Script de 18:22 ==

Este script cumple con tres funciones principales, descargar la información de las calles de los servidores de OSM para Chile, extraer la información necesaria (tales como estaciones de policía, calles principales, hospitales, etc.) y posteriormente esta información es transformada a un archivo sql para ser insertada en una base de datos. El script construido es el siguiente:

<source lang="bash">
DB=/home/csfuente/hibridinterfaz/media/sql_osm
SETNAME=/home/csfuente/hibridinterfaz/media/sql

# Creacion del directorio

mkdir -p /home/csfuente/hibridinterfaz/media/sql

# Descarga de archivo latest.pbf

curl -g -o /home/csfuente/hibridinterfaz/media/sql/latest.pbf http://download.geofabrik.de/south-america/chile-latest.osm.pbf

# Construccion de archivos pbf

/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="aeroway.aerodrome" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="aeroway.aerodrome" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/aerodromes_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="place.city,place.borough,place.suburb,place.quarter,place.neighbourhood,place.city_block,place.plot,place.town,place.village,place.hamlet,place.isolated_dwelling,place.farm,place.allotments" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways "highway=*" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-nodes amenity=bank,atm,bureau_de_change --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/banks.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways "building=*" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/buildings.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways landuse=residential,allotments,cemetery,construction,depot,garages,brownfield,commercial,industrial,retail --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/built_up_areas.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf" --tf accept-nodes "place=city" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/cities.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="landuse.farm,landuse.farmland,landuse.farmyard,landuse.livestock" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/farms.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="landuse.forest,natural.wood" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/forest.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="landuse.grass,landuse.meadow,landuse.scrub,landuse.village_green,natural.scrub,natural.heath,natural.grassland" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/grassland.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-nodes aeroway=helipad,heliport --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/helipads.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="tourism.hotel,tourism.hostel,tourism.motel,tourism.guest_house" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/hotels.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf reject-relations --tf accept-ways waterway=* --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/inland_water_line.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways natural=water,wetland,bay landuse=reservoir,basin,salt_pond waterway=river,riverbank --tf accept-relations natural=water,wetland,bay landuse=reservoir,basin,salt_pond waterway=river,riverbank --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/inland_water_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf" --wkv keyValueList="highway.motorway,highway.trunk,highway.primary" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/main_roads.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="amenity.baby_hatch,amenity.clinic,amenity.dentist,amenity.doctors,amenity.hospital,amenity.nursing_home,amenity.pharmacy,amenity.social_facility,amenity.veterinary,amenity.blood_donation" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/medical_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/buildings.pbf" --wkv keyValueList="amenity.baby_hatch,amenity.clinic,amenity.dentist,amenity.doctors,amenity.hospital,amenity.nursing_home,amenity.pharmacy,amenity.social_facility,amenity.veterinary,amenity.blood_donation" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/medical_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf" --wkv keyValueList="highway.footway,highway.bridleway,highway.steps,highway.path" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/paths.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="amenity.police" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/police_stations.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways "railway=*" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/railways.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="amenity.school,amenity.university,amenity.college,amenity.kindergarten,amenity.library,amenity.public_bookcase,amenity.music_school,amenity.driving_school,amenity.language_school" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/school_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="amenity.school,amenity.university,amenity.college,amenity.kindergarten,amenity.library,amenity.public_bookcase,amenity.music_school,amenity.driving_school,amenity.language_school" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/schools_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf" --tf accept-nodes "place=town" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/towns.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf" --wkv keyValueList="highway.track" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/tracks.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-nodes amenity=bicycle_parking,bicycle_repair_station,bicycle_rental,boat_sharing,bus_station,car_rental,car_sharing,car_wash,charging_station,ferry_terminal,fuel,grit_brin,motorcycle_parking,parking,parking_entrance,parking_space,taxi public_transport=* railway=halt,station,subway_entrance,tram_stop waterway=dock,boatyard --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/transport_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf reject-ways --tf reject-relations --tf accept-nodes amenity=shower,toilets,water_point,drinking_water,water_in_place --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/utilities.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf" --tf accept-nodes "place=village" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/villages.pbf"

# Construccion de archivos sql
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.sql /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/aerodromes_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/aerodromes_polygon.sql /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/aerodromes_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/all_places.sql /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/all_places.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/all_roads.sql /home/csfuente/hibridinterfaz/media/sql/all_roads.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/all_roads.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/banks.sql /home/csfuente/hibridinterfaz/media/sql/banks.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/banks.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/buildings.sql /home/csfuente/hibridinterfaz/media/sql/buildings.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/buildings.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/built_up_areas.sql /home/csfuente/hibridinterfaz/media/sql/built_up_areas.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/built_up_areas.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/cities.sql /home/csfuente/hibridinterfaz/media/sql/cities.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/cities.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/farms.sql /home/csfuente/hibridinterfaz/media/sql/farms.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/farms.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/forest.sql /home/csfuente/hibridinterfaz/media/sql/forest.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/forest.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/grassland.sql /home/csfuente/hibridinterfaz/media/sql/grassland.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/grassland.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/helipads.sql /home/csfuente/hibridinterfaz/media/sql/helipads.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/helipads.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/hotels.sql /home/csfuente/hibridinterfaz/media/sql/hotels.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/hotels.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/inland_water_line.sql /home/csfuente/hibridinterfaz/media/sql/inland_water_line.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/inland_water_line.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/inland_water_polygon.sql /home/csfuente/hibridinterfaz/media/sql/inland_water_polygon.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/inland_water_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/main_roads.sql /home/csfuente/hibridinterfaz/media/sql/main_roads.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/main_roads.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/medical_point.sql /home/csfuente/hibridinterfaz/media/sql/medical_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/medical_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/medical_polygon.sql /home/csfuente/hibridinterfaz/media/sql/medical_polygon.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/medical_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/paths.sql /home/csfuente/hibridinterfaz/media/sql/paths.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/paths.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/police_stations.sql /home/csfuente/hibridinterfaz/media/sql/police_stations.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/police_stations.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/railways.sql /home/csfuente/hibridinterfaz/media/sql/railways.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/railways.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/schools_point.sql /home/csfuente/hibridinterfaz/media/sql/school_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/schools_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/schools_polygon.sql /home/csfuente/hibridinterfaz/media/sql/schools_polygon.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/schools_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/towns.sql /home/csfuente/hibridinterfaz/media/sql/towns.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/towns.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/tracks.sql /home/csfuente/hibridinterfaz/media/sql/tracks.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/tracks.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/transport_point.sql /home/csfuente/hibridinterfaz/media/sql/transport_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/transport_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/utilities.sql /home/csfuente/hibridinterfaz/media/sql/utilities.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/utilities.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/villages.sql /home/csfuente/hibridinterfaz/media/sql/villages.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/villages.ini
</source>

== Script de 19:13 ==

Antes de explicar el script, es necesario crear la base de datos en donde se trabajará, para ello se creó la base de datos 'Chile_osm' en postgres

<source lang="bash">
createdb Chile_osm \
psql -d Chile_osm -c 'create extension postgis;'; \
psql -d Chile_osm -c 'create extension hstore;';
</source>

Esta base de datos la leemos en geoserver, para ello creamos un nuevo Store y un nuevo Workspace especial para esta data. Acá la llamé ''osm''.

Con ésto, el script generado para esta VM funciona de forma recursiva. Recupera el archivo sql generado en la otra VM, lo codifica para que no existan problemas con los textos, traspasa la data a la base de datos, las ordena y las dispone para que sean leidas. Hace esto para cada uno de los archivos sql generados anteriormente. Por lo que el script queda como

<source lang="bash">
curl -g -o /home/csfuente/osmex/Chile/aerodromes_point.sql1 http://146.155.17.18:22080/media/sql/aerodromes_point.sql
iconv -f latin1 -t utf-8 /home/csfuente/osmex/Chile/aerodromes_point.sql1 > /home/csfuente/osmex/Chile/aerodromes_point.sql
psql -f /home/csfuente/osmex/Chile/aerodromes_point.sql Chile_osm
psql -f /home/csfuente/osmex/conf/aerodromes_point_alter.sql Chile_osm
psql -f /home/csfuente/osmex/conf/clean.sql Chile_osm

.
.
.
</source>

Finalmente debemos actualizar las capas en geonode para que sean reconocidas por éste, por lo que al final del script se ejecuta el comando

<source lang="bash">
geonode updatelayers --ignore-errors -w osm
</source>

El que nos permite solicitar la actualización de todas las capas del Workspace osm.

== Horas en las cuales se ejecutan los script ==

Ambos script se ejecutan de forma de cron, éstos funcionan todos los lunes a las 4:00 AM y 5:00 AM respectivamente.

Trabajo Cristian

2017-08-04T15:26:06Z

Cris:

= Documentación instalación de CartoDB =

Todo se encuentra acá
http://wiki.geosteiniger.cl/mediawiki-1.22.7/index.php/Installing_CartoDB_for_CEDEUS#Trabajo_Cristian

= Recuperación de Grub de servidor =

Todo acá http://wiki.geosteiniger.cl/mediawiki-1.22.7/index.php/Solving_Ubuntu_GRUB_issue

= Configuración UPS =

== Configuración de red ==

La UPS se encuentra configurada por red desde el servidor 146.155.17.19 por la salida de red "em2".
Su configuración de red es:

IP: 192.168.100.2
Mask: 255.255.255.0
Gateway: 192.168.100.1

La configuración en la UPS se realizó mediante un cable USB-Serial hacia el servidor y la comunicación se hizo por minicom con la configuración:

A - Serial Device : /dev/ttyUSB0 |
B - Lockfile Location : /var/lock |
C - Callin Program : |
D - Callout Program : |
E - Bps/Par/Bits : 9600 8N1 |
F - Hardware Flow Control : No |
G - Software Flow Control : No

Por lo mismo, la configuración de la boca de red "em2" debe tener la siguiente IP para que funcione correctamente:

IP: 192.168.100.1
Mask: 255.255.255.0

Por otro lado, para la configuración del servidor es necesario que se fije estáticamente la IP a la tarjeta de red em2. Para ello editamos el archivo <code>/etc/network/interfaces</code> y agregamos las líneas:

auto em2
iface em2 inet static
address 192.168.100.1

== Configuración en el servidor ==

Se decide realizar la instalación con Nat, para ello lo instalamos mediante:

apt-get install nut nut-monitor nut-cgi nut-snmp snmp

Luego, se verifica si el usuario nut fue creado posterior a la instalación:

'''root@cedeusgeonode:~# id nut'''
uid=109(nut) gid=117(nut) groups=117(nut),20(dialout)

Luego se edita el archivo '''/etc/nut/ups.conf''' para indicar el driver a utilizar para detectar la UPS, en nuestro caso es el siguiente:

[trust]
driver = snmp-ups
port = 192.168.100.2
community = public
snmp_version = v1
pollfreq = 15
privProtocol=AES
desc = "Dispositivo UPS APC SNMP v1"

Luego iniciamos el servicio

upsdrvctl start

Lo siguiente es configurar los servicios correspondientes que monitoreen la UPS, con tal de que apaguen el servidor cuando no exista energía.

Editamos el archivo /etc/nut/upsd.user y agregamos

[root]
password=t3st
actions = SET
instcmds = ALL

[upsmon]
password=pass
upsmon master
upsmon slave

Con esto estamos agregando usuarios que permitan la interacción entre los módulos.
Luego para upsmon editamos el archivo /etc/nut/upsmon.conf y modificamos las siguientes líneas:

MONITOR snmpv1 1 upsmon pass master
POWERDOWNFLAG /etc/killpower
SHUTDOWNCMD "/sbin/shutdown -h now"

Damos los permisos necesarios a los archivos para que sean ejecutados correctamente

chown root:nut /etc/nut/*
chmod 640 /etc/nut/*

Finalmente le decimos que inicie los servicios cuando prenda el servidor, creamos un archivo llamado /etc/default/nut y le agregamos:

START_UPSD=yes
START_UPSMON=yes

y editamos /etc/nut/nut.conf

MODE=standalone

Se espera que con esta configuración, el servidor que está conectado directamente con la UPS se apague cuando la UPS esté con poca energía, sin embargo falta aún la configuración del otro servidor, el cual se debe hacer modificando las configuraciones de upsd y upsmon respectivamente.

== Ver estado de la UPS ==

Para ver en que estado se encuentra la UPS, podemos ver todos los detalles gracias al comando:

upsc snmpv1

En caso de que no exista conexión, puede ser a causa de que el dirver no se encuentre corriendo, la solución para levantar dicho driver es ejecutar

upsdrvctr start

== Agregar -18 y .14 al apagado ==

http://2tazasdelinux.blogspot.cl/2014/11/controlar-nuestro-sai-con-nut.html

= Mantención VM MiCiudad=

El problema que contenía la VM fue que no se podía instalar ni actualizar ningún programa debido a que la carpeta /boot estaba al 100%, esto es causado por reiteradas actualizaciones de kernel (es normal) en donde se guarda una copia del kernel instalado anteriormente, por lo que hay que borrar dichos respaldos.

Al utilizar el comando <code>df -h</code> vemos el disco lleno. Basta con ejecutar los siguientes comandos con permisos de administrador:

dpkg --get-selections|grep 'linux-image*'|awk '{print $1}'|egrep -v "linux-image-$(uname -r)|linux-image-generic" |while read n;do apt-get -y remove $n;done
apt-get autoclean

Luego de esto ya es posible la actualización e instalación de aplicaciones via apt-get

= omeka.org =

== Ubuntu ==

Se propuso la instalación del servicio Omeka, para ello utilizamos una VM con Ubuntu, en el caso de prueba se utiliza Ubuntu 15.04.

Primero, con permisos de administrador, se actualiza la VM y se instalan las dependencias para Omeka

sudo apt-get update
sudo apt-get install -y unzip php5 php5-mysql apache2 mysql-server imagemagick

Luego se descargan los archivos para la instalación de Omeka

cd
wget http://omeka.org/files/omeka-2.3.1.zip
unzip omeka-2.3.1.zip

Se mueven los archivos al directorio web

sudo mv omeka-2.0/* /var/www/
sudo mv omeka-2.0/.htaccess /var/www/
sudo rm /var/www/index.html

Configurar la base de datos, creando un usuario y sus permisos

sudo groupadd webdev
sudo usermod -a -G webdev ubuntu
cd /var
sudo chown -R root.webdev www
sudo chmod 775 www
cd /var/www
sudo find . -type d | xargs sudo chmod 775
sudo find . -type f | xargs sudo chmod 664
sudo find files -type d | xargs sudo chmod 777
sudo find files -type f | xargs sudo chmod 666

Crear la base de datos

mysql -u root -p

create database omeka;
grant all privileges on omeka.* to 'ubuntu' identified by 'reverse';
flush privileges;
quit;

Editar el archivo db.ini modificando

[database]
host = "localhost"
username = "ubuntu"
password = "reverse"
dbname = "omeka"
prefix = "omeka_"

Finalmente activar mod_rewrite

sudo a2enmod rewrite

Editar el archivo /etc/apache2/sites-available/default cambiando "AllowOverride None" a "AllowOverride All".

Listo :)

Lamentablemente esta instalación trae problemas con la activación de mod_rewrite.

== Fedora Server 23 ==

Lo primero son las dependencias

dnf install unzip mysql-server php php-mysql ImageMagick

chkconfig --levels 235 httpd on
chkconfig --levels 235 mariadb on

setenforce 0
systemctl start mariadb

mysql_secure_installation

Colocar contraseña para cuenta de administrador en base de datos

mysql -u root -p
mysql> use mysql
mysql> insert into user(host, user, password) values('localhost','omeka_user',password('test'));
mysql> insert into db(host,db,user,Select_priv, Insert_priv, Update_priv, Delete_priv, Create_priv, Drop_priv) values ('localhost','omeka_db','omeka_user','Y','Y','Y','Y','Y','Y');
mysql> quit

mysqladmin -u root -p create omeka_db
mysqladmin -u root -p reload
mysql> ALTER DATABASE omeka_db DEFAULT CHARACTER SET 'utf8' DEFAULT COLLATE 'utf8_unicode_ci';
mysql> quit

Editar el archivo /etc/httpd/conf/httpd.conf, cambiando el valor de AllowOverride que se encuentra dentro del bloque <Directory "/var/www/html"> por All.

systemctl restart httpd

wget http://omeka.org/files/omeka-2.3.1.zip

descomprimir archivo zip y renombrar carpeta por <code>omeka</code>

editar el archivo <code>omeka/db.ini</code> con sus respectivos datos:
[database]
host = "localhost"
username = "omeka_user"
password = "test"
name = "omeka_db"
prefix = "omeka_"
;port = ""

= Extractor de tweets =

dependencias de trabajo:

sudo apt-get install git vim

dependencias: tweepy y psycopg2

sudo pip install tweepy
sudo apt-get install python-psycopg2

También es necesario instalar y crear un usuario en postgresql

sudo apt-get install postgresql postgresql-contrib
sudo -i -u postgres
createuser --interactive
# csfuente as superuser
createdb csfuente
logout

luego clonar el repositorio git

git clone http://146.155.17.18:18080/csfuente/twitter_extractor.git
cd twitter_extractor

Aquí tenemos dos archivos que ejecutar, primero es main.py el cual, al ser ejecutado por primera vez hay que poner un -r al final para crear la tabla de la base de datos (también borra todo dato anterior).

python main.py <Cuenta de twitter> [-r]

Luego que finalice el anterior, se debe ejecutar el streaming, para recepcionar los tweets que vendrán.

python stream <Cuenta de twitter>

Ejemplo

python main.py Cristian_F_G -r
python main.py Cristian_F_G

= OwnCloud =

backup location after clicking on OwnCloud update: /var/www/html/owncloud/data/updater_backup/8.2.2.2-8fa08547

Variable for URL name:
'overwrite.cli.url' => 'http://146.155.17.18:17080/owncloud',

= OpenTripPlanner =

== Instalación ==

Son necesarios dos programas escenciales, Java 8 y Maven mayor a 3.1.1

Para Java ejecutamos

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update
sudo apt-get install openjdk-8-jdk

Para Maven

sudo apt-get install gdebi
wget http://ppa.launchpad.net/natecarlson/maven3/ubuntu/pool/main/m/maven3/maven3_3.2.1-0~ppa1_all.deb
sudo gdebi maven3_3.2.1-0~ppa1_all.deb
sudo ln -s /usr/share/maven3/bin/mvn /usr/bin/mvn

Luego necesitamos git

sudo apt-get install git

Y finalmente procedemos con la copia e instalación de OpenTripPlanner

git clone https://github.com/opentripplanner/OpenTripPlanner.git
cd OpenTripPlanner
mvn clean package -DskipTests

Creamos la carpeta con la data

mkdir /home/csfuente/otp
cd /home/csfuente/otp

Descargamos la data en esta carpeta....

wget http://www.dtpm.cl/descargas/gtfs/GTFS.zip

Ejecutamos OTP desde su directorio con el comando

./otp --build /home/csfuente/otp --inMemory

Y para todo Chile:
./otp --build /home/csfuente/otpTransantiago --inMemory

== Actualizar la información ==

Para actualizar la información es necesario ir revisando los cambios de los archivos GTFS que se encuentran disponibles en la red, cuando notemos que uno es más nuevo es necesario descargarlo y ubicarlo en la carpeta que contiene todos los archivos similares (Actualmente se está utilizando la carpeta /home/csfuente/otpTransantiago ) por lo que entramos a dicha carpeta y descargamos los datos con '''wget'''. Finalmente reiniciamos la VM, esperamos a que inicie (cerca de ~10 minutos) y estará con todos los datos actualizados.

= OSM + Overpass =

== Instalación de servidor de OSM ==

Para la instalación se utiliza una VM con Ubuntu 14.04. Las instrucciones fueron sacadas de:
* https://switch2osm.org/serving-tiles/manually-building-a-tile-server-14-04/
Y actualizadas con la nueva versión de osm2pgsql
* https://github.com/openstreetmap/osm2pgsql

Lo primero es instalar las dependencias necesarias para proceder con la instalación de los componentes que utiliza OSM.

sudo apt-get install libboost-all-dev subversion git-core tar unzip wget bzip2 build-essential \
autoconf libtool libxml2-dev libgeos-dev libgeos++-dev libpq-dev libbz2-dev libproj-dev munin-node \
munin libprotobuf-c0-dev protobuf-c-compiler libfreetype6-dev libpng12-dev libtiff4-dev libicu-dev \
libgdal-dev libcairo-dev libcairomm-1.0-dev apache2 apache2-dev libagg-dev liblua5.2-dev ttf-unifont \
lua5.1 liblua5.1-dev libgeotiff-epsg node-carto

Luego hay que instalar Postgresql y postgis

sudo apt-get install postgresql postgresql-contrib postgis postgresql-9.3-postgis-2.1

Ahora es necesario crear la base de datos, para ello necesitaremos de un usuario en postgres, por ahora se utilizará 'username' para la documentación.

sudo -u postgres -i
createuser username
createdb -E UTF8 -O username gis
exit

Lo mismo para el sistema Unix

sudo useradd -m username
sudo passwd username

Creamos las tablas de postgres y las asignamos al usuario

sudo -u postgres psql
\c gis
CREATE EXTENSION postgis;
ALTER TABLE geometry_columns OWNER TO username;
ALTER TABLE spatial_ref_sys OWNER TO username;
\q
exit

Pasamos a la instalación de osm2pgsql, para ello crearemos la carpeta 'src' en la raiz de root para adjuntar los archivos

mkdir ~/src
cd ~/src
git clone https://github.com/openstreetmap/osm2pgsql.git

Instalamos sus dependencias

sudo apt-get install make cmake g++ libboost-dev libboost-system-dev \
libboost-filesystem-dev libexpat1-dev zlib1g-dev \
libbz2-dev libpq-dev libgeos-dev libgeos++-dev libproj-dev lua5.2 \
liblua5.2-dev

Compilamos e instalamos

mkdir build && cd build
cmake ..
make
sudo make install

Procedemos a instalar Mapnik

cd ~/src
git clone git://github.com/mapnik/mapnik
cd mapnik
git branch 2.2 origin/2.2.x
git checkout 2.2
python scons/scons.py configure INPUT_PLUGINS=all OPTIMIZATION=3 SYSTEM_FONTS=/usr/share/fonts/truetype/
make
sudo make install
sudo ldconfig

Podemos verificar que Mapnik funciona con

python
>>> import mapnik
>>>

Ahora la instalación de mod_tile y render

cd ~/src
git clone git://github.com/openstreetmap/mod_tile.git
cd mod_tile
./autogen.sh
./configure
make
sudo make install
sudo make install-mod_tile
sudo ldconfig

Se crea la carpeta /usr/local/share/maps/style para los archivos stylesheet y los recursos necesarios, además instalamos y configuramos OSM Bright

sudo mkdir -p /usr/local/share/maps/style
sudo chown username /usr/local/share/maps/style
cd /usr/local/share/maps/style
wget https://github.com/mapbox/osm-bright/archive/master.zip
wget http://data.openstreetmapdata.com/simplified-land-polygons-complete-3857.zip
wget http://data.openstreetmapdata.com/land-polygons-split-3857.zip
mkdir ne_10m_populated_places_simple
cd ne_10m_populated_places_simple
wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/10m/cultural/ne_10m_populated_places_simple.zip
unzip ne_10m_populated_places_simple.zip
rm ne_10m_populated_places_simple.zip
cd ..
unzip '*.zip'
mkdir osm-bright-master/shp
mv land-polygons-split-3857 osm-bright-master/shp/
mv simplified-land-polygons-complete-3857 osm-bright-master/shp/
mv ne_10m_populated_places_simple osm-bright-master/shp/
cd osm-bright-master/shp/land-polygons-split-3857
shapeindex land_polygons.shp
cd ../simplified-land-polygons-complete-3857/
shapeindex simplified_land_polygons.shp
cd ../..

Ahora configuramos OSM Bright

vim osm-bright/osm-bright.osm2pgsql.mml

Acá hay que buscar las direcciones que se encuentran al lado derecho del tag 'file' y cambiar la dirección por la ruta de los archivos que cambiamos anteriormente, además agregamos su característica de 'type' tal como se muestra a continuación

"file": "/usr/local/share/maps/style/osm-bright-master/shp/land-polygons-split-3857/land_polygons.shp",
"type": "shape"

"file": "/usr/local/share/maps/style/osm-bright-master/shp/simplified-land-polygons-complete-3857/simplified_land_polygons.shp",
"type": "shape",

"file": "/usr/local/share/maps/style/osm-bright-master/shp/ne_10m_populated_places_simple/ne_10m_populated_places_simple.shp",
"type": "shape"

Hay que ser riguroso con no olvidar las comas finales de cada línea.
Luego, en la sección 'ne-places', reemplazar 'srs' y 'srs-name' con esto:

"srs": "+proj=longlat +ellps=WGS84 +datum=WGS84 +no_defs"

Guardamos y salimos.

Nos queda ahora compilar todo para que Mapnik pueda ser utilizado. Creamos el archivo de configuración y cambiamos la linea de pointing de ~/Documents/Mapbox/project a /usr/local/share/maps/style y cambiamos dbname de osm a gis. Guardamos y salimos.

cp configure.py.sample configure.py
vim configure.py
#Realizar cambios nombrados
./make.py
cd ../OSMBright/
carto project.mml > OSMBright.xml

Listo con ésto, ahora debemos configurar el render. Como root es necesario editar el archivo de configuración de render ubicado en /usr/local/etc/renderd.conf y cambiar las siguientes lineas en las secciones de render, mapnik y default.

socketname=/var/run/renderd/renderd.sock
plugins_dir=/usr/local/lib/mapnik/input
font_dir=/usr/share/fonts/truetype/ttf-dejavu
XML=/usr/local/share/maps/style/OSMBright/OSMBright.xml
HOST=localhost

Las líneas que se encuentran comentadas con un ; deben ser descomentadas.

Ahora creamos las carpetas necesarias para usar el sistema de mod_tile

sudo mkdir /var/run/renderd
sudo chown username /var/run/renderd
sudo mkdir /var/lib/mod_tile
sudo chown username /var/lib/mod_tile

creamos en archivo /etc/apache2/conf-available/mod_tile.conf y agregamos una sola línea:

LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so

Y editamos el archivo /etc/apache2/sites-available/000-default.conf agregando esto justo después del email del administrador

LoadTileConfigFile /usr/local/etc/renderd.conf
ModTileRenderdSocketName /var/run/renderd/renderd.sock
# Timeout before giving up for a tile to be rendered
ModTileRequestTimeout 0
# Timeout before giving up for a tile to be rendered that is otherwise missing
ModTileMissingRequestTimeout 30

Finalmente agregamos mod_tile a apache y lo reiniciamos

sudo a2enconf mod_tile
sudo service apache2 reload

Ahora debemos dejar mas potente postgres para que no funcione lento al momento de solicitar datos, editamos con sudo el archivo /etc/postgresql/9.3/main/postgresql.conf para cambiar:

shared_buffers = 128MB
checkpoint_segments = 20
maintenance_work_mem = 256MB
autovacuum = off

editamos tambien con sudo el archivo /etc/sysctl.conf para agregar una línea entre las definiciones de kernel

# Increase kernel shared memory segments - needed for large databases
kernel.shmmax=268435456

Reiniciamos la VM y luego ejecutamos:

sudo sysctl kernel.shmmax

y verificamos que nos muestre el número que pusimos

Ahora nos queda cargar las tiles correspondientes al servidor, para este trabajo se utilizan solo las tiles de Chile.

sudo mkdir /usr/local/share/maps/planet
sudo chown username /usr/local/share/maps/planet
cd /usr/local/share/maps/planet
wget http://download.geofabrik.de/south-america/chile-latest.osm.pbf

Importamos la data descargada en la base de datos, el número que se encuentra luego de -C debe ser cambiado dependiendo de la memoria RAM disponible para la máquina. Se sugiere comenzar con un númerp 16000 y si excede la memoria entonces reducir dicho número. Para las pruebas fue posible ejecutar el comando con un -C de 3500

osm2pgsql --slim -d gis -C 3500 --number-processes 3 /usr/local/share/maps/planet/chile-latest.osm.pbf

Tomar café y esperar. Dependiendo de la información a cargar, puede tardar entre 10 minutos hasta 24 horas.

Finalmente levantamos el servidor y lo hacemos correr, para ello ejecutamos

sudo mkdir /var/run/renderd
sudo chown username /var/run/renderd
sudo -u username renderd -f -c /usr/local/etc/renderd.conf

y en una terminal diferente

sudo service apache2 reload

Podemos probar que el servidor se encuentra corriendo entrando a la dirección http://localhost/osm_tiles/0/0/0.png para ver una imagen del mundo. Para otras imágenes es necesario rescatarlas con http://localhost/osm_tiles/{z}/{x}/{y}.png (localhost puede ser cambiado por la IP de la VM)

== Instalación de Overpass API ==

La información fue extraida desde las siguientes páginas con modificación en los link de descarga de la data:

http://overpass-api.de/no_frills.html
http://overpass-api.de/full_installation.html

Los comandos utilizados fueron:

Primero son las dependencias base

sudo apt-get install wget g++ make expat libexpat1-dev zlib1g-dev

Luego se realiza la instalación del software de Overpass, para ello se utiliza como directorio de ejecutables la misma base del archivo a descargar (perfectamente se podría cambiar)

wget http://dev.overpass-api.de/releases/osm-3s_v0.7.52.tar.gz
gunzip <osm-3s_v0.7.52.tar.gz | tar xvf -
cd osm-3s_v0.7.52/
./configure --prefix="`pwd`"
make CXXFLAGS="-O3"

Se crea la carpeta de la base de datos, se descarga la información y se adjunta a Overpass (Es posible solo utilizar Chile)

mkdir db
wget -O planet.osm.bz2 "http://planet.osm.org/planet/planet-latest.osm.bz2"
bin/init_osm3s.sh planet.osm.bz2 "db/" "./" --meta

Con esto ya tenemos la data de Overpass, ahora lo uniremos a Apache, para ello lo instalamos y configuramos para cgi según http://wiki.openstreetmap.org/wiki/Overpass_API/Installation#Setting_up_the_Web_API

sudo apt-get install apache2
sudo a2enmod cgi
sudo vim /etc/apache2/sites-available/000-default.conf

En el archivo agregamos las líneas faltantes para que nos quede algo similar a esto:

<source lang="bash">
<VirtualHost *:80>
ServerAdmin webmaster@localhost
ExtFilterDefine gzip mode=output cmd=/bin/gzip
DocumentRoot [YOUR_HTML_ROOT_DIR]
# This directive indicates that whenever someone types http://www.mydomain.com/api/
# Apache2 should refer to what is in the local directory [YOUR_EXEC_DIR]/cgi-bin/
ScriptAlias /api/ [YOUR_EXEC_DIR]/cgi-bin/
# This specifies some directives specific to the directory: [YOUR_EXEC_DIR]/cgi-bin/
<Directory "[YOUR_EXEC_DIR]/cgi-bin/">
AllowOverride None
Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
# For Apache 2.4:
# Order allow,deny
# For Apache > 2.4:
Require all granted
#SetOutputFilter gzip
#Header set Content-Encoding gzip
</Directory>
ErrorLog /var/log/apache2/error.log
# Possible values include: debug, info, notice, warn, error, crit, alert, emerg
LogLevel warn
CustomLog /var/log/apache2/access.log combined
</VirtualHost>
</source>

Utilizando [YOUR_HTML_ROOT_DIR] por el que venía por defecto, [YOUR_EXEC_DIR] la dirección completa en donde compilamos Overpass y dejando sin editar ErrorLog y CustomLog.

Luego se reinicia el demonio de apache

sudo service apache2 restart

Finalmente ejecutamos el proceso que nos permite recuperar los archivos que buscamos, para ello nos posicionamos en la carpeta del ejecutable en donde instalamos Overpass y escribimos el siguiente comando:

sudo nohup bin/dispatcher --osm-base --meta --db-dir="db" &

Listo, ahora para poder recuperar un archivo xml con los cambios que deseamos probar, debemos ejecutar el siguiente comando en algún otro computador (o el mismo)

wget --output-document=[nombre_archivo.xml] http://[IP_de_la_máquina]/api/interpreter?data=[código_a_ejecutar_en_overpass]

como ejemplo, en la misma máquina podemos ejecutar

wget --output-document=test.xml http://localhost/api/interpreter?data=%3Cprint%20mode=%22body%22/%3E

<source lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<osm-derived>
<note>
The data included in this document is from www.openstreetmap.org. It has there been collected
by a large group of contributors. For individual attribution of each item please refer to
http://www.openstreetmap.org/api/0.6/[node|way|relation]/#id/history
</note>
<meta osm_base=""/>

</osm-derived>
</source>

PD: Los bancos de mi ciudad:

<source lang="html4strict">
http://localhost/api/interpreter?data=%3Cosm-script%3E%3Cquery%20into=%22_%22%20type=%22node%22%3E%3Chas-kv%20k=%22amenity%22%20modv=%22%22%20v=%22bank%22/%3E%3Cbbox-query%20e=%22-71.72712922096252%22%20into=%22_%22%20n=%22-35.59095565308603%22%20s=%22-35.5972720219081%22%20w=%22-71.73655986785889%22/%3E%3C/query%3E%3Cprint%20e=%22%22%20from=%22_%22%20geometry=%22skeleton%22%20limit=%22%22%20mode=%22body%22%20n=%22%22%20order=%22id%22%20s=%22%22%20w=%22%22/%3E%3C/osm-script%3E
</source>

<source lang="xml">
<?xml version="1.0" encoding="UTF-8"?>
<osm version="0.6" generator="Overpass API">
<note>The data included in this document is from www.openstreetmap.org. The data is made available under ODbL.</note>
<meta osm_base=""/>

<node id="2540586850" lat="-35.5947536" lon="-71.7334849">
<tag k="amenity" v="bank"/>
<tag k="name" v="BancoEstado"/>
</node>
<node id="2540586923" lat="-35.5946228" lon="-71.7339302">
<tag k="amenity" v="bank"/>
<tag k="name" v="Banco de Chile"/>
</node>
<node id="2540635212" lat="-35.5956784" lon="-71.7295394">
<tag k="amenity" v="bank"/>
<tag k="name" v="Santander"/>
</node>

</osm>
</source>

=== Actualización de Overpass ===

Para la actualización debemos realizar nuevamente una instalación completa por cada vez que sale una versión, por lo que tenemos que comenzar con descargar la nueva versión desde el comando '''wget''' en adelante.
La última versión instalada actualmente es la '''0.7.53'''. Es posible utilizar el mismo archivo .osm.bz2 para evitar descargarlo nuevamente, éste lo encontraremos dentro de la carpeta de la versión anterior.

En la edición del archivo /etc/apache2/sites-available/000-default.conf debemos cambiar la ruta '''[YOUR_EXEC_DIR]''' por la nueva generada por la descompresión de la nueva versión.

Para encontrar las nuevas versiones de Overpass es necesario visitar http://dev.overpass-api.de/releases/

= Arrancar web cuando páginas están en Django Python =

Cuando una VM se encuentra con una web en etapa de desarrollo con Django Python, para que ésta corra hay que hacer lo siguiente:

Primero entrar a la VM

<source lang="bash">
ssh 146.155.17.18 -p 22022
</source>

Posicionarse en la carpeta del proyecto (Ejemplo con VM de Gatherer)

<source lang="bash">
cd hibridinterfaz
</source>

Iniciar Screen, aplicación que abre una nueva terminal que es independiente a SSH

<source lang="bash">
screen
</source>

Correr el servidor de Django con el comando

<source lang="bash">
python manage.py runserver
</source>

Con esto ya la web está corriendo sin problemas, para salir de Screen hay que apretar '''Ctrl+a''' y luego '''Ctrl+d'''.

== VMs con Django ==

{| class="wikitable"
! style="text-align: center;" | VM
! style="text-align: center;" | Carpeta de proyecto
|-
| style="text-align: center;" | 18:22080
| style="text-align: center;" | /home/csfuente/hibridinterfaz
|-
| style="text-align: center;" | 18:21080
| style="text-align: center;" | /home/csfuente/Indicadores
|-
| style="text-align: center;" | 19:17080
| style="text-align: center;" | /home/csfuente/wyp-django
|}

= CartoDB =

== Levantar CartoDB cuando la máquina es encendida ==

Subir CartoDB es un poco tedioso pero es posible sin complicaciónes, lo primero es exportar lo siguiente: (copy/paste a la terminal)

<source lang="bash">
export PATH=$PATH:/opt/rubies/ruby-2.2.3/bin
export CPLUS_INCLUDE_PATH=/usr/include/gdal
export C_INCLUDE_PATH=/usr/include/gdal
export PATH=$PATH:/usr/include/gdal
export PATH=$PATH:$PWD/node_modules/grunt-cli/bin
</source>

En mi cuenta agregué esas lineas al archivo .bashrc para que se ejecuten cada vez que entro por ssh a la VM.
Lo siguiente es ejecutar los procesos necesarios para que cartodb corra, para ello se ejecuta cada uno de ellos en una screen distinta (ya que no contamos con varias terminales por ssh)

<source lang="bash">
cd /home/csfuente/
screen
redis-server
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
cd cartodb
screen
bundle exec script/resque
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
screen
bundle exec thin start --threaded -p 3000 --threadpool-size 5
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
cd /home/csfuente/Wireshark***
screen
node app.js development
</source>

'''ctrl+a''' y '''ctrl+d'''

<source lang="bash">
cd /home/csfuente/CartoDB-SQL-API
screen
node app.js development
</source>

'''ctrl+a''' y '''ctrl+d'''

Con todo esto ahora podemos entrar a 146.155.17.18:3000 y usar cartodb.

== Puertos utilizados en .18 por cartodb ==

{| class="wikitable"
! style="text-align: center;" | Puerto
! style="text-align: center;" | Servicio
|-
| style="text-align: center;" | 18:3000
| style="text-align: center;" | cartodb
|-
| style="text-align: center;" | 18:8080
| style="text-align: center;" | cartodb-SQL-API
|-
| style="text-align: center;" | 18:8181
| style="text-align: center;" | Wireshark
|-
| style="text-align: center;" | 18:6379
| style="text-align: center;" | redis-server
|}

= Obtener polígonos formato .poly de ciudades =

Gracias a las instrucciones dadas en https://github.com/JamesChevalier/cities podemos obtener el polígono de la ciudad solicitada, los pasos son los siguientes:

* Entrar a http://nominatim.openstreetmap.org/ y poner en el buscador la ciudad que estamos buscando
* Al encontrarla, nos vamos a sus Detalles
* Copiamos el número que aparece en OSM: Relation '''XXXXXX'''
* Vamos a http://polygons.openstreetmap.fr/ y pegamos éste número en '''Id of relation'''
* Descargamos la información en el link '''poly''' correspondiente

= Migración OTP, Overpass en VM de WYP =

== Migración de OTP ==

Con el trabajo realizado ya de la instalación de OTP más arriba en esta wiki, se movió la carpeta en la cual fue compilado el repositorio junto con los graphs generados hasta entonces a la VM de WYP. los archivos quedaron en la carpeta /home/csfuente/OTP/ en donde se es posible ejecutar el servidor sin problemas.
OTP al ser ejecutado, su servidor trabaja en el puerto 5050 por lo que se creó una nueva regla nat para la VM el cual se es posible llegar a ella mediante el puerto 17050 en el servidor .19.

El comando para ser ejecutado en esta VM es:

<source lang="bash">
./home/csfuente/OTP/otp --server --basePath /home/csfuente/OTP/ --router chile --preFlight --autoScan --autoReload --port 5050
</source>

== Migración de Overpass ==

Al igual que OTP, Overpass no es necesario ser recompilado. Los archivos de Overpass fueron trasladados a la VM a la carpeta /home/csfuente/Overpass/ y al ser ejecutado funciona directamente en el puerto 80. La regla nat fue modificada para apache redirigiendo lo del puerto 80 al puerto 17051 del servidor .19.

Tambien fue necesario agregar las reglas de Apache2 correspondientes (también en esta misma wiki)

Para ejecutarlo en esta VM es necesario escribir en la terminal:

<source lang="bash">
rm /home/csfuente/Overpass/db/osm3s* || true
rm /dev/shm/osm3s* || true
cd /home/csfuente/Overpass && bin/dispatcher --osm-base --meta --db-dir="db"
</source>

== Modificaciones en arranque de WYP ==

WYP estaba funcionando bajo Nginx, el cual se encargaba de redirigir el puerto 8000 al puerto 80 para que fuera leido por .19 en su puerto 17080. Para no modificar la URL de WYP fue necesario volver a cambiar a apache2 y ejecutar Django en el puerto 81. Crear una nueva regla nat para que leyera el puerto 81 de la VM y fuera ejecutado en 17080. De esta forma la URL no cambia para éste.

El nuevo comando para ejeutar WYP es:

<source lang="bash">
cd /home/csfuente/wyp-django/ && python manage.py runserver 0.0.0.0:81
</source>

== Ejecutar todos los procesos al iniciar la VM ==

Para ello fue necesario editar el archivo '''/etc/rc.local'''

<source lang="bash">
#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.

# Overpass
rm /home/csfuente/Overpass/db/osm3s* || true
rm /dev/shm/osm3s* || true
cd /home/csfuente/Overpass && bin/dispatcher --osm-base --meta --db-dir="db" &

# WYP
cd /home/csfuente/wyp-django/ && python manage.py runserver 0.0.0.0:81 &

# OTP
./home/csfuente/OTP/otp --server --basePath /home/csfuente/OTP/ --router chile --preFlight --autoScan --autoReload --port 5050 &

exit 0
~
</source>

= Actualizar archivo OSM con un archivo OSC =

Para actualizar la información con calles/nodos/parques nuevos en un arhivo de formato OSM, es necesario generar un archivo OSC. Para combinarlos hay que usar el comando

<source lang="bash">
osmchange -i=old.osm changefile.osc >new.osm
</source>

== Link de interes ==

http://wiki.openstreetmap.org/wiki/Osmchange_(program)
http://wiki.openstreetmap.org/wiki/Osmchange

= Instalación Nominatim 3.0 =

Nominatim 3.0 fue instalado en la VM 18:22081. Para la instalación se siguieron los pasos a continuación.

La VM 18:22 se encontraba con Ubuntu 14.04 LTS, lo primero que se hizo fue actualizar a Ubuntu 16 para utilizar las últimas dependencias, para eso ejecutamos:

<source lang="bash">
sudo apt-get update
sudo apt-get upgrade
sudo apt-get dist-upgrade
sudo do-release-upgrade
</source>

Posterior a esto solo hay que seguir las indicaciones en pantalla.

Luego, comienza la instalación de Nominatim, se siguieron las instrucciones de [https://github.com/openstreetmap/Nominatim/blob/master/docs/Install-on-Ubuntu-16.md Github Nominatim], lo primero es instalar las dependencias

<source lang="bash">
sudo apt-get install -y build-essential cmake g++ libboost-dev libboost-system-dev \
libboost-filesystem-dev libexpat1-dev zlib1g-dev libxml2-dev\
libbz2-dev libpq-dev libgeos-dev libgeos++-dev libproj-dev \
postgresql-server-dev-9.5 postgresql-9.5-postgis-2.2 postgresql-contrib-9.5 \
apache2 php php-pgsql libapache2-mod-php php-pear php-db \
php-intl git
</source>

Se crea el usuario 'nominatim'.

<source lang="bash">
sudo useradd -d /srv/nominatim -s /bin/bash -m nominatim
</source>

Para hacer las cosas más comodas ejecutamos estos export para ahorrarnos text más adelante

<source lang="bash">
export USERNAME=nominatim
export USERHOME=/srv/nominatim
</source>

Permitimos que la carpeta de nominatim sea leida por el server

<source lang="bash">
chmod a+x $USERHOME
</source>

Ahora, debemos crear la base de datos en postgres, el usuario que manejará la base de datos será nominatim, por lo que ejecutamos

<source lang="bash">
sudo -u postgres createuser -s $USERNAME
sudo -u postgres createuser www-data
sudo systemctl restart postgresql
</source>

buscamos y editamos el archivo fe configuración de postgres llamado ''postgresql.conf'' y editamos los valores

<source lang="bash">
shared_buffers (2GB)
maintenance_work_mem (10GB)
work_mem (50MB)
effective_cache_size (24GB)
synchronous_commit = off
checkpoint_segments = 100 # only for postgresql <= 9.4
checkpoint_timeout = 10min
checkpoint_completion_target = 0.9
</source>

Creamos el archivo de configuración para apache en un archivo aparte en ''conf-available'' ejecutando el siguiente comando

<source lang="bash">
sudo tee /etc/apache2/conf-available/nominatim.conf << EOFAPACHECONF
<Directory "$USERHOME/Nominatim/build/website">
Options FollowSymLinks MultiViews
AddType text/html .php
DirectoryIndex search.php
Require all granted
</Directory>

Alias /nominatim $USERHOME/Nominatim/build/website
EOFAPACHECONF
sudo a2enconf nominatim
sudo systemctl restart apache2
</source>

Recién ahora pasamos a la instalación de Nominatim, nos vamos al home de nominatim, copiamos el repositorio y ejecutamos los siguientes comandos

<source lang="bash">
cd $USERHOME
git clone --recursive git://github.com/openstreetmap/Nominatim.git
cd Nominatim
mkdir build
cd build
cmake $USERHOME/Nominatim
make
tee settings/local.php << EOF
<?php
@define('CONST_Website_BaseURL', '/nominatim/');
EOF
</source>

Ahora, debemos importar la información de OSM, para ello descargamos el archivo .osm correspondiente, OJO, el archivo debe estar en formato .osm.

<source lang="bash">
wget http://download.geofabrik.de/south-america/chile-latest.osm.bz2
bzip2 -d chile-latest.osm.bz2
./utils/setup.php --osm-file chile.latest.osm --all 2>&1 | tee setup.log
</source>

Con esto tenemos Nominatim corriendo con la data de Chile. Para agregar más información (como la data de OSM de Canadá) es necesario limpiar la base de datos de postgres, unir todos los archivos .osm en uno solo y ejecutar el último comando señalada en esta documentación con el nuevo nombre del archivo .osm.

= Mapas de OSM en Geonode =

Es posible publicar mapas actualizados en geonode desde la data obtenida directamente de los servidores de OSM, se utilizó [http://docs.geonode.org/en/latest/tutorials/advanced/adv_data_mgmt/osm.html#using-the-osm-extract-script-to-download-osm-data-into-postgis esta guía] para poder realizar la actualización. Se debieron utilizar 2 VMs para este trabajo debido a que geonode está instalado en Ubuntu 12.04 y tiene conflictos con los paquetes de postgres el cual, al tratar de instalar una nueva versión de éste, solicita eliminar geonode (lo cual obviamente no queremos) por lo que el trabajo de osmosis y transformación de los datos a sql se realiza en la VM 18:22 (Gatherer). Se construyeron dos script, uno para la VM 18:22 y otro para la 19:13 (Geonode), Se explicarán los script en el orden en que se ejecutan.

== Script de 18:22 ==

Este script cumple con tres funciones principales, descargar la información de las calles de los servidores de OSM para Chile, extraer la información necesaria (tales como estaciones de policía, calles principales, hospitales, etc.) y posteriormente esta información es transformada a un archivo sql para ser insertada en una base de datos. El script construido es el siguiente:

<source lang="bash">
DB=/home/csfuente/hibridinterfaz/media/sql_osm
SETNAME=/home/csfuente/hibridinterfaz/media/sql

# Creacion del directorio

mkdir -p /home/csfuente/hibridinterfaz/media/sql

# Descarga de archivo latest.pbf

curl -g -o /home/csfuente/hibridinterfaz/media/sql/latest.pbf http://download.geofabrik.de/south-america/chile-latest.osm.pbf

# Construccion de archivos pbf

/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="aeroway.aerodrome" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="aeroway.aerodrome" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/aerodromes_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="place.city,place.borough,place.suburb,place.quarter,place.neighbourhood,place.city_block,place.plot,place.town,place.village,place.hamlet,place.isolated_dwelling,place.farm,place.allotments" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways "highway=*" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-nodes amenity=bank,atm,bureau_de_change --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/banks.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways "building=*" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/buildings.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways landuse=residential,allotments,cemetery,construction,depot,garages,brownfield,commercial,industrial,retail --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/built_up_areas.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf" --tf accept-nodes "place=city" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/cities.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="landuse.farm,landuse.farmland,landuse.farmyard,landuse.livestock" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/farms.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="landuse.forest,natural.wood" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/forest.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="landuse.grass,landuse.meadow,landuse.scrub,landuse.village_green,natural.scrub,natural.heath,natural.grassland" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/grassland.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-nodes aeroway=helipad,heliport --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/helipads.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="tourism.hotel,tourism.hostel,tourism.motel,tourism.guest_house" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/hotels.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf reject-relations --tf accept-ways waterway=* --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/inland_water_line.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways natural=water,wetland,bay landuse=reservoir,basin,salt_pond waterway=river,riverbank --tf accept-relations natural=water,wetland,bay landuse=reservoir,basin,salt_pond waterway=river,riverbank --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/inland_water_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf" --wkv keyValueList="highway.motorway,highway.trunk,highway.primary" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/main_roads.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="amenity.baby_hatch,amenity.clinic,amenity.dentist,amenity.doctors,amenity.hospital,amenity.nursing_home,amenity.pharmacy,amenity.social_facility,amenity.veterinary,amenity.blood_donation" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/medical_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/buildings.pbf" --wkv keyValueList="amenity.baby_hatch,amenity.clinic,amenity.dentist,amenity.doctors,amenity.hospital,amenity.nursing_home,amenity.pharmacy,amenity.social_facility,amenity.veterinary,amenity.blood_donation" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/medical_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf" --wkv keyValueList="highway.footway,highway.bridleway,highway.steps,highway.path" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/paths.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="amenity.police" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/police_stations.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-ways "railway=*" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/railways.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --nkv keyValueList="amenity.school,amenity.university,amenity.college,amenity.kindergarten,amenity.library,amenity.public_bookcase,amenity.music_school,amenity.driving_school,amenity.language_school" --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/school_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --wkv keyValueList="amenity.school,amenity.university,amenity.college,amenity.kindergarten,amenity.library,amenity.public_bookcase,amenity.music_school,amenity.driving_school,amenity.language_school" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/schools_polygon.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf" --tf accept-nodes "place=town" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/towns.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_roads.pbf" --wkv keyValueList="highway.track" --used-node --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/tracks.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf accept-nodes amenity=bicycle_parking,bicycle_repair_station,bicycle_rental,boat_sharing,bus_station,car_rental,car_sharing,car_wash,charging_station,ferry_terminal,fuel,grit_brin,motorcycle_parking,parking,parking_entrance,parking_space,taxi public_transport=* railway=halt,station,subway_entrance,tram_stop waterway=dock,boatyard --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/transport_point.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/latest.pbf" --tf reject-ways --tf reject-relations --tf accept-nodes amenity=shower,toilets,water_point,drinking_water,water_in_place --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/utilities.pbf"
/home/csfuente/osmosis/bin/osmosis --read-pbf-fast file="/home/csfuente/hibridinterfaz/media/sql/all_places.pbf" --tf accept-nodes "place=village" --tf reject-ways --tf reject-relations --write-pbf file="/home/csfuente/hibridinterfaz/media/sql/villages.pbf"

# Construccion de archivos sql
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.sql /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/aerodromes_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/aerodromes_polygon.sql /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/aerodromes_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/all_places.sql /home/csfuente/hibridinterfaz/media/sql/aerodromes_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/all_places.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/all_roads.sql /home/csfuente/hibridinterfaz/media/sql/all_roads.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/all_roads.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/banks.sql /home/csfuente/hibridinterfaz/media/sql/banks.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/banks.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/buildings.sql /home/csfuente/hibridinterfaz/media/sql/buildings.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/buildings.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/built_up_areas.sql /home/csfuente/hibridinterfaz/media/sql/built_up_areas.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/built_up_areas.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/cities.sql /home/csfuente/hibridinterfaz/media/sql/cities.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/cities.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/farms.sql /home/csfuente/hibridinterfaz/media/sql/farms.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/farms.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/forest.sql /home/csfuente/hibridinterfaz/media/sql/forest.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/forest.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/grassland.sql /home/csfuente/hibridinterfaz/media/sql/grassland.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/grassland.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/helipads.sql /home/csfuente/hibridinterfaz/media/sql/helipads.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/helipads.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/hotels.sql /home/csfuente/hibridinterfaz/media/sql/hotels.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/hotels.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/inland_water_line.sql /home/csfuente/hibridinterfaz/media/sql/inland_water_line.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/inland_water_line.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/inland_water_polygon.sql /home/csfuente/hibridinterfaz/media/sql/inland_water_polygon.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/inland_water_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/main_roads.sql /home/csfuente/hibridinterfaz/media/sql/main_roads.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/main_roads.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/medical_point.sql /home/csfuente/hibridinterfaz/media/sql/medical_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/medical_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/medical_polygon.sql /home/csfuente/hibridinterfaz/media/sql/medical_polygon.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/medical_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/paths.sql /home/csfuente/hibridinterfaz/media/sql/paths.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/paths.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/police_stations.sql /home/csfuente/hibridinterfaz/media/sql/police_stations.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/police_stations.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/railways.sql /home/csfuente/hibridinterfaz/media/sql/railways.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/railways.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/schools_point.sql /home/csfuente/hibridinterfaz/media/sql/school_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/schools_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/schools_polygon.sql /home/csfuente/hibridinterfaz/media/sql/schools_polygon.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/schools_polygon.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/towns.sql /home/csfuente/hibridinterfaz/media/sql/towns.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/towns.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/tracks.sql /home/csfuente/hibridinterfaz/media/sql/tracks.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/tracks.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/transport_point.sql /home/csfuente/hibridinterfaz/media/sql/transport_point.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/transport_point.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/utilities.sql /home/csfuente/hibridinterfaz/media/sql/utilities.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/utilities.ini
ogr2ogr -f PGDump /home/csfuente/hibridinterfaz/media/sql/villages.sql /home/csfuente/hibridinterfaz/media/sql/villages.pbf -lco COLUMN_TYPES=other_tags=hstore --config OSM_CONFIG_FILE conf/villages.ini
</source>

== Script de 19:13 ==

Antes de explicar el script, es necesario crear la base de datos en donde se trabajará, para ello se creó la base de datos 'Chile_osm' en postgres

<source lang=bash">
createdb Chile_osm \
psql -d Chile_osm -c 'create extension postgis;'; \
psql -d Chile_osm -c 'create extension hstore;';
</source>

Esta base de datos la leemos en geoserver, para ello creamos un nuevo Store y un nuevo Workspace especial para esta data. Acá la llamé ''osm''.

Con ésto, el script generado para esta VM funciona de forma recursiva. Recupera el archivo sql generado en la otra VM, lo codifica para que no existan problemas con los textos, traspasa la data a la base de datos, las ordena y las dispone para que sean leidas. Hace esto para cada uno de los archivos sql generados anteriormente. Por lo que el script queda como

<source lang="bash">
curl -g -o /home/csfuente/osmex/Chile/aerodromes_point.sql1 http://146.155.17.18:22080/media/sql/aerodromes_point.sql
iconv -f latin1 -t utf-8 /home/csfuente/osmex/Chile/aerodromes_point.sql1 > /home/csfuente/osmex/Chile/aerodromes_point.sql
psql -f /home/csfuente/osmex/Chile/aerodromes_point.sql Chile_osm
psql -f /home/csfuente/osmex/conf/aerodromes_point_alter.sql Chile_osm
psql -f /home/csfuente/osmex/conf/clean.sql Chile_osm

.
.
.
</source>

Finalmente debemos actualizar las capas en geonode para que sean reconocidas por éste, por lo que al final del script se ejecuta el comando

<source lang="bash">
geonode updatelayers --ignore-errors -w osm
</source>

El que nos permite solicitar la actualización de todas las capas del Workspace osm.

== Horas en las cuales se ejecutan los script ==

Ambos script se ejecutan de forma de cron, éstos funcionan todos los lunes a las 4:00 AM y 5:00 AM respectivamente.

Trabajo Cristian

2017-08-04T15:05:55Z

Cris:

Api rest WalkYourPlace

2017-06-29T23:00:18Z

Cris:

WalkYourPlace contiene una api rest con el cual es posible conseguir los scores si se le envían los datos a traves de una URL en formato GET.

Las peticiones se hacen bajo la url http://146.155.17.19:17080/api y las variables se envían posterior a un '?' en la misma, éstos deben ir separados por un '&'

Por ejemplo:

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676

= Modos de viaje =

== Walkscore model ==

Para obtener el score simulando el sistema que utiliza Walkscore.com son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* radius (opcional): Es el radio de la circunferencia a evaluar, por defecto se encuentra con el valor 1.25.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).

Ejemplos:

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676&radius=1.5

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676&demographic=Lawrence-Frank%20Adult

== Cycling model ==

Para obtener el score cuando una persona viaja en bicicleta son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* biking_time_period : El tiempo de viaje en minutos.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplos:

http://146.155.17.19:17080/api?mode=bike&start_point=-33.465,-70.676&biking_time_period=10

http://146.155.17.19:17080/api?mode=bike&start_point=-33.465,-70.676&biking_time_period=8&demographic=Lawrence-Frank%20Adult

== walking model ==

Para obtener el score cuando una persona caminando son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* walking_time_period : El tiempo de caminata en minutos.
* walking_speed : La velocidad de caminata en [metros/segundos]
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplos:

http://146.155.17.19:17080/api?mode=walk&start_point=-33.465,-70.676&walking_time_period=10&walking_speed=1.25

http://146.155.17.19:17080/api?mode=walk&start_point=-33.465,-70.676&walking_time_period=10&walking_speed=1.25&demographic=Lawrence-Frank%20Adult

== Transit & walking model ==

Para obtener el score cuando una persona caminando y utilizando el transporte público son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* walking_time_period : El tiempo de caminata en minutos.
* walking_speed : La velocidad de caminata en [metros/segundos]
* walking_start_time : Es la hora de comienzo del viaje, importante para las rutas del transporte público, se expresa en hora, minutos y segundos (Ej: 14:00:00)
* bus_waiting_time : Es el tiempo en minutos de cuanto esperaría a que el bus llegue al apradero
* bus_riding_time : Es el tiempo de viaje arriba de un transporte público
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplos

http://146.155.17.19:17080/api?mode=transit&start_point=-33.465,-70.676&walking_time_period=10&walking_speed=1.25&walking_start_time=14:00:00&bus_waiting_time=9&bus_riding_time=9

== Car model ==

Para obtener el score cuando una persona viaja en auto son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* car_time_period : El tiempo de viaje en minutos.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplo:

http://146.155.17.19:17080/api?mode=car&start_point=-33.465,-70.676&car_time_period=10

= Representación de resultados =

Los resultados son entregados en formato JSON con la siguiente estructura:

<source lang="html4strict">
{"walkshed":
{"type":"Polygon",
"coordinates":, # Coordenadas del polígono
"properties":
{"type": "Walkshed",
"area": 0, # Area abarcada por el polígono
"score": "0", # Puntaje de WYP
"crime_index": 0,
"color": ""
}
},
"poi":
{"type": "FeatureCollection",
"features": [ # Puntos considerados
{"type": "Feature",
"geometry":
{"type": "Point",
"coordinates": # Coordenadas del punto
},
"properties":
{"name": "", # Nombre del atractivo
"type": "", # Tipo
"icon": ""
}
},...] # Pueden ser muchos puntos más
}
}
</source>

Api rest WalkYourPlace

2017-06-29T22:46:24Z

Cris: /* Car model */

Api rest WalkYourPlace

2017-06-29T22:44:20Z

Cris: /* Transit & walking model */

Api rest WalkYourPlace

2017-06-29T22:37:10Z

Cris:

WalkYourPlace contiene una api rest con el cual es posible conseguir los scores si se le envían los datos a traves de una URL en formato GET.

Las peticiones se hacen bajo la url http://146.155.17.19:17080/api y las variables se envían posterior a un '?' en la misma, éstos deben ir separados por un '&'

Por ejemplo:

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676

= Modos de viaje =

== Walkscore model ==

Para obtener el score simulando el sistema que utiliza Walkscore.com son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* radius (opcional): Es el radio de la circunferencia a evaluar, por defecto se encuentra con el valor 1.25.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).

Ejemplos:

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676&radius=1.5

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676&demographic=Lawrence-Frank%20Adult

== Cycling model ==

Para obtener el score cuando una persona viaja en bicicleta son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* biking_time_period : El tiempo de viaje en minutos.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplos:

http://146.155.17.19:17080/api?mode=bike&start_point=-33.465,-70.676&biking_time_period=10

http://146.155.17.19:17080/api?mode=bike&start_point=-33.465,-70.676&biking_time_period=8&demographic=Lawrence-Frank%20Adult

== walking model ==

Para obtener el score cuando una persona caminando son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* walking_time_period : El tiempo de caminata en minutos.
* walking_speed : La velocidad de caminata en [metros/segundos]
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplos:

http://146.155.17.19:17080/api?mode=walk&start_point=-33.465,-70.676&walking_time_period=10&walking_speed=1.25

http://146.155.17.19:17080/api?mode=walk&start_point=-33.465,-70.676&walking_time_period=10&walking_speed=1.25&demographic=Lawrence-Frank%20Adult

== Transit & walking model ==

Para obtener el score cuando una persona caminando y utilizando el transporte público son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* walking_time_period : El tiempo de caminata en minutos.
* walking_speed : La velocidad de caminata en [metros/segundos]
* walking_start_time : Es la hora de comienzo del viaje, importante para las rutas del transporte público, se expresa en hora y minuto (Ej: 14:00)
* bus_waiting_time : Es el tiempo en minutos de cuanto esperaría a que el bus llegue al apradero
* bus_riding_time : Es el tiempo de viaje arriba de un transporte público
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

== Car model ==

Para obtener el score cuando una persona viaja en auto son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* car_time_period : El tiempo de viaje en minutos.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Api rest WalkYourPlace

2017-06-29T22:29:33Z

Cris: /* Modos de viaje */

WalkYourPlace contiene una api rest con el cual es posible conseguir los scores si se le envían los datos a traves de una URL en formato GET.

Por ejemplo:

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676

= Modos de viaje =

== Walkscore model ==

Para obtener el score simulando el sistema que utiliza Walkscore.com son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* radius (opcional): Es el radio de la circunferencia a evaluar, por defecto se encuentra con el valor 1.25.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).

Ejemplos:

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676&radius=1.5

http://146.155.17.19:17080/api?mode=walkscore&start_point=-33.465,-70.676&demographic=Lawrence-Frank%20Adult

== Cycling model ==

Para obtener el score cuando una persona viaja en bicicleta son necesarias las siguientes variables en la petición:

* start_point : El punto a evaluar, las coordenadas deben ser escritas sin un espacio de separación. Por Ej: -33.465,-70.676
* biking_time_period : El tiempo de viaje en minutos.
* demographic (opcional): Es la opción demográfica con el cual queremos que los datos sean evaluados (default = Young Adult (20-30) ).
* Escenario (opcional): Es el escenario con el cual se requiere hacer la evaluación (default=1 información de OTP sobre el territorio chileno)

Ejemplos:

http://146.155.17.19:17080/api?mode=bike&start_point=-33.465,-70.676&biking_time_period=10

http://146.155.17.19:17080/api?mode=bike&start_point=-33.465,-70.676&biking_time_period=8&demographic=Lawrence-Frank%20Adult

== walking model ==

== Transit & walking model ==

== Car model ==

Api rest WalkYourPlace

2017-06-29T22:25:55Z

Cris: /* Walkscore model */

Api rest WalkYourPlace

2017-06-29T22:25:33Z

Cris: Created page with "WalkYourPlace contiene una api rest con el cual es posible conseguir los scores si se le envían los datos a traves de una URL en formato GET. Por ejemplo: http://146.155.17..."

Cedeus IDE

2017-06-29T22:17:16Z

Cris: /* información útil y documentación */

'''Centro de Desarrollo Urbano Sustentable - CEDEUS'''

* Observatory Webpage:
** http://observatorio.cedeus.cl or http://www.datosurbanos.cl
* Other service domains:
** http://datos.cedeus.cl => geonode direct access
** http://pubs.cedeus.cl => omeka direct access
** http://wiki.cedeus.cl => wiki direct access
** http://owncloud.cedeus.cl => owncloud direct access => path to add in OwnCloud client: http://owncloud.cedeus.cl/owncloud/ (not ''https'')
** http://indicadores.cedeus.cl => Indicator webpage direct access

'''Technical Configuration'''
* GeoNode WebServer is Cedeusgeonode: http://observatorio.cedeus.cl : open to world [http://live.osgeo.org/en/quickstart/geonode_quickstart.html OSGeo Quickstart]
* GeoNode DataServer is CedeusDB : access is closed to world

[[Libros del Observatorio]]

== Funciones de Infraestructuras Científicos de Datos Espaciales ==
Bernard L, Mäs S, Müller M, Henzen C, y J Brauner (2013, [http://www.tandfonline.com/doi/abs/10.1080/17538947.2013.781244 J. o. Digital Earth]):
* encontrar y acceder al datos (=> importante: accuracy and scale, lineage and usage)
* integrar, procesar y analisar informaciones encontrados (=> oferecer servicios de procesamiento geo-espacial y permitir su integracion)
* publicar y compartir datos, métodos y resultados científicos

== Tareas para crear la IDE de Cedeus ==
my [[CEDEUS ShortTime ToDo List]]

CEDEUS Long term ToDo list:
# [[IDEs de Chile existente]]
# [[Cedeus Technical Architecture]]
#* TODO: security aspects of the IDE (user types, access management options)
# DOCUMENTO: Borrador de Proyecto - development plan for future (clients v.2 v.3) - '''15. Dec.'''
# ENCUESTA : user and data survey
#* primero encuesta - hecho en '''Diciembre 2013''' por Nicolas, me mande archivos con la presentación y resultado
#* documents to prepare: (i) envisioned types of IDE use, (ii) list of data (themes) that may be in the institute (checklist?), (iii) data that should not be public, (iv) client types => a mindmap exists already!!
# DATOS:
#* [[Cedeus Base Data]]
#* [[Cedeus Convenios]]
#* Notes:
#** EPSG Santiago (from OCUC dataset): 32719 (= UTM Zone 19 South), EPSG OSM: 4326
#** what exists
#** access rights (see GeoNode access options: public, logged-in user, group, user only)
#** stoarge/db structure (defined by storage structure of GeoNode for shapefiles, rasters are stored in web-folder)
# [[Cedeus Metadata]]
#* [[CEDEUS CSW]]
# TYPO DE CLIENTES
#* desktop clients - SIG : TODO inicio de encuesta en los grupos que usan: ArcGIS, QGIS, gvSIG, OpenJUMP, SAGA ...
#* web client- browsers : TODO: a desarrollar
#*# [[IDE Client Basica]] : visualisacion de datos solamente
#*# [[IDE Client Avanzado]] : con diseno, para ciudadanos
#*# [[IDE Client Experto]] : visualisacion, aggregar, manipular

== información útil y documentación ==
*[[accessing server infra]]
*[[setting up osgeo vm]]
*[[setting up geonode]] and [[geonode data upload]]
*[[backup of geonode]]
*[[setting up tilestream]] and [[Setting up Tilestream VM on CEDEUSDB]]
* How to setup [http://docs.geoserver.org/stable/en/user/installation/linux/index.html GeoServer] is described in this blog entry: http://houhongru.com/blog/2013/01/07/How-to-install-GeoServer-on-Ubuntu-12.04/ . However, I am not sure if the install of Oracles Java instead of openJDK is necessary, since, as far as I recall, the OSGeo LiveDVD uses OpenJDK as well. Location of GeoServer will be ''/var/lib/tomcat7/webapps/'' . (Note, I should have a PDF of that in my projects/planyourplace/docs/development/wyp/)
*[[setting up walkyourplace]]
*[[moving the SF wiki]]
*[[installing OTP]] and [[updating OTP graph]]
*[[Setting up Elgg VM on CedeusGeoNode]]
*[[Cedeus DB backups]]
*[[Nominatim for Traffic Accident Database]]
*[[installing CartoDB for CEDEUS]]
*[[installing Omeka for CEDEUS]]
*[[Processing GeoData for CEDEUS]]
*[[Trabajo Cristian]]
**[[Walkyourplace Django]]
**[[Api rest WalkYourPlace]]

== List of VMs ==
'''on CedeusGeoNode:''' (see also script: ''startcedeusvms.sh'')
* geonode1204 : 12GB : 6 cpus : 13080 (VRDE 7767) with 200GB (185GB) disk => disk name: geonode1204b.vdi. How to enlarge the disk check [[Nominatim for Traffic Accident Database]] ... however, the Nominatim VM is using 14.04 and not 12.04. NB: this VM has the old pw
* opensuse132 2GB : 2 cpus : 18022 (with https webgui 18052+18547, not yet unblocked console 18161, VRDE 7772)
* wikicedeus : 2GB : 2 cpus : cedeus wiki on ''22080/wiki/'' (VRDE 7769)
* mediawiki : 2GB : 2 cpus : personal wiki on ''21080/mediawiki-1.22.7/'' (VRDE 7771)
* elgg : 4 GB : 4 cpus : 15080 (VRDE 7765) on basicubuntu1404 with LAMPS
* additional there are for testing:
** basicubuntu1404
** geonode1404 : 8GB : 6 cpus : 12080 (VRDE 7768) - this VM is not in use (without GeoNode install)
** wyp : 8GB : 4 cpus : 17080 (with Tomcat and Postgres: 17088 vs 17032, VRDE 3389) http://146.155.17.19:17080/wypwps/
** elgg18pyp : 2GB, 2cpus : 31080 (VRDE 31065) - VM should be shut down
** windows864 3GB : 3 cpus (VRDE 7773) 40 GB
** windowsml1 3GB : 3 cpus (VRDE 7774) 40 GB

'''on CedeusDB:'''
(no startup script yet)
* tilestream : 8GB : 4 cpus : with Tilestream on ''16088/#!/map/Fondef'' (VRDE 3389) : http://146.155.17.18:16088/#!/map/Fondef
*: => switched off
* nominatim: 4GB : 4 cpus 200GB : with Nominatim on 146.155.17.18:22080 (VRDE 7761)
*: => Note, Nominatim has port CONFLICT with Gatherer; TODO: fix this
*: => Running only when needed
* otp09: 4GB : 4cpus : on 146.155.17.18:30088 (VRDE 7762) : http://146.155.17.18:30088/opentripplanner-webapp/#/ : (OpenTripPlanner 0.9)
* cartodb: 8 GB : 6 cpus : on 146.155.17.18:19080 (VRDE 7763) => for testing, but never got it really to work
*: => switched off
* omeka: 6 GB : 4 cpus : on 146.155.17.18:20080 (VRDE 7764) : http://146.155.17.18:20080/omeka/
* owncloud: 6GB : 4 cpus : on 146.155.17.18:17080 (VRDE 7765) : http://146.155.17.18:17080/owncloud/ => http://owncloud.cedeus.cl
* gitlab: 4GB : 2 cpus : on 146.155.17.18:18080 (VRDE 7766) : http://146.155.17.18:18080/ (Off, trasladada a http://146.155.17.14:18080/ )
* indicator 1GB : 1 cpus : on 146.155.17.18:21080 (VRDE 7767) : http://146.155.17.18:21080/
* gatherer 2GB : 1 cpus : on 146.155.17.18:22080 (VRDE 7768) :
* otp 4GB : 4 cpus : on 146.155.17.18:23080 (VRDE 7769) : http://146.155.17.18:23080/ (OpenTripPlanner 0.20) (off, trasladada a http://146.155.17.19:17050/ )
* overpass : 4 GB : 2 cpus : on 146.155.17.18:24080 (VRDE 7770) : http://146.155.17.18:24080/api/interpreter/data=[data] (off, trasladada a http://146.155.17.19:17051/ )
* fondedoc : 2 GB : 1 cpus : on 146.155.17.18:25080 (VRDE 7772) : http://146.155.17.18:25080 para proyector, http://146.155.17.18:25080/tablet para tablet
* geonode20b : 12 GB : 6 cpus : on 146.155.17.18:16080 (VRDE 3389) : http://146.155.17.18:16080 => Copy of GeoNode from June 2015 we used for bug fixing
*: => Note, geonode20b has port CONFLICT with tilestream VM
*: => switched off
* geonodeTest: 8 GB : 4 cpus : on 146.155.17.18:16080 (VRDE 7771) : http://146.155.17.18:16080 => Test of Geonode 2.4
*: => Note, port CONFLICT with tilestream and geonode20b

'''CedeusGeoNode reverse-proxy + geosteiniger.cl DNS zone editor settings'''
* GeoNode: 146.155.17.19:13080 => geonode1204 VM => cedeusdata.geosteiniger.cl
* Personal wiki : 1146.155.17.19:21080/mediawiki-1.22.7/ => wiki.geosteiniger.cl/wiki/
* Cedeus wiki : 146.155.17.19/wiki/ => Wiki VM => cedeuswiki.geosteiniger.cl/wiki/
* OTP : 146.155.17.54:8080/opentripplanner-webapp/ => otp.geosteiniger.cl/opentripplanner-webapp/
* Tilestream 146.155.17.18:16088/#!/map/Fondef => tilestream.geosteiniger.cl/#!/map/Fondef

Hosting info for [http://www.tcpiputils.com/browse/domain/puc.cl Puc.cl] -> name servers etc.

== presentaciones ==
* 18.Dic.2014 : Coloquio "IDE Universidades" de SNIT (M. Bienes) - [http://www.geo.uzh.ch/~sstein/presentations/cedeus/idecedeus.html#0 progreso parte tecnico]
* xxx
== cache ==
[[blackboard]]

Cedeus IDE

2017-06-23T20:49:28Z

Cris: /* List of VMs */

'''Centro de Desarrollo Urbano Sustentable - CEDEUS'''

* Observatory Webpage:
** http://observatorio.cedeus.cl or http://www.datosurbanos.cl
* Other service domains:
** http://datos.cedeus.cl => geonode direct access
** http://pubs.cedeus.cl => omeka direct access
** http://wiki.cedeus.cl => wiki direct access
** http://owncloud.cedeus.cl => owncloud direct access => path to add in OwnCloud client: http://owncloud.cedeus.cl/owncloud/ (not ''https'')
** http://indicadores.cedeus.cl => Indicator webpage direct access

'''Technical Configuration'''
* GeoNode WebServer is Cedeusgeonode: http://observatorio.cedeus.cl : open to world [http://live.osgeo.org/en/quickstart/geonode_quickstart.html OSGeo Quickstart]
* GeoNode DataServer is CedeusDB : access is closed to world

[[Libros del Observatorio]]

== Funciones de Infraestructuras Científicos de Datos Espaciales ==
Bernard L, Mäs S, Müller M, Henzen C, y J Brauner (2013, [http://www.tandfonline.com/doi/abs/10.1080/17538947.2013.781244 J. o. Digital Earth]):
* encontrar y acceder al datos (=> importante: accuracy and scale, lineage and usage)
* integrar, procesar y analisar informaciones encontrados (=> oferecer servicios de procesamiento geo-espacial y permitir su integracion)
* publicar y compartir datos, métodos y resultados científicos

== Tareas para crear la IDE de Cedeus ==
my [[CEDEUS ShortTime ToDo List]]

CEDEUS Long term ToDo list:
# [[IDEs de Chile existente]]
# [[Cedeus Technical Architecture]]
#* TODO: security aspects of the IDE (user types, access management options)
# DOCUMENTO: Borrador de Proyecto - development plan for future (clients v.2 v.3) - '''15. Dec.'''
# ENCUESTA : user and data survey
#* primero encuesta - hecho en '''Diciembre 2013''' por Nicolas, me mande archivos con la presentación y resultado
#* documents to prepare: (i) envisioned types of IDE use, (ii) list of data (themes) that may be in the institute (checklist?), (iii) data that should not be public, (iv) client types => a mindmap exists already!!
# DATOS:
#* [[Cedeus Base Data]]
#* [[Cedeus Convenios]]
#* Notes:
#** EPSG Santiago (from OCUC dataset): 32719 (= UTM Zone 19 South), EPSG OSM: 4326
#** what exists
#** access rights (see GeoNode access options: public, logged-in user, group, user only)
#** stoarge/db structure (defined by storage structure of GeoNode for shapefiles, rasters are stored in web-folder)
# [[Cedeus Metadata]]
#* [[CEDEUS CSW]]
# TYPO DE CLIENTES
#* desktop clients - SIG : TODO inicio de encuesta en los grupos que usan: ArcGIS, QGIS, gvSIG, OpenJUMP, SAGA ...
#* web client- browsers : TODO: a desarrollar
#*# [[IDE Client Basica]] : visualisacion de datos solamente
#*# [[IDE Client Avanzado]] : con diseno, para ciudadanos
#*# [[IDE Client Experto]] : visualisacion, aggregar, manipular

== información útil y documentación ==
*[[accessing server infra]]
*[[setting up osgeo vm]]
*[[setting up geonode]] and [[geonode data upload]]
*[[backup of geonode]]
*[[setting up tilestream]] and [[Setting up Tilestream VM on CEDEUSDB]]
* How to setup [http://docs.geoserver.org/stable/en/user/installation/linux/index.html GeoServer] is described in this blog entry: http://houhongru.com/blog/2013/01/07/How-to-install-GeoServer-on-Ubuntu-12.04/ . However, I am not sure if the install of Oracles Java instead of openJDK is necessary, since, as far as I recall, the OSGeo LiveDVD uses OpenJDK as well. Location of GeoServer will be ''/var/lib/tomcat7/webapps/'' . (Note, I should have a PDF of that in my projects/planyourplace/docs/development/wyp/)
*[[setting up walkyourplace]]
*[[moving the SF wiki]]
*[[installing OTP]] and [[updating OTP graph]]
*[[Setting up Elgg VM on CedeusGeoNode]]
*[[Cedeus DB backups]]
*[[Nominatim for Traffic Accident Database]]
*[[installing CartoDB for CEDEUS]]
*[[installing Omeka for CEDEUS]]
*[[Processing GeoData for CEDEUS]]
*[[Trabajo Cristian]]
**[[Walkyourplace Django]]

== List of VMs ==
'''on CedeusGeoNode:''' (see also script: ''startcedeusvms.sh'')
* geonode1204 : 12GB : 6 cpus : 13080 (VRDE 7767) with 200GB (185GB) disk => disk name: geonode1204b.vdi. How to enlarge the disk check [[Nominatim for Traffic Accident Database]] ... however, the Nominatim VM is using 14.04 and not 12.04. NB: this VM has the old pw
* opensuse132 2GB : 2 cpus : 18022 (with https webgui 18052+18547, not yet unblocked console 18161, VRDE 7772)
* wikicedeus : 2GB : 2 cpus : cedeus wiki on ''22080/wiki/'' (VRDE 7769)
* mediawiki : 2GB : 2 cpus : personal wiki on ''21080/mediawiki-1.22.7/'' (VRDE 7771)
* elgg : 4 GB : 4 cpus : 15080 (VRDE 7765) on basicubuntu1404 with LAMPS
* additional there are for testing:
** basicubuntu1404
** geonode1404 : 8GB : 6 cpus : 12080 (VRDE 7768) - this VM is not in use (without GeoNode install)
** wyp : 8GB : 4 cpus : 17080 (with Tomcat and Postgres: 17088 vs 17032, VRDE 3389) http://146.155.17.19:17080/wypwps/
** elgg18pyp : 2GB, 2cpus : 31080 (VRDE 31065) - VM should be shut down
** windows864 3GB : 3 cpus (VRDE 7773) 40 GB
** windowsml1 3GB : 3 cpus (VRDE 7774) 40 GB

'''on CedeusDB:'''
(no startup script yet)
* tilestream : 8GB : 4 cpus : with Tilestream on ''16088/#!/map/Fondef'' (VRDE 3389) : http://146.155.17.18:16088/#!/map/Fondef
*: => switched off
* nominatim: 4GB : 4 cpus 200GB : with Nominatim on 146.155.17.18:22080 (VRDE 7761)
*: => Note, Nominatim has port CONFLICT with Gatherer; TODO: fix this
*: => Running only when needed
* otp09: 4GB : 4cpus : on 146.155.17.18:30088 (VRDE 7762) : http://146.155.17.18:30088/opentripplanner-webapp/#/ : (OpenTripPlanner 0.9)
* cartodb: 8 GB : 6 cpus : on 146.155.17.18:19080 (VRDE 7763) => for testing, but never got it really to work
*: => switched off
* omeka: 6 GB : 4 cpus : on 146.155.17.18:20080 (VRDE 7764) : http://146.155.17.18:20080/omeka/
* owncloud: 6GB : 4 cpus : on 146.155.17.18:17080 (VRDE 7765) : http://146.155.17.18:17080/owncloud/ => http://owncloud.cedeus.cl
* gitlab: 4GB : 2 cpus : on 146.155.17.18:18080 (VRDE 7766) : http://146.155.17.18:18080/ (Off, trasladada a http://146.155.17.14:18080/ )
* indicator 1GB : 1 cpus : on 146.155.17.18:21080 (VRDE 7767) : http://146.155.17.18:21080/
* gatherer 2GB : 1 cpus : on 146.155.17.18:22080 (VRDE 7768) :
* otp 4GB : 4 cpus : on 146.155.17.18:23080 (VRDE 7769) : http://146.155.17.18:23080/ (OpenTripPlanner 0.20) (off, trasladada a http://146.155.17.19:17050/ )
* overpass : 4 GB : 2 cpus : on 146.155.17.18:24080 (VRDE 7770) : http://146.155.17.18:24080/api/interpreter/data=[data] (off, trasladada a http://146.155.17.19:17051/ )
* fondedoc : 2 GB : 1 cpus : on 146.155.17.18:25080 (VRDE 7772) : http://146.155.17.18:25080 para proyector, http://146.155.17.18:25080/tablet para tablet
* geonode20b : 12 GB : 6 cpus : on 146.155.17.18:16080 (VRDE 3389) : http://146.155.17.18:16080 => Copy of GeoNode from June 2015 we used for bug fixing
*: => Note, geonode20b has port CONFLICT with tilestream VM
*: => switched off
* geonodeTest: 8 GB : 4 cpus : on 146.155.17.18:16080 (VRDE 7771) : http://146.155.17.18:16080 => Test of Geonode 2.4
*: => Note, port CONFLICT with tilestream and geonode20b

'''CedeusGeoNode reverse-proxy + geosteiniger.cl DNS zone editor settings'''
* GeoNode: 146.155.17.19:13080 => geonode1204 VM => cedeusdata.geosteiniger.cl
* Personal wiki : 1146.155.17.19:21080/mediawiki-1.22.7/ => wiki.geosteiniger.cl/wiki/
* Cedeus wiki : 146.155.17.19/wiki/ => Wiki VM => cedeuswiki.geosteiniger.cl/wiki/
* OTP : 146.155.17.54:8080/opentripplanner-webapp/ => otp.geosteiniger.cl/opentripplanner-webapp/
* Tilestream 146.155.17.18:16088/#!/map/Fondef => tilestream.geosteiniger.cl/#!/map/Fondef

Hosting info for [http://www.tcpiputils.com/browse/domain/puc.cl Puc.cl] -> name servers etc.

== presentaciones ==
* 18.Dic.2014 : Coloquio "IDE Universidades" de SNIT (M. Bienes) - [http://www.geo.uzh.ch/~sstein/presentations/cedeus/idecedeus.html#0 progreso parte tecnico]
* xxx
== cache ==
[[blackboard]]

Trabajo Cristian

2017-04-03T22:21:24Z

Cris: /* Link de interes */

Trabajo Cristian

2017-04-03T22:21:17Z

Cris: /* Actualizar archivo OSM con un archivo OSC */

Trabajo Cristian

2017-04-03T22:20:53Z

Cris:

Trabajo Cristian

2017-03-17T21:38:28Z

Cris: /* Migración OTP, Overpass en VM de WYP */

Cedeus IDE

2017-03-17T21:26:08Z

Cris: /* List of VMs */

'''Centro de Desarrollo Urbano Sustentable - CEDEUS'''

* Observatory Webpage:
** http://observatorio.cedeus.cl or http://www.datosurbanos.cl
* Other service domains:
** http://datos.cedeus.cl => geonode direct access
** http://pubs.cedeus.cl => omeka direct access
** http://wiki.cedeus.cl => wiki direct access
** http://owncloud.cedeus.cl => owncloud direct access => path to add in OwnCloud client: http://owncloud.cedeus.cl/owncloud/ (not ''https'')

'''Technical Configuration'''
* GeoNode WebServer is Cedeusgeonode: http://observatorio.cedeus.cl : open to world [http://live.osgeo.org/en/quickstart/geonode_quickstart.html OSGeo Quickstart]
* GeoNode DataServer is CedeusDB : access is closed to world

[[Libros del Observatorio]]

== Funciones de Infraestructuras Científicos de Datos Espaciales ==
Bernard L, Mäs S, Müller M, Henzen C, y J Brauner (2013, [http://www.tandfonline.com/doi/abs/10.1080/17538947.2013.781244 J. o. Digital Earth]):
* encontrar y acceder al datos (=> importante: accuracy and scale, lineage and usage)
* integrar, procesar y analisar informaciones encontrados (=> oferecer servicios de procesamiento geo-espacial y permitir su integracion)
* publicar y compartir datos, métodos y resultados científicos

== Tareas para crear la IDE de Cedeus ==
my [[CEDEUS ShortTime ToDo List]]

CEDEUS Long term ToDo list:
# [[IDEs de Chile existente]]
# [[Cedeus Technical Architecture]]
#* TODO: security aspects of the IDE (user types, access management options)
# DOCUMENTO: Borrador de Proyecto - development plan for future (clients v.2 v.3) - '''15. Dec.'''
# ENCUESTA : user and data survey
#* primero encuesta - hecho en '''Diciembre 2013''' por Nicolas, me mande archivos con la presentación y resultado
#* documents to prepare: (i) envisioned types of IDE use, (ii) list of data (themes) that may be in the institute (checklist?), (iii) data that should not be public, (iv) client types => a mindmap exists already!!
# DATOS:
#* [[Cedeus Base Data]]
#* [[Cedeus Convenios]]
#* Notes:
#** EPSG Santiago (from OCUC dataset): 32719 (= UTM Zone 19 South), EPSG OSM: 4326
#** what exists
#** access rights (see GeoNode access options: public, logged-in user, group, user only)
#** stoarge/db structure (defined by storage structure of GeoNode for shapefiles, rasters are stored in web-folder)
# [[Cedeus Metadata]]
#* [[CEDEUS CSW]]
# TYPO DE CLIENTES
#* desktop clients - SIG : TODO inicio de encuesta en los grupos que usan: ArcGIS, QGIS, gvSIG, OpenJUMP, SAGA ...
#* web client- browsers : TODO: a desarrollar
#*# [[IDE Client Basica]] : visualisacion de datos solamente
#*# [[IDE Client Avanzado]] : con diseno, para ciudadanos
#*# [[IDE Client Experto]] : visualisacion, aggregar, manipular

== información útil y documentación ==
*[[accessing server infra]]
*[[setting up osgeo vm]]
*[[setting up geonode]] and [[geonode data upload]]
*[[backup of geonode]]
*[[setting up tilestream]] and [[Setting up Tilestream VM on CEDEUSDB]]
* How to setup [http://docs.geoserver.org/stable/en/user/installation/linux/index.html GeoServer] is described in this blog entry: http://houhongru.com/blog/2013/01/07/How-to-install-GeoServer-on-Ubuntu-12.04/ . However, I am not sure if the install of Oracles Java instead of openJDK is necessary, since, as far as I recall, the OSGeo LiveDVD uses OpenJDK as well. Location of GeoServer will be ''/var/lib/tomcat7/webapps/'' . (Note, I should have a PDF of that in my projects/planyourplace/docs/development/wyp/)
*[[setting up walkyourplace]]
*[[moving the SF wiki]]
*[[installing OTP]] and [[updating OTP graph]]
*[[Setting up Elgg VM on CedeusGeoNode]]
*[[Cedeus DB backups]]
*[[Nominatim for Traffic Accident Database]]
*[[installing CartoDB for CEDEUS]]
*[[installing Omeka for CEDEUS]]
*[[Processing GeoData for CEDEUS]]
*[[Trabajo Cristian]]
**[[Walkyourplace Django]]

== List of VMs ==
'''on CedeusGeoNode:''' (see also script: ''startcedeusvms.sh'')
* geonode1204 : 12GB : 6 cpus : 13080 (VRDE 7767) with 200GB (185GB) disk => disk name: geonode1204b.vdi. How to enlarge the disk check [[Nominatim for Traffic Accident Database]] ... however, the Nominatim VM is using 14.04 and not 12.04. NB: this VM has the old pw
* opensuse132 2GB : 2 cpus : 18022 (with https webgui 18052+18547, not yet unblocked console 18161, VRDE 7772)
* wikicedeus : 2GB : 2 cpus : cedeus wiki on ''22080/wiki/'' (VRDE 7769)
* mediawiki : 2GB : 2 cpus : personal wiki on ''21080/mediawiki-1.22.7/'' (VRDE 7771)
* elgg : 4 GB : 4 cpus : 15080 (VRDE 7765) on basicubuntu1404 with LAMPS
* additional there are for testing:
** basicubuntu1404
** geonode1404 : 8GB : 6 cpus : 12080 (VRDE 7768) - this VM is not in use (without GeoNode install)
** wyp : 8GB : 4 cpus : 17080 (with Tomcat and Postgres: 17088 vs 17032, VRDE 3389) http://146.155.17.19:17080/wypwps/
** elgg18pyp : 2GB, 2cpus : 31080 (VRDE 31065) - VM should be shut down
** windows864 3GB : 3 cpus (VRDE 7773) 40 GB
** windowsml1 3GB : 3 cpus (VRDE 7774) 40 GB

'''on CedeusDB:'''
(no startup script yet)
* tilestream : 8GB : 4 cpus : with Tilestream on ''16088/#!/map/Fondef'' (VRDE 3389) : http://146.155.17.18:16088/#!/map/Fondef
*: => switched off
* nominatim: 4GB : 4 cpus 200GB : with Nominatim on 146.155.17.18:22080 (VRDE 7761)
*: => Note, Nominatim has port CONFLICT with Gatherer; TODO: fix this
*: => Running only when needed
* otp09: 4GB : 4cpus : on 146.155.17.18:30088 (VRDE 7762) : http://146.155.17.18:30088/opentripplanner-webapp/#/ : (OpenTripPlanner 0.9)
* cartodb: 8 GB : 6 cpus : on 146.155.17.18:19080 (VRDE 7763) => for testing, but never got it really to work
*: => switched off
* omeka: 6 GB : 4 cpus : on 146.155.17.18:20080 (VRDE 7764) : http://146.155.17.18:20080/omeka/
* owncloud: 6GB : 4 cpus : on 146.155.17.18:17080 (VRDE 7765) : http://146.155.17.18:17080/owncloud/ => http://owncloud.cedeus.cl
* gitlab: 4GB : 2 cpus : on 146.155.17.18:18080 (VRDE 7766) : http://146.155.17.18:18080/ (Off, trasladada a http://146.155.17.14:18080/ )
* indicator 1GB : 1 cpus : on 146.155.17.18:21080 (VRDE 7767) : http://146.155.17.18:21080/
* gatherer 2GB : 1 cpus : on 146.155.17.18:22080 (VRDE 7768) :
* otp 4GB : 4 cpus : on 146.155.17.18:23080 (VRDE 7769) : http://146.155.17.18:23080/ (OpenTripPlanner 0.20) (off, trasladada a http://146.155.17.19:17050/ )
* overpass : 4 GB : 2 cpus : on 146.155.17.18:24080 (VRDE 7770) : http://146.155.17.18:24080/api/interpreter/data=[data] (off, trasladada a http://146.155.17.19:17051/ )
* geonode20b : 12 GB : 6 cpus : on 146.155.17.18:16080 (VRDE 3389) : http://146.155.17.18:16080 => Copy of GeoNode from June 2015 we used for bug fixing
*: => Note, geonode20b has port CONFLICT with tilestream VM
*: => switched off
* geonodeTest: 8 GB : 4 cpus : on 146.155.17.18:16080 (VRDE 7771) : http://146.155.17.18:16080 => Test of Geonode 2.4
*: => Note, port CONFLICT with tilestream and geonode20b

'''CedeusGeoNode reverse-proxy + geosteiniger.cl DNS zone editor settings'''
* GeoNode: 146.155.17.19:13080 => geonode1204 VM => cedeusdata.geosteiniger.cl
* Personal wiki : 1146.155.17.19:21080/mediawiki-1.22.7/ => wiki.geosteiniger.cl/wiki/
* Cedeus wiki : 146.155.17.19/wiki/ => Wiki VM => cedeuswiki.geosteiniger.cl/wiki/
* OTP : 146.155.17.54:8080/opentripplanner-webapp/ => otp.geosteiniger.cl/opentripplanner-webapp/
* Tilestream 146.155.17.18:16088/#!/map/Fondef => tilestream.geosteiniger.cl/#!/map/Fondef

Hosting info for [http://www.tcpiputils.com/browse/domain/puc.cl Puc.cl] -> name servers etc.

== presentaciones ==
* 18.Dic.2014 : Coloquio "IDE Universidades" de SNIT (M. Bienes) - [http://www.geo.uzh.ch/~sstein/presentations/cedeus/idecedeus.html#0 progreso parte tecnico]
* xxx
== cache ==
[[blackboard]]

Trabajo Cristian

2017-03-17T21:19:21Z

Cris: /* Obtener polígonos formato .poly de ciudades */

AccesoBarrio

2017-03-06T20:25:51Z

Cris: /* Comparative table */

Django Prototype Santiago: http://146.155.17.19:17080/

== Aim ==
Development of a web-based platform to
* evaluate urban accessibility
* model and evaluate changes in accessibility due to transportation infrastructure changes

== Team ==
* Stefan Steiniger (lead, PUC)
* Cris Fuentes (developer)
* co-investigators:
** Ricardo Crespo (UBO),
** Juan Carlos Muñoz (PUC),
** Ricardo Hurtubia (PUC),
** Olga Barbosa (UACH),
** Carolina Rojas (UdeC)
* PhD Student:
** Ignacio Tiznado (2015-17)
** Tomas Cox (2015)
* Thesis students:
** David Muñoz (UdeC, 2016-17)
** Tomas Galdames (UdeC, 2016-17)
* part time contributors:
** Gonzalo Arias (data analyst, 4m, 2016)
** Ricardo Ardiles (web development, 4m, 2016-17)
** Cristian Villaleiva (UAV drone pilot, 4m, 2016)
** survey team:
*** Santiago: Daniel Scott, Daniela Zamora
*** Concepcion: Tomas Galdames, Juan Varas
*** Valdivia: --

== Hardware ==
* Workstation: accesobarrio-wk 146.155.17.15
* Server: camila 146.155.17.14
** WYP VM : ???
** RServer VM : 146.155.17.14:17080 - VRDE 7701
** Gitlab VM : http://146.155.17.14:18080

== Doc ==
=== WalkYourPlace Calgary (Andrew Hunter, Ebrahim Pooraziz, Stefan Steiniger) ===
* documentation: http://gisciencegroup.ucalgary.ca/wiki/index.php/Accessibility_Assessment
* access score prototype: http://webmapping.ucalgary.ca/WPSClient/
* sources: https://github.com/mepa1363?tab=repositories
* publications:
** Steiniger, S., M.E. Poorazizi, and A.J.S. Hunter (2015).<br> '''WalkYourPlace – Development of a web-based tool to evaluate urban accessibility.''' In L. Rizzi, R. Hurtubia, P. Galilea et al. (eds): ''XVII Congreso Chileno de Ingeniería de Transporte'', Concepcion, Chile. [http://xviicongresotransporte.ubiobio.cl/tmp/CCIT-17_submission_19.pdf Paper - pdf]
** Steiniger, S., M.E. Poorazizi, and A.J.S. Hunter (2013).<br> '''WalkYourPlace – Evaluating Neighbourhood Accessibility at Street Level.''' In C. Ellul, S. Zlatanova, M. Rumor, and R. Laurini (eds): ''29th Urban Data Management Symposium''. ISPRS Archives – Volume XL-4/W1, 2013, pp. 1-6. [http://www.int-arch-photogramm-remote-sens-spatial-inf-sci.net/XL-4-W1/1/2013/isprsarchives-XL-4-W1-1-2013.pdf Paper - pdf]

=== WalkYourPlace Santiago ===
* [[setting up walkyourplace]]
* access score web service: http://146.155.17.19:17080/wypwps/

=== OSM Survey ===
* [[OSM Survey Preparation and Execution]]

== Publications ==
* Steiniger, S., Poorazizi, M. E., and A.J.S. Hunter (2016).<br>'''Planning with Citizens: Implementation of an e-Planning Platform and Analysis of Research Needs.''' ''Urban Planning'' 1(2): 49-64. DOI: 10.17645/up.v1i2.607 - Open Access/free download: [http://www.cogitatiopress.com/ojs/index.php/urbanplanning/article/view/607 pdf]
* Steiniger, S., Poorazizi, M. E., D.R. Scott, C. Fuentes and R. Crespo (2016).<br>'''Can we use OpenStreetMap POIs for the Evaluation of Urban Accessibility?''' In: ''Proceedings of GISciene 2016'', Montreal (CAN), short paper [http://pubs.cedeus.cl/omeka/document/83 pdf]
* xxx Carol Rojas xxx
* xxx Ignacion - Mexico xxx
* xxx Tomas Cox - Australia xxx

== Comparative table ==

{| class="wikitable"
! Software
! Open Source
! GTFS
! Isochrone
! Instalación en servidor local
! Lenguaje de programación
! Detalle
! Url
|-
| Open Route Service
| ✓
| ✗
| ✓
| ✓
| Php, JavaScript
| Open Route Service permite calcular isochronos, pero no trabaja con archivos GTFS. Utiliza Leaflet y bootstrap para el diseño e interacción usuaria
| http://openrouteservice.org/
|-
| Iso4app
| ✗
| ✓
| ✓
| ✗
| JavaScript
| Si bien puede ser una buena alternativa, sólo podría ser utilizada como API REST ya que se necesita licencia
| https://www.iso4app.net/
|-
| Mapzen
| ✓
| ✓
| ✓
| ✓
| JavaScript
| Es una buena alternativa de desarrollo pero con una instalación compleja, se necesita hacer pruebas para comparar con OTP
| https://mapzen.com/
|-
| Valhalla
| ✓
| ✓
| ✓
| ✓
| JavaScript
| Es un motor de ruteo utilizado por Mapzen, la instalación es compleja y necesita hacer pruebas para definir que es mejor opción que OTP
| https://github.com/valhalla/valhalla
|-
| Route360
| ✗
| ✗
| ✓
| ✗
| Java
| Es un servicio web privativo que, a base de una solicitud de una key, permite realizar consultas en isochrone
| https://www.route360.net/
|-
| Pysochrone
| ✓
| ✗
| ✓
| ✓
| Python
| Código en Python el cual permite generar isochrones teniendo el archivo .osm.pbf, se encuentra incompleto hasta el momento, como trabajo futuro considera incluir los archivos GTFS
| https://github.com/joshdoe/pysochrone
|-
| OSRM
| ✓
| ✗
| ✓
| ✓
| C++
| Actual Back-End de OSM, código OpenSource que permite el ruteo de viajes, no está orientado a transporte público
| https://github.com/Project-OSRM/osrm-backend
|-
| Mapnificient
| ✓
| ✗
| ✓
| ✓
| JavaScript
| Servicio web que permite generar isochrones en tiempo real en su plataforma, sólo contiene algunos paises y no incluye Chile, no se especifica tampoco como generar la data para crearlo uno mismo.
| https://github.com/mapnificent/mapnificent
|-
| rrrr
| ✓
| ✓
| ✗
| ✓
| C
| Caracterizado por su rapidez, ,es un software OpenSource que permite el ruteo de viajes considerando un GTFS. No permite cálculos de isochrones
| https://github.com/bliksemlabs/rrrr
|-
| r5
| ✓
| ✓
| ✓
| ✓
| Java
| Es una API OpenSource para cálculos de rutas e isochrones considerando GTFS y la data de OSM, requere puebas para comparar con OTP
| https://github.com/conveyal/r5
|}

also http://wiki.openstreetmap.org/wiki/Routing/online_routers

AccesoBarrio

2017-03-06T20:25:31Z

Cris:

Trabajo Cristian

2017-03-03T12:41:21Z

Cris: /* CartoDB */

Trabajo Cristian

2017-02-16T19:22:35Z

Cris: /* Ver estado de la UPS */

Walkyourplace Django

2016-12-27T21:31:07Z

Cris: /* Cambio de frecuencia de buses editando el archivo GTFS de Santiago */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

== Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==

Se trabaja actualmente en la construcción de una herramienta que permia cambiar las frecuencias de las líneas de buses y metro de la ciudad de Santiago con el objetivo de poder analizar los cambios de accesibilidad urbana derivadas de ésto. Con ello, en Django Python, se cargó en una base de datos SQLite (aparte de la que ya utiliza Django) el GTFS de los datos de la ciudad en cuestión gracias al módulo pygtfs. Para utilizar sus datos solo basta con llamarlos con sus funciones.

Con ello, las frecuencias de los recorridos se encuentran en el archivo frequencies.txt dentro del archivo comprimido GTFS.zip. Con el módulo pygtfs previamente configurado se pueden llamar dichos datos con los comandos

<source lang="python">
sched = pygtfs.Schedule(MEDIA_ROOT + 'gtfs.sqlite')
frequencies = sched.frequencies
</source>

generando en '''frequencies''' una lista con todas las frecuencias y los datos adjuntos que podemos ver en el mismo archivo de texto pero como objeto python.

Luego se creó una vista en [http://146.155.17.19:17080/gtfs/update_frequencies] en donde encontraremos un espacio de selección de viaje identificado por su ID en la cual al ser seleccionada se desplegará su información, tal como su hora de inicio, hora de fin y su frecuencia de salida, este último en un campo editable. Cuando ya cambiamos este valor, podemos guardar este dato en una lista de futuros datos para ser actualizados, la cual la podemos ver en la zona inferior de este formulario. Ésta lista puede ser tan grande como SQLite aguante.

Para construir esta lista, se debió de crear una copia de los modelos que hay en pygtfs en la base de datos local de Django manteniendo solo los datos que se desean cambiar, al ser eliminados de la lista también son eliminados de la base de datos para evitar que éste se llene o cause algún tipo de inconveniente.

Ya cuando tengamos todos nuestros cambios guardados, apretamos en el botón de '''Actualizar GTFS'''. Éste proceso puede llegar a tardar entre 7 a 8 minutos en ser completado, por lo que el botón se bloqueará durante este tiempo. Una vez finalizado debemos dirigirnos al panel de administración para cambiar el router de evaluación y utilizar el que acabamos de construir. Para ello se entra a [http://146.155.17.19:17080/admin/wyp/server/1/change/] y se modifica la URL en cuestion para cambiar '''/routers/<texto-a-cambiar>/isochrone?''' por '''/routers/WYP/isochrone?'''. Una vez realizado este cambio podemos efectuar las consultas con nuestras nuevas frecuencias de buses.

Cabe destacar que este proceso es temporal mientras no se construya un front-end ideal, ésta herramienta se construyó de esta forma para probar su funcionalidad y no garantiza lo más óptimo.

== API REST para obtener datos del archivo de frecuencia de buses ==

Para que el putno anterior de esta documentación funcione correctamente, fue necesario que se creara una API REST que nos permita obtener datos de las frecuencias mientras que por GET le enviemos la ID correspondiente al tramo a evaluar. En otras palabras, debemos ingresar una URL como ésta [http://146.155.17.19:17080/gtfs/frec_REST?f=101-I-S_V25-B14] y obtendremos un objeto Json con la información en cuestión.

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Walkyourplace Django

2016-12-27T21:26:27Z

Cris: /* Funcionamiento actual */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

== Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==

Se trabaja actualmente en la construcción de una herramienta que permia cambiar las frecuencias de las líneas de buses y metro de la ciudad de Santiago con el objetivo de poder analizar los cambios de accesibilidad urbana derivadas de ésto. Con ello, en Django Python, se cargó en una base de datos SQLite (aparte de la que ya utiliza Django) el GTFS de los datos de la ciudad en cuestión gracias al módulo pygtfs. Para utilizar sus datos solo basta con llamarlos con sus funciones.

Con ello, las frecuencias de los recorridos se encuentran en el archivo frequencies.txt dentro del archivo comprimido GTFS.zip. Con el módulo pygtfs previamente configurado se pueden llamar dichos datos con los comandos

<source lang="python">
sched = pygtfs.Schedule(MEDIA_ROOT + 'gtfs.sqlite')
frequencies = sched.frequencies
</source>

generando en '''frequencies''' una lista con todas las frecuencias y los datos adjuntos que podemos ver en el mismo archivo de texto pero como objeto python.

Luego se creó una vista en [http://146.155.17.19:17080/gtfs/update_frequencies] en donde encontraremos un espacio de selección de viaje identificado por su ID en la cual al ser seleccionada se desplegará su información, tal como su hora de inicio, hora de fin y su frecuencia de salida, este último en un campo editable. Cuando ya cambiamos este valor, podemos guardar este dato en una lista de futuros datos para ser actualizados, la cual la podemos ver en la zona inferior de este formulario. Ésta lista puede ser tan grande como SQLite aguante.

Para construir esta lista, se debió de crear una copia de los modelos que hay en pygtfs en la base de datos local de Django manteniendo solo los datos que se desean cambiar, al ser eliminados de la lista también son eliminados de la base de datos para evitar que éste se llene o cause algún tipo de inconveniente.

Ya cuando tengamos todos nuestros cambios guardados, apretamos en el botón de '''Actualizar GTFS'''. Éste proceso puede llegar a tardar entre 7 a 8 minutos en ser completado, por lo que el botón se bloqueará durante este tiempo. Una vez finalizado debemos dirigirnos al panel de administración para cambiar el router de evaluación y utilizar el que acabamos de construir. Para ello se entra a [http://146.155.17.19:17080/admin/wyp/server/1/change/] y se modifica la URL en cuestion para cambiar '''/routers/<texto-a-cambiar>/isochrone?''' por '''/routers/WYP/isochrone?'''. Una vez realizado este cambio podemos efectuar las consultas con nuestras nuevas frecuencias de buses.

Cabe destacar que este proceso es temporal mientras no se construya un front-end ideal, ésta herramienta se construyó de esta forma para probar su funcionalidad y no garantiza lo más óptimo.

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.14:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Walkyourplace Django

2016-12-27T21:26:00Z

Cris: /* Cambio de frecuencia de buses editando el archivo GTFS de Santiago */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

== Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==

Se trabaja actualmente en la construcción de una herramienta que permia cambiar las frecuencias de las líneas de buses y metro de la ciudad de Santiago con el objetivo de poder analizar los cambios de accesibilidad urbana derivadas de ésto. Con ello, en Django Python, se cargó en una base de datos SQLite (aparte de la que ya utiliza Django) el GTFS de los datos de la ciudad en cuestión gracias al módulo pygtfs. Para utilizar sus datos solo basta con llamarlos con sus funciones.

Con ello, las frecuencias de los recorridos se encuentran en el archivo frequencies.txt dentro del archivo comprimido GTFS.zip. Con el módulo pygtfs previamente configurado se pueden llamar dichos datos con los comandos

<source lang="python">
sched = pygtfs.Schedule(MEDIA_ROOT + 'gtfs.sqlite')
frequencies = sched.frequencies
</source>

generando en '''frequencies''' una lista con todas las frecuencias y los datos adjuntos que podemos ver en el mismo archivo de texto pero como objeto python.

Luego se creó una vista en [http://146.155.17.19:17080/gtfs/update_frequencies] en donde encontraremos un espacio de selección de viaje identificado por su ID en la cual al ser seleccionada se desplegará su información, tal como su hora de inicio, hora de fin y su frecuencia de salida, este último en un campo editable. Cuando ya cambiamos este valor, podemos guardar este dato en una lista de futuros datos para ser actualizados, la cual la podemos ver en la zona inferior de este formulario. Ésta lista puede ser tan grande como SQLite aguante.

Para construir esta lista, se debió de crear una copia de los modelos que hay en pygtfs en la base de datos local de Django manteniendo solo los datos que se desean cambiar, al ser eliminados de la lista también son eliminados de la base de datos para evitar que éste se llene o cause algún tipo de inconveniente.

Ya cuando tengamos todos nuestros cambios guardados, apretamos en el botón de '''Actualizar GTFS'''. Éste proceso puede llegar a tardar entre 7 a 8 minutos en ser completado, por lo que el botón se bloqueará durante este tiempo. Una vez finalizado debemos dirigirnos al panel de administración para cambiar el router de evaluación y utilizar el que acabamos de construir. Para ello se entra a [http://146.155.17.19:17080/admin/wyp/server/1/change/] y se modifica la URL en cuestion para cambiar '''/routers/<texto-a-cambiar>/isochrone?''' por '''/routers/WYP/isochrone?'''. Una vez realizado este cambio podemos efectuar las consultas con nuestras nuevas frecuencias de buses.

Cabe destacar que este proceso es temporal mientras no se construya un front-end ideal, ésta herramienta se construyó de esta forma para probar su funcionalidad y no garantiza lo más óptimo.

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Walkyourplace Django

2016-12-27T21:06:33Z

Cris: /* Sistema de Log para análisis de archivos CSV */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

== Cambio de frecuencia de buses editando el archivo GTFS de Santiago ==

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Installing Omeka for CEDEUS

2016-11-07T19:51:42Z

Cris:

>> return to [[Cedeus IDE]]
----
== Installing Omeka ==

=== Setup of Omeka VM ===
==== Setup of VM based on Ubuntu 1404 VM ====
# copying basicubuntu1404.vdi file and renaming to omeka_ubuntu.vdi (note, accidentally I i used the nominatim VM disc, so I copied and renamed the VDI file to omeka_w_nominatim.vdi)
# creating the omeka VM on CedeusDB (ip.18):
#* <code>VBoxManage createvm --name omeka --ostype Ubuntu_64 --register</code>
#* <code>VBoxManage modifyvm omeka --memory 8096</code>
#* <code>VBoxManage modifyvm omeka --cpus 4</code>
#* <code>VBoxManage modifyvm omeka --nic1 nat</code>
#* <code>VBoxManage storagectl omeka --name "SATA Controller" --add sata --controller IntelAhci</code>
#* <code>VBoxManage internalcommands sethduuid omeka_w_nominatim.vdi</code>
#* <code>VBoxManage storageattach "omeka" --storagectl "SATA Controller" --port 0 --device 0 --type hdd --medium omeka_w_nominatim.vdi</code>
#* <code>VBoxManage storagectl omeka --name "IDE Controller" --add ide --controller PIIX4</code>
#* <code>VBoxManage modifyvm omeka --natpf1 "ssh,tcp,,20022,,22"</code>
#* <code>VBoxManage modifyvm omeka --natpf1 "apache,tcp,,20080,,80"</code>
#* <code>VBoxManage modifyvm omeka --vrdeport 7764</code>
# start VM and change the computers name:
#* <code>VBoxHeadless -s omeka --vrde on &</code>
#* change computers name in /etc/hosts and /etc/hostname to omeka
#* restarting Apache gives the error message: "apache2: Could not reliably determine the server's fully qualified domain name, using 127.0.1.1 ..."
#:: => solve this by adding ServerName nominatim as the last line in /etc/apache2/apache2.conf file
#* add additional users

==== Adjustments to Apache config file ====
changes to ''/etc/apache2/sites-available/000-default.conf''

<VirtualHost *:80 146.155.17.18:20022>

#ServerName www.example.com
ServerName cedeuspubs.geosteiniger.cl
ServerAdmin webmaster@localhost
DocumentRoot /var/www/html

Redirect /pubs http://cedeuspubs.geosteiniger.cl/omeka/

ErrorLog ${APACHE_LOG_DIR}/error.log
CustomLog ${APACHE_LOG_DIR}/access.log combined

<Directory "/var/www/html/nominatim/">
Options FollowSymLinks MultiViews
AddType text/html .php
</Directory>

<Directory /var/www/>
Options Indexes FollowSymLinks MultiViews
AllowOverride All
Order allow,deny
allow from all
</Directory>

<Directory "/var/www/html">
AllowOverride All
</Directory>

<Directory "/var/www/html/omeka">
AllowOverride All
</Directory>

RedirectMatch ^/$ /omeka/
</VirtualHost>

== Notes on Omeka ==

=== starting to use Omeka ===
* Make a plan on how it should be used first, as described here: http://omeka.org/codex/Site_Planning_Tips
* items and collection (formed of items) are the basic elements:
** items: http://omeka.org/codex/Managing_Items_2.0
** collections: http://omeka.org/codex/Managing_Collections_2.0

=== public vs private items ===
see:
* http://omeka.org/forums/topic/issues-with-contributor-user-role
* plugins:
** http://omeka.org/codex/Plugins/Contribution_2.0 and, corresponding "guest user plugin":
** http://omeka.org/codex/Plugins/GuestUser_2.0
* and, perhaps ??? for (filter) plugin development: http://omeka.org/forums/topic/ability-to-set-files-to-public-or-private

=== changing file upload size ===

Omeka uses the PhP default settings. So how to do that see http://www.cyberciti.biz/faq/linux-unix-apache-increase-php-upload-limit/

* open ''/etc/php5/apache2/php.ini''
* set the following variables:
** <code>upload_max_filesize</code> (I chose 60MB)
** <code>memory_limit</code> (I chose 128MB)
** <code>post_max_size</code> (I chose 80MB)

=== Zotero and Omeka ===

Omeka can import data from a Zotero Group, so...
* I created a new Zotero group with my account (public visible, but private membership): https://www.zotero.org/groups/observatorio_cedeus
* Then I generated an API access key for this group (from my Zotero home/account page) that allows read access only to this new Observatory group
* Then I copied the Atom Feed URL to the Omeka Form, including the Zotero Access key
* Then I was able to select/and access stuff stored in the new group library (Ebrhaims 2015 IJGI paper) and importing it as item into Omeka.
*: => Note, the '''pdf''' of the publication was '''not attached'''! I added the pdf file later manually from my desktop using ''Item'' > ''Editar'' > ''Archivos''.

= Solution for hdd problem =

for the problem '''Error: failed to start machine. Error message: UUID {64c8360e-8ce4-48de-844a-f3182a6815f1} of the medium '/home/ssteinig/omeka_w_nominatim.vdi' does not match the value {b7f765c4-c84e-4a34-87ac-c0fda5a6bdcf} stored in the media registry ('/home/ssteinig/.config/VirtualBox/VirtualBox.xml')'''

<source lang="bash">
VBoxManage storageattach "omeka2" --storagectl "SATA Controller" --port 0 --device 0 --type hdd --medium none
VBoxManage closemedium disk b7f765c4-c84e-4a34-87ac-c0fda5a6bdcf
VBoxManage storageattach "omeka2" --storagectl "SATA Controller" --port 0 --device 0 --type hdd --medium omeka_w_nominatim.vdi
</source>

Trabajo Cristian

2016-09-22T22:19:52Z

Cris: /* Arrancar web cuando páginas están en Django Python */

Trabajo Cristian

2016-09-20T15:23:11Z

Cris: /* OpenTripPlanner */

Trabajo Cristian

2016-09-20T15:19:58Z

Cris: /* Instalación de Overpass API */

Trabajo Cristian

2016-09-20T15:12:30Z

Cris: /* Instalación de Overpass API */

Walkyourplace Django

2016-09-09T04:14:59Z

Cris: /* Funcionamiento actual */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/ y se encuentra funcionando en http://146.155.17.19:17080/

Walkyourplace Django

2016-09-09T04:13:31Z

Cris: /* Análisis de muchos puntos mediante la subida de un archivo CSV */

Update 08-09-2016

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike Model ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

Finalmente necesitamos enlazar todo este código, por lo que creamos una nueva función en el archivo wyp/views.py con:

<source lang="python">
from wyp.ManagementServiceBike import management as managementBike
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function))
</source>

y lo agregamos en wypdjango/urls.py

<source lang="python">
from wyp.views import inicio, xml
...
urlpatterns = patterns('',
...
url(r'^call_wps.php',xml),
)
</source>

y finalmente ejecutamos el comando para correr el servidor y probamos que todo funciona correctamente.
<source lang="bash">
python manage.py runserver
</source>

== Pedestrian & Transit Model ==

Ahora podemos agregar la característica de caminata en el proyecto, para ello copiamos solo el archivo ManagementService.py que se encuentra en Pedestrian en (2) y le cambiamos el nombre a ManagementServicePedestrian.py y hacemos algo muy similar que el archivo de Bike, primero eliminamos todo lo relacionado con bottle:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
if start_point and walking_time_period and walking_speed and distance_decay_function is not None:
return management(start_point, walking_time_period, walking_speed, distance_decay_function)
run(host='0.0.0.0', port=8363, debug=True)
</source>

y reacemos la función management(), la diferencia con Bike es que en éste se utiliza isochroneOLD para obtener el espacio posible, por lo que nuestra nueva función queda:

<source lang="python">
def management(start_point, walking_time_period, walking_speed, distance_decay_function):
otp_isochroneOLD_url = 'http://146.155.17.18:23080/otp/routers/default/isochroneOld?'
otp_dataInputs = 'fromPlace=%s&walkTime=%s&walkSpeed=%s&mode=WALK&toPlace=-33.5846161,-70.5410151&output=SHED' % (
start_point, walking_time_period, walking_speed)
otp_url = otp_isochroneOLD_url + otp_dataInputs
try:
walkshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
try:
poi_data = getPOIs(walkshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(walkshed)
aggregation_data = aggregation(start_point,walkshed,crime_data,poi_data,distance_decay_function,walking_time_period)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

y editamos el archivo wyp/views.py para que acepte los datos de Pedestrian:

<source lang="python">
from ManagementServicePedestrian import management as managementPedestrian

def xml(request):
...
elif approach == 'pedestrian':
start_point = request.GET.get('start_point', default=None)
walking_time_period = request.GET.get('walking_time_period', default=None)
walking_speed = request.GET.get('walking_speed', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function))
</source>

Y probamos como va funcionando con

<source lang="bash">
python manage.py runserver
</source>

Para Transit hay que seguir pasos similares a Pedestrian, observar el código para ver como queda configurado.

== Resultados ==

Finalmente el programa queda funcionando con muchos menos procesos y de forma más independiente, no requiere de una instalación de geoserver, tan solo Django Python, html, css y js.

= Características nuevas =

Gracias a Django fue posible crear un panel de administración para modificar ciertos valores dentro del código, además de agregar características nuevas que se explicarán a continuación:

== Demographic group ==

La idea es evaluar los POIs para distintos grupos demográficos, quien hace ese trabajo es la función de AggregationService.py, pero para que la petición llegue desde la interfaz también debe de llegarle a ManagementService.py, por lo que realizaremos estas modificaciones:

Primero creamos el modelo de datos que contendrá a las opciones de grupos demográficos en la base de datos, para ello editamos el archivo wyp/models.py y agregamos lo siguiente:

<source lang="python">
from django.db import models

class Demographic(models.Model):
value = models.CharField(max_length=255) #Nombre de la opcion demografica
bank = models.CharField(max_length=255) #Pesos
grocery = models.CharField(max_length=255)
restaurant = models.CharField(max_length=255)
shopping = models.CharField(max_length=255)
entertainment = models.CharField(max_length=255)
school = models.CharField(max_length=255)
library = models.CharField(max_length=255)
health = models.CharField(max_length=255)
sum = models.FloatField(blank=True,default=0) #Suma de los pesos anteriores
score_factor = models.FloatField(blank=True,default=0) #Valor de ponderacion

def __unicode__(self):
return self.value

#Generar el resultado de sum y score_factor automaticamente al guardar
def save(self, *args, **kwargs):
sumando = 0
for i in ast.literal_eval(self.bank):
sumando += i
for i in ast.literal_eval(self.grocery):
sumando += i
for i in ast.literal_eval(self.restaurant):
sumando += i
for i in ast.literal_eval(self.shopping):
sumando += i
for i in ast.literal_eval(self.entertainment):
sumando += i
for i in ast.literal_eval(self.school):
sumando += i
for i in ast.literal_eval(self.library):
sumando += i
for i in ast.literal_eval(self.health):
sumando += i
self.sum = sumando
self.score_factor = 100.0/float(sumando)
super(Demographic,self).save(*args, **kwargs)
</source>

Agregamos este modelo al panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic

admin.site.register(Demographic)
</source>

Modificamos el archivo wyp/views.py para mandar estos datos a la vista html

<source lang="python">
def inicio(request):
demographic = Demographic.objects.all()
return render_to_response('index.html',{'demographic':demographic},context_instance=RequestContext(request))
</source>

Luego modificamos el archivo html que se encuentra en template para que éstos aparezcan dinámicamente como una lista de opciones. template/index.html

<source lang="html4strict">
<h3>Cycling Model</h3>

<div>
<form id="call_wps_bike" method="post" action="#">
<fieldset>
<ul>
...

<li><input type="checkbox" id="distance_decay_function_bike"
name="distance_decay_function"/>Distance
Decay Function
</li>

<li>
To:
<select id="demographic_bike">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<input type="button" class="button" onclick="call_wps('bike')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Walking Model</h3>

<div>
<form id="call_wps_pedestrian" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_pedestrian" name="start_point_pedestrian"
readonly/>
</li>
...

<div id="walking_speed_pedestrian"
style="width: 100px; height: 6px; margin:15px 10px auto 15px; display: inline-block;"></div>
<span style="font-size: 10px;">Fast</span>
</div>
</li>

<li>
To:
<select id="demographic_pedestrian">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

<li><input type="checkbox" id="distance_decay_function_pedestrian"
name="distance_decay_function"/>Distance
Decay Function
</li>

<input type="button" class="button" onclick="call_wps('pedestrian')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>

<h3>Transit and Walking Model</h3>

<div>
<form id="call_wps_transit" method="post" action="#">
<fieldset>
<ul>
<li>
<input type="hidden" id="start_point_transit" name="start_point_transit" readonly/>
</li>
...

<li>
To:
<select id="demographic_transit">
{% for demo in demographic%}
<option value="{{demo.value}}">{{demo.value}}</option>
{% endfor %}
</select>
</li>

...

<input type="button" class="button" onclick="call_wps('transit')"
value="Get Accessibility Score"/>
</ul>
</fieldset>
</form>
</div>
</source>

Para que estos valores sean reconocidos por el js que llama a la url /call_wps.php hay que modificar el archivo template/js/main.js para cada una de las opciones que se le agregó la opción demográfica

<source lang="javascript">
function call_wps(approach){
var start_point;
...
var wps_call;
var demographic;

switch (approach) {
case "bike":
start_point = $('#start_point_bike').val();
biking_time_period = $('#biking_time_period_amount').val();
distance_decay_function = $('#distance_decay_function_bike').prop('checked');
demographic = $('#demographic_bike option:selected').text();
wps_call = "call_wps.php?wps=bike&start_point=" + start_point + "&biking_time_period=" + biking_time_period + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "pedestrian":
start_point = $('#start_point_pedestrian').val();
walking_time_period = $('#walking_time_period_amount_pedestrian').val();
walking_speed_amount = $('#walking_speed_amount_pedestrian').val();
demographic = $('#demographic_pedestrian option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_pedestrian').prop('checked');
wps_call = "call_wps.php?wps=pedestrian&start_point=" + start_point + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
case "transit":
start_point = $('#start_point_transit').val();
walking_time_period = $('#walking_time_period_amount_transit').val();
walking_speed_amount = $('#walking_speed_amount_transit').val();
demographic = $('#demographic_transit option:selected').text();
switch (walking_speed_amount) {
case '3':
walking_speed = .83;
break;
case '3.5':
walking_speed = .97;
break;
case '4':
walking_speed = 1.11;
break;
case '4.5':
walking_speed = 1.25;
break;
case '5':
walking_speed = 1.38;
break;
case '5.5':
walking_speed = 1.52;
break;
case '6':
walking_speed = 1.67;
break;
}
distance_decay_function = $('#distance_decay_function_transit').prop('checked');
walking_start_time = $('#walking_start_time').val() + ":00";
wps_call = "call_wps.php?wps=transit&start_point=" + start_point + "&walking_start_time=" + walking_start_time + "&walking_time_period=" + walking_time_period + "&walking_speed=" + walking_speed + "&bus_waiting_time=0&bus_riding_time=0&distance_decay_function=" + distance_decay_function + "&demographic="+demographic;
break;
}
</source>

Con ésto, ahora podemos recibir el valor escogido para la opción demográfica vía GET, por lo que ahora nos vamos a editar el archivo '''wyp/views.py''' para manejarlo.

<source lang="python">
def xml(request):
approach = request.GET.get('wps',default=None)
if approach == 'bike':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementBike(start_point,biking_time_period,distance_decay_function,demographic))
elif approach == 'pedestrian':
...
demographic = request.GET.get('demographic',default=None)
return HttpResponse(managementPedestrian(start_point,walking_time_period,walking_speed,distance_decay_function,demographic))
elif approach == 'transit':
...
demographic = request.GET.get('demographic', default=None)
return HttpResponse(managementTransit(start_point,walking_start_time,walking_time_period,walking_speed,bus_waiting_time,bus_riding_time, distance_decay_function,demographic))
else:
return HttpResponse('')
</source>

Como vemos, ahora enviamos también la opción demográfica como nuevo parámetro de la función management* por lo que debemos modificar cada uno de ellos, de todas formas para todo es lo mismo por lo que solo se explicará el cambio realizado en Bike en el archivo '''wyp/ManagementServiceBike.py'''

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
...
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
...
</source>

y finalmente debemos editar el archivo en cuestión que nos retorna la puntuación, '''wyp/AggregationService.py'''.

<source lang="python">
from models import Demographic

def aggregation(start_point, walkshed, crime_data, poi_data, distance_decay_function, walking_time_period,demographic):
if poi_data != '"NULL"':

demographic_value = Demographic.objects.get(value=demographic)

poi_weights = {"Bank": ast.literal_eval(demographic_value.bank), #bank
"Grocery": ast.literal_eval(demographic_value.grocery), #grocery
"Restaurant": ast.literal_eval(demographic_value.restaurant), #restaurant and coffee
"Shopping": ast.literal_eval(demographic_value.shopping), #shopping
"Entertainment": ast.literal_eval(demographic_value.entertainment), #entertainment
"School": ast.literal_eval(demographic_value.school), #school
"Library": ast.literal_eval(demographic_value.library), #library
"Health": ast.literal_eval(demographic_value.health) #health
}
</source>

Entonces, para probar que todo esto funciona debemos ejecutar estos comandos desde la raíz del proyecto

<source lang="bash">
python manage.py collectstatics #por la midificacion de template/js/main.js
python manage.py makemigrations # por la creacion del modelo Demographic
python manage.py migrate
python manage.py runserver
</source>

== Alerta cuando uno de los servidores externos está caido ==

Ha pasado que las VMs de OTP y de Overpass se caen por alguna razón o simplemente no parten correctamente lo que afecta directamente el funcionamiento de esta aplicación, para ello es importante saber cuál es la que está causando el problema, con ello necesitamos primero encontrar el error por lo que editaremos lo siguiente (nuevamente se mostrará con Bike, se realizó lo mismo con Pedestrian y Transit)

En el archivo '''wyp/ManagementServiceBike.py''' agregamos:

<source lang="python">
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
...
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
</source>

Y para generar la alerta lo haremos gracias a la ayuda del archivo '''template/js/main.js'''

<source lang="javascript">
},
success: function (data, status) {
var wps_results = $.parseJSON(data);

var error_result = wps_results['error'];
if (error_result){
$.unblockUI();
alert(error_result);
}
</source>

== Cambio de servidores de OTP y de overpass por panel de administración ==

Una de las cosas principales que tiene Django es que cuenta con un panel de administración para poder editar la información de la base de datos o controlar ciertas configuraciones. En este caso crearemos un panel que permita intercambiar el servidor de OTP o de Overpass a cual queramos, para ello la guardaremos en la base de datos editando el archivo '''wyp/models.py'''

<source lang="python">
class Server(models.Model):
overpass = models.CharField(max_length=255,default='http://146.155.17.18:24080/api/interpreter')
otp_bike = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochrone?&')
otp_walk = models.CharField(max_length=255,default='http://146.155.17.18:23080/otp/routers/default/isochroneOld?')
</source>

Lo agregamos al panel de administración agregando estas líneas en '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server
admin.site.register(Server)
</source>

Ejecutamos las siguientes líneas de comando para agregar la información a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py createsuperuser #crear un superusuario
python manage.py runserver
</source>

Entramos ahora a la dirección http://localhost:8000/admin/ e ingresamos con el superusuario, entramos a Servers y creamos un elemento, los campos vendrán listos por lo que solo hay que guardar tal cual como sale.

Luego editamos los archivos en donde se encuentra esta información

'''wyp/ManagementServiceBike.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_bike
</source>

'''wyp/ManagementServicePedestrian.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/ManagementServiceTransit.py'''
<source lang="python">
otp_isochrone_url = Server.objects.all()[0].otp_walk
</source>

'''wyp/POIService.py'''
<source lang="python">
_overpass_url = Server.objects.all()[0].overpass
</source>

== Análisis de muchos puntos mediante la subida de un archivo CSV ==

Este trabajo se realiza netamente desde el panel de administración por lo que no se necesita de intervenir la interfaz. Se necesita de un sistema que reciba el archiv csv, lo lea línea por línea y lo analice según corresponda, la solución fue implementar un proceso extra (fuera de la interfaz) que realice el trabajo con tal de dejarlo funcionar toda la noche, por ejemplo.

Como lo queremos ver en el panel de administración necesitamos crearle un modelo, para ello editamos nuevamente el archivo '''wyp/models.py''' agregando

<source lang="python">
import ast, subprocess, shlex

TYPES_OF_ANALYSYS = (
('Bike','Cycling Model'),
('Walk','Walking Model'),
('Transit','Transit & Walking Model')
)

class Multiple_point_analysis(models.Model):
csv_upload = models.FileField(upload_to='csv_uploads/')
type_of_analysis = models.CharField(max_length=10,choices=TYPES_OF_ANALYSYS)
demographic_group = models.ForeignKey(Demographic)
analysed_pointset = models.BooleanField(default=False,blank=True,editable=False)
results = models.FileField(upload_to='results/', blank=True)

def __unicode__(self):
return self.csv_upload.url.split('csv_uploads/')[-1]

def save(self, *args, **kwargs):
super(Multiple_point_analysis,self).save(*args, **kwargs)
if not self.analysed_pointset:
subprocess.Popen(shlex.split('python manage.py mass_analysis -i '+str(self.id)))
</source>

y lo mostramos en el panel editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis
admin.site.register(Multiple_point_analysis)
</source>

Además debemos agregar toda la siguiente rama de archivos:
* wyp/
** management/
*** __init__.py
*** commands/
**** __init__.py
**** _private.py
**** mass_analysis.py

En donde ambos __init__.py y _private.py son archivos vacíos, management y commands carpetas y mass_analysis.py nuestra función que analizará el archivo csv. Entonces construimos el archivo '''wyp/management/commands/mass_analysis.py''' agregando las siguientes líneas:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wypdjango import settings
from wyp.models import Multiple_point_analysis
from wyp.ManagementServiceBike import management as managementBike
from wyp.ManagementServicePedestrian import management as managementPedestrian
from wyp.ManagementServiceTransit import management as managementTransit
from django.core.files import File
import json
from time import time

class Command(BaseCommand):
help = "Performs mass analysis from a csv file.\nIt requires id model to analyze."
option_list = BaseCommand.option_list + (
make_option(
'-i',action='store',
dest='i',
default='',
help='id of the csv file in the model'),
)

def handle(self, *app_labels, **options):
csv_model = options['i']
csv_model = Multiple_point_analysis.objects.get(id=int(csv_model))

filename = csv_model.csv_upload.url.split('/media/')[-1]

url = settings.MEDIA_ROOT + filename

csv = open(url,'r')
lines = csv.read().split('\n')
csv.close()

temp = open('/tmp/analysis_from_wyp.csv','w')
temp.write('id;x;y;score;area;time;POI count;\n')

id_result = 1

try:

if csv_model.type_of_analysis == 'Bike':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;biking_time_period;distance_decay_function;
start_point = aux[1]+','+aux[2]
biking_time_period = aux[3]
distance_decay_function = aux[4]
start_time = time()
results = managementBike(start_point,biking_time_period,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result)+';'+aux[1]+';'+aux[2]+';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

if csv_model.type_of_analysis == 'Walk':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
#aux = id;x;y;walking_time_period;walking_speed;distance_decay_function;
start_point = aux[1]+';'+aux[2]
walking_time_period = aux[3]
walking_speed = aux[4]
distance_decay_function = aux[5]
start_time = time()
results = managementPedestrian(start_point, walking_time_period, walking_speed, distance_decay_function, csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1
if csv_model.type_of_analysis == 'Transit':
for line in lines:
aux = line.split(';')
if aux[0] != 'id' and len(aux)>2:
# aux = id;x;y;start_time;walking_time_period;walking_speed;bus_waiting_time;bus_ride_time;distance_decay_function
start_point = aux[1] + ';' + aux[2]
start_time_transit = aux[3]
walking_time_period = aux[4]
walking_speed = aux[5]
#bus_waiting_time = aux[6]
bus_waiting_time = '0'
#bus_ride_time = aux[7]
bus_ride_time = '0'
distance_decay_function = aux[6]
start_time = time()
results = managementTransit(start_point,start_time_transit,walking_time_period,walking_speed,bus_waiting_time,bus_ride_time,distance_decay_function,csv_model.demographic_group.value)
elapsed_time = time() - start_time
results = json.loads(results)
text = str(id_result) + ';' + aux[1] + ';' + aux[2] + ';'+results['walkshed']['properties']['score']+';'+str(results['walkshed']['properties']['area'])+';'+str(elapsed_time)+';'+str(len(results['poi']['features']))+';\n'
temp.write(text)
id_result += 1

except Exception as e:
pass

#Pendiente!!!!!
if csv_model.type_of_analysis == 'Transit':
management(start_point, start_time, walking_time_period, walking_speed, bus_waiting_time, bus_ride_time, distance_decay_function)
pass

temp.close()

csv_model.analysed_pointset = True
csv_model.results.save('results/' + csv_model.csv_upload.name.split('csv_uploads/')[-1] + '.csv', File(open('/tmp/analysis_from_wyp.csv')))
csv_model.save()
</source>

Finalmente ejecuntamos estas líneas de comando para agregar el modelo a la base de datos:

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
python manage.py runserver
</source>

Entramos a http://localhost:8000/admin y nos encontraremos con la opción de Multiple_point_analysis en donde tenemos que hacer click en "add multiple_point_analysis". Llenamos los campos que se encuentran en negrita y apretamos en "SAVE". Esperamos a que finalice (~15 segundos por línea de CSV) y los resultados estarán en el campo "Results" como archivo csv para descargar.

== Sistema de Log para análisis de archivos CSV ==

Como no se sabe si de verdad está funcionando o hay problemas de por medio al momento de analizar un archivo CSV, se creó un sistema de log que nos permita saber que es lo que está sucediendo. Para ello lo creamos como proceso al igual que el análisis del archivo. por lo que creamos el archivo '''wyp/management/commands/log.py''' y le agregamos:

<source lang="python">
from optparse import make_option
from django.core.management.base import BaseCommand, CommandError
from wyp.models import Log_wyp

class Command(BaseCommand):

help = "Save logs to the system"

option_list = BaseCommand.option_list + (
make_option(
'-l',action='store',
dest='l',
default='',
help='message log'),
)

def handle(self, *app_labels, **options):
message = options['l']

if message != '':
if len(message)>255:
Log_wyp(log=message[:255]).save()
else:
Log_wyp(log=message).save()
</source>

y agregamos el modelo en el archivo '''wyp/models.py'''

<source lang="python">
class Log_wyp(models.Model):
log = models.CharField(max_length=255,default='')
created = models.DateTimeField(auto_now_add=True)

def __unicode__(self):
return str(self.created.strftime('%Y-%m-%d %H:%M:%S')) + ' ' +self.log
</source>

Lo mostramos en el panel de administración editando el archivo '''wyp/admin.py'''

<source lang="python">
from wyp.models import Demographic, Server, Multiple_point_analysis, Log_wyp
admin.site.register(Log_wyp)
</source>

Ejecutamos los comandos para agregar el modelo a la base de datos

<source lang="bash">
python manage.py makemigrations
python manage.py migrate
</source>

ahora, para poder agregar cualquier log lo podemos hacer ejecutando el comando:
<source lang="bash">
python manage.py log -l "Mensaje a registrar"
</source>

Por lo que, por ejemplo, al integrarlo al archivo '''wyp/management/commands/mass_analysis.py''' se realizó lo siguiente:

<source lang="python">
import ast, subprocess, shlex

subprocess.Popen(shlex.split('python manage.py log -l "' + filename + ' Starting analysis"'))
</source>

= Funcionamiento actual =

El código se puede encontrar acá: http://146.155.17.18:18080/csfuente/wyp-django/

Walkyourplace Django

2016-09-09T03:53:35Z

Cris: /* Características nuevas */

Walkyourplace Django

2016-09-09T03:33:51Z

Cris: /* Características nuevas */

Walkyourplace Django

2016-09-09T03:16:46Z

Cris: /* Características nuevas */

Walkyourplace Django

2016-09-09T02:46:54Z

Cris:

Walkyourplace Django

2016-09-08T22:20:49Z

Cris:

Walkyourplace Django

2016-09-08T22:07:01Z

Cris:

= State of the art =

EL código que se comenzó a editar se extrajo de los siguientes link:
* (1) https://github.com/mepa1363/wyp-client
* (2) https://github.com/mepa1363/wyp-server-ogc
* (3) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-transit
* (4) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-bike
* (5) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-pedestrian
* (6) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkscore
* (7) https://github.com/mepa1363/wyp-wrapper-geoserver-centralized-walkourplace

De los cuales (1) es la interfaz gráfica, (2) es el servidor el cual crea los puertos para la comunicación y los demás son los módulos de geoserver para manejar las peticiones.

= Migración a Django Python =

Lo primero es crear un nuevo proyecto en Django

<source lang="bash">
django-admin startproject wypdjango
cd wypdjango
</source>

En donde nos encontramos con:
* manage.py
* wypdjango/
** __init__.py
** settings.py
** urls.py
** wsgi.py

'''Manage.py''' es quien nos ayudará a correr la web, tanto en etapa de desarrollo como en producción, éste tomará en cuenta todas las carpetas que contengan el archivo '''__init__.py''' (el cual no cuenta con contenido), por lo mismo éste archivo no debe ser editado. '''Settings.py''' es en donde se encuentra toda la configuración que le asignemos, entre ella la conexión a la base de datos y la posición de los templates html. '''Urls.py''' será en donde listemos las URLs que queramos utilizar, además cumple la función de enlazar dicha url con una función desarrollada en lenguaje Python. Entonces, sabiendo esto hay que crear dos nuevas carpetas llamadas '''static''' y '''template''', la primera para contener todos los archivos css y js que necesitemos y la segunda para retener todos los html, luego editamos el archivo '''wypdjango/settings.py''' con lo siguiente:

<source lang="python">
import os
BASE_DIR = os.path.dirname(os.path.dirname(__file__))
PROJECT_PATH = os.path.realpath(os.path.dirname(__file__))

...

INSTALLED_APPS = (
...
'django.contrib.staticfiles',
'wyp',
)
...
STATIC_URL = '/static/'

TEMPLATE_DIRS = (
PROJECT_PATH + '/../template/',
)

STATIC_ROOT = PROJECT_PATH + '/../static/'

ADMIN_MEDIA_PREFIX = '/static/admin/'

STATICFILES_DIRS = (
os.path.join(BASE_DIR,'template'),
)
</source>

Luego se clona el repositorio git (1) dentro de la carpeta template

<source lang="bash">
cd template
git clone https://github.com/mepa1363/wyp-client .
</source>

Volvemos a la raíz y creamos una app dentro del proyecto para manejar la aparición del templace

<source lang="bash">
cd ..
django-admin startapp wyp
</source>

Con esto se crea una carpeta llamada '''wyp''' con:
* __init__.py
* admin.py
* models.py
* test.py
* views.py
En donde en models.py creamos clases que corresponderán a los modelos en la base de datos, en views.py creamos las funciones que guiarán en la aparición de las vistas (Que posteriormente llamaremos con urls.py), admin.py que es donde se registran los modelos de la bse de datos que se quieran mostrar en el panel de administración. Test.py para realizar pruebas (nunca lo he ocupado) e __init__.py para que sea reconocido por manage.py.

En wyp/views.py editamos lo siguiente:

<source lang="python">
from django.shortcuts import render_to_response
from django.template.context import RequestContext

def inicio(request):
return render_to_response('index.html',context_instance=RequestContext(request))
</source>

y en wypdjango/urls.py editamos:

<source lang="python">
from wyp.views import inicio

urlpatterns = patterns('',
...
url(r'^admin/', include(admin.site.urls)),
url(r'^$', inicio),
) + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
urlpatterns += staticfiles_urlpatterns()
</source>

Nos posicionamos en la raíz y ejecutamos los siguientes comandos:

<source lang="bash">
python manage.py collectstatics #Rescata los archivos css y js del panel de administración y de los que tenga el template html
python manage.py makemigrations #Crea los archivos .py para editar la base de datos
python manage.py migrate #Edita la base de datos con los cambios juntados en makemigrations
python manage.py runserver #Corre un servidor local con la web
</source>

Con el último comando corriendo, nos dirigimos a un navegador web y entramos a http://localhost:8000/ y nos encontraremos con el index.html de walkyourplace.

Ya tenemos al menos la vista principal del proyecto, ahora debemos hacerlo funcionar.

Vemos que en la web inicial los request se solicitan a la url /call_wps.php en conjunto de los datos enviados vía GET, como ahora estamos trabajando en Django dicha url no está apuntando a nada ya que no se encuentra registrada en urls.py, por lo que el código php que junta esta información y realiza la petición de la información se debe construir esta vez en Python, para ello necesitamos los archivos que procesan la información (2) y pasarlos al proyecto.

== Bike ==

Tomando de (2) los archivos de la carpeta Bike (AggregationService.py, CrimeService.py, ManagementService.py, POIService.py y config.py) y los copiamos dentro de la carpeta '''wyp'''. Tenemos que editarlos cada uno de ellos.

En AggregationService.py eliminamos las siguientes líneas:
<source lang="python">
from bottle import route, run, request
import bottle

bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/aggregation', method='POST')
def service():
poi = request.POST.get('poi', default=None)
crime = request.POST.get('crime', default=None)
walkshed = request.POST.get('bikeshed', default=None)
start_point = request.POST.get('start_point', default=None)
distance_decay_function = request.POST.get('distance_decay_function', default=None).lower()
walking_time_period = request.POST.get('biking_time_period', default=None)
if start_point and poi and crime and walkshed and distance_decay_function and walking_time_period is not None:
return aggregation(start_point, walkshed, crime, poi, distance_decay_function, walking_time_period)

run(host='0.0.0.0', port=7364, debug=True)
</source>

y modificamos la línea

<source lang="python">
otp_url = "http://www.gisciencegroup.ucalgary.ca:8080/opentripplanner-api-webapp/ws/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

por

<source lang="python">
otp_url = "http://146.155.17.18:23080/otp/routers/default/plan?arriveBy=false&time=6%3A58pm&ui_date=1%2F10%2F2013&mode=BICYCLE&optimize=QUICK&maxWalkDistance=5000&walkSpeed=1.38&date=2013-01-10&"
</source>

Para crime.py hay que hacer cambios drásticos ya que en Chile no contamos con la información geográfica de los crímenes de la ciudad, por lo que necesitamos que simplemente nos retorne 'NULL', aparte de eso debemos quitar todo lo relacionado con el paquete bottle. Por lo que eliminamos las líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

@route('/crime')
def service():
polygon = request.GET.get('bikeshed', default=None)
if polygon is not None:
return pointInPolygon(polygon)

run(host='0.0.0.0', port=7366, debug=True)
</source>

y agregamos después de la definición de la función:

<source lang="python">
def pointInPolygon(polygon):
return '"NULL"'
</source>

En POIService.py también debemos eliminar lo relacionado con bottle, similar a los archivos anteriores, y debemos editar la línea:

<source lang="python">
_overpass_url = 'http://overpass-api.de/api/interpreter'
</source>

por

<source lang="python">
_overpass_url = 'http://146.155.17.18:24080/api/interpreter'
</source>

y en ManagementService.py primero le cambiaremos el nombre a ManagementServiceBike.py (mas adelante se verá porqué), luego eliminamos las siguientes líneas:

<source lang="python">
from bottle import route, run, request
import bottle
bottle.BaseRequest.MEMFILE_MAX = 1024 * 1024

...

@route('/management')
def service():
start_point = request.GET.get('start_point', default=None)
biking_time_period = request.GET.get('biking_time_period', default=None)
distance_decay_function = request.GET.get('distance_decay_function', default=None)

if start_point and biking_time_period is not None:
return management(start_point, biking_time_period, distance_decay_function)
run(host='0.0.0.0', port=7363, debug=True)
</source>

y rehacemos por completo la función management(), ya que está configurada para enviar las solicitudes a geoserver, esta vez la configuraremos para que funcione dentro de Django.

<source lang="python">
def management(start_point, biking_time_period, distance_decay_function,demographic):
otp_isochrone_url = 'http://146.155.17.18:23080/otp/routers/default/plan?&'
otp_dataInputs = 'fromPlace=%s&date=2016/05/05&time=12:00:00&mode=BICYCLE&cutoffSec=%s' % (start_point,str(int(biking_time_period)*60))
otp_url = otp_isochrone_url + otp_dataInputs
try:
bikeshed = urllib2.urlopen(otp_url).read()
except:
return '{"error":"OTP does not respond"}'
bikeshed = removeNonAscii(bikeshed)
bikeshed = bikeshed.replace('&','and')
bikeshed = bikeshed.replace(';',' ')
bikeshed = json.loads(bikeshed)
bikeshed = '{"type":"Polygon","coordinates":'+str(bikeshed['features'][0]['geometry']['coordinates'][0])+'}'
try:
poi_data = getPOIs(bikeshed)
except:
return '{"error":"Overpass does not respond"}'
crime_data = pointInPolygon(bikeshed)
aggregation_data = aggregation(start_point,bikeshed,crime_data,poi_data,distance_decay_function,biking_time_period,demographic)
result = '{"walkshed": %s, "poi": %s}' % (aggregation_data, poi_data)
return result
</source>

= Funcionamiento actual =

Archivos que se encuentran actualmente en el proyecto

= Características nuevas =

Lo nuevo integrado gracias a Django

Walkyourplace Django

2016-09-08T20:57:06Z

Cris:

Walkyourplace Django

2016-09-08T20:38:14Z

Cris:

Walkyourplace Django

2016-09-08T20:19:27Z

Cris:

Walkyourplace Django

2016-09-08T18:28:33Z

Cris: /* State of the art */

Walkyourplace Django

2016-09-08T18:23:43Z

Cris: Created page with "= State of the art = Qué es lo que había = Migración a Django Python = Cambios principales en la migración = Funcionamiento actual = Archivos que se encuentran actual..."

= State of the art =

Qué es lo que había

= Migración a Django Python =

Cambios principales en la migración

= Funcionamiento actual =

Archivos que se encuentran actualmente en el proyecto

= Características nuevas =

Lo nuevo integrado gracias a Django

Cedeus IDE

2016-09-08T18:19:32Z

Cris: /* información útil y documentación */

'''Centro de Desarrollo Urbano Sustentable - CEDEUS'''

* Observatory Webpage:
** http://observatorio.cedeus.cl or http://www.datosurbanos.cl
* Other service domains:
** http://datos.cedeus.cl => geonode direct access
** http://pubs.cedeus.cl => omeka direct access
** http://wiki.cedeus.cl => wiki direct access
** http://owncloud.cedeus.cl => owncloud direct access => path to add in OwnCloud client: http://owncloud.cedeus.cl/owncloud/ (not ''https'')

'''Technical Configuration'''
* GeoNode WebServer is Cedeusgeonode: http://observatorio.cedeus.cl : open to world [http://live.osgeo.org/en/quickstart/geonode_quickstart.html OSGeo Quickstart]
* GeoNode DataServer is CedeusDB : access is closed to world

[[Libros del Observatorio]]

== Funciones de Infraestructuras Científicos de Datos Espaciales ==
Bernard L, Mäs S, Müller M, Henzen C, y J Brauner (2013, [http://www.tandfonline.com/doi/abs/10.1080/17538947.2013.781244 J. o. Digital Earth]):
* encontrar y acceder al datos (=> importante: accuracy and scale, lineage and usage)
* integrar, procesar y analisar informaciones encontrados (=> oferecer servicios de procesamiento geo-espacial y permitir su integracion)
* publicar y compartir datos, métodos y resultados científicos

== Tareas para crear la IDE de Cedeus ==
my [[CEDEUS ShortTime ToDo List]]

CEDEUS Long term ToDo list:
# [[IDEs de Chile existente]]
# [[Cedeus Technical Architecture]]
#* TODO: security aspects of the IDE (user types, access management options)
# DOCUMENTO: Borrador de Proyecto - development plan for future (clients v.2 v.3) - '''15. Dec.'''
# ENCUESTA : user and data survey
#* primero encuesta - hecho en '''Diciembre 2013''' por Nicolas, me mande archivos con la presentación y resultado
#* documents to prepare: (i) envisioned types of IDE use, (ii) list of data (themes) that may be in the institute (checklist?), (iii) data that should not be public, (iv) client types => a mindmap exists already!!
# DATOS:
#* [[Cedeus Base Data]]
#* [[Cedeus Convenios]]
#* Notes:
#** EPSG Santiago (from OCUC dataset): 32719 (= UTM Zone 19 South), EPSG OSM: 4326
#** what exists
#** access rights (see GeoNode access options: public, logged-in user, group, user only)
#** stoarge/db structure (defined by storage structure of GeoNode for shapefiles, rasters are stored in web-folder)
# [[Cedeus Metadata]]
# TYPO DE CLIENTES
#* desktop clients - SIG : TODO inicio de encuesta en los grupos que usan: ArcGIS, QGIS, gvSIG, OpenJUMP, SAGA ...
#* web client- browsers : TODO: a desarrollar
#*# [[IDE Client Basica]] : visualisacion de datos solamente
#*# [[IDE Client Avanzado]] : con diseno, para ciudadanos
#*# [[IDE Client Experto]] : visualisacion, aggregar, manipular

== información útil y documentación ==
*[[accessing server infra]]
*[[setting up osgeo vm]]
*[[setting up geonode]] and [[geonode data upload]]
*[[backup of geonode]]
*[[setting up tilestream]] and [[Setting up Tilestream VM on CEDEUSDB]]
* How to setup [http://docs.geoserver.org/stable/en/user/installation/linux/index.html GeoServer] is described in this blog entry: http://houhongru.com/blog/2013/01/07/How-to-install-GeoServer-on-Ubuntu-12.04/ . However, I am not sure if the install of Oracles Java instead of openJDK is necessary, since, as far as I recall, the OSGeo LiveDVD uses OpenJDK as well. Location of GeoServer will be ''/var/lib/tomcat7/webapps/'' . (Note, I should have a PDF of that in my projects/planyourplace/docs/development/wyp/)
*[[setting up walkyourplace]]
*[[moving the SF wiki]]
*[[installing OTP]] and [[updating OTP graph]]
*[[Setting up Elgg VM on CedeusGeoNode]]
*[[Cedeus DB backups]]
*[[Nominatim for Traffic Accident Database]]
*[[installing CartoDB for CEDEUS]]
*[[installing Omeka for CEDEUS]]
*[[Processing GeoData for CEDEUS]]
*[[Trabajo Cristian]]
**[[Walkyourplace Django]]

== List of VMs ==
'''on CedeusGeoNode:''' (see also script: ''startcedeusvms.sh'')
* geonode1204 : 12GB : 6 cpus : 13080 (VRDE 7767) with 200GB (185GB) disk => disk name: geonode1204b.vdi. How to enlarge the disk check [[Nominatim for Traffic Accident Database]] ... however, the Nominatim VM is using 14.04 and not 12.04. NB: this VM has the old pw
* opensuse132 2GB : 2 cpus : 18022 (with https webgui 18052+18547, not yet unblocked console 18161, VRDE 7772)
* wikicedeus : 2GB : 2 cpus : cedeus wiki on ''22080/wiki/'' (VRDE 7769)
* mediawiki : 2GB : 2 cpus : personal wiki on ''21080/mediawiki-1.22.7/'' (VRDE 7771)
* elgg : 4 GB : 4 cpus : 15080 (VRDE 7765) on basicubuntu1404 with LAMPS
* additional there are for testing:
** basicubuntu1404
** geonode1404 : 8GB : 6 cpus : 12080 (VRDE 7768) - this VM is not in use (without GeoNode install)
** wyp : 8GB : 4 cpus : 17080 (with Tomcat and Postgres: 17088 vs 17032, VRDE 3389) http://146.155.17.19:17080/wypwps/
** elgg18pyp : 2GB, 2cpus : 31080 (VRDE 31065) - VM should be shut down
** windows864 3GB : 3 cpus (VRDE 7773) 40 GB
** windowsml1 3GB : 3 cpus (VRDE 7774) 40 GB

'''on CedeusDB:'''
(no startup script yet)
* tilestream : 8GB : 4 cpus : with Tilestream on ''16088/#!/map/Fondef'' (VRDE 3389) : http://146.155.17.18:16088/#!/map/Fondef
*: => switched off
* nominatim: 4GB : 4 cpus 200GB : with Nominatim on 146.155.17.18:22080 (VRDE 7761)
*: => Note, Nominatim has port CONFLICT with Gatherer; TODO: fix this
*: => Running only when needed
* otp09: 4GB : 4cpus : on 146.155.17.18:30088 (VRDE 7762) : http://146.155.17.18:30088/opentripplanner-webapp/#/ : (OpenTripPlanner 0.9)
* cartodb: 8 GB : 6 cpus : on 146.155.17.18:19080 (VRDE 7763) => for testing, but never got it really to work
*: => switched off
* omeka: 6 GB : 4 cpus : on 146.155.17.18:20080 (VRDE 7764) : http://146.155.17.18:20080/omeka/
* owncloud: 6GB : 4 cpus : on 146.155.17.18:17080 (VRDE 7765) : http://146.155.17.18:17080/owncloud/ => http://owncloud.cedeus.cl
* gitlab: 4GB : 2 cpus : on 146.155.17.18:18080 (VRDE 7766) : http://146.155.17.18:18080/
* indicator 1GB : 1 cpus : on 146.155.17.18:21080 (VRDE 7767) : http://146.155.17.18:21080/
* gatherer 2GB : 1 cpus : on 146.155.17.18:22080 (VRDE 7768) :
* otp 4GB : 4 cpus : on 146.155.17.18:23080 (VRDE 7769) : http://146.155.17.18:23080/ (OpenTripPlanner ¿0.13?)
* overpass : 4 GB : 2 cpus : on 146.155.17.18:24080 (VRDE 7770) : http://146.155.17.18:24080/api/interpreter/data=[data]
* geonode20b : 12 GB : 6 cpus : on 146.155.17.18:16080 (VRDE 3389) : http://146.155.17.18:16080 => Copy of GeoNode from June 2015 we used for bug fixing
*: => Note, geonode20b has port CONFLICT with tilestream VM
*: => switched off
* geonodeTest: 8 GB : 4 cpus : on 146.155.17.18:16080 (VRDE 7771) : http://146.155.17.18:16080 => Test of Geonode 2.4
*: => Note, port CONFLICT with tilestream and geonode20b

'''CedeusGeoNode reverse-proxy + geosteiniger.cl DNS zone editor settings'''
* GeoNode: 146.155.17.19:13080 => geonode1204 VM => cedeusdata.geosteiniger.cl
* Personal wiki : 1146.155.17.19:21080/mediawiki-1.22.7/ => wiki.geosteiniger.cl/wiki/
* Cedeus wiki : 146.155.17.19/wiki/ => Wiki VM => cedeuswiki.geosteiniger.cl/wiki/
* OTP : 146.155.17.54:8080/opentripplanner-webapp/ => otp.geosteiniger.cl/opentripplanner-webapp/
* Tilestream 146.155.17.18:16088/#!/map/Fondef => tilestream.geosteiniger.cl/#!/map/Fondef

Hosting info for [http://www.tcpiputils.com/browse/domain/puc.cl Puc.cl] -> name servers etc.

== presentaciones ==
* 18.Dic.2014 : Coloquio "IDE Universidades" de SNIT (M. Bienes) - [http://www.geo.uzh.ch/~sstein/presentations/cedeus/idecedeus.html#0 progreso parte tecnico]
* xxx
== cache ==
[[blackboard]]

Cedeus IDE

2016-06-10T14:49:35Z

Cris: /* List of VMs */

'''Centro de Desarrollo Urbano Sustentable - CEDEUS'''

* Observatory Webpage:
** http://observatorio.cedeus.cl or http://www.datosurbanos.cl
* Other service domains:
** http://datos.cedeus.cl => geonode direct access
** http://pubs.cedeus.cl => omeka direct access
** http://wiki.cedeus.cl => wiki direct access
** http://owncloud.cedeus.cl => owncloud direct access => path to add in OwnCloud client: http://owncloud.cedeus.cl/owncloud/ (not ''https'')

'''Technical Configuration'''
* GeoNode WebServer is Cedeusgeonode: http://observatorio.cedeus.cl : open to world [http://live.osgeo.org/en/quickstart/geonode_quickstart.html OSGeo Quickstart]
* GeoNode DataServer is CedeusDB : access is closed to world

[[Libros del Observatorio]]

== Funciones de Infraestructuras Científicos de Datos Espaciales ==
Bernard L, Mäs S, Müller M, Henzen C, y J Brauner (2013, [http://www.tandfonline.com/doi/abs/10.1080/17538947.2013.781244 J. o. Digital Earth]):
* encontrar y acceder al datos (=> importante: accuracy and scale, lineage and usage)
* integrar, procesar y analisar informaciones encontrados (=> oferecer servicios de procesamiento geo-espacial y permitir su integracion)
* publicar y compartir datos, métodos y resultados científicos

== Tareas para crear la IDE de Cedeus ==
my [[CEDEUS ShortTime ToDo List]]

CEDEUS Long term ToDo list:
# [[IDEs de Chile existente]]
# [[Cedeus Technical Architecture]]
#* TODO: security aspects of the IDE (user types, access management options)
# DOCUMENTO: Borrador de Proyecto - development plan for future (clients v.2 v.3) - '''15. Dec.'''
# ENCUESTA : user and data survey
#* primero encuesta - hecho en '''Diciembre 2013''' por Nicolas, me mande archivos con la presentación y resultado
#* documents to prepare: (i) envisioned types of IDE use, (ii) list of data (themes) that may be in the institute (checklist?), (iii) data that should not be public, (iv) client types => a mindmap exists already!!
# DATOS:
#* [[Cedeus Base Data]]
#* [[Cedeus Convenios]]
#* Notes:
#** EPSG Santiago (from OCUC dataset): 32719 (= UTM Zone 19 South), EPSG OSM: 4326
#** what exists
#** access rights (see GeoNode access options: public, logged-in user, group, user only)
#** stoarge/db structure (defined by storage structure of GeoNode for shapefiles, rasters are stored in web-folder)
# [[Cedeus Metadata]]
# TYPO DE CLIENTES
#* desktop clients - SIG : TODO inicio de encuesta en los grupos que usan: ArcGIS, QGIS, gvSIG, OpenJUMP, SAGA ...
#* web client- browsers : TODO: a desarrollar
#*# [[IDE Client Basica]] : visualisacion de datos solamente
#*# [[IDE Client Avanzado]] : con diseno, para ciudadanos
#*# [[IDE Client Experto]] : visualisacion, aggregar, manipular

== información útil y documentación ==
*[[accessing server infra]]
*[[setting up osgeo vm]]
*[[setting up geonode]] and [[geonode data upload]]
*[[backup of geonode]]
*[[setting up tilestream]] and [[Setting up Tilestream VM on CEDEUSDB]]
* How to setup [http://docs.geoserver.org/stable/en/user/installation/linux/index.html GeoServer] is described in this blog entry: http://houhongru.com/blog/2013/01/07/How-to-install-GeoServer-on-Ubuntu-12.04/ . However, I am not sure if the install of Oracles Java instead of openJDK is necessary, since, as far as I recall, the OSGeo LiveDVD uses OpenJDK as well. Location of GeoServer will be ''/var/lib/tomcat7/webapps/'' . (Note, I should have a PDF of that in my projects/planyourplace/docs/development/wyp/)
*[[setting up walkyourplace]]
*[[moving the SF wiki]]
*[[installing OTP]] and [[updating OTP graph]]
*[[Setting up Elgg VM on CedeusGeoNode]]
*[[Cedeus DB backups]]
*[[Nominatim for Traffic Accident Database]]
*[[installing CartoDB for CEDEUS]]
*[[installing Omeka for CEDEUS]]
*[[Processing GeoData for CEDEUS]]
*[[Trabajo Cristian]]

== List of VMs ==
'''on CedeusGeoNode:''' (see also script: ''startcedeusvms.sh'')
* geonode1204 : 12GB : 6 cpus : 13080 (VRDE 7767) with 200GB (185GB) disk => disk name: geonode1204b.vdi. How to enlarge the disk check [[Nominatim for Traffic Accident Database]] ... however, the Nominatim VM is using 14.04 and not 12.04. NB: this VM has the old pw
* opensuse132 2GB : 2 cpus : 18022 (with https webgui 18052+18547, not yet unblocked console 18161, VRDE 7772)
* wikicedeus : 2GB : 2 cpus : cedeus wiki on ''22080/wiki/'' (VRDE 7769)
* mediawiki : 2GB : 2 cpus : personal wiki on ''21080/mediawiki-1.22.7/'' (VRDE 7771)
* elgg : 4 GB : 4 cpus : 15080 (VRDE 7765) on basicubuntu1404 with LAMPS
* additional there are for testing:
** basicubuntu1404
** geonode1404 : 8GB : 6 cpus : 12080 (VRDE 7768) - this VM is not in use (without GeoNode install)
** wyp : 8GB : 4 cpus : 17080 (with Tomcat and Postgres: 17088 vs 17032, VRDE 3389) http://146.155.17.19:17080/wypwps/
** elgg18pyp : 2GB, 2cpus : 31080 (VRDE 31065) - VM should be shut down
** windows864 3GB : 3 cpus (VRDE 7773) 40 GB
** windowsml1 3GB : 3 cpus (VRDE 7774) 40 GB

'''on CedeusDB:'''
(no startup script yet)
* tilestream : 8GB : 4 cpus : with Tilestream on ''16088/#!/map/Fondef'' (VRDE 3389) : http://146.155.17.18:16088/#!/map/Fondef
*: => switched off
* nominatim: 4GB : 4 cpus 200GB : with Nominatim on 146.155.17.18:22080 (VRDE 7761)
*: => Note, Nominatim has port CONFLICT with Gatherer; TODO: fix this
*: => Running only when needed
* otp09: 4GB : 4cpus : on 146.155.17.18:30088 (VRDE 7762) : http://146.155.17.18:30088/opentripplanner-webapp/#/ : (OpenTripPlanner 0.9)
* cartodb: 8 GB : 6 cpus : on 146.155.17.18:19080 (VRDE 7763) => for testing, but never got it really to work
*: => switched off
* omeka: 6 GB : 4 cpus : on 146.155.17.18:20080 (VRDE 7764) : http://146.155.17.18:20080/omeka/
* owncloud: 6GB : 4 cpus : on 146.155.17.18:17080 (VRDE 7765) : http://146.155.17.18:17080/owncloud/ => http://owncloud.cedeus.cl
* gitlab: 4GB : 2 cpus : on 146.155.17.18:18080 (VRDE 7766) : http://146.155.17.18:18080/
* indicator 1GB : 1 cpus : on 146.155.17.18:21080 (VRDE 7767) : http://146.155.17.18:21080/
* gatherer 2GB : 1 cpus : on 146.155.17.18:22080 (VRDE 7768) :
* otp 4GB : 4 cpus : on 146.155.17.18:23080 (VRDE 7769) : http://146.155.17.18:23080/ (OpenTripPlanner ¿0.13?)
* overpass : 4 GB : 2 cpus : on 146.155.17.18:24080 (VRDE 7770) : http://146.155.17.18:24080/api/interpreter/data=[data]
* geonode20b : 12 GB : 6 cpus : on 146.155.17.18:16080 (VRDE 3389) : http://146.155.17.18:16080 => Copy of GeoNode from June 2015 we used for bug fixing
*: => Note, geonode20b has port CONFLICT with tilestream VM
*: => switched off
* geonodeTest: 8 GB : 4 cpus : on 146.155.17.18:16080 (VRDE 7771) : http://146.155.17.18:16080 => Test of Geonode 2.4
*: => Note, port CONFLICT with tilestream and geonode20b

'''CedeusGeoNode reverse-proxy + geosteiniger.cl DNS zone editor settings'''
* GeoNode: 146.155.17.19:13080 => geonode1204 VM => cedeusdata.geosteiniger.cl
* Personal wiki : 1146.155.17.19:21080/mediawiki-1.22.7/ => wiki.geosteiniger.cl/wiki/
* Cedeus wiki : 146.155.17.19/wiki/ => Wiki VM => cedeuswiki.geosteiniger.cl/wiki/
* OTP : 146.155.17.54:8080/opentripplanner-webapp/ => otp.geosteiniger.cl/opentripplanner-webapp/
* Tilestream 146.155.17.18:16088/#!/map/Fondef => tilestream.geosteiniger.cl/#!/map/Fondef

Hosting info for [http://www.tcpiputils.com/browse/domain/puc.cl Puc.cl] -> name servers etc.

== presentaciones ==
* 18.Dic.2014 : Coloquio "IDE Universidades" de SNIT (M. Bienes) - [http://www.geo.uzh.ch/~sstein/presentations/cedeus/idecedeus.html#0 progreso parte tecnico]
* xxx
== cache ==
[[blackboard]]

Cedeus IDE

2016-04-19T14:24:16Z

Cris: /* List of VMs */

Centro de Desarrollo Urbano Sustentable - CEDEUS

* http://observatorio.cedeus.cl
* http://www.datosurbanos.cl
* configuration:
*# GeoNode WebServer is Cedeusgeonode: http://observatorio.cedeus.cl : open to world [http://live.osgeo.org/en/quickstart/geonode_quickstart.html OSGeo Quickstart]
*# GeoNode DataServer is CedeusDB : access is closed to world

== Funciones de Infraestructuras Científicos de Datos Espaciales ==
Bernard L, Mäs S, Müller M, Henzen C, y J Brauner (2013, [http://www.tandfonline.com/doi/abs/10.1080/17538947.2013.781244 J. o. Digital Earth]):
* encontrar y acceder al datos (=> importante: accuracy and scale, lineage and usage)
* integrar, procesar y analisar informaciones encontrados (=> oferecer servicios de procesamiento geo-espacial y permitir su integracion)
* publicar y compartir datos, métodos y resultados científicos

== Tareas para crear la IDE de Cedeus ==
my [[CEDEUS ShortTime ToDo List]]

CEDEUS Long term ToDo list:
# [[IDEs de Chile existente]]
# [[Cedeus Technical Architecture]]
#* TODO: security aspects of the IDE (user types, access management options)
# DOCUMENTO: Borrador de Proyecto - development plan for future (clients v.2 v.3) - '''15. Dec.'''
# ENCUESTA : user and data survey
#* primero encuesta - hecho en '''Diciembre 2013''' por Nicolas, me mande archivos con la presentación y resultado
#* documents to prepare: (i) envisioned types of IDE use, (ii) list of data (themes) that may be in the institute (checklist?), (iii) data that should not be public, (iv) client types => a mindmap exists already!!
# DATOS:
#* [[Cedeus Base Data]]
#* [[Cedeus Convenios]]
#* Notes:
#** EPSG Santiago (from OCUC dataset): 32719 (= UTM Zone 19 South), EPSG OSM: 4326
#** what exists
#** access rights (see GeoNode access options: public, logged-in user, group, user only)
#** stoarge/db structure (defined by storage structure of GeoNode for shapefiles, rasters are stored in web-folder)
# [[Cedeus Metadata]]
# TYPO DE CLIENTES
#* desktop clients - SIG : TODO inicio de encuesta en los grupos que usan: ArcGIS, QGIS, gvSIG, OpenJUMP, SAGA ...
#* web client- browsers : TODO: a desarrollar
#*# [[IDE Client Basica]] : visualisacion de datos solamente
#*# [[IDE Client Avanzado]] : con diseno, para ciudadanos
#*# [[IDE Client Experto]] : visualisacion, aggregar, manipular

== información útil y documentación ==
*[[accessing server infra]]
*[[setting up osgeo vm]]
*[[setting up geonode]] and [[geonode data upload]]
*[[backup of geonode]]
*[[setting up tilestream]] and [[Setting up Tilestream VM on CEDEUSDB]]
* How to setup [http://docs.geoserver.org/stable/en/user/installation/linux/index.html GeoServer] is described in this blog entry: http://houhongru.com/blog/2013/01/07/How-to-install-GeoServer-on-Ubuntu-12.04/ . However, I am not sure if the install of Oracles Java instead of openJDK is necessary, since, as far as I recall, the OSGeo LiveDVD uses OpenJDK as well. Location of GeoServer will be ''/var/lib/tomcat7/webapps/'' . (Note, I should have a PDF of that in my projects/planyourplace/docs/development/wyp/)
*[[setting up walkyourplace]]
*[[moving the SF wiki]]
*[[installing OTP]] and [[updating OTP graph]]
*[[Setting up Elgg VM on CedeusGeoNode]]
*[[Cedeus DB backups]]
*[[Nominatim for Traffic Accident Database]]
*[[installing CartoDB for CEDEUS]]
*[[installing Omeka for CEDEUS]]
*[[Processing GeoData for CEDEUS]]
*[[Trabajo Cristian]]

== List of VMs ==
'''on CedeusGeoNode:''' (see also script: ''startcedeusvms.sh'')
* geonode1204 : 12GB : 6 cpus : 13080 (VRDE 7767) with 200GB (185GB) disk => disk name: geonode1204b.vdi. How to enlarge the disk check [[Nominatim for Traffic Accident Database]] ... however, the Nominatim VM is using 14.04 and not 12.04. NB: this VM has the old pw
* opensuse132 2GB : 2 cpus : 18022 (with https webgui 18052+18547, not yet unblocked console 18161, VRDE 7772)
* wikicedeus : 2GB : 2 cpus : cedeus wiki on ''22080/wiki/'' (VRDE 7769)
* mediawiki : 2GB : 2 cpus : personal wiki on ''21080/mediawiki-1.22.7/'' (VRDE 7771)
* elgg : 4 GB : 4 cpus : 15080 (VRDE 7765) on basicubuntu1404 with LAMPS
* additional there are for testing:
** basicubuntu1404
** geonode1404 : 8GB : 6 cpus : 12080 (VRDE 7768) - this VM is not in use (without GeoNode install)
** wyp : 8GB : 4 cpus : 17080 (with Tomcat and Postgres: 17088 vs 17032, VRDE 3389) http://146.155.17.19:17080/wypwps/
** elgg18pyp : 2GB, 2cpus : 31080 (VRDE 31065) - VM should be shut down
** windows864 3GB : 3 cpus (VRDE 7773) 40 GB
** windowsml1 3GB : 3 cpus (VRDE 7774) 40 GB

'''on CedeusDB:'''
(no startup script yet)
* tilestream : 8GB : 4 cpus : with Tilestream on ''16088/#!/map/Fondef'' (VRDE 3389) : http://146.155.17.18:16088/#!/map/Fondef
* nominatim: 4GB : 4 cpus 200GB : with Nominatim on 146.155.17.18:22080 (VRDE 7761)
* otp09: 4GB : 4cpus : on 146.155.17.18:30088 (VRDE 7762) : http://146.155.17.18:30088/opentripplanner-webapp/#/
* cartodb: 8 GB : 6 cpus : on 146.155.17.18:19080 (VRDE 7763)
* omeka: 6 GB : 4 cpus : on 146.155.17.18:20080 (VRDE 7764) : http://146.155.17.18:20080/omeka/
* owncloud: 6GB : 4 cpus : on 146.155.17.18:17080 (VRDE 7765) : http://146.155.17.18:17080/owncloud/
* gitlab: 4GB : 2 cpus : on 146.155.17.18:18080 (VRDE 7766) : http://146.155.17.18:18080/
* indicator 1GB : 1 cpus : on 146.155.17.18:21080 (VRDE 7767) : http://146.155.17.18:21080/
* gatherer 2GB : 1 cpus : on 146.155.17.18:22080 (VRDE 7768) : xxx
* otp 4GB : 4 cpus : on 146.155.17.18:23080 (VRDE 7769) : http://146.155.17.18:23080/
* overpass 4 GB : 2 cpus : on 146.155.17.18:24080 (VRDE 7770) : http://146.155.17.18:24080/api/interpreter/data=[data]

'''on Lautaro 113 (now powered down):'''
(no startup script)
* geonode : 8GB : 4 cpus : with
** GeoNode on ''http://146.155.17.54'' (VRDE 7778)
** OpenTripPlanner on ''http://146.155.17.54:8080/opentripplanner-webapp/''
** Postgis on http://146.155.17.113:9080

'''CedeusGeoNode reverse-proxy + geosteiniger.cl DNS zone editor settings'''
* GeoNode: 146.155.17.19:13080 => geonode1204 VM => cedeusdata.geosteiniger.cl
* Personal wiki : 1146.155.17.19:21080/mediawiki-1.22.7/ => wiki.geosteiniger.cl/wiki/
* Cedeus wiki : 146.155.17.19/wiki/ => Wiki VM => cedeuswiki.geosteiniger.cl/wiki/
* OTP : 146.155.17.54:8080/opentripplanner-webapp/ => otp.geosteiniger.cl/opentripplanner-webapp/
* Tilestream 146.155.17.18:16088/#!/map/Fondef => tilestream.geosteiniger.cl/#!/map/Fondef

Hosting info for [http://www.tcpiputils.com/browse/domain/puc.cl Puc.cl] -> name servers etc.

== presentaciones ==
* 18.Dic.2014 : Coloquio "IDE Universidades" de SNIT (M. Bienes) - [http://www.geo.uzh.ch/~sstein/presentations/cedeus/idecedeus.html#0 progreso parte tecnico]
* xxx

Trabajo Cristian

2016-04-15T02:07:11Z

Cris: /* Instalación de Overpass API */

Trabajo Cristian

2016-04-15T02:06:32Z

Cris: /* Instalación de Overpass API */