A més a més, s'ha dut a terme tot un procés de recerca i recopilació d'informació i eines útils per a aquelles persones que, sense tenir gaires coneixements de programació, vulguin fer servir dades extretes en temps real de qualsevol web html a internet per als seus projectes audiovisuals:
Manual d'obtenció, filtrat i conversió a OSC de dades web
El nostre mitjà concret per a extreure dades d'internet i convertir-les a un format interpretable és el llenguatje de programació PHP. PHP permet contingut dinàmic a la web, és a dir, permet l'actualització de dades mitjançant peticions a un servidor o a una altra web. Existeixen moltes classes PHP (petites aplicacions o llibreries d'instruccions) que permeten treballar amb protocols com OSC i MIDI o que ens ajuden a filtrar dades d'una web de la que volem extreure'n determinades informacions (pe. dades astronòmiques).
1. PHP i el Servidor Apache
Necessitem instal·lar el PHP i el Servidor Apache per a executar els codis PHP que ens ajudaran a filtrar les dades necessàries de les webs que triem. El procés és distint segons el sistema operatiu que fem servir:
A) Línux: Obrim un terminal i executem el següent comandament:
B) Windows: La instal·lació del servidor Apache amb PHP sota Windows és un procés complex, s'han d'instal·lar les aplicacions per separat i editar arxius de sistema per a configurar tot correctament. A més, fa falta conexió a internet per a executar els codis PHP, encara que no necessitin obtenir dades de la xarxa. Si teniu les ganes i els coneixements per a instal·lar i configurar el que cal molt millor. En cas contrari, afortunadament existeixen aplicacions que empaqueten tot, una d'elles es XAMPP, que us instalarà tot el programari que cal per a començar a treballar. Podeu trobar l'aplicació i el seu detallat manual d'us a:
C) MacOSX: inclou a la instalació de sistema Apache i PHP, tot i que PHP es troba deshabilitat per defecte i s'ha de modificar un arxiu de sistema per a que comenci a funcionar. Aquesta plana web explica com fer-ho:
Quan accedim a una web que ofereix dades en temps real normalment ens trobem amb planes plenes de taules i distintes seccions diferents. Necessitem aillar les dades que volem fer servir per tal de poder treballar amb elles i manipularles o convertirles en formats com OSC, més usables amb el programari de creació audiovisual "estándar".
Farem servir 2 classes PHP que ens ajudaran amb el parsejat i la conversió de les dades a OSC.
Una és el simple html dom parser:
existeixen moltes altres classes que ofereixen altres funcionalitats:
de moment, només treballarem amb el protocol OSC, que ens permet una comunicació precisa amb entorns com Processing, PD, Max/MSP, Reaktor, vvvv, etc.
4. La Matèria Prima
Ja tenim tot el software necessari per a començar a xuclar dades d'internet i enviarles al nostre entorn de composició audiovisual, pero primer necessitem fer una mica de mineria de dades i trobar webs que ofereixin en format html informació dinàmica. Aqui van unes quantes webs:
els valors del ibex 35
http://www.bolsamadrid.es/esp/mercados/acciones/accind1_1.htm
dades meteorològiques a catalunya
http://www.meteoclimatic.com/index/mapinfo/ESCAT?screen_width=1280
dades oceanogràfiques
http://www.imedea.uib.es/~datos/produccion/boyas/index.php?seccion=cabrera&subsec=Datos&language=en_GB
cotització dels cereals a Argentina
http://www.bolcereales.com.ar/
dades astronòmiques
http://www.spaceweather.com/
Tracking de fauna marina
http://whale.wheelock.edu/whalenet-stuff/stop_cover.html
http://whale.wheelock.edu/whalenet-stuff/Stop39390-08/data39390-08.html
compendi de webs amb free data
http://gsociology.icaap.org/data.htm
També és interessant consultar webs sobre visualització de dades, com ara:
http://infosthetics.com/
http://manyeyes.alphaworks.ibm.com/manyeyes/
I el projecte de patchejat internacional de sensor i actuadors
http://www.pachube.com
5. El codi PHP
Ara si, ja podem començar a escriure les nostres aplicacions de parsejat i OSC amb php.
tot el codi php ha d'estar escrit entre els símbols <? i ?>, i haurem d'incloure les clases que necessitem i configurar ips i ports per al OSC.
A més a més, ens serà util una línia de codi que refresqui el nostre codi PHP automàticament.
Ara es tracta de consultar els exemples i la documentació de les classes, copiar i enganxar, proves i errors, fins que aillem les dades que ens poden ser útils.
el manual del html dom parser conté bastant exemples senzills, que ofereixen una bona base, i la clase osc.php, pel que fa al seu ús com a emissor de dades OSC és bastant senzill. Aquest seria l'esquelet bàsic d'una aplicacio php de parsejat i OSC:
<?
// Inclou les classes
include('html_dom_parser.php');
include('OSC.php');
// Llegeix una Web
$dom = file_get_dom('http://www.cincodias.com/indice/dow-jones/');
// Inicia OSCClient
$osclient = new OSCClient("127.0.0.1", 9999);
// Troba tags td amb la clase=value
$num = 0;
$valorweb = $dom->find('td.value');
foreach($valorweb as $v) {
$valorweb = $v->innertext;
$valorweb = ereg_replace(",",".",$dowjones);
++$num;
// Envia $valorweb per OSC
$oscmsg = new OSCMessage("/valor_".$num);
$oscmsg->add_arg($valorweb, "f");
$osclient->send($oscmsg);
}
?>
Aquí podeu descarregar uns quants exemples ja preparats:
També existeix un extens manual i referència de PHP on-line a
La intención de este proyecto se proveer de nuevas herramientas de control y nuevas fuentes de creación a la comunidad de artistas audiovisuales que trabajan con tecnologías digitales. Básicamente el proyecto consiste en la confección de una plana web que centraliza la información actualizada en tiempo real proveniente de distintas bases de datos de todas partes del globo. Estos datos, cordero sean meteorológicas, geológicas, medioambientales, demográficas, económicas, astronómicas, sanitarias, etc, se acondicionaran por tal de que sean accesibles por parte de creadores sin experiencia en la programación o en la informática de redes.
Además, se ha llevado a término todo un proceso de búsqueda y recopilación de información y herramientas útiles para aquellas personas que, sin tener demasiados conocimientos de programación, quieran usar datos extraídos en tiempo real de cualquier web html a internet para los suyos proyectos audiovisuales:
1. PHP y el Servidor Apache
Necesitamos instalar el PHP y el Servidor Apache para ejecutar los códigos PHP que nos ayudarán a filtrar los datos necesarios de las webs que triem. El proceso es distinto según el sistema operativo que usamos:
A) Línux: Abrimos un terminal y ejecutamos el siguiente mando:
sudo apt-get install apache2 php5 libapache2-mod-php5.
con esto instalarem los softwares necesarios. También habremos de reiniciar el servidor apache, por si las moscas:
Abrimos el explorador de internet (mozilla, chrome, etc) y escribimos "localhost" a la barra de direcciones. Si aparece un mensaje "it works!" es que está todo correcto. Por tal de ejecutar nuestros códigos PHP (pe: cereales.php) habremos de ubicarlos a la carpeta var/www del disco duro de sistema, y executarlos al navegador web así: localhost/cereales.php
B) Windows: La instalación del servidor Apache con PHP bajo Windows es un proceso complejo, se han de instalar las aplicaciones por separado y editar archivos de sistema para configurar todo correctamente. Además, hace falta conexió a internet para ejecutar los códigos PHP, aunque no necesiten obtener datos de la red. Si tenéis las ganas y los conocimientos para instalar y configurar el que hace falta mucho mejor. De lo contrario, afortunadamente existen aplicaciones que empaquetan todo, una de ellas se XAMPP, que os instalarà todo el software que hace falta para empezar a trabajar. Podéis encontrar la aplicación y su detallado manual de os a:
http://www.apachefriends.org/en/xampp-windows.html
C) MacOSX: inclou a la instalació de sistema Apache i PHP, tot i que PHP es troba deshabilitat per defecte i s'ha de modificar un arxiu de sistema per a que comenci a funcionar. Aquesta plana web explica com fer-ho:
http://www.devarticles.com/c/a/Apache/Using-Apache-and-PHP-on-Mac-OS-X/
2. El Pàrser y el intérprete OSC
Cuando accedemos a una web que ofrece datos en tiempo real normalmente nos encontramos con llanuras llenas de mesas y distintas secciones diferentes. Necesitamos aillar los datos que volamos usar por tal de poder trabajar con ellas y manipularles o convertirles en formatos como OSC, más usables con el software de creación audiovisual "estándar".
Usaremos 2 clases PHP que nos ayudarán con el parsejat y la conversión de los datos a OSC.
Una es el simple html dom parser:
http://simplehtmldom.sourceforge.net/ ,
con el que podemos analizar toda una URL escrita en HTML y discernir la información útil.
La otra es el cliente OSC, que podéis encontrar aquí:
http://andy.schmeder.net/software
Podéis encontrar las dos clases, con documentación adicional, en este paquete:
php_classes.zip
existeixen moltes altres classes que ofereixen altres funcionalitats:
PHP a MIDI: http://staff.dasdeck.de/valentin/midi/
por el momento, sólo trabajaremos con el protocolo OSC, que nos permito una comunicación precisa con entornos como Processing, PD, Max/MSP, Reaktor, vvvv, etc.
4. La Materia Prima
Ya tenemos todo el software necesario para empezar a chupar datos de internet y enviarles a nuestro en torno a composición audiovisual, pero primero necesitamos hacer algo de minería de datos y encontrar webs que ofrezcan en formato html información dinámica. Aqui van unas cuántas webs:
los valores del ibex 35
http://www.bolsamadrid.es/esp/mercados/acciones/accind1_1.htm
datos meteorológicos a catalunya
http://www.meteoclimatic.com/index/mapinfo/ESCAT?screen_width=1280
datos oceanográficos
http://www.imedea.uib.es/~datos/produccion/boyas/index.php?seccion=cabrera&subsec=Datos&language=en_GB
cotización de los cereales a Argentina
http://www.bolcereales.com.ar/
datos astronómicos
http://www.spaceweather.com/
Tracking de fauna marina
http://whale.wheelock.edu/whalenet-stuff/stop_cover.html
http://whale.wheelock.edu/whalenet-stuff/Stop39390-08/data39390-08.html
compendi de webs con free data
http://gsociology.icaap.org/data.htm
También es interesante consultar webs sobre visualización de datos, como por ejemplo:
http://infosthetics.com/
http://manyeyes.alphaworks.ibm.com/manyeyes/
Y el proyecto de patchejat internacional de sensor y actuadors
http://www.pachube.com
5. El código PHP
Ahora si, ya podemos empezar a escribir nuestras aplicaciones de parsejat y OSC con php.
todo el código php ha de estar escrito entre los símbolos <? y ?>, y habremos de incluir las clases que necesitamos y configurar ips y puertos para el OSC.
Además, nos será util una línea de código que refresque nuestro código PHP automáticamente.
Ahora se trata de consultar los ejemplos y la documentación de las clases, copiar y enganchar, pruebas y errores, hasta que aillem los datos que nos pueden ser útiles.
el manual del html dom parser contiene bastante ejemplos sencillos, que ofrecen una buena base, y la clase osc.php, con respecto al suyo uso como emisor de datos OSC es bastante sencillo. Este sería el esqueleto básico de una aplicacio php de parsejat y OSC:
<!– Refresca cada 86400 segundos (24 horas) –>
<meta http-equiv="REFRESH" contento="86400">
<?
// Incluye las clases
include('htmldomparser.php');
include('OSC.php');
// Lee una Web
$dom = hilogetdom('http://www.cincodias.como/indice/dow-jones/');
// Inicia OSCClient
$osclient = new OSCClient("127.0.0.1", 9999);
// Encuentra tags td con la clase=value
$num = 0;
$valorweb = $dom->find('td.value');
foreach($valorweb as $v) {
$valorweb = $v->innertext;
$valorweb = eregreplace(",",".",$dowjones);
++$num;
// Envía $valorweb por OSC
$oscmsg = new OSCMessage("/valor_".$num);
$oscmsg->addarg($valorweb, "f");
$osclient->send($oscmsg);
}
?>
Aquí podéis descargar unos cuántos ejemplos ya preparados:
exemples.zip
También existe un extenso manual y referencia de PHP on-line a
http://www.php.net/manual/es/
A més a més, s'ha dut a terme tot un procés de recerca i recopilació d'informació i eines útils per a aquelles persones que, sense tenir gaires coneixements de programació, vulguin fer servir dades extretes en temps real de qualsevol web html a internet per als seus projectes audiovisuals:
Manual d'obtenció, filtrat i conversió a OSC de dades web
El nostre mitjà concret per a extreure dades d'internet i convertir-les a un format interpretable és el llenguatje de programació PHP. PHP permet contingut dinàmic a la web, és a dir, permet l'actualització de dades mitjançant peticions a un servidor o a una altra web. Existeixen moltes classes PHP (petites aplicacions o llibreries d'instruccions) que permeten treballar amb protocols com OSC i MIDI o que ens ajuden a filtrar dades d'una web de la que volem extreure'n determinades informacions (pe. dades astronòmiques).
1. PHP i el Servidor Apache
Necessitem instal·lar el PHP i el Servidor Apache per a executar els codis PHP que ens ajudaran a filtrar les dades necessàries de les webs que triem. El procés és distint segons el sistema operatiu que fem servir:
A) Línux: Obrim un terminal i executem el següent comandament:
B) Windows: La instal·lació del servidor Apache amb PHP sota Windows és un procés complex, s'han d'instal·lar les aplicacions per separat i editar arxius de sistema per a configurar tot correctament. A més, fa falta conexió a internet per a executar els codis PHP, encara que no necessitin obtenir dades de la xarxa. Si teniu les ganes i els coneixements per a instal·lar i configurar el que cal molt millor. En cas contrari, afortunadament existeixen aplicacions que empaqueten tot, una d'elles es XAMPP, que us instalarà tot el programari que cal per a començar a treballar. Podeu trobar l'aplicació i el seu detallat manual d'us a:
C) MacOSX: inclou a la instalació de sistema Apache i PHP, tot i que PHP es troba deshabilitat per defecte i s'ha de modificar un arxiu de sistema per a que comenci a funcionar. Aquesta plana web explica com fer-ho:
Quan accedim a una web que ofereix dades en temps real normalment ens trobem amb planes plenes de taules i distintes seccions diferents. Necessitem aillar les dades que volem fer servir per tal de poder treballar amb elles i manipularles o convertirles en formats com OSC, més usables amb el programari de creació audiovisual "estándar".
Farem servir 2 classes PHP que ens ajudaran amb el parsejat i la conversió de les dades a OSC.
Una és el simple html dom parser:
existeixen moltes altres classes que ofereixen altres funcionalitats:
de moment, només treballarem amb el protocol OSC, que ens permet una comunicació precisa amb entorns com Processing, PD, Max/MSP, Reaktor, vvvv, etc.
4. La Matèria Prima
Ja tenim tot el software necessari per a començar a xuclar dades d'internet i enviarles al nostre entorn de composició audiovisual, pero primer necessitem fer una mica de mineria de dades i trobar webs que ofereixin en format html informació dinàmica. Aqui van unes quantes webs:
els valors del ibex 35
http://www.bolsamadrid.es/esp/mercados/acciones/accind1_1.htm
dades meteorològiques a catalunya
http://www.meteoclimatic.com/index/mapinfo/ESCAT?screen_width=1280
dades oceanogràfiques
http://www.imedea.uib.es/~datos/produccion/boyas/index.php?seccion=cabrera&subsec=Datos&language=en_GB
cotització dels cereals a Argentina
http://www.bolcereales.com.ar/
dades astronòmiques
http://www.spaceweather.com/
Tracking de fauna marina
http://whale.wheelock.edu/whalenet-stuff/stop_cover.html
http://whale.wheelock.edu/whalenet-stuff/Stop39390-08/data39390-08.html
compendi de webs amb free data
http://gsociology.icaap.org/data.htm
També és interessant consultar webs sobre visualització de dades, com ara:
http://infosthetics.com/
http://manyeyes.alphaworks.ibm.com/manyeyes/
I el projecte de patchejat internacional de sensor i actuadors
http://www.pachube.com
5. El codi PHP
Ara si, ja podem començar a escriure les nostres aplicacions de parsejat i OSC amb php.
tot el codi php ha d'estar escrit entre els símbols <? i ?>, i haurem d'incloure les clases que necessitem i configurar ips i ports per al OSC.
A més a més, ens serà util una línia de codi que refresqui el nostre codi PHP automàticament.
Ara es tracta de consultar els exemples i la documentació de les classes, copiar i enganxar, proves i errors, fins que aillem les dades que ens poden ser útils.
el manual del html dom parser conté bastant exemples senzills, que ofereixen una bona base, i la clase osc.php, pel que fa al seu ús com a emissor de dades OSC és bastant senzill. Aquest seria l'esquelet bàsic d'una aplicacio php de parsejat i OSC:
<?
// Inclou les classes
include('html_dom_parser.php');
include('OSC.php');
// Llegeix una Web
$dom = file_get_dom('http://www.cincodias.com/indice/dow-jones/');
// Inicia OSCClient
$osclient = new OSCClient("127.0.0.1", 9999);
// Troba tags td amb la clase=value
$num = 0;
$valorweb = $dom->find('td.value');
foreach($valorweb as $v) {
$valorweb = $v->innertext;
$valorweb = ereg_replace(",",".",$dowjones);
++$num;
// Envia $valorweb per OSC
$oscmsg = new OSCMessage("/valor_".$num);
$oscmsg->add_arg($valorweb, "f");
$osclient->send($oscmsg);
}
?>
Aquí podeu descarregar uns quants exemples ja preparats:
També existeix un extens manual i referència de PHP on-line a
La intención de este proyecto se proveer de nuevas herramientas de control y nuevas fuentes de creación a la comunidad de artistas audiovisuales que trabajan con tecnologías digitales. Básicamente el proyecto consiste en la confección de una plana web que centraliza la información actualizada en tiempo real proveniente de distintas bases de datos de todas partes del globo. Estos datos, cordero sean meteorológicas, geológicas, medioambientales, demográficas, económicas, astronómicas, sanitarias, etc, se acondicionaran por tal de que sean accesibles por parte de creadores sin experiencia en la programación o en la informática de redes.
Además, se ha llevado a término todo un proceso de búsqueda y recopilación de información y herramientas útiles para aquellas personas que, sin tener demasiados conocimientos de programación, quieran usar datos extraídos en tiempo real de cualquier web html a internet para los suyos proyectos audiovisuales:
1. PHP y el Servidor Apache
Necesitamos instalar el PHP y el Servidor Apache para ejecutar los códigos PHP que nos ayudarán a filtrar los datos necesarios de las webs que triem. El proceso es distinto según el sistema operativo que usamos:
A) Línux: Abrimos un terminal y ejecutamos el siguiente mando:
sudo apt-get install apache2 php5 libapache2-mod-php5.
con esto instalarem los softwares necesarios. También habremos de reiniciar el servidor apache, por si las moscas:
Abrimos el explorador de internet (mozilla, chrome, etc) y escribimos "localhost" a la barra de direcciones. Si aparece un mensaje "it works!" es que está todo correcto. Por tal de ejecutar nuestros códigos PHP (pe: cereales.php) habremos de ubicarlos a la carpeta var/www del disco duro de sistema, y executarlos al navegador web así: localhost/cereales.php
B) Windows: La instalación del servidor Apache con PHP bajo Windows es un proceso complejo, se han de instalar las aplicaciones por separado y editar archivos de sistema para configurar todo correctamente. Además, hace falta conexió a internet para ejecutar los códigos PHP, aunque no necesiten obtener datos de la red. Si tenéis las ganas y los conocimientos para instalar y configurar el que hace falta mucho mejor. De lo contrario, afortunadamente existen aplicaciones que empaquetan todo, una de ellas se XAMPP, que os instalarà todo el software que hace falta para empezar a trabajar. Podéis encontrar la aplicación y su detallado manual de os a:
http://www.apachefriends.org/en/xampp-windows.html
C) MacOSX: inclou a la instalació de sistema Apache i PHP, tot i que PHP es troba deshabilitat per defecte i s'ha de modificar un arxiu de sistema per a que comenci a funcionar. Aquesta plana web explica com fer-ho:
http://www.devarticles.com/c/a/Apache/Using-Apache-and-PHP-on-Mac-OS-X/
2. El Pàrser y el intérprete OSC
Cuando accedemos a una web que ofrece datos en tiempo real normalmente nos encontramos con llanuras llenas de mesas y distintas secciones diferentes. Necesitamos aillar los datos que volamos usar por tal de poder trabajar con ellas y manipularles o convertirles en formatos como OSC, más usables con el software de creación audiovisual "estándar".
Usaremos 2 clases PHP que nos ayudarán con el parsejat y la conversión de los datos a OSC.
Una es el simple html dom parser:
http://simplehtmldom.sourceforge.net/ ,
con el que podemos analizar toda una URL escrita en HTML y discernir la información útil.
La otra es el cliente OSC, que podéis encontrar aquí:
http://andy.schmeder.net/software
Podéis encontrar las dos clases, con documentación adicional, en este paquete:
php_classes.zip
existeixen moltes altres classes que ofereixen altres funcionalitats:
PHP a MIDI: http://staff.dasdeck.de/valentin/midi/
por el momento, sólo trabajaremos con el protocolo OSC, que nos permito una comunicación precisa con entornos como Processing, PD, Max/MSP, Reaktor, vvvv, etc.
4. La Materia Prima
Ya tenemos todo el software necesario para empezar a chupar datos de internet y enviarles a nuestro en torno a composición audiovisual, pero primero necesitamos hacer algo de minería de datos y encontrar webs que ofrezcan en formato html información dinámica. Aqui van unas cuántas webs:
los valores del ibex 35
http://www.bolsamadrid.es/esp/mercados/acciones/accind1_1.htm
datos meteorológicos a catalunya
http://www.meteoclimatic.com/index/mapinfo/ESCAT?screen_width=1280
datos oceanográficos
http://www.imedea.uib.es/~datos/produccion/boyas/index.php?seccion=cabrera&subsec=Datos&language=en_GB
cotización de los cereales a Argentina
http://www.bolcereales.com.ar/
datos astronómicos
http://www.spaceweather.com/
Tracking de fauna marina
http://whale.wheelock.edu/whalenet-stuff/stop_cover.html
http://whale.wheelock.edu/whalenet-stuff/Stop39390-08/data39390-08.html
compendi de webs con free data
http://gsociology.icaap.org/data.htm
También es interesante consultar webs sobre visualización de datos, como por ejemplo:
http://infosthetics.com/
http://manyeyes.alphaworks.ibm.com/manyeyes/
Y el proyecto de patchejat internacional de sensor y actuadors
http://www.pachube.com
5. El código PHP
Ahora si, ya podemos empezar a escribir nuestras aplicaciones de parsejat y OSC con php.
todo el código php ha de estar escrito entre los símbolos <? y ?>, y habremos de incluir las clases que necesitamos y configurar ips y puertos para el OSC.
Además, nos será util una línea de código que refresque nuestro código PHP automáticamente.
Ahora se trata de consultar los ejemplos y la documentación de las clases, copiar y enganchar, pruebas y errores, hasta que aillem los datos que nos pueden ser útiles.
el manual del html dom parser contiene bastante ejemplos sencillos, que ofrecen una buena base, y la clase osc.php, con respecto al suyo uso como emisor de datos OSC es bastante sencillo. Este sería el esqueleto básico de una aplicacio php de parsejat y OSC:
<!– Refresca cada 86400 segundos (24 horas) –>
<meta http-equiv="REFRESH" contento="86400">
<?
// Incluye las clases
include('htmldomparser.php');
include('OSC.php');
// Lee una Web
$dom = hilogetdom('http://www.cincodias.como/indice/dow-jones/');
// Inicia OSCClient
$osclient = new OSCClient("127.0.0.1", 9999);
// Encuentra tags td con la clase=value
$num = 0;
$valorweb = $dom->find('td.value');
foreach($valorweb as $v) {
$valorweb = $v->innertext;
$valorweb = eregreplace(",",".",$dowjones);
++$num;
// Envía $valorweb por OSC
$oscmsg = new OSCMessage("/valor_".$num);
$oscmsg->addarg($valorweb, "f");
$osclient->send($oscmsg);
}
?>
Aquí podéis descargar unos cuántos ejemplos ya preparados:
exemples.zip
También existe un extenso manual y referencia de PHP on-line a
http://www.php.net/manual/es/