lunes, febrero 10, 2014

Hadoop: extending IntWritable (or primitives) and the setOutputKeyClass / setMapOutputKeyClass

Say you want to subclass an IntWritable, for the sake of this example, to implement a compareTo method that will allow it to be sorted in descending order instead of the typical ascending order.

 You may do it with some code like this:

import org.apache.hadoop.io.IntWritable;

public class IntWritableOrderable extends IntWritable {

 @Override
 public int compareTo(IntWritable o) {
  int thisValue = this.get();
     int thatValue = o.get();
     return (thisValue>thatValue ? -1 :    // changed < for > 
      (thisValue==thatValue ? 0 : 1));
 }

 public IntWritableOrderable() {
  super();
 }

 public IntWritableOrderable(int value) {
  super(value);
 }

 
}

Right. But now you want your program to accept an ASC or DESC flag to make it available to the client. Then, you will get this flag in your Job:

    Job job = new Job();
    // ...
    String order = args[2];
    if("DESC".equals(order)) {
     job.getConfiguration().set("SORT.ORDER", "DESC");
    }
    job.setMapOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);
     
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);

And, given that it subclasses IntWritable, in your Mapper you will emit types of one or the other type depending on that flag, in code such as:

 @Override
 public void map(LongWritable key, Text value, Context context)
   throws IOException, InterruptedException 
{
    String order = context.getConfiguration().get("SORT.ORDER", "ASC");
    // int k = value to emit as key
    // ... 
    context.write(descending ? 
        new IntWritableOrderable(k) : new IntWritable(k), 
        value );
    // ... 
}

And you're done, right?

Wrong.

The Shuffle and Sort phase will take the values and recreate them after being serialized. This is why we set in our job the apparently redundant lines:

    job.setMapOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);
     
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);

We have to tell the application to understand these classes as one or the other - since this will be the constructor to use when re-serializing. You can fix this issue by also making it dependable on the flag:

    String order = args[2]; // say
    // Assuming ASC default:
    if("DESC".equals(order)) {
     job.getConfiguration().set("SORT.ORDER", "DESC");
     System.out.println("Colocando el DESC");
     
     job.setMapOutputKeyClass(IntWritableOrderable.class);
     job.setOutputValueClass(Text.class);
     
     job.setOutputKeyClass(IntWritableOrderable.class);
     job.setOutputValueClass(Text.class);
    }
    else
    {
     job.setMapOutputKeyClass(IntWritable.class);
     job.setOutputValueClass(Text.class);
     
     job.setOutputKeyClass(IntWritable.class);
     job.setOutputValueClass(Text.class);
    }

And you're done: these are the classes that will be used in the shuffle and sort phase. Great! PS. Obviously, you can enhance the IntWritableOrderable to receive a flag in its constructor and compare ASC or DESC according to that flag. Although this would be more efficient. But in any case, it was a stupid example to illustrate this.

lunes, noviembre 25, 2013

Ariscocracia

Cuando un conde, duque o barón resultan insoportables, se dice que forman parte de la ariscocracia.

sábado, junio 22, 2013

Películas de paranoias de gente encerrada

Películas de gente encerrada, que no sabe lo que le pasa ni se lo acaba de creer, que se enfrenta a un futuro incierto y a una idea de permanencia absoluta en ese lugar sobrevenido.


1962. Luis Buñuel se adelanta a su tiempo sentando las bases de la paranoia social con El Angel Exterminador, donde unos burgueses son incapaces de dejar la habitación en la que están por alguna razón desconocida.




1969. Jim Henson, Don Teleñeco, hace "El Cubo" (The Cube), y lo que quería ser un experimento prácticamente inaugura un género. Los elementos básicos están ahí: Una habitación vacía(la nada), sobre la que aparecen objetos y elementos extraños, imprevisibilidad, soledad, crisis, encuentro con un igual veterano, dudas sobre la realidad, la existencia y la identidad. Y alguna cosita más.



1972. Poco después, en España, Antonio Mercero dirige en "La Cabina" a un Jose Luis López Vázquez antológico. El cortometraje añade la culpa (y un halo de terror muy a la británica, todo sea dicho) a la mezcla de emociones del protagonista, haciendo gala de nuestra tradición católica.




1997. Vincenzo Natali le quita el humor a Henson, redecora las paredes y se centra en los elementos sociales de la paranoia en "The Cube".




2009. Hitoshi Matsumoto da un salto de gigante añadiendo penecillos y hueveras de ángel proveedoras de regalos a las paredes de la celda en "Symbol". Y alguna cosita más.





Sacaperras

Mezclar la cosa paranoico-claustrofóbico-surrealista con el terror de psicópatas como Saw, juegos de trilero como La habitación de Fermat (un dieznegritos de científicos), la metáfora postnuclear de La Habitación del Pánico, etc. no avanzan gran cosa.

Los sacaperras tienden a apostar fuerte en el miedo, la emoción primaria más efectiva a la hora de enganchar a la pantalla(y a las uñas), ya que enciende el estado de alerta y rebaja el nivel de análisis, dejando a nuestro sentido crítico bastante maltrecho.

martes, mayo 14, 2013

Cervezas a 1 euro

Cervezas a 1 euro. Botellín a 1 euro. Caña a 0,80. La propaganda que más se ve en los bares de barrios de clase media/baja. No se vivía algo parecido en España desde la implantación de los "Todo a 100" en aquella sociedad empesetada que empezaba a saber lo que era la globalización.

Oigo en la sección de economía de Radio 5 Todo Noticias, a un experto en inflación que dice que "la bajada de los precios nos ha cogido por sorpresa, especialmente en el sector servicios". Debe de ser porque los señores que hacen las previsiones se mueven en servicios de lujo, cuyos clientes no tienen que apretarse el cinturón.

Si vivieran en la España de la calle, se habrían dado cuenta de que la ley de la oferta y la demanda está empezando a actuar: la demanda baja, por lo tanto hay que bajar los precios para conseguir que se siga consumiendo. Es de cajón. Y nadie maneja con mayor garbo estas fluctuaciones del mercado que la miríada de propietarios de negocios chinos, que son los primeros en tirar los precios cuando se necesita. Posiblemente, tampoco de esto deben ser conscientes los economistas que sólo pisan la calle para llegar a la puerta de su Audi A8 abierta por su chófer.

Ahora, a posteriori, con la boca abierta de la sorpresa, los doctorados en economía empiezan a pensar que debe de ser porque las familias no tienen para gastar, entre el paro, reducción de salarios y subidas de impuestos, y las que tienen algo intentan ahorrar porque piensan que lo que viene será peor. Eso debe de ser.

Pero quién podría preverlo.

lunes, mayo 13, 2013

Tamerlan Tsarnaev y la inseguridad ciudadana

En Time Magazine, hablan así del caso Tsarnaev al hilo de la inseguridad ciudadana.
Antes de las explosiones de Calle Boylston, la gente alrededor de Tamerlan (Tsarnaev) le vieron cambiar. Dejó de beber y fumar, y empezó a quejarse del gobierno de los USA. Empezó a estudiar el Corán. Dejó su carrera de boxeador. [...] Aunque se había casado con una mujer americana, que se convirtió al Islam, se estaba aislando y decía que no tenía amigos americanos. Pronto, su ostentoso modo de vestir había desaparecido y a cveces llevaba barba. También estaba enfadado y cada vez más confrontador, especialmente en temas de religión y sociedad.

En 2011, el Servicio de Seguridad Federal de Rusia contactó al FBI para advertirles de que Tamerlan había girado hacia el radicalismo. La alerta saltó por una voncersación telefónica que los rusos habían grabado entre Tamerlán y su madre, por entonces viviendo en la república de Dagestán, en la cual hablaban de yihad

Me resulta curioso que estuviera el servicio de seguridad ruso espiando a una persona que parecía haberse adaptado bien al estilo de vida americano (perseguía una carrera en el boxeo, tocaba el piano muy bien, etc) y estaba hace años en los USA. ¿Son los emigrantes daguestaníes sospechosos directamente? ¿Por qué el servicio secreto ruso sabía de ello, y no el de su país de residencia, los USA?

¿Existe algún tipo de sistema que por defecto pincha las llamadas, y dependiendo de su contenido, se caracterizan de una u otra manera según los temas que se tratan, y asimismo se etiqueta a las partes de las conversaciones?

¿Hasta qué punto el Servicio de Seguridad Ruso espia a su pueblo?

¿Hasta qué punto los servicios de seguridad de las naciones democráticas se asemejan al sistema ruso?

miércoles, mayo 08, 2013

La Bien Querida vs Iggy Pop

¿Qué tienen que ver La Bien Querida e Iggy Pop?

http://www.youtube.com/watch?v=Ruvz3jNbeT4

http://www.youtube.com/watch?v=hLhN__oEHaw

Cambio de ritmo ideal para una sesión popera.

lunes, abril 15, 2013

¿Dónde está el Wally the Hacker?


¡Cuidado queridos niños!
Wally, el Hacker de Camisa de Rayas, Gorrito y Gafoncias ha hackeado este sitio web.


Quería pasar desapercibido, pero como es muy casino online despistado, ha dejado unas pistas que casino online podemos descubrir.
¿Cuáles son? 
Ánimo, queridos niños, ¡y que no os pase a vosotros!



viernes, marzo 15, 2013

Orgasmo papal

No sé si se han fijado en los resplandecientes caretos de los reporteros españoles enviados a Roma que hablan de la noticia del año en el Estado Vaticano: la renovación en la cúpula de El Papado (o La Papada, siguiendo las directrices de lenguaje del Ministerio de Igualdad). Al hablar del nuevo papa, todo es felicidad, alegría y placer consumado.

¿Podría ser porque esperaban estar allí varias semanas y se van a volver a sus casas con el trabajo hecho en dos días? Bromas aparte, la noticia se ha narrado con el mismo lenguaje (verbal y corporal) con que se suelen tratar los éxitos deportivos de la selección española de fútbol o de Rafael Nadal.

En casi todos los medios no-marcadamente-de-izquierdas se ha dado este fenómeno informativo. Pero creo que el ejemplo más paradigmático es el de Matías Prats jr. que nos hace recordar, en tiempo y forma, a su propio padre glosando las glorias deportivas de aquél Real Madrid.

http://www.antena3.com/videos/reportajes-de-noticias/2013-marzo-13-2013031300039.html


martes, marzo 12, 2013

Corrupción Popular Democrática denuncia la falta de equidad en la corrupción española

Recientemente, la conocida asociación Corrupción Popular Democrática(CPD) se ha constituido en partido político, con la intención de proponer algunas mejoras para la igualdad de los ciudadanos ante la ley.

Recordamos que Corrupción Popular Democrática tiene entre sus demandas que todo ciudadano tenga acceso a determinado grado de poder, para tener la posibilidad de ejercer su derecho a la corrupción con las mismas oportunidades que lo que ellos vienen a llamar "la élite". Extraemos de sus estatutos fundacionales:

Existe una élite en España que, sin haberse preparado específicamente, ejercen la corrupción obteniendo réditos astronómicos que los demás ciudadanos no podemos alcanzar. Es injusto que las clases medias y bajas no puedan tener acceso a estos puestos de responsabilidad donde corromperse, a pesar de estar a menudo mucho más preparados de cara a toda la variedad que implica el ejercicio profesional de la corrupción.

Corruptos formados e informados


Durante los primeros meses de su fundación ha contado con miles de apoyos y simpatizantes, la mayoría entre la clase media española. Recientemente se convocó una manifestación en la capital española con objeto de reivindicar sus posturas. "Yo he estado años preparándome para ejercitar el desfalco, tráfico de influencias, cohecho, malversación de fondos, desviación de capital público, trato de favor clásico y moderno... y todos estos estudios no me van a servir de nada por culpa de un sistema inoperante que deja a los más preparados fuera de las instituciones. Siempre entran los hijos de" - comenta enfadado un oriundo de Alcorcón, enarbolando una pancarta que reza "¿Dónde están mis sobres?", con fotografías de los bustos de líderes del Partido Popular tachadas con una cruz. "Mi hijo es titulado en Chantaje y Extorsión por una universidad pública y lo tenemos trabajando a media jornada de reponedor en el supermercado. No hay derecho" - comenta una madre de mediana edad, preocupada ante el futuro de sus hijos.

CPD ofrece en su página web diversos estudios que muestran el beneficio para la economía española que supondría una corrupción más justa y equitativa entre los ciudadanos.

Inseguridad Jurídica para la corrupción a pequeña escala


CPD se postula como el único partido que defiende la figura del corrupto de a pie, que asimismo identifica con el ciudadano medio, incapaz de ejercer la corrupción por un sistema que crea cortapisas al desarrollo de la actividad del fraude público.

"La corrupción será democrática o no será"


Desde CPD también se hace hincapié en la diferencia del trato al ciudadano ante la justicia. La queja generalizada es que la corrupción a altos niveles, además de tratarse de delitos de montantes mucho más elevados, es muy poco perseguida y en las pocas veces en que a los imputados se les llega a imponer una condena en firme, son a menudo indultados posteriormente, lo cual deja el porcentaje de castigos efectivos en unos ratios alarmantes. Sin embargo, CPD denuncia que la corrupción a niveles más bajos se trata "de una manera infinitamente más lesiva", y los indultos nunca llegan. "Estamos hartos de esta situación. No todos somos iguales ante la ley" - comentaba indignado uno de sus vocales en asamblea ordinaria celebrada recientemente.

Derecho a la corrupción


CPD plantea asimismo el derecho a la corrupción como inalienable del ser humano, o al menos del ser español. "Todo el mundo se llena la boca de promesas de lucha contra la corrupción, y luego no hacen nada porque están todos enfangados, como es lógico. No es de recibo que se mienta a la opinión pública en un tema tan espinoso. El ciudadano quiere que sus políticos sean corruptos, pero sinceros. Todos queremos robar, y desde aquí elevamos ese deseo del pueblo español - pero no nos gustan los dobles raseros. Desde CPD no nos asusta hablar de esta patata caliente en que se ha convertido la corrupción y darle el lugar que se merece."

lunes, febrero 18, 2013

Comparación de Reformas Constitucionales: Ecuador 2008 y España 2011

Extracto de la Reforma de la Constitución Ecuatoriana de 2008, siendo presidente Rafael Correa:

1. Se recurrirá al endeudamiento público sólo cuando los ingresos fiscales y los recursos provenientes de la cooperación internacional sean insuficientes. 
2. Se velará para que el endeudamiento público no afecte a la soberanía, los derechos, el buen vivir y la preservación de la naturaleza. 
3. Con endeudamiento público se financiarán exclusivamente programas y proyectos de inversión para infraestructuras, o que tengan capacidad financiera de pago. Sólo se podrá refinanciar deuda pública externa, siempre que las nuevas condiciones sean más beneficiosas para Ecuador.

Extracto de la Reforma de la Constitución Española de 2011, siendo presidente el socialista José Luis Rodríguez Zapatero:

3. El Estado y las Comunidades Autónomas habrán de estar autorizados por Ley para emitir deuda pública o contraer crédito. Los créditos para satisfacer los intereses y el capital de la deuda pública de las Administraciones se entenderán siempre incluidos en el estado de gastos de sus presupuestos y su pago gozará de prioridad absoluta. 
Para el resto de logros del abrumadoramente reelegido Presidente de Ecuador, basta mirar sus Logros Gubernamentales... un político que hace lo que promete defendiendo a a gente frente a los abusos del gran capital... ya pensaba yo que era utopía.