Every AB test is wrong
The industry, through concepts like agility and Lean Startups, has taken on rapidly the practice of performing AB tests. In a nutshell, the AB tests are cont...
“Se vuelven a encarecer los vuelos”, parece que va a ser algo gravísimo. Cuando leés el cuerpo de la nota, la tasa es de entre 200 y 500 pesos (menos de dos dólares). Nuevamente: técnicamente es correcto, pero todos sabemos que es mentira, que el titular insinúa algo tan exagerado que es incluso falso. En las redes sociales también pasa un montón. El objetivo es conseguir dirigir tráfico hacia el sitio. Otra estrategia para dirigir el tráfico al sitio es, por ejemplo, este tuit de ámbito:
🎞ARGENTINA, 1985 VA POR MÁS: CUÁNDO Y POR DÓNDE VER LOS CRITICS' CHOICE AWARDS
— Ámbito Financiero (@Ambitocom) January 15, 2023
👉 Este domingo se entregan los premios elegidos por la crítica de Estados Unidos. Tras los Globos de Oro, la película argentina buscará repetir la hazaña.
📲 Leé más: https://t.co/AyqbbMjBY2 pic.twitter.com/nPirJLx83k
El tuit plantea una pregunta que se responde en la nota, pero que no hace falta. El tuit podría ser: ARGENTINA, 1985 VA POR MÁS: ESTE DOMINGO A LAS 21 HS POR TNT PODÉS VER LOS CRITICS’ CHOICE AWARDS. No les conviene hacerlo de esa manera porque pierden visitas. Pero claro, encima tienen que escribir toda una nota para justificarlo, de manera que la información está escondida en un montón de relleno bastante inútil. Ahí hay un uso posible de los modelos generativos: podríamos pedirle a GPT-3 que invente una nota de relleno “alrededor” de la información importante, el día y horario de la transmisión. La consecuencia es una peor calidad periodística, lectores menos informados y, encima, los editores pueden elegir títulos que sugieran cosas inexistentes. Es un juego que no se puede ganar, todos los incentivos van para generar más tráfico, que es más ingresos por publicidad, más “prestigio” en alguna métrica. Nosotres, les pobres lectores, tenemos que caer sí o sí en ese juego para informarnos.
Pero si podemos usar GPT-3 para generar el “relleno”, también podemos usarlo para sacárnoslo de encima. Resumir las notas, tratar de extraer la información más relevante que entre en un tuit y disponibilizarla. Usar a la máquina para deshacer los esfuerzos de estos medios de ocultarnos la información. Eso es, esencialmente, Te ahorro tu click, un bot (aún en desarrollo1) que sigue a cuentas de “noticias”, lee la nota asociada y responde los tuits con un resumen. No creo en la infalibilidad de GPT-3 (ni de cualquier modelo posterior), a pesar de que hasta ahora sus resultados me sorprendieron y casi siempre los resúmenes fueron fieles. Pero sí creo que este tipo de desarrollos puede ayudar a generar aunque sea algún incentivo para disminuir los clickbaits. No va a ser este el bot que acabe con ellos, pero fue muy sencillo de hacer. Lo que más tiempo tomó fue que twitter me aceptara la solicitud de los permisos para automatizarlo.
El resumen que da a la nota original de infobae es:
Desde el lunes 9 de enero se aplicará un nuevo impuesto a los pasajes aéreos en todos los aeropuertos del SNA. La Tasa de Seguridad de la Aviación tendrá un costo base de $260 para vuelos domésticos y de USD 1,40 para vuelos internacionales y regionales. La tasa de uso aeroportuario también subirá a partir del 2 de febrero.
El resumen de la de ámbito es:
Tras el triunfo en los Globos de Oro, la película argentina “Argentina, 1985” busca repetir la hazaña este domingo en los Critics’ Choice Awards. Se emitirá en TNT y HBO Max desde las 21hs con comentarios de Ileana Rodríguez y Rafael Sarmiento.’
Un par de problemas: el primero es que le cuesta mantener un límite de caracteres. A pesar de que el requisito es que el resumen tenga un máximo de 200 caracteres, el primer resumen tiene 325 y el segundo 244. Por ahora el bot corta el mensaje hasta 280 caracteres para garantizarse que entre en un tuit. El otro problema es que le cuesta reconocer qué es un clickbait y qué no (a nosotros los humanos nos cuesta ponernos de acuerdo incluso). La decisión por ahora es resumir todas las notas (incluso las que no son clickbaits) y agregar una pequeña encuesta después de la respuesta para ver si, en general, los usuarios consideran el tuit original como un clickbait. La respuesta al tuit de ámbito se ve así:
Por ahora responde automáticamente a las cuentas de Ambito y Minuto Uno. Para Infobae hay que etiquetar al bot en las replies para que la resuma. No se puede hacer automáticamente porque tuitean mucho mucho y termina siendo muy costoso. Si bien es relativamente fácil agregar más fuentes, también es cierto que los medios pueden usar algunas estrategias para complicar la solución de este lado o incluso encarecerla. En general, el bot es más una prueba de concepto que un anti clickbait a prueba de balas.
Ojo, no es esto un canto a la tecnología. Fueron los propios desarrollos tecnológicos los que generaron los incentivos para esta situación actual, de clickbait insoportable. Pero a veces hay alguna manera de usar algunas herramientas de la tecnología para reclamar el control que otras herramientas nos quitan. Incluso quizás resulta que esta herramienta en concreto no es tan buena como parece, que puede terminar siendo más perjudicial que beneficiosa. Porque no es la tecnología la que va a resolver los problemas, sino los incentivos que queremos construir y, en gran medida, los usos que les demos.
Que no me comprometo a mantener, quizás se rompa, yo qué sé, es un jueguito. Sin compromiso. ↩
Leave a Comment