Cuando las seudo-matemáticas aumentan los fraudes

17/04/2014 | Stephen Foley – Financial Times Español

Las comunicaciones de la Sociedad Norteamericana de Matemáticas parecerían ser una publicación poco apropiada para exponer fraudes masivos. Los autores de la investigación, publicada en la edición más reciente, ciertamente no estarán entre los nominados a los premios Pulitzer del próximo año. Pero estos cuatro matemáticos han publicado un punzante artículo de interés público, y en el momento crítico.

“Pseudo-Mathematics and Financial Charlatanism” establece que la mayor parte de las virtudes que se dicen tienen las estrategias de inversión cuantitativa falsas.

Al llamarlas fraude los académicos atraen la atención, y los inversionistas harían bien en tomar precauciones. Con las tasas de interés a punto de cambiar, y un mercado de valores alcista a punto de desfallecer, nunca había habido tantas tentaciones para tratar de superar a las inversiones tradicionales en bonos y acciones y de seguir el canto de las sirenas de aquellos que pregonan ver patrones en el historial del mercado.

Los destinatarios (no nombrados) de la ira de los matemáticos van desde los técnicos analistas individuales que identifican señales de compra y venta en los diagramas del mercado de valores, hasta los fondos de futuros que manejan trillones de dólares. Otros delincuentes son los administradores de inversiones que promueven estrategias de prueba “inteligentes”, las cuales intentan formar una cartera basándose en señales históricas.

Incluso hay una tendencia preocupante de hágalo-usted-mismo: muchas plataformas de trading electrónico tienen herramientas que alientan a los inversores minoristas a “probar en el pasado” sus medio meditadas estrategias de inversión, para ver cuál habría sido su desempeño en el pasado.

Falsos positivos
Los autores argumentan que, al no aplicar rigor matemático a sus métodos, muchos de los proveedores de estrategias de inversión cuantitativa están, deliberada o negligentemente, mal aconsejando a sus clientes.

Es razonable querer probar una prometedora estrategia de inversión para ver cómo se habría desempeñado en el pasado. El truco está en acondicionar la estrategia hasta que se ajusta perfectamente a los datos históricos. Así cree uno que ha encontrado la estrategia de inversión más exitosa; cuando, de hecho, uno se ha topado con una casualidad, un falso positivo.

Este es el problema de “sobreajustar” e incluso el ponerla a prueba – por segunda vez con una pequeña muestra de datos históricos – puede dar muchos falsos positivos.

Pero no hay que perder la esperanza. Este artículo no dice que la historia no sirva; solo que probar con datos del pasado requiere más análisis estadístico que el que los administradores de inversiones necesitan mostrar para hacer una venta.

El continuo éxito de Renaissance Technologies, fundado por el genio matemático, y rompe códigos, Jim Simons, sugiere que algunos pueden distinguir entre sonido y ruido en los mercados financieros.

Por lo menos los mejores fondos de inversión cuantitativa están sintonizados con el problema de sobreajuste. Winton Capital, de Londres, publicó un artículo el año pasado alertando que, aun si investigadores individuales son escrupulosos en el cálculo de probabilidades, las instituciones tienen el riesgo de “sobre ajustar”, por la tendencia a solo enviar a aprobación las estrategias que mejor se ajustan.

Parece ser que las finanzas necesitan replantearse completamente, tal y como lo hizo la industria farmacéutica hace una década.

Farma Lección
Fue en 2004 cuando se encontró que GlaxoSmithKline había llevado a cabo numerosos ensayos que habían fallado en demostrar que el antidepresivo llamado Paxil era un tratamiento efectivo para niños. Solo la minoría de los ensayos sugerían su eficacia, y estos fueron los que se publicaron. Pero cuando los investigadores añadieron todos los datos no publicados quedó claro que el medicamento aumentaba el riesgo de suicidio en los adolescentes, y fue entonces que se prohibió su uso en menores de edad.

GSK respondió prometiendo revelar todos sus ensayos y publicar todos los datos, sin tomar en cuenta el resultado. Con más o menos repugnancia, otras grandes farmacéuticas la siguieron. Como resultado de ello nos seguimos enterando de que las proclamadas ventajas de los medicamentos exitosos no se sostienen, y Tamiflu es el ejemplo.

Cuando se trata de estrategias de inversión cuantitativa, que dicen haberse desempeñado bien históricamente, no es suficiente que sus administradores pongan en la publicidad el sello de “el desempeño anterior no predice el desempeño futuro”. Un detalle crucial, casi nunca revelado, es cuántos ajustes y pruebas se descartaron hasta llegar a tan milagroso descubrimiento.

Los autores del artículo están a favor de prohibir el uso de las seudo matemáticas en las finanzas. Uno propone que el software de uso libre que puede mejorar el modelado y limitar el riesgo del sobreajuste. Otro sugiere que el regulador puede promover mejores prácticas en la promoción de las ventajas de las matemáticas, tal como la Administración de Medicamentos y Alimentos monitorea la publicidad de medicamentos.

Llamar la atención sobre este tema es necesario para mejorar la transparencia. Si los administradores de inversiones y los consejeros no mejoran sus métodos, tal como dice el trabajo de los académicos, al probar con datos históricos y sobre ajustar, entonces merecerán ser llamados defraudadores.

When use of pseudo-maths adds up to fraud

04/17/2014 | Stephen Foley – Financial Times English

The Notices of the American Mathematical Society may seem an unlikely periodical to expose fraud on a massive scale. The authors of its investigation, published in the current edition, are certainly not going to sit among next year’s Pulitzer nominees. But the four mathematicians have published a piercing article in the public interest, and in the nick of time.

“Pseudo-Mathematics and Financial Charlatanism” makes a case that the vast majority of claims made for quantitative investment strategies are false.

By calling it fraud the academics command attention, and investors would be wise to beware. With interest rates about to turn, and a stock market bull run ageing fast, there have never been such temptations to eschew traditional bond and equity investing and to follow the siren sales patter of those who claim to see patterns in the historical data.

The (unnamed) targets of the mathematicians’ ire range from individual technical analysts who identify buy and sell signals in a stock chart, to managed futures funds holding billions of dollars. Other offenders are investment managers who push “smart beta” strategies, which aim to construct a portfolio based on signals from history.

There is even a worrying do-it-yourself trend: many electronic trading platforms have tools that encourage retail investors to “backtest” their own half-baked trading ideas, to see how they would have performed in the past.

False positives
The authors’ argument is that, by failing to apply mathematical rigour to their methods, many purveyors of quantitative investment strategies are, deliberately or negligently, misleading clients.

It is reasonable to want to test a promising investment strategy to see how it would have performed in the past. The trap comes when one keeps tweaking the strategy until it neatly fits the historical data. One might think one has hit upon the most successful investment strategy; in fact, one is likely to have hit upon a statistical fluke, a false positive.

This is the problem of “overfitting” and even checks against it – such as testing in a second, discrete historical data set – can throw up many false positives.

Do not despair. The paper does not conclude that history is bunk; just that backtesting ought to require more statistical thought than investment managers need to display to make a sale.

The perennial success of Renaissance Technologies, founded by code-breaking maths genius Jim Simons, suggests that some can separate signal from noise in financial markets.

At least the best quantitative hedge funds are attuned to the problem of overfitting. London’s Winton Capital published a paper last year warning that, even if individual researchers are scrupulous about calculating probabilities, institutions risk “meta-overfitting”, because the tendency is to only submit the best-fitting strategies for approval.

It seems that finance may need a similar overhaul as the one the pharmaceuticals industry underwent a decade ago.

Pharma lesson
In 2004 it was found that GlaxoSmithKline had conducted numerous trials that failed to prove that an antidepressant called Paxil was an effective treatment for children. A minority of trials suggested efficacy, and these were published. But when scientists added together all the unpublished data, it became clear that the drug increased the risk of teen suicides, and it was banned for use by minors.

GSK responded by promising to reveal all its trials and publish all its data, regardless of outcome. Other large drug companies followed, more or less reluctantly. As a result we continue to learn that large claims made for blockbuster medicines tend not to stack up over time, Tamiflu being an example.

When it comes to quantitative investment strategies claiming to have performed well historically, it is not good enough for managers to stamp “past performance is no guide to future performance” on a marketing document. A crucial detail, almost never revealed, is how many discarded tweaks and tests led to the miraculous discovery.

The authors of the paper are upbeat about banishing pseudo-mathematics from finance. One provides open source software that can improve modelling and limit the risk of overfitting. Another suggests that a regulator could promote best practice in the marketing of mathematical claims, just as the Food and Drug Administration monitors drug ads.

Raising the issue is necessary for raising the bar. If investment managers and advisers do not improve their methodologies in line with academic thinking about backtesting and overfitting, they will deserve to be called frauds.

Copyright &copy “The Financial Times Limited“.
“FT” and “Financial Times” are trade marks of “The Financial Times Limited”.
Translation for Finanzas para Mortales with the authorization of “Financial Times”.
Copyright &copy “The Financial Times Limited“.
“FT” and “Financial Times” are trade marks of “The Financial Times Limited”.
¿Te ha resultado interesante? ¡Compártelo!