¿Vale la pena usarlo? Probamos Claude 2; el “ChatGPT Killer” de ex-empleados de OpenAI

Que si Bard, que si el Nuevo Bing. Desde que ChatGPT vio la luz a finales de 2022, la carrera por desbancarlo del trono como la inteligencia artificial conversacional más utilizada del mundo parece no terminar nunca. En este contexto nació Claude, un modelo de Anthropic AI, compañía fundada por ex-empleados de OpenAI.

Recientemente han lanzado al público la beta abierta de su Claude 2, una versión mejorada del original cuya premisa asegura poseer funciones que la versión de ChatGPT gratis no tiene, e incluso mejorar las prestaciones iniciales del modelo insignia de OpenAI, el GPT-4. Sin embargo, en ocasiones el que mucho abarca poco aprieta, y hemos decidido probar el nuevo modelo de Anthropic para ayudarte a tomar la decisión de reemplazar a ChatGPT con esta nueva herramienta.

Así es Claude 2; el “ChatGPT Killer” que todos quieren probar

Antes de comenzar debemos dejar claro que Claude 2 es un modelo que se encuentra en fase de open beta. Es decir, lo que se puede utilizar ahora mismo es una versión experimental, similar a lo que hasta ahora tenemos de Google Bard. Esto es importante resaltarlo para no ser demasiado crueles al analizar este modelo.

De entrada, las 3 características más interesantes de Claude 2 son la capacidad para entender documentos de texto en formato de PDF, poder realizar búsquedas en Internet y una base de datos actualizada a principios de 2023, lo cual es una ventaja considerable con respecto a ChatGPT cuyo entrenamiento se limita a información de 2021.

Introducing Claude 2! Our latest model has improved performance in coding, math and reasoning. It can produce longer responses, and is available in a new public-facing beta website at https://t.co/uLbS2JNczH in the US and UK. pic.twitter.com/jSkvbXnqLd

— Anthropic (@AnthropicAI) July 11, 2023

Además, también asegura tener habilidades mejoradas para el entendimiento de código, obteniendo una puntuación del 71,2% en Codex HumanEval. Esto es relevante ya que compañías como Sourcegraph utilizan el razonamiento de Claude 2 para potenciar su asistente de IA Cody y ofrecer mejores respuestas a sus usuarios.

Y no podemos dejar de mencionar sus habilidades matemáticas, obtuvo una puntuación del 88,0% utilizando el conjunto GSM8k, que contiene una enorme cantidad de ejercicios y problemas matemáticos de nivel primario.

Dicho esto, podemos decir que Claude 2 es una auténtica joya ¿O es demasiado pronto?

Nuestra experiencia utilizando Claude 2

Como en IPAP somos de los que nos gusta comprobar de primera mano las cosas en lugar de creernos todo el humo que se vende, hemos decidido probar las capacidades de Claude 2. En este sentido realizamos 3 pruebas; una en la que le hacíamos analizar y resumir un documento PDF, otra en la que le pedíamos que realizara una búsqueda en Internet, y finalizamos pidiéndole que redactara un texto basado en información previamente compartida con el modelo.

Prueba 1; análisis y síntesis de documento PDF

Le dimos a Claude un PDF que contenía un cuento llamado “La Santa” del legendario libro “Doce Cuentos Peregrinos” de Gabriel García Marquez. Nuestra solicitud fue que realizara un análisis de dicho cuento y nos entregara un resumen del mismo. La respuesta de Claude fue poco satisfactoria, aunque reconocemos que pudo entender del contenido del libro.

Sin embargo, omitió muchas partes importantes y al final realizó una síntesis bastante pobre del relato, sin captar la esencia del relato y basándose principalmente en aspectos muy vagos del mismo, dando una respuesta genérica y llena de lo que el propio Anthropic define como “Alucinaciones” (se inventó información solo para dar una respuesta mas o menos coherente).

Prueba 2; realizar una búsqueda en Internet

Esta era una prueba bastante fácil, ya que no exige ningún tipo de razonamiento. En ella le pedimos que realizara un breve resumen del mercado de fichajes del Fútbol Club Barcelona de LaLiga de España. Sin embargo, el resultado no fue tan limpio como esperábamos.

Si bien realizó correctamente la búsqueda y nombró los actuales fichajes oficiales del club blaugrana (Ikay Gundogan, Iñigo Martinez, Vitor Roque y Oriol Romeu), también volvió a tener “alucinaciones” asegurando que el equipo catalán estaba en conversaciones con el Bayern Munich para fichar a Joshua Kimmich, lo cual es completamente falso. Aunque con todo el humo que se arma la prensa deportiva española podemos entender la confusión porque hasta a nosotros nos pasa muchas veces. Así que daremos esta prueba como aprobada.

Prueba 3; redactar un texto basado en información previamente compartida

Esta era otra prueba relativamente sencilla. Debemos admitir que la calidad de la redacción de Claude nos ha sorprendido mucho para bien, mejorando considerablemente el trabajo de ChatGPT que en ocasiones suele adornar demasiado los textos y llenarlos de palabras repetidas por doquier.

Claude 2 cuenta con una gramática y semántica excelentes. Sin embargo, las “alucinaciones” fueron demasiadas, inventándose datos a diestra y siniestra solo para dar una respuesta de mayor calidad. Lo peor es que cuando le dijimos que lo habíamos pillado, este nos respondió; “Lo siendo, suelo inventarme información para realizar respuestas más completas, debes entender que soy un modelo en una fase beta y puedo cometer estos errores”.

Y tiene razón, Claude 2 todavía está en una fase experimental, por lo que es normal que cometa estos errores. Sin embargo, podemos decir que de momento es mucho mejor que lo que podemos encontrar en el bochorno de Google Bard y en el Nuevo Bing en la actualidad. Por ello de daremos un 5/10, lo cual es un regular, pero aprobado al fin.

Si tienes pensado utilizar esta inteligencia artificial, ten cuidado con sus “alucinaciones”, ya que podrían darte más trabajo al detectarlas y corregirlas de lo que te esperas. Por ello nuestro consejo es que esperes a que el proyecto se encuentre en una fase más avanzada antes de adoptarlo por completo.