En un esfuerzo por mejorar su inteligencia artificial Gemini, Google ha estado comparando sus respuestas con las generadas por Claude, un modelo competidor desarrollado por Anthropic. Esta información proviene de correspondencia interna a la que tuvo acceso TechCrunch. Sin embargo, Google no ha confirmado si obtuvo permiso para utilizar Claude en estas pruebas comparativas. En la carrera por desarrollar modelos de inteligencia artificial más avanzados, las empresas tecnológicas suelen evaluar el rendimiento de sus modelos frente a los de la competencia, generalmente a través de pruebas de referencia de la industria, en lugar de realizar evaluaciones manuales de las respuestas de los modelos competidores.
Los contratistas encargados de mejorar Gemini deben calificar la precisión de las respuestas del modelo según varios criterios, como la veracidad y la extensión. Estos contratistas disponen de hasta 30 minutos por cada solicitud para determinar cuál respuesta es mejor, la de Gemini o la de Claude. Recientemente, los contratistas han notado referencias a Claude en la plataforma interna de Google utilizada para comparar Gemini con otros modelos de inteligencia artificial. En al menos uno de los resultados presentados a los contratistas de Gemini, se indicaba explícitamente: «Soy Claude, creado por Anthropic».
En las conversaciones internas, los contratistas observaron que las respuestas de Claude parecían enfatizar más la seguridad en comparación con Gemini. Un contratista comentó que «las configuraciones de seguridad de Claude son las más estrictas» entre los modelos de inteligencia artificial. En ciertos casos, Claude se negó a responder a solicitudes que consideraba inseguras, como el juego de roles con otro asistente de inteligencia artificial. En otro ejemplo, Claude evitó responder a una solicitud, mientras que la respuesta de Gemini fue señalada como una «gran violación de seguridad» por incluir contenido inapropiado.
Las condiciones comerciales de Anthropic prohíben a los clientes utilizar Claude para desarrollar productos o servicios competidores o entrenar modelos de inteligencia artificial competidores sin su aprobación. Google, siendo un importante inversor en Anthropic, no ha aclarado si cuenta con dicha aprobación. Shira McNamara, portavoz de Google DeepMind, que gestiona Gemini, afirmó que, aunque comparan las salidas de los modelos como parte de su proceso de evaluación, no entrenan Gemini utilizando modelos de Anthropic. McNamara enfatizó que cualquier sugerencia de que se han utilizado modelos de Anthropic para entrenar Gemini es incorrecta.
Recientemente, TechCrunch informó que los contratistas de Google que trabajan en productos de inteligencia artificial de la empresa ahora deben calificar las respuestas de Gemini en áreas fuera de su especialidad. La correspondencia interna reveló preocupaciones de los contratistas sobre la posibilidad de que Gemini genere información inexacta sobre temas altamente sensibles, como el cuidado de la salud.