Los investigadores de Stanford y UW construyen $ 50 de código abierto Chatgpt O1 Rival

Los investigadores de IA en Stanford y la Universidad de Washington supuestamente lograron lo que nadie creía posible: construyeron un modelo de IA llamado S1 por menos de $ 50 en créditos de computación en la nube, según un informe de investigación publicado el lunes.

Según los informes, el modelo S1 ofrece rendimiento a la par con los modelos de razonamiento de primer nivel, incluidos O1 de OpenAI y Deepseek's R1, de acuerdo con los puntos de referencia sobre las matemáticas y las pruebas de codificación. Aún mejor, todo el proyecto está disponible en GitHub: código, datos y todo.

El equipo comenzó agarrando un modelo estándar en lugar de construir algo nuevo. A partir de ahí, lo ajustaron a través de un proceso llamado destilación. Según su investigación, destilaron el poder de razonamiento del modelo experimental Gemini 2.0 Flash Thinking de Google.

Entrenaron a S1 para imitar las técnicas de resolución de problemas de Géminis al aprender de sus respuestas. "Apuntamos a la simplicidad", dijo Niklas Manennighoff, uno de los investigadores de Stanford involucrados.

Pequeño conjunto de datos, grandes resultados

La destilación se está convirtiendo rápidamente en un arma de elección para los equipos de IA que buscan reducir los costos. Un modelo de IA similar desarrollado el mes pasado por los investigadores de Berkeley costó $ 450 para entrenar, aún barato para los estándares de la industria. Pero Stanford y UW dieron un paso más, reduciendo los costos a aproximadamente $ 50 al destilar su modelo con un conjunto de datos más pequeño y técnicas simplificadas.

Los investigadores seleccionaron solo 1,000 preguntas, cada una combinada con respuestas detalladas y razonamiento paso a paso de Gemini 2.0 de Google. Este conjunto de datos proporcionó todo el conocimiento que S1 necesitaba para realizar a un alto nivel. Según el artículo del equipo, el modelo aprendió a pensar en los problemas.

El ajuste superior supervisado, o SFT, fue clave para hacer que esto funcione. En lugar de usar el aprendizaje de refuerzo, que requiere grandes conjuntos de datos y toneladas de potencia informática, los investigadores optaron por SFT, un método en el que la IA está directamente capacitada para imitar los comportamientos que se encuentran en el conjunto de datos. Es más barato y más rápido, y en este caso funcionó.

El modelo base vino de Qwen, el laboratorio AI propiedad de Alibaba. Su modelo estándar fue gratuito, lo que hace que el proyecto sea aún más amigable con el presupuesto. En menos de 30 minutos y usando solo 16 GPU H100 NVIDIA, el equipo terminó de entrenamiento S1. "Podríamos alquilar el cómputo necesario por alrededor de $ 20 hoy", dijo Manennighoff.

El comando "Wait" aumentó la precisión de S1

Según los informes, los investigadores incluyeron un truco inteligente para mejorar el razonamiento de S1: agregaron la palabra "espera" durante la resolución de problemas. Al decirle al modelo que haga una pausa y verifique su trabajo, aumentó la precisión. El trabajo de investigación detalla cómo este ajuste le dio a S1 suficiente tiempo para considerar mejores respuestas antes de enviarlas.

Operai está mirando de cerca. Ya han acusado a Deepseek de cosechar datos de su API para construir competidores de IA. Con S1 mostrando lo barata que puede ser la replicación, los grandes jugadores como OpenAi no están encantados. La mercantilización de los modelos de IA podría dañar sus resultados.

Pero la compañía de tecnología tiene otros problemas. El martes, el equipo legal de Elon Musk se enfrentó a Operai en una sala del tribunal federal de Oakland. Elon, quien fue uno de los primeros inversores en OpenAI, afirma que la compañía abandonó su misión sin fines de lucro y traicionó sus objetivos originales.

Está demandando para bloquear su transición a un negocio totalmente con fines de lucro. El abogado de Elon, Marc Toberoff, le dijo al tribunal el viernes que Elon invirtió $ 45 millones en OpenAI entre su fundación y la causa de 2018 que creía que siempre priorizaría el beneficio público sobre las ganancias, tal como dijo que al principio lo haría.

El juez Yvonne González Rogers lo calificó como un "estiramiento" y cuestionó por qué Elon incluso invertiría tanto dinero sin untracescrito. "Eso es solo mucho dinero en un apretón de manos", se burló. El abogado Toberoff explicó que el CEO de Elon y Openi, Sam Altman, tenía una relación cercana en ese momento, y todo se basó en la confianza.

Pero el caso aún no está muerto. El juez está preocupado por la estrecha relación de Openai con Microsoft. Dos jugadores clave, el cofundador de Linkedin, Reid Hoffman, y la ejecutiva de Microsoft Deanna Templeton, fueron involucrados con la junta de OpenAI. Templeton se agregó como miembro no votante después de la breve expulsión de Altman en 2023, pero luego fue eliminado en medio de preocupaciones antimonopolio.

Elon quiere detener sus planes y potencialmente obtener más control sobre la compañía a través de su propia empresa de IA, Xai, que agregó como demandante en el caso. Operai argumenta que la solicitud de Elonripple su negocio y se basa en reclamos "descabellados".

Academia Cryptopolitan: Hoja de trucos de currículum Web3 gratis - Descargar ahora