OLMoE: IA privada y sin internet en tu teléfono

OLMoE es una aplicación de código abierto para iOS desarrollada por el Allen Institute for AI (Ai2) y Contextual AI que permite a los usuarios ejecutar modelos de lenguaje avanzados directamente en sus dispositivos, ofreciendo acceso privado y seguro a capacidades de modelos de lenguaje avanzados sin necesidad de conexión a Internet [1][5].

Estos son los aspectos más importantes de la aplicación OLMoE:

Capacidades

La aplicación permite a los usuarios experimentar tareas del mundo real, investigar cómo mejorar los modelos de IA pequeños, probar sus propios modelos localmente utilizando el código base de código abierto e integrar OLMoE en otras aplicaciones de iOS [4].

Privacidad

Las interacciones con OLMoE son completamente privadas. A menos que elijas compartir una conversación, tus conversaciones nunca saldrán de tu dispositivo [4].

Código abierto

El modelo OLMoE y el código de la aplicación son completamente de código abierto [7]. El repositorio de código abierto está disponible en GitHub [3].

Rendimiento

OLMoE es un modelo Mixture-of-Experts (MoE) pequeño y eficiente con 1000 millones de parámetros activos y 7000 millones de parámetros totales [2]. Está entrenado con la receta Tülu 3, totalmente abierta y de última generación [4]. En un iPhone 16 Pro, alcanza una velocidad de procesamiento promedio de 41 tokens por segundo [4].

Requisitos

La primera versión de la aplicación OLMoE requiere un iPhone 15 Pro o dispositivos más nuevos, o cualquier iPad de la serie M, debido a limitaciones de hardware [5]. Estos requisitos de hardware se deben a la necesidad de 8 GB de memoria para soportar las exigencias computacionales del modelo OLMoE, que ha sido optimizado para la eficiencia utilizando la cuantificación Q4_K_M1.

Accesibilidad

La aplicación está disponible para su descarga en la App Store de Apple o se puede crear a partir de una fuente a través del repositorio abierto de Ai2 [4].

Colaboración

La aplicación fue desarrollada en colaboración con GenUI y utiliza enlaces Swift para Llama.cpp para optimizar el rendimiento [4].

Ventajas

Al eliminar la dependencia de la infraestructura en la nube, la aplicación OLMoE garantiza la privacidad y fiabilidad de los datos al tiempo que demuestra el creciente potencial de los dispositivos móviles como plataformas para capacidades avanzadas de IA [1].

Finalidad

Ai2 ofrece con orgullo OLMoE como una poderosa herramienta de investigación para ayudar a la comunidad a comprender mejor cómo se crean y cómo operan los LLM [3].

Fuentes:

1. https://www.testingcatalog.com/ai2-launches-open-source-olmoe-ios-app-for-on-device-ai-models/

2. https://apps.apple.com/us/app/ai2-olmoe/id6738533815

3. https://allenai.org/blog/olmoe-app

4. https://www.geekwire.com/2025/allen-institute-for-ais-new-open-source-ai-app-for-ios-runs-on-device-for-secure-private-offline-use/

5. https://github.com/allenai/OLMoE.swift/blob/main/OLMoE.swift/README.md

6. https://www.aisharenet.com/en/ai2-olmoejiyu-o/

7. https://allenai.org/on-device

8. https://github.com/allenai/OLMoE.swift/releases

9. https://olmo.app

10. https://github.com/allenai/OLMoE.swift/issues

11. https://openreview.net/forum?id=xXTkbTBmqq

12. https://github.com/allenai/OLMo

13. https://www.promptingguide.ai/models/olmo

14. https://stackoverflow.com/questions/25045697/how-to-use-private-github-repository-for-ios-apps

15. https://www.aibase.com/tool/36137

16. https://huggingface.co/datasets/allenai/OLMoE-mix-0924

    
    

IAs que ayudaron a hacer esto posible:

• Asistencia de Chat GPT 4o para la elaboración de la imagen

• Asistencia para la investigación con Perplexity IA.

• Asistencia para el contenido media con GPT assistant (fine tuned).

Todo el contenido has sido creado por un humano con la ayuda de inteligencia artificial.