Introduction

OLMo (Open Language Model) est une initiative lancée par l'Allen Institute for AI (AI2) avec pour objectif de promouvoir la transparence, la reproductibilité et l'accessibilité dans la recherche sur les grands modèles de langage (LLM). Contrairement à d'autres initiatives commerciales souvent opaques, OLMo se distingue par sa volonté de publier l'intégralité du processus d'entraînement, y compris le code source, les jeux de données, les poids du modèle, les checkpoints intermédiaires et les configurations expérimentales. Cette approche vise à permettre aux chercheurs, développeurs et institutions académiques d'explorer, comprendre et améliorer les modèles de langage sans les obstacles liés aux restrictions d'usage ou à l'accès limité aux ressources.

L'architecture d'OLMo repose sur PyTorch, et le projet est conçu pour être modulable et extensible. Il prend en charge l'entraînement à grande échelle, en particulier sur des infrastructures distribuées. AI2 fournit avec OLMo un écosystème complet, comprenant notamment le jeu de données Dolma (plus de 3 milliards de documents textuels), un pipeline de prétraitement, ainsi que des scripts de fine-tuning pour des tâches spécifiques comme la classification ou la génération de texte. De plus, OLMo propose plusieurs variantes de modèles, notamment OLMo-1B, OLMo-7B, et OLMo-Instruct, adaptés à différents niveaux de complexité et d'utilisation, de la recherche académique à des cas d'usage industriels.

L'ambition plus large d'OLMo est de servir de référence ouverte pour le développement de LLM, en mettant l'accent sur l'interprétabilité, l'éthique et la reproductibilité scientifique. En facilitant l'analyse comparative, l'étude des biais algorithmiques et l'évaluation des performances dans divers contextes linguistiques, OLMo constitue une contribution majeure à l'écosystème des IA responsables. Il renforce la mission d'AI2 de bâtir des outils d'IA pour le bien commun, tout en proposant une alternative robuste et accessible face aux modèles fermés comme GPT, Gemini ou Claude. Grâce à sa licence Apache 2.0, OLMo peut être utilisé librement dans des projets de recherche ou des applications commerciales, avec un fort engagement envers l'open science.