Python Community | Chat

OpenMythos - open-source попытка теоретически реконструировать Claude Mythos, где все архитектурные ставки расписаны прямо в README. По сути, OpenMythos это публичная гипотеза, которая ещё и запускается. Что авторы считают основой Mythos? Не глубокий стек уникальных слоёв, а Recurrent-Depth Transformer. MoE с активацией около 5% параметров, поэтому общий размер модели скорее показывает объём хранения, а не реальную стоимость вычислений. Loop-index positional embedding, чтобы каждая итерация работала как отдельная вычислительная фаза. ACT halting, чтобы модель сама решала, когда ей достаточно “думать”, причём отдельно для каждого токена. И ещё continuous latent thoughts, которые могут кодировать сразу несколько следующих шагов. По смыслу это похоже на breadth-first search внутри одного forward pass. Источники идей тоже понятны: Parcae для стабильности, Universal Transformers для halting, DeepSeek для MoE routing. GitHub: http://github.com/kyegomez/OpenMythos @Python_Community_ru