Пост​​Миниатюрная нейронная сеть

​​Миниатюрная нейронная сеть Автор con-dog, GitHub Экспериментальный проект по созданию крайне компактной нейронной сети для автономного решения лабиринтов. Автор начинал с цели добиться 100% решения лабиринтов, но постепенно превратил задачу в исследование того, насколько маленькой может быть работающая нейросеть. Главный результат — 14-байтовый конечный автомат, который, видя только локальные стены вокруг себя и не имея карты, координат или глобального состояния лабиринта, решает около 96,5% ранее не виденных лабиринтов размером до 21×21. Ключевые идеи, к которым автор пришёл в ходе примерно 47 экспериментов: - Минимальное локальное восприятие. Агент видит только непосредственно окружающие его стены и фактически «ощупывает» лабиринт вслепую. - Память оказалась критически важной. Без неё агент часто попадает в бесконечные циклы; экспериментально оптимальными оказались примерно 4 бита памяти. - Попытки создать отдельную быструю и медленную память оказались менее эффективными, чем простая память. - Большой прорыв дала проприоцепция — информация о том, какой ход агент только что сделал и состоялось ли движение. Это подняло результат выше 80%. - Интересный эксперимент с «двумя мозгами»: автор использовал однобитные нейроны и переключал два набора весов через фиксированное число шагов. Оптимальным оказалось переключение примерно каждые 16 шагов. - Ещё более существенным оказался переход от сложного представления направления цели к очень грубому сигналу. Вместо 4-битного представления направления использовался четырёхпозиционный компас, а затем всего 1 бит «горячо/холодно»: находится ли цель впереди агента. - Для проверки обобщаемости автор тестировал сеть на лабиринтах, созданных другими алгоритмами, которые не использовались при обучении. Падение медианной успешности составило примерно 1%, что говорит о сравнительно слабой зависимости модели от конкретного генератора лабиринтов. В проекте демонстрируется принцип «минимально достаточного интеллекта». Автор обнаруживает, что для поведения, которое внешне выглядит достаточно сложным — поиска выхода из неизвестного лабиринта, — не обязательно иметь большую нейросеть, карту окружающего мира или большое внутреннее состояние. При правильном выборе сенсорной информации, памяти и механизма изменения состояния достаточно буквально нескольких десятков бит. По сути, это не столько попытка создать «маленький аналог ChatGPT», сколько исследование вопроса: Какой минимальный объём внутренней структуры необходим агенту, чтобы демонстрировать определённое интеллектуальное поведение? Он наглядно показывает, что сложность наблюдаемого поведения и объём вычислительной модели могут очень сильно различаться. При этом 14-байтовая система — это скорее специализированный обученный конечный автомат, чем нейросеть общего назначения. Читать 5мин https://dzen.ru/a/arX56wtLlk-_u69h