Криптонит. Разработка, наука, шифрование

Резервуарные вычисления: как сети эхо-состояний обеспечивают быстрое обучение и энергоэффективность Сотрудник отдела перспективных исследований «Криптонита» Илья Андросов сделал большое сравнение сетей эхо-состояний (ESN). Это рекуррентные нейросети, у которых обучается только выходной слой, а внутренний «резервуар» остаётся фиксированным. 📌Почему ESN ценны: 🟦обучение занимает один проход или несколько сотен шагов, а не тысячи эпох; 🟦один резервуар можно переиспользовать для разных задач; 🟦они прозрачнее, устойчивее к шуму и легко ложатся на FPGA. Илья также вводит понятие графовой памяти. Задержки распространения сигнала по графу связей позволяют сети естественно «помнить» прошлые сигналы без дополнительной настройки весов. Главный результат: в прогнозе хаотического ряда Макки–Гласса лучшей оказалась архитектура ESN skew с алгоритмом RLS-FORCE. Почти так же точна модель Neural Field skew, но с бонусами: масштабируемость, наглядность и встроенная графовая память. 📌Такие сети подходят для предсказания аритмий и эпилептических приступов, обнаружения DDoS-атак, прогноза отказов оборудования, рыночных аномалий и других задач с изменчивыми временными рядами. 🔊Читайте статью в нашем блоге на Хабре! Канал «Криптонита» в MAX