ПостProof of Concept

Proof of Concept Проверил также вариант, где значения не вычисляются из ключей, то есть имеем три классические отдельные проекции входа в ключи, запросы и значения. Схема другая, работает как ассоциативная память ключ-значение: 1. Связываем пары ключ-значение и собираем их суперпозицию – операция записи в память: ∑ⱼkⱼ⊙vⱼ. Используем cumsum для причинности. 2. Умножаем суперпозицию на запрос qᵢ – операция чтения из памяти: qᵢ⊙∑ⱼkⱼ⊙vⱼ. В данной схеме это вернёт суперпозицию всех значений от ключей, схожих с запросом. * к ключам и запросам применяется RoPE. ——— Результат Перплексия снизилась, догнав трансформер с softmax вниманием, но сходимость вернулась к классическому виду – обобщение отстаёт от заучивания.