Лично я бы на вашем месте, по крайней мере попробовал бы посмотреть в сторону отделения физики юньки от физики сервера, как я понял из того что там наскребла нейронка у вас 2д, следовательно ничего больше чем boxCollider и условный sphereCollider вам не нужно, а это описывается ну 3 полями, а если учесть что в юньке для 2д физики используется вроде как открытый и типа бесплатный box2d то вы это можете спокойно считать отдельно от физики сцены/мира что там у вас не знаю, и радоваться жизни без всего этого геморроя
Условно подводя итог, я считаю что возможно на данный момент времени проблема высосана из пальца, либо я чего-то до конца так и не понял