A diferença de performance pro Windows é pouca e só é percebido no ultra. Pelo menos com nvidia, não comparei com driver livre pois minha prioridade é estudar gpu computing
Dá pra transferir arquivos do celular pro Linux com FTP disponível em alguns file managers ou com app AirDroid e similares.
Também tem a opção das nuvens como Google drive, Dropbox etc
Desde 2013 que não tenho problemas com USB nos android e Ubuntu. Eu uso muita nuvem e acho que acostumei com a velocidade de transferência, mas realmente não se compara a USB 3.1