Tópico entendi, vou baixar esse arquivo e dar uma olhada na tarefa de limpeza, é de boa?

Nem tanto de boa. Veja como o WikiExtractor faz: http://medialab.di.unipi.it/wiki/Wikipedia_Extractor Eu peguei o código fonte deles e fiz algumas modificações