Pt-BR Data Science & Python@datasciencepython · grupo · 4 743 membros

Mensagem Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

4 de julho de 2017

L

Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

20:00

Por perto no feed

Bruno19:50entendi, vou baixar esse arquivo e dar uma olhada na tarefa de limpeza, é de boa?L

Luciano SB19:58Nem tanto de boa. Veja como o WikiExtractor faz: http://medialab.di.unipi.it/wiki/Wikipedia_Extractor Eu peguei o código fonte deles e fiz algumas modificações

esta mensagem

Luciano SB20:03o gensim diz que demora umas 4h para extrair a wikipedia em ingles. Mas são 12GB de dados, enquanto que em português são 1.5GB L

Luciano SB20:07não lembro quanto tempo levei para o pré-processamento, mas para o word2vec foram aproximadamente 6h num i7 com ajuda do multiprocessing para usar todos os nucl

P

Pt-BR Data Science & Python

Pt-BR Data Science & Python@datasciencepython · grupo · Tecnologia

4 743membros167 846mensagens no índice

Feed da comunidade Abrir no Telegram

Um feed público aberto do índice de busca ChatCrawler — “o Google do Telegram público”; atualizado à medida que a comunidade é rastreada. Horários em UTC.

Somente conteúdo público, API oficial do Telegram. Sobre · Perguntas frequentes · Limites do índice · Remover uma página · Catálogo · Busca · Como calculamos