Pt-BR Data Science & Python@datasciencepython · grupo · 4 743 membros

Mensagem o gensim diz que demora umas 4h para extrair a wikipedia em ingles. Mas são 12GB de dados, enquanto que em português são…

4 de julho de 2017

L

o gensim diz que demora umas 4h para extrair a wikipedia em ingles. Mas são 12GB de dados, enquanto que em português são 1.5GB

20:03

Por perto no feed

Luciano SB19:58Nem tanto de boa. Veja como o WikiExtractor faz: http://medialab.di.unipi.it/wiki/Wikipedia_Extractor Eu peguei o código fonte deles e fiz algumas modificações L

Luciano SB20:00Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

esta mensagem

Luciano SB20:07não lembro quanto tempo levei para o pré-processamento, mas para o word2vec foram aproximadamente 6h num i7 com ajuda do multiprocessing para usar todos os nucl L

Luciano SB20:22fiquei curioso e fui olhar meus .ipynb... levei meia hora para o pré-processamento com gensim.

P

Pt-BR Data Science & Python

Pt-BR Data Science & Python@datasciencepython · grupo · Tecnologia

4 743membros167 846mensagens no índice

Feed da comunidade Abrir no Telegram

Um feed público aberto do índice de busca ChatCrawler — “o Google do Telegram público”; atualizado à medida que a comunidade é rastreada. Horários em UTC.

Somente conteúdo público, API oficial do Telegram. Sobre · Perguntas frequentes · Limites do índice · Remover uma página · Catálogo · Busca · Como calculamos