Pt-BR Data Science & Python@datasciencepython · grupo · 4 743 miembros

Mensaje Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

4 de julio de 2017

L

Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

20:00

Cerca en el feed

Bruno19:50entendi, vou baixar esse arquivo e dar uma olhada na tarefa de limpeza, é de boa?L

Luciano SB19:58Nem tanto de boa. Veja como o WikiExtractor faz: http://medialab.di.unipi.it/wiki/Wikipedia_Extractor Eu peguei o código fonte deles e fiz algumas modificações

este mensaje

Luciano SB20:03o gensim diz que demora umas 4h para extrair a wikipedia em ingles. Mas são 12GB de dados, enquanto que em português são 1.5GB L

Luciano SB20:07não lembro quanto tempo levei para o pré-processamento, mas para o word2vec foram aproximadamente 6h num i7 com ajuda do multiprocessing para usar todos os nucl

P

Pt-BR Data Science & Python

Pt-BR Data Science & Python@datasciencepython · grupo · Tecnología

4 743miembros167 846mensajes en el índice

Feed de la comunidad Abrir en Telegram

Un feed público abierto del índice de búsqueda ChatCrawler — el “Google del Telegram público”; se actualiza a medida que se rastrea la comunidad. Las horas se muestran en UTC.

Solo contenido público, API oficial de Telegram. Acerca de · Preguntas frecuentes · Límites del índice · Eliminar una página · Catálogo · Búsqueda · Cómo contamos