Pt-BR Data Science & Python@datasciencepython · gruppo · 4 743 membri

Messaggio Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

4 luglio 2017

L

Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

20:00

Vicino nel feed

Bruno19:50entendi, vou baixar esse arquivo e dar uma olhada na tarefa de limpeza, é de boa?L

Luciano SB19:58Nem tanto de boa. Veja como o WikiExtractor faz: http://medialab.di.unipi.it/wiki/Wikipedia_Extractor Eu peguei o código fonte deles e fiz algumas modificações

questo messaggio

Luciano SB20:03o gensim diz que demora umas 4h para extrair a wikipedia em ingles. Mas são 12GB de dados, enquanto que em português são 1.5GB L

Luciano SB20:07não lembro quanto tempo levei para o pré-processamento, mas para o word2vec foram aproximadamente 6h num i7 com ajuda do multiprocessing para usar todos os nucl

P

Pt-BR Data Science & Python

Pt-BR Data Science & Python@datasciencepython · gruppo · Tecnologia

4 743membri167 846messaggi nell'indice

Feed della community Apri in Telegram

Un feed pubblico aperto dall'indice di ricerca ChatCrawler — «Google per il Telegram pubblico»; si aggiorna man mano che la community viene scansionata. Orari in UTC.

Solo contenuti pubblici, API ufficiale di Telegram. Informazioni · FAQ · Limiti dell'indice · Rimuovi una pagina · Catalogo · Ricerca · Come calcoliamo