Mensagens de 4 de julho de 2017

Então, estamos com um projeto de python e big data, utilizando recurso de machine learning voltado para o segmento industrial, desempenho de equipamentos, trends e capacidade de consumo. Precisamos de empresas ou universidades que tenham realizado um estudo direcionado para esse segmento industrial, tendo interesse em participar posso fornecer mais detalhes.

Por enquanto temos a idéia

Eu comecei a ler esse artigo sobre Psicologia de redes neurais e lembrei da Susan Calvin de Eu, Robô. Asimov era muito visionário. https://jack-clark.net/2017/07/03/import-ai-issue-49-studying-the-crude-psychology-of-neural-networks-andrew-ngs-next-move-teaching-robots-to-grasp-with-dexnet2/

Tem uns gringos que chegaram no meu inbox pedindo ajuda com openMDAO. Alguém já estudou e tem dica de um bom tutorial?

De Glasgow, que chique...

Eu passei esse http://openmdao.readthedocs.io/en/latest/usr-guide/tutorials.html

Mas se alguém já trabalhou com isso e souber de coisa melhor

Obrigado pessoal, o problema lá é mais em baixo, instalação no Windows

Feedback final: openMDAO tem um script de instalação de um ambiente virtual. A versão Alpha não usa venv. O pessoal da LM Wind Power usava o Alpha com tutorial anterior. Era algo simples.

Amanhã no Castálio http://youtube.com/castaliopodcast falaremos sobre Inteligência Artificial, Data Science, Machine Learning e essas coisas doidas.. enviem suas perguntas a respeito do tema. (teremos 2 especialistas no assunto para responder tudo!)

Pessoal, alguém pode me dar uma dica? Eu to querendo baixar uma cacetada de arquivos da wikipedia em portuguÊs pra treinar um modelinho linguístico

vcs conhecem alguma ferramenta boa?

ou técnica, sei lá

https://dumps.wikimedia.org/ptwiki/ para a língua portuguesa

Eu já tenho o https://dumps.wikimedia.org/ptwiki/latest/ nos favoritos para baixar sempre o mais atualizado

animal, cara! muito obrigado :)

provavelmente queres o ptwiki-latest-pages-articles.xml.bz2 que contém o conteúdo textual das páginas

eu fiz um word2vec e um doc2vec usando a wikipedia. Tem que fazer um processamento dos dados antes para remover as tags do wiki.

entendi, vou baixar esse arquivo e dar uma olhada na tarefa de limpeza, é de boa?

Mas tem um jeito mais fácil. O gensim tem um script make_wiki.py mas não sei se vai atender a teu modelo

o gensim diz que demora umas 4h para extrair a wikipedia em ingles. Mas são 12GB de dados, enquanto que em português são 1.5GB

não lembro quanto tempo levei para o pré-processamento, mas para o word2vec foram aproximadamente 6h num i7 com ajuda do multiprocessing para usar todos os nucleos

fiquei curioso e fui olhar meus .ipynb... levei meia hora para o pré-processamento com gensim.

Boa tarde pessoal, alguém sabe se existe algum grupo de IBM Bluemix ou IBM Watson?

no repositório do gensim tem um diretório Docs com muitos outros exemplos.

👍 excelente! Valeu!

Aí para agilizar os testes eu Treinei 3 modelos diferentes de uma só vez alocando núcleos específicos para cada um e testando a performance de cada um em uma mesma tarefa após o treino . Demorou um pouco mais porém foi mais fácil identificar os melhores parâmetros

Acho que tem implementações mais rápidas de word2vec usando tensorflow com Cuda, mas ainda não testei

Pq vejo sempre o pessoal falando que demorou tantas horas pra treinar o modelo, 1 dia ate.. Ai pra no final ter treinado errado é foda..