Mensagens de outubro de 2017

queria saber qual a melhor ferramenta para reports de milhões de registros?

tipo 300M

pra mais

Cara tudo depende da narrativa que queres mostrar. Se pretende exibir, por exemplo, padrões de similaridades entre todos os pontos talvez consiga com um scatter plot. Mas pode ser que consiga a mesma coisa com gráficos mais simples. Seguindo no mesmo exemplo poderia rodar um algoritmo de clustering e exibir um gráfico de colunas mostrando o total de ocorrências em cada cluster.

Agora ferramenta para montar esses gráficos existem várias. Ggplot, plotly, matplotlib, d3js, etc. A performance para lidar com tantos pontos depende também da tua máquina. Eu buscaria primeiro tratar os dados antes de plotar gráficos. Agrupamentos, estatística descritiva etc.

Se precisar mostrar todos os pontos, talvez datashader seja uma opção.

@wmariusso e @lucianosb Tks

@elderTeixeira uma das ferramentas que eu ando curioso pra testar para visualização de enormes volumes de dados é MapD https://www.mapd.com/demos/ Eles fazem usam GPU para consultar e processar bilhões de dados em poucos segundos.

https://machinelearningmastery.com/statistical-language-modeling-and-neural-language-models/ bom artigo sobre #nlp

e aí pessoal...não sei se alguém já usou, mas achei espetacular...

boas dicas

Confira o Tweet de @goodfellow_ian: https://twitter.com/goodfellow_ian/status/925445656856195072?s=09

“Introducing Vega-Lite 2.0” @uwdata https://medium.com/@uwdata/introducing-vega-lite-2-0-de6661c12d58