Thread Cuidado com overfitting!
9 messages · –P R P Regularização é uma alteração da função objetivo do modelo de forma a penalizar os coeficientes. Com isso, vc não obtém os coeficientes puros, mas sim com alguma alteração (depende da regularização), de forma a resultar num modelo q não é tão ajustado. Duas formas comuns de regularização são: - L1 (LASSO): q zera alguns coeficientes q são correlacionados com outros, servindo de feature selection - L2 (Ridge): q amortece os coeficientes, diminuindo a influência deles Ambos os métodos, quando feitos de forma adequada (q nem o @gustavsfc mencionou: validação cruzada e separação da base de dados em treino, validação e teste), ajudam a prevenir o overfittingA O overfitting ocorre quando o modelo é muito flexível e tem liberdade demais no treino. Além da regularização com lasso e ridge, existem outras formas de reduzir a flexibilidade do modelo. Em modelos de árvore, por exemplo, você pode impor restrições na altura da árvore ou no número de observações nas folhas.F Link
click to showNão sei se flexibilidade é o melhor termo para definir overfitting. Eu já enxergo como uma “rigidez” sobre os dados de treino que impedem uma generalização sobre os dados de teste. Ocasionando menor precisão do que a desejada. https://en.m.wikipedia.org/wiki/OverfittingA A flexibilidade é do modelo (não dos dados). Ele é flexível no sentido de que é capaz de se ajustar mais do que deveria aos dados de treino, até o ponto de confundir sinal com ruído. Se você penaliza o uso dos coeficientes, você dá menos flexibilidade ao modelo de se ajustar aos dados. Se você restringe a altura máxima da árvore de decisão, também. E por aí vai.