Big Data Science :: AI / Big Data / Machine Learning / MLOps

в реальности будет не 10^3000 вариантов, а 10^100, но это всё равно очень много. Датасеты я знаю максимум на 10^8 картинок

Обучающие выборки тоже не содержат абсолютно независимые данные . Они обычно сильно скоррелированы между собой (то есть не покрывают равномерно всё пространство, от чего оно становится ещё более пустым). А часто вообще выборки формируются из ограниченного набора источников, когда например куча картинок сняты в одной и той же локации

Расскажу вам ещё один прикол. Есть ещё такое понятие как "искривление пространства признаков". Это когда в некоторой подобласти пространства признаков распределение классов/целевой переменной в обучающей выборке сильно отличается от того распределения, которое должно быть на самом деле. И естественно, что такое искривление будет выучено моделью как неправильный предикт. И такое явление встречается на практике очень часто. Искривление пространства признаков может возникать: - из-за того, что в определённой подобласти пространства признаков в выборке просто нет данных определённого класса - при добавлении в обучение новых данных, были добавлены данные только одного класса (и это вообще очень опасная штука, потому что на валидации такое может не обнаружиться, а в проде это будет стабильный неправильный предикт). - при добавлении в обучение кучи дублирующихся или очень похожих данных - из-за недосемплирования/избыточного сэмплирования определённых данных - если распределение классов в некоторой подобласти неправильное - в задаче регрессии, если распределение целевой переменной в природе неравномерное (но для справедливого обучения оно должно быть равномерным, иначе будет искривление ответов) На практике всё это встречается очень часто, и негативно влияет на качество обучения. Поэтому считаю эту концепцию крайне полезной.

А почему для справедливого обучения распределение таргета должно быть равномерным? Если модель учит среднее y для каждого x, разве она не должна выучить неравномерность как есть (это же часть задачи)?

даже если распределение данных действительно низкоразмерное, то распределение обучающей выборки обычно ещё более низкоразмерное. То есть если учимся отличать собак от кошек, то например нет кошек и собак в темноте. Или есть только собаки, мы добавили кошек, но тут выяснилось, что мы добавили много лежащих кошек в темноте, но у нас нет лежащих собак в темноте. Это всё искривления пустых пространств , о которых я писал после сообщения о пустых пространствах признаков

речь про искривления распределений на конкретном участке пространства признаков. Выборка может быть бесконечной и покрывать всё разнообразие данных. Но лежащих в темноте кошек может быть в 100 раз больше, чем лежащих в темноте собак. Это будет искривление пространства признаков, которое будет заучено как ложная закономерность. И эта система абстракций более эффективна, чем тривиально говорить, что данных мало, потому что предлагает более конкретные шаги по решению возникающих проблем.

Обожаю вспоминать всякие древние статьи. https://arxiv.org/abs/2008.02217 Саммари: Авторы смотрят на модель Хопфилда. Модель Хопфилда это такой "прародитель нейросетей" для распознавания образов. А еще по совместительству известная статфизическая модель: Модель Изинга (с бонусом в виде правила Хэбба из биологии). Авторы обобщили ее на непрерывные спины, получили фактически "модель Хопфилда" для высших порядков (учли парные, тройные, четверные, etc взаимодействия) и непрерывных спинов. А потом оказалось, что это ваш самый обычный self-attention из трансформера. tldr: self-attention = статфизическая спиновая модель