Учим Питон

Статябрь. День 18. Критерий Хи-квадрат Пирсона. Критерий хи-квадрат применяется при работе с категориальными данными, когда мы хотим узнать, есть ли статистически значимая разница между несколькими группами. К примеру, мы можем хотеть узнать, отличается ли количество выигравших в лотерею (категории: выигравшие, проигравшие) в зависимости от пола. Другим примером может служить смертность от болезни в зависимости от степени ожирения. Идея критерия заключается в следующем. В нашей нулевой гипотезе мы предполагаем, что распределение наблюдений — мультиномиальное. Примером такого распределения может служить распределение вероятностей выпадения каждой из сторон игрового кубика при n попытках. Иными словами, мы предполагаем, что различия в полученных результатах объясняются только случайными факторами. Затем мы вычисляем сумму квадратов разностей между наблюдаемыми и ожидаемыми значениями, деленную на те же ожидаемые значения. Почему мы делим на ожидаемое значение? При больших n распределение наблюдаемых частот можно приближённо считать нормальным, поскольку мультиномиальное распределение по центральной предельной теореме стремится к нормальному. В частных случаях, если вероятность категории мала, отдельные категории могут приближаться к распределению Пуассона. В итоге мы получаем сумму квадратов разностей, деленную на эквивалент дисперсии. Как мы знаем, величины такого типа имеют распределение хи-квадрат. Нам остается только вычислить число степеней свободы, определить значение p и проверить, меньше ли полученное значение заранее заданного уровня значимости. Ссылка на доп. материал: https://bigenc.ru/c/polinomial-noe-raspredelenie-be9c62 #статябрь #статябрь2025 #statober #statober2025

Статябрь. День 19. Дисперсионный анализ для связанных выборок. Ранее мы рассмотрели идею дисперсионного анализа для несвязанных выборок. Например, с его помощью мы могли определить, существует ли разница между несколькими видами лекарств в нескольких разных группах пациентов. В дисперсионном анализе для связанных выборок группа испытуемых будет одна, а вопросы нас будут интересовать, к примеру, следующие: 1. Как группа испытуемых воспринимает некое воздействие через разные интервалы времени. 2. Какие изменения можно наблюдать в одной и той же группе испытуемых при разных воздействиях. Идея дисперсионного анализа для связанных выборок довольно проста. В обычном дисперсионном анализе мы сравнивали меры межгрупповой и внутригрупповой вариативности. Ведь если они примерно равны, это означает, что некий фактор не оказывал значимого влияния, отличного от шума. При связанных выборках мы делаем почти то же самое, с одним исключением. Если раньше мы знали, что участники в выборках независимы, то сейчас нам также известно, что часть внутригрупповой дисперсии объясняется индивидуальными особенностями каждого из участников. А так как участники у нас одни и те же в нескольких экспериментах, мы можем оценить и исключить «шум», вносимый каждым участником во внутригрупповую вариативность. Затем мы снова находим F-статистику и вычисляем её уровень значимости. Ссылка на доп. материал: https://statistics.laerd.com/statistical-guides/repeated-measures-anova-statistical-guide.php #статябрь #статябрь2025 #statober #statober2025

Я думаю, что посты по статистическим методам можно прекратить. Но они все также будут доступны в тг-группе: https://t.me/datascienceforfun Будем считать этот эксперимент неудавшимся 😅

Практика по линейной регрессии. Я вам тут накидал небольшой ноутбук, чтобы было легче начать анализировать. Если вы посмотрели видео из прошлого поста, то у вас начнут появляться вопросы. Ответы на некоторые из них можно найти в книжке "Введение в статистическое обучение с примерами на языке Python" от Гарет Джеймс и др. Я нашел её здесь: https://annas-archive.org/md5/e9d11665dbd051585a2eff1f58407de5 Задача: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices Мой ноутбук: https://colab.research.google.com/drive/1yPCY4O6fLEXsjzJ02Vj6oc3mBLsaPk2y?usp=sharing

Learning Machine Learning. Регрессия с регуляризацией (Ridge, Lasso). Первая и вторая темы нашего прохождения сильно связаны между собой. На этой неделе мы начинаем изучать регрессию с регуляризацией. Короткое объяснение: https://www.youtube.com/watch?v=C98SRCZfgkk Задача все та же: предсказать цену дома на датасете https://www.kaggle.com/datasets/camnugent/california-housing-prices Теперь необходимо посмотреть, как регулризация влияет на получаемое решение. Буду рад вопросам и ответам в комментариях. #LearningMachineLearning2025 #LearningMachineLearning

Вебинар по первой главе System design В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы первой главы. Ссылка: https://telemost.yandex.ru/j/79925380906890

Вебинар по первой главе System design Вебинар сдвинут на 12.00 по Москве. Ссылка: https://telemost.yandex.ru/j/79925380906890

Читаем System design. Главы 2 и 3. План на эту неделю: читаем главы 2 и 3, а в выходные проведем вебинар, где попытаемся сделать создать архитектуру небольшого сервиса. Название книги: System Design. Подготовка к сложному интервью. Алекс Сюй.

Вебинар по второй и третьей главам System design В эту субботу в 11.00 по Москве мы запустим вебинар, в котором обсудим материалы второй и третьей глав. Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670

Вебинар по второй и третьей главам System design Через пару минут начинаем. Ссылка на видеовстречу: https://telemost.yandex.ru/j/67915886560670

Итоги 2025 года В общем, год для меня выдался тяжелым. Я хочу поблагодарить всех, кто участвовал в обсуждениях в тг, участвовал в вебинарах, в обсуждениях книг и мини-курса по статистике. Ничего не обещаю на следующий год, потому что сам буду занят поиском работы 😀 Удачи всем нам в новом 2026 году!

Готовимся к собесам. Всем привет! У меня небольшая новость: мы меняем формат. Дело в том, что я должен найти работу до конца года в Германии (где я сейчас и нахожусь), а это значит, что мне предстоит повторить много разных тем. А вместе это делать точно веселее. Вводные данные: Я получил PhD в области человеко-машинного взаимодействия, знаю базовую статистику, умею проводить эксперименты с пользователями и немного программировать. Куда подаваться: Мне интересны позиции аналитика данных, исследователя рынка и пользователей. В общем, то, где надо анализировать поведение людей и принимать решения на основе данных. Что мы будем делать: Я планирую, что материалы будут появляться самые разные. Мы будем изучать основные инструменты, понятия, метрики, нырнем немного в область UX исследований, повторим python и sql. Если всё пойдет по плану, добавлю материалы по NLP, машинному обучению и байесовской статистике. И, конечно, буду делиться свежим опытом прохождения собеседований. В общем, будет интересно :D

Looker Studio В эту неделю мы изучаем Google Looker Studio. Эта утилита позволяет создавать очень гибкие дашборды. Кроме этого, платная версия имеет свой язык запросов LookML, который отличен от традиционного SQL. Вот небольшое видео, иллюстрирующее возможности Looker Studio. https://www.youtube.com/watch?v=5NNMzBKEFCg

Отличное видео по Looker Studio, заодно иллюстрируется, как создать красивый дашборд: https://www.youtube.com/watch?v=OQngv9Gsskc

Пробуем Looker Studio Чтобы попробовать Looker Studio, можно импортировать этот набор данных: https://docs.google.com/spreadsheets/d/1sns7is56QWKMO3XGy40b92xs0I_RY4bC4I6aqeqkCV4/edit?usp=sharing И поиграть с ним! Обратите внимание, что в этом файле есть несколько рабочих листов - на каждом свой датасет. Сам я набросал простенький репорт для датасета Top movies 2019: https://lookerstudio.google.com/reporting/8c93559c-b62c-4f7c-940a-8a8f5d923d8a

Power BI Еще один популярный инструмент для аналитики данных от Майкрософт. Вот неплохое обучающее видео: https://www.youtube.com/watch?v=jcBEdmD5MCU

Tableau Последний инструмент, с которым мы познакомимся для визуальной аналитики данных - это табло. Ничего более свежего на русском языке не нашел, поэтому, если есть хорошие видео по теме, кидайте их в комментарии. https://www.youtube.com/watch?v=gcRKayBhHAQ

А/Б-тестирование Один из важных инструментов проверки гипотез для исследователя пользователей - А/Б-тестирование. Этот инструмент позволяет понять, принесет ли изменение, которое мы хотим внедрить, положительный эффект. В ходе такого тестирования мы выделяем две группы пользователей: одной даем старую версию продукта, другой — новую. Для каждой группы вычисляем некоторую метрику (удобство использования, число переходов по ссылке, конверсия в покупку) и статистически проверяем, принесло ли наше изменение положительный эффект. Если эффект положительный, то внедряем эту фичу для всех пользователей. Однако, у А/Б-тестирования есть несколько тонких моментов. Вот плейлист с неплохим объяснением от ВШЭ: https://www.youtube.com/watch?v=D81kNptqPiw&list=PLCf-cQCe1FRx6vgs5NHWKzOL5RSyWiiuW

Метрики: CAC (Customer Acquisition Cost) Это метрика, которая описывает, сколько денег бизнес тратит на маркетинг и продажи, чтобы получить нового покупателя. Переводится с английского как «стоимость привлечения клиента». Очевидно, что нам хотелось бы привлекать клиентов за меньшие деньги, поэтому это одна из начимых метрик. Ознакомиться с примерами можно по следующим ссылкам: https://www.bitrix24.ru/journal/cac/ https://www.carrotquest.io/blog/customer-acquisition-cost/