(sci)Berloga Competitions

⚡️ Data Dojo возвращается — встреча ML-комьюнити в Питере 9 сентября в Санкт-Петербурге соберём тех, кто уже владеет основами ML и хочет двигаться дальше. Data Dojo — это живое общение с единомышленниками, разбор реальных кейсов от экспертов Яндекса и погружение в то, что происходит в ML прямо сейчас. Если вы начинающий ML-специалист — это шанс войти в тусовку, познакомиться с трендами индустрии и получить карьерную консультацию. Если уже опытнее — возможность для нетворкинга. Что в программе: ⚪️ Антон Клочков, руководитель группы ML-разработки Фотоинпута, расскажет, как они выкатили фичу, а потом откатывали её год ⚪️ Маргарита Мишустина, руководитель группы ранжирования Рекламы, покажет техническую эволюцию аукциона дизайнов, как оптимально группировать объявления для демонстрации пользователям и при чём тут химера ⚪️ Сергей Фиронов, ведущий разработчик службы поведения и предсказания департамента Автономного транспорта, разберёт задачи с соревнования Yandex ML Challenge Как участвовать: 1️⃣ Подайте заявку до 26 августа, приложив резюме 2️⃣ Дождитесь результатов отбора 2–3 сентября 3️⃣ Приходите на встречу 9 сентября, если получите приглашение ↔️ Участие бесплатное. Проезд и проживание за свой счёт. Трансляции не будет — только офлайн. Data Dojo — не разовая акция. Мы строим сообщество: сильное, открытое и любопытное. Здесь у каждого есть шанс стать лучше — и сделать лучше других. 🔳 Регистрация и подробности 🛄 Ждём вас! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

М-де, не так я планировал в соревновании по покемонам участвовать, но уж как вышло. Расскажи богу свои планы, да... Тем не менее я каждый день что-то делал, несколько дней очень интенсивно. Но большинство дней “что-то” было просто отправкой чекпойнтов на лб с разными параметрами. Освоил разные хаки MCTS для быстрой сходимости: TD(λ), PUCT, probing. Отдельно интересно про MCTS в средах с неполной информацией и бросками монетки. Детерминизация симуляций. Напишу про MCTS отдельный пост. Критической ошибкой было не упарываться в behaviour cloning, многим это позволило быть в топе лидерборда, судя по дискусиям. Я пробовал несколько раз, но так и не освоил этот навык, так пока и не понял в чем хитрость. Зато под конец соревы научился дистилить модели на self-play. Завел PPO, устранил свои пробелы в образовании, теперь понимаю что такое здоровое RL обучение и на что смотреть. AUXilary heads на всякие полезные факторы зашло сильно лучше, чем shaping reward’ов. Мне было очень интересно и познавательно, вообще первый раз когда у меня завелся RL нормально и постоянно улучшался. А, да, самое бесполезное, на что угроблено кучу времени - научить бота играть charizard’ом - драконом в покемонах, когда на лидерборде его совсем не было, и было не с кого скопировать. И ведь получилось же, играло не на самом дне, но колода неконсистентная по силе, очень зависит от расклада, поэтому проигрывает более слабым игрокам с более устойчивым к раскладам колодам и колодам ориентированным на какой-то абьюз. Но в целом мне очень понравилось и так жаль, что закончилось, дедлайн подстегнул меня и я придумал много нового и интересного, но, увы, на обучения нужно много времени в ограниченных ресурсах

Разбор ROGII - Wellbore Geology Prediction начнем с сетапа соревнования. Мы на нем подфармили еще одно серебро, а часть подписчиков апнула золото, причем в нескольких разных командах. Горжусь и завидую. Представьте, что Герр Дональд Трамп сказал нам 'drill, baby, drill', а мы и поверили. И вот уже бурим скважину для исследования недр где-то в Техасе: у нас есть идеальный план бурения и наш бур напичкан кучей датчиков. Буром управляет опытный оператор, который знает, что у пласта породы плотность неравномерная: встречаются камни, пустоты и включения других пород. Из-за этого бур немного (или много) поворачивает внутри скважины и отклоняется от модельной траектории. Оператор смотрит на датчики и подруливает буром, чтобы оставаться как можно ближе к модельному плану бурения- его цель как можно корректнее разведать датчиками на буре показания как можно ближе к траектории. Наша задача- понять, как глубоко в пласте мы находимся, зная предыдущие наблюдения + текущие показатели датчиков. В общем смысле это надо, чтобы бур не выскочил в другой пласт (нам не интересный) и не насобирал ненужной информации. Ну и спланировать, как мы будем качать нефть, сжигать попутный газ и с этой бесплатной энергии майнить битки И того, у нас есть: 1. Координаты в каждый момент времени для бура для каждой скважины. Доступна информация до тех пор, пока бур спускается в целевой пласт и для часть скважины уже внутри пласта. Это наш train кусочек для авторегрессии. Еще для каждого участка скважины знаем длину пути от поверхности и оценочное расстояние в футах до границ всех нам известных пластов (оценивается по typewell, последний пункт). 2. Значения Gamma Ray (GR) на протяжении всего пути. Работает так: у каждой породы свой уровень гамма-радиоактивности, так что регулярно снимая показатели фоновой радиации с бура, мы можем по изменениям понять, что состав породы меняется. Для каждого пласта мы знаем примерны состав и показатель радиоактивности по typewell (следующий пункт), так что можем