softmax: AI/IT in London

Немного о себе 👋 Я Макс, ML/AI-инженер в Isomorphic Labs (стартап, отделившийся от Google DeepMind, чтобы сосредоточитьсяна фолдинге протеинов). До этого работал в Spotify, перед этим — в Bosch. В сумме набежало >7 лет опыта в индустрии, хотя как-то не чувствуется. ➜ В 2015-м году я поступил в магистратуру университета Штутгарта и переехал в Германию. Большую часть магистратуры я учил компьютерную графику и мечтал работать в геймдеве. В конце программы я «запивотил» в Machine Learning. Магистерский тезис я написал в Bosch и вдогонку провел там первые 3 года своей карьеры. ➜ В Bosch я работал Research Engineer в группе, которая занималась Reinforcement Learning. Мне повезло работать с невероятно талантливыми людьми над очень интересными и довольно «неклассическими» проектами. Мы юзали RL, чтобы оптимизировать ABS-контроллер в машине, учили контроллеры для MagLev-платформ и оптимизировали продакшн-планы на фабриках. ➜ В Spotify я был Machine Learning Engineer. Первый год работал над довольно стандартной рекомендательной системой. ML там, конечно, был не из последних публикаций на NeurIPS, но весь интерес был в скейле и количестве реквестов/инференсов в секунду. Позже девелопил «бандитов», чтобы эффективно эксплорить весь новый публикуемый контент, а последний год препарировал и файнтюнил внутренние LLM-ки. ➜ В прошлом году, спустя 10 лет, я получил гражданство Германии и первым делом переехал в Лондон, чтоб фолдить протеины в Isomorphic Labs. #карьера@softmaxFn

Гайд по поиску квартиры в Лондоне (от человека с PTSD из Германии) 🏠 3 месяца назад я переехал из Мюнхена в Лондон. В Германии поиск квартиры — это ад и Афганская война. Поэтому мысли о поиске жилья в Лондоне были, мягко говоря, «слегка тревожными». Но, как и следовало ожидать, ситуация с рынком съемного жилья тут оказалась совершенно другой, и по итогу я бы сказал, что весь процесс может быть менее стрессовым, чем в Германии (если знать его особенности). ➜ Рынок съемного жилья тут намного более ликвидный. Город огромный, и каждый день на рынок выкидываютдостаточно много новых предложений. Однако улетают эти квартиры тоже довольно быстро. Здесь, в отличие от Германии, большинство квартир сдается риэлторскими компаниями. И в то время как в Германии частные лендлорды любят устраивать интервью-процесс с несколькими раундами и ребатлами, в Лондоне процесс предпочитают не затягивать и выбирают из первых кандидатов. Поэтому очень важно назначить просмотр в первые дни после того, как квартиру выложили, и одними из первых сделать «оффер». Про-типс: 🔸 Сайтов по поиску жилья тут много, но объявления практически на всех повторяются. Не распыляйте внимание, выберите один и сосредоточьтесь на нем. 🔸 Не бойтесь говорить, что «вы готовы сделать оффер» на просмотре квартиры. До того как вы внесете reservation deposit, вы ни к чему не обязаны. Но если вы скажете агенту, что вам нужно пару дней подумать, квартиру, скорее всего, уже сдадут. 🔸 Если вы уже посмотрели одну или несколько квартир в доме, который вам нравится, можете спросить у агента, есть ли у них похожие квартиры, которые вы можете «take off the market». Это когда вы заключаете контракт, не видя квартиру вживую (максимум план и несколько фоток). Довольно рисковый мув, но может быть оправдан, если снимать квартиру у большой компании с хорошими отзывами в доме, который вы видели до этого. ➜ Когда вы внесли reservation deposit, следующий шаг — это referencing. Риэлторская компания передает ваши документы в отдельную

Прикладная статистика 📈 Если честно признаться, я «не то чтобы очень силен» в статистике. У меня есть хорошее интуитивное понимание линейной алгебры и анализа, но вот любые intermediate и выше концепты в статистике мне даются довольно сложно. Но я активно работаю над тем, чтобы эту ситуацию улучшить. Сегодня как раз подвернулась возможность копнуть поглубже в один из концептов. Ситуация: У вас есть эксперимент, который вы можете ранать в энвайронменте А и в энвайронменте Б. Идея в том, что А и Б должны быть идентичными, но, несмотря на идентичные входные данные, эксперимент возвращает более низкие метрики в Б. Энвайронмент А будут деприкейтить, и ваша задача — понять, почему Б перформит хуже. Еще одно усложнение в том, что в А эксперимент может ранаться на TPU и на GPU, а в Б — только на GPU. В результате у вас есть 3 рана для анализа: 1. Энв А с TPU 2. Энв А с GPU 3. Энв Б с GPU Все три рана показывают разные метрики для тех же входных данных. Ран 1 считается текущим бейслайном, то есть возвращает самые высокие метрики. Но после деприкации А единственная возможность, которая у нас останется, — это 3. Имея эти три рана, нам нужно решить: стоит ли тратить свое время на то, чтобы дебажить разницу в энвайронментах? Другими словами, нам нужно понять, насколько сильно разница между 1 и 3 объяснена разницей в чипах, а насколько — разницей в А и Б. Если главный контрибьютор — это чипы, тратить пару недель на то, чтобы избавиться от минимальной разницы в энвайронментах, — это довольно плохой инвестмент нашего времени. К счастью, в статистике есть «just the right tool for this job». Мы можем использовать ран 2, чтобы ответить на этот вопрос. На помощь спешит линейная регрессия. Основная идея в том, чтобы зафитить 1d линейную модель: Y=αX+β. Инпутами (X) будут разницы между метриками 2 и 1, а таргетами (Y) — разницы между 3 и 1. Дальше считаем R2 скор. Если R2≤0.5: мы не знаем, влияет ли энвайронмент и как сильно — делать нечего, нужно дебажить. Если R2≥0.8, то больш

Мюнхен vs Лондон глазами велосипедиста 🚴‍♂️ Мюнхен — это один из лучших городов в мире для комьюта на велосипеде. Инфраструктура уровня Амстердама, но совсем не такие толпы. А чего только стоит велосипедный «автобан» понад альпийской речкой Изар… В общем, неудивительно, что у меня, как у многих мюнхенцев, большая часть net worth была инвестирована в алюминий (ну или карбон) с двумя колесами 😀. При переезде в Лондон встал вопрос: что делать с байком? Нужен ли он там вообще и стоит ли везти мой? Я посмотрел видео пары ютуберов из Лондона, которые пели дифирамбы велосипедной инфраструктуре, и решил, что байк мне обязательно нужен. Единственное, что я не учел, — это то, что эти ютуберы были родом из США 😅. Понятное дело, что для тех, кто жил в США (за исключением, может, Нью-Йорка и Бостона), любое количество асфальта, где можно ехать на велосипеде и не бояться, что в тебя въедет 5-тонный пикап на скорости «50 бургеров / 10 североамериканских орлов», — это высококлассная велоинфраструктура. Если сравнивать же с Германией, то лондонская инфраструктура — это 3 из 5 с большой натяжкой. Главная проблема — это очень маленькое количество дорог с отдельной выделенной или защищенной велодорожкой. Большую часть времени вы делите и без того узкую дорогу с машинами и, что более страшно, — с двухэтажными автобусами! Узкие дороги научили водителей Лондона, что 10 сантиметров между головой велосипедиста и зеркалом заднего вида — это вполне достаточный safety margin 👌. Моя коллега как-то спорила со мной, что велокомьют в Лондоне — это абсолютно безопасное занятие, приведя аргумент: «За 8 лет меня всего два раза сбил автобус». Это как бы на 2 раза больше, чем хотелось бы 😅. Картину также довольно часто ухудшает влажная погода. Если у вас в офисе нет места, где повесить сушить вымокший хардшелл или где хранить запасную сухую одежду, полагаться на велосипед как на основное средство комьюта — не самая лучшая идея. Несмотря на это, довольно много лондонцев активно комьютит на велосипед

Первые 3 месяца в Isomorphic Labs 🧬 Прошло больше 3 месяцев в Isomorphic Labs, я прошел пробный период, а значит, пора бы уложить в своей голове первые впечатления… Оверолл, Iso — это офигенная компания, и я нереально рад, что смог сюда попасть. Даже если быть полным скептиком и не верить в то, что своей работой ты делаешь маленькие контрибьюшены на пути к “solve all diseases”, — мне все еще очень «доставляет» сам сет проблем, над которыми мы работаем. Вообще немного странно, так как в школе биология и химия были моими самыми нелюбимыми предметами. Не знаю, может, к любой дисциплине нужно просто прийти в «свое время», но сейчас сидеть и разбираться, что такое протеины, из чего они состоят, как фолдятся, — звучит как очень веселое времяпрепровождение. Еще один определенный бенефит работы в Iso — это сумасшедше умные и талантливые люди, с которыми ты работаешь. Помогает также то, что в Iso очень живая и бурлящая атмосфера в офисе. Офис маленький, почти все приходят минимум 3 раза в неделю, и от этого кухня и кафетерии выглядят как общие комнаты в каких-нибудь университетских холлах: все постоянно что-то друг другу рассказывают, делятся последними ресерч-результатами, показывают графики и т. д. Такая атмосфера очень заряжает, ну и способствует очень быстрому расширению круга знакомств. Есть у Iso еще один позитивный момент, который мне не так легко артикулировать. Большинство всех топ AI-лабораторий работают над general моделями и пытаются решить “Artificial General Intelligence”. Iso тоже недавно расширили свою миссию до “Solve all diseases”, но даже сейчас это чувствуется как более направленный, сфокусированный эффорт. И то, над чем ты работаешь каждый день, каждый небольшой импрувмент в модель или в трейнинг/инференс инфраструктуру намного легче, как мне кажется, законнектить с лонг-терм целью. Конечно, не без сложностей: бампи онбординг, привыкание к стилям коммуникации очень талантливых людей со strong opinions, небольшой мисэлаймент с тем, что нужно, и тем,

Кто такие ML/AI инженеры и чем они вообще занимаются 🧑‍💻🤖 Из моих наблюдений за 7 лет, всех людей, работающих над ML, в зависимости от их фокуса, можно условно разместить внутри треугольника с вершинами: Research, Software Engineering, Data. ➜ Люди, которые находятся ближе к вершине ML Research, в основном работают над улучшениями моделей. Day-to-day они твикают код модели и тренировочного цикла и ранают эксперименты, чтоб GPU всегда делали brrrrr 🔥. Анализируют полученные данные, решают, какие метрики трекать, думают над гипотезами для новых экспериментов — и всё по кругу. Кор-квалификации: 🔹 Возможно, немного неожиданно — Scientific Method. Это умение правильно сформулировать гипотезу, задизайнить эксперимент, проанализировать наблюдения и результаты. Это базовые вещи. У меня на самом деле довольно много времени заняло, чтобы понять и заартикулировать для себя, что так выделяет топ-людей, сфокусированных на ресерче. Мой ассампшн — что это именно осознанное применение scientific method. 🔹 Матчасть: линейная алгебра, математический анализ, статистика, оптимизационная теория. Не нужно быть экспертом в каждой дисциплине, но если вы интуитивно понимаете базовые концепты — это очень помогает. 🔹 Техстек: Python, любой autograd/NN фреймворк, Pandas/SQL для анализа табличных данных. ➜ Ближе к Software вершине мы можем встретить людей, которые работают над написанием фреймворков для массивных распред. вычислений, оптимизацией и скейлингом тренировочных циклов, инференсом с низким лейтенси и инфраструктурой. Если обобщить, тут люди большую часть своего времени проводят над крафтом «тулзов», чтоб другие могли гонять как можно больше экспериментов за меньшие 💸, или работают над интеграцией моделей с другими системами компании. Кор-квалификации: 🔹 Сильный бэкграунд в Software, предпочтительней Backend/Systems. Есть также очень нишевые позиции с не менее нишевыми скиллами — низкоуровневое программирование акселераторов (GPU/TPU). 🔹 Техстек: as wide as it gets. На самом

LeetCode rollercoaster 🎢 Сидел тут, вспоминал про то, как первый раз решил податься в «бигтех» и про сопутствующий этому LeetCode-грайнд, и решил написать пару своих смешных наблюдений. Я надеюсь, все понимают: LeetCode (LC) не определяет ни ваш интеллект, ни ваш скилл как девелопера. С LeetCode страглят все. Даже топ-талантам в индустрии он не дается легко. Это классическая numbers game — то, насколько ты хорош, определяется только тем, сколько ты практиковался. Поэтому LeetCode — это как инвестиции: тут главное не интеллект, а дисциплина и mental resilience. Главное — не сдаваться, верить в результат и прилежно грайндить. За несколько своих LeetCode «кампаний» и из опыта друзей, которым я помогал, я понял, что весь путь до заветных 100 задач можно разделить на 3 сегмента. И самое интересное, что самый тяжелый — это не первый. Если вы никогда не гриндили LC, первые 20–30 задач даются для менталки не так уж тяжело. Это такой себе honeymoon период. Вы всё еще в beginner mode, не требуете от себя многого, все задачи еще кажутся довольно новыми, и вы сосредоточены на усвоении знаний, а не на результате. По моим ощущениям, 30–70 задач — вот это где начинается трэш и настоящее испытание вашей мотивации. Я называю его «Долина Сомнений». Именно тут начинаются ситуации, где вы уже вроде как видели похожие задачи, но всё еще страглите с каждой второй. Именно тут начинают в голову лезть мысли: «Я тупой. Это не для меня. Какой вообще в этом смысл? Каков смысл в моей жизни?» и т. д. Тут главное помнить, что так у всех! Не зацикливаться на том, что даже похожие задачи не решаются, не тратить время на overanalyzing каждой не получившейся. Нужно просто пушить вперед: step by step, task by task. 70–100 задач — это отрезок «просветления». Вы начинаете видеть паттерны, вы набили руку на базовых алгоритмах и можете на автомате закодить структуру BFS/DFS, а потом адаптировать ее под конкретную задачу. Где-то в этом периоде, как говорил один мудрый человек, вам «этот мир стал абсо

🌿 Sapling (часть 1) Я стараюсь периодически пробовать разные новые тулзы для development workflow, чтобы не давать мозгу ссохнуться и, может, попутно даже немного повысить продуктивность. На этой неделе я тестил Sapling — альтернативную систему контроля сорс кода от Меты, которая совместима и может работать поверх гита. Начнем с плюсов: Главный сэллинг-поинт Sapling — это упрощение работы со stacked PRs. У меня есть две любимые фичи. Первая — это то, что он по дефолту переносит весь твой стэк во время ребейса. В ванильном гите (до версии 2.38), если у тебя есть две ветки, одна поверх другой, и ты хочешь все перенести на новый main, тебе нужно было делать два ребейса: сначала нижнюю ветку на main, потом верхнюю на новую нижнюю. В Sapling это одна команда. P.S. Как оказалось, в новых версиях Гита это тоже можно делать с флагом --update-refs при ребейсе 🤦‍♂️. Вот как иногда полезно писать в ТГ-канал, без этого и дальше бы ребейсил мануально, как бумер. Вторая power-фича Sapling — это его «волшебная» команда absorb. Представьте: стандартная ситуация — вы открыли stacked PR и получили реквесты на изменения к каждому. Тут начинается большой головняк. Вам нужно зачекаутить нижнюю ветку, залить туда изменения, потом зачекаутить верхнюю, залить изменения в нее, заребейсить на нижнюю с последующим форс-пушем (и боже упаси, если еще и веток больше чем две). Sapling пытается вас избавить от этой участи. Вы можете написать все свои изменения в верхней ветке и потом выполнить волшебную команду sl absorb. Sapling постарается распределить все ваши изменения по нужным веткам сам. После этого одной командой sl pr submit вы сможете заапдейтить все свои PR (Sapling выполнит все форс-пуши за вас). Когда это работает out of the box, ощущается как магия. Но ключевое слово здесь — «когда» 😀. Про это и другие минусы — в следующем посте. А что вы юзаете для source code control? #тех@softmaxFn

[🦾 Люди в МЛ] Андрей Карпатый Я решил периодически постить тут про людей из МЛ, на которых я подписан и за которыми слежу. Начну я с, возможно, довольно очевидных — так что пишите в комментах, если вы о них уже знаете (чтоб я мог «откалибровать» следующие посты). Андрей Карпатый (блог). Сказать, что профессиональные и академические достижения Карпатого выдающиеся — это ничего не сказать. Но для меня персонально Андрея еще выделяет то, что он отличный эдьюкейтор. Он умеет понятно и основательно объяснять довольно сложные темы и создает действительно высококачественный обучающий контент. Я искренне снимаю шляпу перед тем, как много он контрибьютит обратно в комьюнити и что он находит на это время. Его курс по Convolutional Neural Networks и в особенности визуализатор операций из этого поста: — это, по сути, то, почему я когда-то смог сдать экзамен по ML в университете 😅 Материалов у Карпатого хватит на полный семестр университета, но особенно хотел выделить вот эти: ➜ Autograd Engine с нуля на питоне: Отличный первый шаг для софтвер-инженеров, которые хотят мигрировать в МЛ. Напишите самую основополагающую технологию с нуля и выучите базовые вещи «by doing». ➜ llm.c: имплементация GPT-2 на C и CUDA. Идеально подойдет даже для опытных ML-специалистов, которые всегда хотели глянуть, что же там происходит под капотом питоновских библиотек. ➜ Zero to Hero плей-лист на Ютубе: Идеальное место, чтоб начать учить МЛ, работая над интересными мини-проектами. Дайте знать если было полезно 🙌 #полезные_ссылки@softmaxFn

Большой бенефит ведения ТГ-канала (особенно для таких клинических интровертов, как я) — это то, что ты знакомишься с крутыми, талантливыми и интересными людьми. Владимир работает над PhD в Computational Biology. Его канал «Человек Наук» — это невероятно занимательный casual read для всех, кто хочет расширить кругозор и быть в курсе последних событий на пересечении биологии, Computer Science и ML. Даже если вам кажется, что вы «далеки от науки», я вам крайне советую добавить его в вашу медиадиету! Человек наук – это канал о красоте окружающего мира глазами учёного. Здесь вы узнаете: 🗺 Почему последней мечтой знаменитого физика Ричарда Фейнмана было отправиться в Туву любой ценой 🍉 Почему не стоит покупать многомерные арбузы 🍣 Математика программ лояльности: как надолго привязать голодных студентов к доставке роллов, чтобы они ещё и остались довольны 👾 Смешные и страшные истории из мира науки, а также шокирующая обыденность жизни учёных 📊 Как стоит и не стоит визуализировать данные ✉️ А также авторское исследование о том, как лучше писать письма для стажировок или PhD Подписывайтесь! #полезные_ссылки@softmaxFn

🌿 Sapling (часть 2) В первой части писал о бенефитах и достоинства Sapling. Здесь будет про недостатки :) Sapling и Гит фундаментально расходятся в некоторых взглядах. В Гите PR может состоять из нескольких коммитов, в Sapling же философия «1 коммит = 1 PR». Из-за этого вылезает несколько довольно раздражающих вещей. Например, если вы по старой привычке создали локально несколько коммитов, когда работали над каким-то сложным таском (чтобы иметь возможность легко ревертить изменения), sl pr submit создаст PR для каждого коммита, и они все будут застаканы! Если вы сами хотите решить, как агрегировать коммиты в PR, вам нужно будет прыгать по стеку и сквошить их в один с помощью sl fold. Конечно, валидный аргумент — что, мол, нужно просто немного перестроиться, и, в принципе, это хорошая практика — коммитить только атомарные PR-ready изменения. Но когда работаешь в код-бейсе с очень тяжелым и opinionated CI, с кучей тестов, линтеров и стайлеров, тратить время на то, чтобы делать каждый коммит (который ты через 30 минут можешь потенциально ревертнуть) PR-ready — это довольно спорный инвестмент. Еще одна проблема этого расхождения во взглядах — это то, что единственная возможность для Sapling интегрироваться с Гитом — это постоянно делать форс-пуш. Поэтому будьте готовы, что для ревьюеров, которые не знакомы с Sapling, ваш PR-таймлайн будет выглядеть так, как будто вы полный психопат 😅. Второе важное отличие — это то, что у Sapling нет non-staged изменений. Все изменения по дефолту сразу стейджатся для следующего коммита. Из-за этого, в то время как Гит позволяет вам во многих случаях довольно легко прыгать с ветки на ветку с «висящими» изменениями, Sapling будет каждый раз «массажировать» вам мозг, чтобы вы сделали shelve/unshelve. Ну и последнее: когда волшебные команды absorb и pr submit (описанные в предыдущем посте) работают — это магия 🪄, но когда что-то ломается — «you’re in for a bumpy ride». Не всегда у Sapling получается разбить ваши изменения по правиль

🦾 (Люди в МЛ) Яник Килхер Продолжаем серию «люди в мл».. Яник Килхер — МЛ ресерчер и инженер из Цюриха. Яник ведет ютуб канал на котором он делает глубокие и детальные разборы научных статей. Эти разборы мне очень в свое время помогали аплевелиться, так как чтение статей — это, честно говоря, не самая моя сильная сторона. Из моих любимых разборов статей: 🔹V-JEPA - тип моделей активно продвигаемая Yann LeCun как "реальный" путь к AGI. 🔹Mamba - когда-то многообещающая более компьют эффективная альтернатива трансформерам. 🔹GroupNorm - очень классный разбор с иллюстрацией всех популярных типов нормализаций. Еще у Яника отличное чувство юмора, которым он часто разбавляет довольно сложный материал, аккурат когда крыша начинает потихоньку ехать от перегруза. А с познаниями Яника в МЛ могут сравниться разве что его знания мемов о науке и IT 😀. Серия ML News на Ютубе — это был идеальный пример этого самого юмора в высокой концентрации. Серию Яник, к сожалению, забросил, но надеюсь, случится чудо, и он в один прекрасный день решит ее воскресить 🤞 Так же Яник админит дискорд сервер где другие любители МЛ обсуждают последние публикации из академии, проекты и многое другое. #полезные_ссылки@softmaxFn

📝 Раздражающие формальности работы в ЮК Если вы переехали в ЮК из Европы, есть вероятность, что вы (как и я) немного охренеете от формальностей, сопутствующих трудоустройству и заключению рабочего контракта, а про некоторые вещи вообще захочется спросить — «как это вообще легально?» Нон-компит параграф Наличие нон-компит условий в трудовых контрактах в ЮК — это, оказывается, стандартная практика. Согласно этим условиям вам запрещено какое-то время работать на «конкурентов». При этом определение конкурентов обычно ну очень расплывчатое. Срок обычно варьируется между 3 месяцами и годом. Для сравнения, я за 10 лет в Германии ни разу не видел сам и не слышал от знакомых о таких условиях. Это при том, что я работал в ресерч-департаменте Боша, который даже многие немцы считают чересчур «протектив», когда дело касается интеллектуальной собственности. Я даже не поленился и загуглил, легально ли это в Германии. Ответ: легально, но настолько строго регулируется, что 99.9% компаний с этим не заморачиваются. Например, компания обязана платить минимум 50% зп сотрудников в течение всего нон-компит периода. В ЮК почти все контракты для всех профессий будут включать такой параграф. При этом, когда начинаешь гуглить, всплывает, что большинство этих параграфов нелегитимно в глазах судов в ЮК. Если дело действительно дойдет до разбирательства в суде, судья почти гарантированно встанет на сторону сотрудника (not a legal advice btw). Это также хорошо видно по профайлам в LinkedIn — люди прыгают между компаниями-конкурентами без всяких гэпов в 3-9 месяцев. По итогу, как мне кажется, это делается только для того, чтоб дать больше negotiating power компании и вашему менеджеру во время того самого «неудобного» разговора, когда вы заявляете, что вас все окончательно задрало и вы уходите. А у вас когда-нибудь был нон-компит параграф в контракте? Как прошло расставание с компанией в этом случае? Ну и в общем, что вы думаете по поводу этой практики? #карьера@softmaxFn #жизнь_юк@softmax