Alexander Mamaev
Видео
Рваные джинсы, белые кроссы.mp4 · 4.3 МБ
Рваные джинсы, белые кроссы.mp4 · 4.3 МБ
Я конечно не думал, что это произойдет так рано, но кажется пора писать моим знакомым рокерам и реперам, что пора таки найти работу
Вставил в suno.ai текст кторый писал когда-то давно в школе, ну в целом получился класический сносный эмо рок, который может даже и в чарты при удачном стечении обстоятельств попасть.
69 · 2.8K · Ладно, у эморокеров есть еще шанс написать песни про то как они словили депрессию от LLM
1 · 2.2K · Alexander Mamaev
Последние пару недель работал над специальной моделькой-нашлепкой поверх нашей TTS модели, которая позволяет узнать Alignment между текстом и аудио, которое сгенерировал TTS. То есть по сути узнать, когда каждое слово было произнесено.
Сидел корпел над разными подходами к данным, чтобы оно работало точнее, и можно было с минимальной постобработкой запускать эту штуку в стриминге, улучшения были, но все равно работало не идеально.
Вчера решился на отчаянный шаг - добавил еще парочку сверточных слоев.
И оно заработало как надо. Название канала как никогда актуально.
9 · 2.5K · Видео
Я слежу что пишет сама.mp4 · 2.4 МБ
Я слежу что пишет сама.mp4 · 2.4 МБ
Посвящается всем авторам ТГ каналов про Эй Ай
Я слежу что пишет сама
Знаю все про Гэ Пэ Тэ
Ворлд модели строит Сора
подпишись на мой тэ гэ
Здесь посты и много мемов
Можно слушать и читать
Будешь лучшем в мире сеток
Клоуна не ставьте блять
Когда ты станешь самым смелым
Будешь шарить, больше знать
Будет офер, много денег
Незабудь донат прислать
https://app.suno.ai/song/71d79d32-73f1-42e4-8b55-16809ebfad33
93 · 10.3K · Alexander Mamaev
Ссылка
нажмите — покажем
нажмите — покажем
Заставляет задуматься, конечно, когда метро Лондона к концу 19 века более разветвленное, чем в Питере в 2024
Конечно много своих «но», однако масштаб поражает. Я думал это будет буквально 5 станций связанных узеньким тоннелем
https://youtu.be/1pMX7EkAhoA?si=caFZeBT6hzbZQKFz
15 · 3.6K · Alexander Mamaev
Ссылка
нажмите — покажем
нажмите — покажем
Во первых снова здраствуйте, накатывает меня любовь к работе с какой-то непостоянной преодичностью.
Во вторых, оказывается есть какой-то сайт Amazon Code Guru, что-то типа ответов мейл ру, но про программирование.
В третьих, я там нашел ответ на неочевидный вопрос.
Уже в нескольких проектах у себя наблюдал странное поведение памяти на машине, она росла линейно, пока не кончалась эпоха, после чего потребление падало, так эта пила шла до самого конца.
Я все не мог понять в чем дело, но было не так интересно, потому что у машины был почти терабайт памяти, смысла парится не было, а тут машиинка поменялась и я стал вылетать в OOM.
Оказалось дело в использовании питоновского List.
Using DataLoader with num_workers greater than 0 can cause increased memory consumption over time when iterating over native Python objects such as list or dict. Pytorch uses multiprocessing in this scenario placing the data in shared memory. However, reference counting triggers copy-on-writes which over time increases the memory consumption. This behavior resembles a memory-leak. Using pandas, numpy, or pyarrow arrays solves this problem
https://docs.aws.amazon.com/codeguru/detector-library/python/pytorch-data-loader-with-multiple-workers/#
32 · 3.6K · Alexander Mamaev
Ссылка
нажмите — покажем
нажмите — покажем
Очень крутая статья разбора работы VLLM, очень не хватало такого, для общего понимания архитектуры VLLM, чтобы делать какие-то свои модификации, которые не предусмотренны изначальным фреймворком
https://www.aleksagordic.com/blog/vllm
96 · 2.1K · Alexander Mamaev
Фотография
Оказывается в приложении ютуба есть статистика и напоминания потрогать траву и поспать
7 · 1.7K · Alexander Mamaev
Ссылка
нажмите — покажем
нажмите — покажем
Технический ютуб за последние время (года три) вырос каким-то невероятными темпами.
Возможно дело еще и в улучшенных рекомендациях.
Вот мне выпало очень хорошее видео с объяснением как работают диффузионные модели, для тех кому не достаточного простого объяснения о том, что они выучивают noise diff для каждого шага.
https://youtu.be/1pgiu--4W3I?si=pCoIjSkQOOw49PYL
78 · 2.2K · Alexander Mamaev
Ссылка
нажмите — покажем
нажмите — покажем
Среди тонны булщита и бесполезных статей, где люди в общих чертах описывают какие-то технологии, о внутреннем устройстве которых не имеют ни малейшего, очень приятно встречать такое
https://www.cerebras.ai/blog/moe-guide-debug
35 · 1.6K · Alexander Mamaev
Фотография
Фотография
Какая умная штука (nano banana), можно адаптировать любой контент под юзера.
Столько кейсов можно придумать с рекламой и в целом генерацией контента
Попросил сделать такой же мем, но про альпинистов
7 · 1.4K · Ссылка
нажмите — покажем
нажмите — покажем
🐣 Сегодня мы запустили децентрализованную сеть для ИИ-вычислений Cocoon («Кокон») — https://cocoon.org. Она обеспечивает пользователям 100% конфиденциальность при взаимодействии с ИИ. Часть запросов Telegram, связанных с автоматическим переводом сообщений, уже проходит через эту сеть.
🚀 Разработчики получают доступ к вычислительным ресурсам по более низким расценкам, чем у централизованных провайдеров вроде Microsoft или Amazon. А владельцы видеокарт могут зарабатывать криптовалюту TON в реальном времени, подключая свое оборудование к сети Cocoon.
В качестве логотипа сети Сосун Кокон мы выбрали ИИчко: 🤖
7 · 1.5K · Кажется в Telegram изобрели Vast.AI
2 · 1.7K · Alexander Mamaev
Видео
videoplayback.mp4 · 42.9 МБ
videoplayback.mp4 · 42.9 МБ
Неожиданно для себя открыл notebooklm.google.com
Это чуть больше чем чат с моделью, скорее такой research scratchpad, куда можно накидать ссылки, документы и анализировать результат вместе с моделькой.
Вроде как есть колоборативный режим, но я не со всем до конца разобрался.
Закинул ссылку на доку pytorch про управление памятью и ради интереса нажал *Generate video*.
И на удивление вышло очень хорошо. Вашему вниманию обучающий ролик - что такое pined memory и как работает non blocking data transfer.
44 · 1.9K · Alexander Mamaev
Фотография
Фотография
Фотография
Фотография
Я обожаю горы, в целом рельеф земли это мое второе хобби.
И одна из самых прикольных штук, что есть рельефах - влияние ледников. Для человека не знающего - это просто кусок льда, но на деле этот кусок льда делает очень много интересных изменений в пейзаже, который цепляет человеческий взгляд.
Уэальс, англия и шотландия полны следов древних ледников, в виде больших U образных долин, по валийски - cwm.
И мне всегда было интересно увидеть как это выглядело, когда ледники еще не совсем расстаяли - 11 тысяч лет назад.
Теперь у нас есть нана банана, и это можно посмотреть своими глазами!
На картинке - Eryri (Wales) и High Cup Nick (England)
4 · 1.8K · Alexander Mamaev
Ссылка
нажмите — покажем
нажмите — покажем
Очень крутое видео, рассказывающее очень не тривиальные вещи про softmax
Посмотреть стоит всем
https://youtu.be/p-6wUOXaVqs?si=GGyRi7mEieP8uHOY
81 · 1.6K ·