Make. Build. Break. Reflect.

#kubernetes #devops #sre TLDR: это не пост с решением. Скорее пост-размышление с очередным внутренним вопросом, на который я сам себе так и не ответил. Прилетает алерт. Смотрю чо там. У него метрика простая: kube_node_status_condition{condition="DiskPressure",status="true"} == 1 Полез смотреть - да, реально диска не хватает. Дальше вопрос на минуту: а чем именно забито? Логами? Эфемерными томами подов? Или это имаджи? Смотрим ещё одну метрику: kubelet_image_garbage_collected_total{reason="space"} Счётчик прыгнул вверх ровно в момент алерта. Всё, картина ясна: раздел на 200 гигов забился старыми образами (очень частые релизы, по гигалион раз в день), кублет сам это увидел, сам почистил, алерт потух. Красота же? Сработало как задумано: от NodeHasDiskPressure до NodeHasNoDiskPressure прошло 8 минут, ни одной ручной команды. Но вот дальше я сижу и не понимаю, что с этим делать дальше. В голову приходит несколько вариантов: - увеличить диск Поможет? Да, отодвинет проблему во времени. Но это буквально плата за то, чтобы не думать. И мы вроде не резинового бюджета контора, чтобы просто лупать гигабайты, потому что "так спокойнее". - подвинуть трешхолды гарбаджколлектора * стояло: image-gc-high-threshold-percent = 85 image-gc-low-threshold-percent = 80 Много это или мало - а хуй знает. Может, надо 60/65, чтобы чистка начиналась заранее и мы вообще не долетали до disk pressure. Может вообще поставить 40%, лол. А может это сделает только хуже - кублет начнёт чиститься чаще, будет чаще передёргивать пул подов, которые сейчас пуллят образ. Кстати да, у меня был страх - а не удалит ли гарбаджколлектор образ, который прямо сейчас используется живым контейнером? По идее нет, не удалит, вроде кублетовский image GC чистит только то, что не занято ни одним запущенным контейнером. Но осадочек "а что если" всё равно остался, потому что документация - это одно, а современный вайбкод, даже в кубере, это другое. - моё любимое - забить болт 😎 Формально всё ок: алерт мигнул

#мысли #ai #devops Если честно, то за последние пару лет, как я начал использовать нейронки повсеместно - никакой Большой Революции у меня не произошло. Давайте сразу договоримся - я не отрицаю Полезность, Невероятность, Революционность и Крутость работы с ллм и агентами. Многие иные эпитеты и прилагательные тоже. Да, назвать нейронки просто куском кода я не решился бы. Ниже текст лишь про то, как я сумел или нет это всё применить лично для себя. Работа Код. Стал ли я писать код лучше? Нет, но стал писать быстрее. И мнооооого. И все резко перестали его читать.😢 Сам ли я его пишу или просто даю задачки? Посади меня писать код (да хоть терраформ манифест) без автокомплита, смогу? М? Пахнет плесневелым ароматом деградации. Траблшутинг. Стал разбираться с проблемами быстрее (привет скиллы, кли и мсп). О да, это реально работает.❤️ Агенты. Агенты, агенты везде. Стало ли с ними проще? В моей конкретной работе мне пришлось даже сократить их количество, так как я не успеваю за контекстом. Сперва радовался куче утилит и подходов с агентами, а спустя время осознал, что больше 2-3 сессий/агентов/задач я не способен вести. Спустя ещё время я сам для себя вынужден признать, что даже "одновременно" тут лишнее слово. Я не талантливый инженер и не уникум, обычный простой работяга. Формулировка "я могу держать не больше 2-3 задач одновременно и уметь ПЕРЕКЛЮЧАТЬСЯ между ними" - будет точнее. Никакой одновременности, камон. Если взять 10 задач, то даже переключение страдает, чего уж говорить об эффективности. Автономные агенты, да, решают. Но эээ все ли задачи я могу им поручить? Коммуникация. На работе каждый МР с описанием как абзац Войны и Мира. Никто не читает эту простыню. Весь слак забит Очень Полезными Подробными Ответами Отчётами. Ну я честно их не читаю. Просто, блять, напиши кратко по-человечески, нахуй мне эта простыня.😈 Я и сам так могу нагенерить второй том мертвых душ. Хоть на японском. Семья, друзья и близкие Мои приятели не-айтишники откровенно называют меня п

#пятница С появлением нейронок все стали слишком умными. Авторитет практикующего инженера внезапно перестал существовать - есть же более авторитетное "мне клод сказал". Спорю про костыль в проде - а в ответ скрин из чата с нейронкой, которая со всем согласилась, потому что её так спросили. Даже базовые вещи приходится объяснять заново, и обидно не столько объяснять, сколько ещё и доказывать. Я же не клодкод или джипити. Какой-то человек. Чтобы был аргумент для коллег и приятелей (а так же их нейронок) "почему curl | bash - это плохо", я запилил домен и хреново навайбкодил страничку с аргументами. - https://nocurlbash.com/ Теперь в спорах ссылаюсь на неё как на источник истины: - "вон, смотри, даже сайт специальный есть, люди против курлбаша, вот аргументы, это бэд-практис ващета!" Пока прокатывает 😀

#devops #tools Просто набор интересных ссылок, которые у меня накопились для шаринга. По каждой отдельно писать немного странно, так что всё вместе будет. - https://blog.cloudflare.com/dns-cache-memory-optimization-1111/ Как клаудфлер сэкономил миллионы оперативной памяти за счёт оптимизации кода. Шикарно, по-инженерному. Меня такое прям вдохновляет, очень круто. - https://www.youtube.com/watch?v=LX4YZeqXWck Какие подводные камни были у ребят из airbnb при переезде на циллиум. Молодцы, шарят такое. Если нет знаний английского - в ютубе есть автоматический перевод аудиодорожки на русский. Слабенький, но его достаточно для усвоения материала. Спойлер: а зачем тебе спойлер? Смотри и слушай видео, не ленись, ну. - https://github.blog/news-insights/company-news/the-august-17-outage-and-the-work-ahead/ - https://www.githubstatus.com/incidents/zkxwbgr0cnmx Постмортем гитхаба на один из крупных инцидентов. Просто интересно посмотреть почитать изнутри. Мне очень жалко инженеров гитхаба, на них свалилось много всего последние пару лет из-за увеличения нагрузки от вайбкодинга и всегда интересно читать, что же они делают, чтобы справиться со своей несовершенной архитектурой (на данный момент в век llm), чтобы совсем не пасть духом и статуспейджем. - https://github.com/vorssaintapp/vorssaint-utils Один из лучших утилит для MacOs. ❤️ Опенсорс бесплатный супер комбайн, который может отчасти заменить многие привычные всем утилиты. AltTab, Rectange etc. Очень жалею, что купил лицензию AlbTab (для дополнительного функционала), лучше бы я раньше узнал об этой утилите. Считаю, что моя лучшая находка в 2026 для мака. На маке я работаю лишь с марта этого года. - https://trendshift.io/monthly Трендовые git репозитории по месяцам/неделям/дням. Если вы прям любите быть на bleeding edge - это вам. Всё самое модное и свежее - всякие скилл репо, агентик репо, фреймворки, харнессы и всё то, о чём будут писать лишь через несколько недель или месяцев, а вы это уже освоите сегодня

Классный вышел тред и официальный платиновый ответ.😁 Чувствую много болей в ближайшие дни. https://github.com/orgs/community/discussions/206581#discussioncomment-18269083 С некоторых комментов можно гиеной прокричать So, just to make sure I understand this correctly: unauthenticated access to public repositories suddenly became unreliable, CI pipelines all over Europe started breaking, GitHub Status stayed green, and the official solution is basically “authenticate your public repository downloads and deal with it yourselves”? Само решение: git config --global http.version HTTP/1.1

#мысли #devops #aws Куча людей перешли на искусственный интеллект, так и не освоив собственный. Мне нравится, даже при наличии ЛЛМ, думать самостоятельно. Не из принципа "ебаать, я не такой, как все", а потому что это чуть ли не единственный тренажёр для мозга, оставшийся при нынешней пониженной нагрузке на инженера. И у этого тренажёра есть техника: не искать готовый ответ, а раскладывать вопрос на слои, пока каждый слой не станет проверяемым. Вот как это у меня выглядит на практике. Пример. Есть AD-сервис, допустим MS Entra. Есть AWS и сервисы внутри него. У какого-то сервиса - пусть OpenSearch, не важно, хоть Redis - по дефолту ебанутое имя типа: - dkjfh-hui-izda-dgigkhurda-aws.account.region.amazonaws.com Через Entra-приложение настроили SSO. Всё работает: люди ходят на некрасивый урл, логинятся через проклятый майкрософтовский аккаунт, все счастливы. Усложняем. Разработчики захотели красивые адреса - для UI и CLI-агентов. Задача: добавить в Route53 (или другой DNS сервис) - logs-prod.domain.com - redis-stage.domain.com Почему - да без разницы, просто захотели. И вот тут вместо того, чтобы спросить ЛЛМ "как правильно", я по очереди раскладываю задачу на слои - каждый следующий вопрос вытекает из ответа на предыдущий, а не из общей интуиции "SSO - это сложно". - DNS. Просто добавить запись - заработает? По идее нет: нового адреса нет в списке разрешённых redirect URI в Entra, он отвалится с ошибкой мисматча. И это не хардкод где-то в коде, а обычный allowlist. - Коллбек vs UI. Это одно и то же? Нет, вроде разные слои. UI-адрес - то, что видит браузер. Коллбек - то, куда Entra шлёт ответ после логина. Можно спокойно жить на новом UI-адресе, а коллбек временно оставить на старом. - Что я поломаю нахуй самим добавлением. Само добавление DNS-записи - ничего. Ломает либо снос старой записи/старого redirect URI сразу, либо TLS: у AWS managed сервиса сертификат зашит под их дефолтный домен, левый CNAME туда просто не пройдёт проверку сертификата без прокл

#aws #elasticache #redis #kubernetes #troubleshooting #devops #sre #longread Ничего не предвещало беды. Сижу, работаю, обычный день. Прилетает алерт: CPU на редисе. Открываю графики - ну офигеть, действительно много. CPUUtilization уже почти в потолке. Смотрю на историю подольше, не за последний час, а за пару недель - а она там не спонтанно скакнула, она туда шла целенаправленно, полз-полз-полз последние недели вверх, и вот сегодня наконец доехала до трешхолда, который у нас на алерт стоит. Красивая, спокойная, методичная деградация. Как будто специально ждала, чтобы я это заметил именно во вторник. Стою на развилке, как обычно в таких случаях. Вариантов, по сути, три сходу: - поднять инстанс тип побольше - и вопрос закрыт. Минут на пятнадцать работы. - копать почему нагрузка растёт - раз уж она растёт неделями, значит где-то есть тренд (мемори лик?), и если его не найти, он вернётся через месяц уже на инстансе побольше. - полезть в релизы/код - может, кто-то тихо принёс что-то, что жрёт редис сильнее, чем раньше. Времени в этот день было, под рукой прямых пожаров нет, так что решил нырнуть. Начал копать. Смотрю на количество соединений к редису - и это тоже растёт. Причём растёт не гладко, а скачками. Спустя время понял, что ровно в моменты редеплоев и скейлинга подов. У меня в голове сразу щёлкает классика жанра: коннекшн лик. Кто-то не закрывает соединения при рестарте пода, они копятся, some magic, редис в итоге не столько данные обрабатывает, сколько бегает между тысячами открытых, но по факту мёртвых клиентов. Полез руками смотреть список клиентов - и что вы думаете, реально нахожу один клиент, зависший в цикле на одной и той же команде. Судя по времени коннекта - висит там натурально сутки, сука, с прошлого деплоя. Убиваю его руками, CPU чуть проседает. Ага, думаю, вот он, зверь, поймал. Порадовался я недолго. Потому что счётчик коннектов и без этого одного зомби-клиента всё равно был в районе четырёх тысяч, а нагрузка не сильно шевельнулась. Се

В удивительнейшее время живём. - https://typesafe.ai/blog/introducing-system-one-models-and-jev TypeSafe анонсировали Jev, свою первую "System One" модель - быстрые типизированные решения вместо генерации текста. - https://github.com/mizorewww/laya-mlx (на минуточку это уже опенсорс!) а это похожая по духу модель, но от другой компании (Convai Innovations), уже в опенсорсе и с портом под Apple Silicon (eto ya со своим макбуком). И она меньше гигабайта! То есть Jev сам по себе проприетарный и закрытый, но концепция уже доступна в опенсорсе - я погонял именно Laya. Поигрался - весьма интересно. Пример использования (первым пришло в голову для тестов): - установить этот опенсорс decision-модель pip install laya-mlx - залогиниться в hugging face - запилить скрипт laya_triage.py """Local Laya (MLX) triage of a SQL query; escalate to a Hugging Face LLM only if needed. Usage: HF_TOKEN=hf_xxx python ~/laya_triage.py # uses the built-in sample query HF_TOKEN=hf_xxx python ~/laya_triage.py query.sql # or a query from a file Optional env: HF_MODEL (default below), LAYA_THRESHOLD (default 0.5). """ import os import sys import laya_mlx from huggingface_hub import InferenceClient HF_MODEL = os.environ.get("HF_MODEL", "Qwen/Qwen2.5-Coder-32B-Instruct") THRESHOLD = float(os.environ.get("LAYA_THRESHOLD", "0.5")) SAMPLE_SQL = """ SELECT u.id, u.name, COUNT(o.id) FROM users u LEFT JOIN orders o ON u.id = o.user_id WHERE u.created_at >= '2026-01-01' GROUP BY u.id, u.name; """ QUESTIONS = { "needs_optimization": { "type": "noul", "instructions": "Does this SQL query contain potential performance bottlenecks " "(full table scans, inefficient joins, missing filters on large tables)?", }, "issue": { "type": "choice", "instructions": "What is the most likely performance problem in this SQL query?", "criteria": { "missing_index": "The query filters or joins on columns that likely need