Девопсолог | DevOps, GitOps и прочий Ops

Используем GitVersion для получения версии helm chart В комментариях к посту про версию helm chart @ebugusey предложил считать версию из истории коммитов при публикации чарта. И посоветовал софт GitVersion Это еще более правильный и простой способ определения версии и он не требует похода в API гитлаба Нам понадобится скачать версию для linux x64 на машину с gitlab-runner (Или вы можете использовать docker образ), также будем использовать jq — для получения нужного нам значения из выхлопа GitVersion Давайте вносить правки: 1. Говорим гитлаб раннеру при запуске джобы склонировать репозиторий со всей историей коммитов (Это может замедлить джобу на больших репозиториях при первом запуске) 2. Добавляем в корень репозитория конфиг для GitVersion. Взял его из примеров в документации 3. Получаем новую версию для упаковки чарта Вот и все правки. Мы получили более стабильный вариант расчета версии, не требующий похода в API. Спасибо @ebugusey за совет

Обновление dev кластера k8s до актуальной версии Вот наконец и дошли руки записать видео по обновлению dev кластера. На этом про кластер для разработки всё. Вскоре начнем собирать production ready инсталляцию YouTube — https://www.youtube.com/watch?v=_C5DLcAtQMA ВКВидео — https://vkvideo.ru/video-232188619_456239017

Пых.Конф всё ближе, свободного времени всё меньше, поэтому с постами пока затык Раз так — буду шарить полезное от коллег. Сегодня нововведения и изменения в недавно вышедшем кубе 1.34 от компании Флант Приятного чтения — https://habr.com/ru/companies/flant/articles/940394/

Опасные места в YAML YAML позиционируется как человекочитаемый формат данных, но при этом это склад подводных камней. Рассмотрим самые тупые особенности, которые могут привести к неожиданным ошибкам. Шестидесятеричные числа port_mapping: - 22:22 - 80:80 - 443:443 Что вы ожидаете увидеть? Скорее всего, список строк для настройки портов. Но YAML 1.1 интерпретирует 22:22 как шестидесятеричное число и превращает его в 1342. В YAML 1.2 эту "фичу" убрали, но многие парсеры до сих пор используют старую версию. Проблема Норвегии countries: - dk - fi - is - no - se Код страны Норвегии no будет интерпретирован как булево значение false. То же самое произойдет с off, n, yes, on, y в различных вариантах написания. Классическая ловушка, получившая название "Norway Problem". Случайные числа versions: - 9.5.25 # строка - 9.6.24 # строка - 10.23 # Число! - 12.13 # Тоже число! Строки без кавычек могут неожиданно стать числами. 10.23 превратится в float, а 9.5.25 останется строкой, потому что имеет "слишком много" точек. Ключи не только строки settings: on: [push, deploy] priority: high Здесь on интерпретируется как булево true, поэтому ключом становится не строка "on", а логическое значение. В JSON это может превратиться в "True" или вызвать ошибку. Теги и небезопасность user_data: !python/object/apply:subprocess.check_output [['rm', '-rf', '/']] Теги, говорят, иногда полезны, но при определенных условиях позволяют выполнять произвольный код при загрузке. Всегда используйте safe_load вместо load в Python и аналогичные безопасные методы в других языках.

Привет! Коллеги проводят исследование, чтобы понять, что реально происходит внутри ИТ-команд и какие закономерности можно в этом увидеть. Уже нащупаны интересные корреляции: – между скоростью пайплайнов и качеством code review, – между алертингом и стабильностью релизов, – между ролями в команде и удовлетворённостью релизным процессом. Но нужно больше данных, чтобы отделить закономерности от шума. Пройти анкету можно за 10 минут. Её же можно использовать как мини-чек-лист для самооценки зрелости инженерной культуры. Принять участие: https://forms.gle/NszR7VDuXL9sBbVAA P.S. Вчера прошел сам, довольно интересно будет посмотреть на результаты, коими обязательно поделюсь, после того как ребята завершат исследование P.P.S. Довольно давно не выходило моих постов про инфру — подготовка идет полным ходом. Скоро возобновлю регулярные посты про кубер в проде

Смотрю интересный стрим от ребят из Cozystack. Присоединяйтесь! https://www.youtube.com/watch?v=hl9LMcxg1qM

Последние недельки на работе выдались тяжелые, поэтому я пока не подготовил новые посты для вас. Но предлагаю посмотреть интересный доклад. Я уже упоминал на канале такой продукт, как Cozystack. Давайте смотреть как же он устроен. https://www.youtube.com/watch?v=fzA3WxoZFYg

Удаляем FluxCD манифесты, которые были созданы при первоначальном бутстрапе В этом году было достаточно сложно раскачаться и войти в рабочий ритм. Но у меня получилось :) Первый пост в этом году будет маленький, как дополнение к предыдущему. После того как мы перевели Flux под управление самого себя — была забыта одна вещь. А именно — нам нужно удалить старые манифесты, которые записал Flux в репозиторий, когда делался первоначальный bootstrap. Они нам теперь не нужны. Исправляемся — коммитим, пушим, убеждаемся, что все работает. Путь миграции с flux bootstrap на flux operator описан в официальной документации flux operator. То, что мы сейчас делали описано в разделе Cleanup the repository На след. неделе будем передавать Cilium под управление Flux

🌿 Про Tini и опцию --init в docker run Валентин Удальцов на стриме «Scaffolder: создаём и обновляем репо за пару минут» упомянул утилиту Tini, через которую предлагается запускать команды внутри контейнера: ENTRYPOINT ["tini", "--", "php", "/app/run.php"] Tini запускается как главный процесс в контейнере и решает две задачи. ⭐️ Зомби-процессы После завершения работы дочерние процессы освобождают ресурсы, но остаются в списке процессов и становится зомби. Родительский процесс должен корректно их обрабатывать, чтобы зомби-процессы удалялись окончательно. Не все программы умеют обрабатывать зомби-процессы. В обычной системе их «страхует» главный процесс (например, systemd), а в контейнере это может делать Tini. ⭐️ Обработка сигналов Если процесс не установил обработчик для сигнала (речь про SIGTERM, SIGINT и т. д.), то выполняется действие по умолчанию. Но это правило не действует для главного процесса. Tini корректно обрабатывает сигналы и пересылает их дочерним процессам. Если с первой проблемой я не сталкивался, то вторая возникает с завидной периодичностью. Например, запускаем внутри контейнера тесты и решаем их прервать, нажимаем Ctrl+C (вызывает отправку сигнала SIGINT, «прервать процесс») и… ничего не происходит 🤷‍♂️. Это как раз из-за того, что у основного процесса не задан обработчик. Tini оказался настолько полезным инструментом, что на его основе сделали утилиту docker-init и добавили её в Docker, а у команды docker container run (она же docker run) появилась опция --init (документация), которая запускает docker-init как главный процесс. Для copmose-файлов также добавили опцию init (документация). Сегодня вместо Tini удобнее использовать опцию --init, которую к тому же можно применить для любого docker-образа 🐬

Начинаем!

Внезапнопост или HEREDOC в Docker без buildx В нескольких постах на канале я топил за использование HEREDOC синтаксиса в Dockerfile Смотрите как красиво, никаких && и \ (ну почти): RUN <<EOF set -e apt-get update apt-get install --no-install-recommends -y \ openssh-client \ rsync \ non-existent-package apt-get clean EOF Но с этой фичей уже была одна проблема - тык Сегодня с коллегой раскопали еще одну — оказывается если вы поставили docker без плагина buildx, то при сборке все инструкции внутри HEREDOC будут просто молча проигнорированы. Могли бы хоть ошибку вывести Такой вот подарочек от разрабов docker. Будьте внимательны и удачных вам сборок!

Если ещё беспокоитесь за copy.fail в своих кластерах - вот изи-фикс. Маленький DaemonSet, грузит BPF-LSM хук на socket_create и режет любые попытки открыть AF_ALG. Без ребута, без пересборки ядра, без правки cmdline. Работает на Talos Linux, где rmmod архитектурно недоступен (SELinux + lockdown + контроллер не умеет unload). Ставится одной командой: kubectl apply -f https://raw.githubusercontent.com/cozystack/copy-fail-blocker/main/manifests/copy-fail-blocker.yaml https://github.com/cozystack/copy-fail-blocker