ceph.expert

Вышел ceph 18.2.4 (reef) Вышел четвёртый бекпорт релиз в ветке reef. Ранняя сборка этого релиза была случайно упакована и опубликована как 18.2.3 проектом Debian в апреле. Этот релиз 18.2.3 не должен использоваться, поэтому официальный релиз был переименован в v18.2.4, чтобы избежать дальнейшей путаницы. Образы контейнеров v18.2.4 основанны на CentOS 9 и могут быть несовместимы с более старыми ядрами (например, Ubuntu 18.04) из-за различий в методах создания потоков. Пользователи, обновляющиеся до контейнеров v18.2.4 на более старых версиях ОС, могут столкнуться со сбоями во время выполнения pthread_create. Для обходных путей обратитесь к связанному трекеру https://tracker.ceph.com/issues/66989. Однако разработчики рекомендуют обновить вашу ОС, чтобы избежать этой неподдерживаемой комбинации. Разработчики отметили следующие изменеия: * RBD: При сравнении с началом времени (fromsnapname == NULL) в режиме fast-diff (whole_object == true с включенной и допустимой функцией fast-diff образа), diff-iterate теперь гарантированно выполняется локально, если доступна эксклюзивная блокировка. Это приводит к значительному улучшению производительности для синхронизации live дисков QEMU и резервного копирования. * RADOS: C++ API get_pool_is_selfmanaged_snaps_mode был объявлен устаревшим из-за возможности ложноотрицательных результатов. Его безопасной заменой является pool_is_in_selfmanaged_snaps_mode. * RBD: Добавлена опция --image-id для командной строки rbd children, чтобы она могла работать с образами в корзине. Еще больше подробностей тут: https://ceph.io/en/news/blog/2024/v18-2-4-reef-released/ #ceph #reef #release #cephexpert

Некоторый сюрприз ожидает тех кто живет на пакетах и el8 (centos 8, rocky 8 etc). Под эту платформу 18.2.4 не собрали 🫣

40GiB/s S3 Throughput With 22TB Spinners В статье рассказывают как выжимали 40ГБ из s3 на достаточно плотных 1u серверах к которым подключены экспандеры по 60х22тб дисков. Part I #ceph #s3 #performance #tests #rgw

Вышел ceph 17.2.8 (Quincy) Контейнеры 17.2.8 собранны на базе CentOS 9 и могут быть несовместимы с OS со старыми ядрами (например Ubuntu 18.04). Пользователи, обновляющие контейнерные образы до версии v17.2.8 на старых версиях ОС, могут столкнуться с падениями при вызове pthread_create. Поэтому рекомендуется проагрейдить ваши OS чтоб избежать этой неподдерживаемой комбинации. RPM пакеты v17.2.8 собраны под centos 9 вместо centos 8. Команда dnf не будет работать с версией 17.2.8 т.к. сабдириктория el8 будет пуста. Вы можете взять пакет 17.2.8 от CERN или продолжить сидеть на версии 17.2.7. Если следовать инструкции https://docs.ceph.com/en/latest/install/get-packages/#rhel то ceph.repo файл должен указывать на https://download.ceph.com/rpm-17.2.7/el8 вместо https://download.ceph.com/rpm-quincy/el8 CERN пакеты предоставляются без гарантий и не были полностью протестированы. Репа CERN для el8 https://linuxsoft.cern.ch/repos/ceph-ext-quincy8el-stable/ GPG key https://linuxsoft.cern.ch/repos/RPM-GPG-KEY-Ceph-Community Разработчики отметили: - RADOS: C++ API get_pool_is_selfmanaged_snaps_mode был помечен как устаревший из-за склонности к ложным отрицательным результатам. Рекомендуемое безопасное заменяющее API — pool_is_in_selfmanaged_snaps_mode. - RBD: При выполнении операции diff относительно начала времени (`fromsnapname == NULL`) в режиме fast-diff ( whole_object == true c fast-diff фича образа включена и валидна), теперь гарантируется локальное выполнение diff-итерации, если доступна эксклюзивная блокировка. Это значительно улучшает производительность в сценариях синхронизации дисков QEMU в реальном времени и резервного копирования. - RBD: В команду rbd children добавлена опция -image-id, что позволяет выполнять её для образов в корзине. - RBD: Опция RBD_IMAGE_OPTION_CLONE_FORMAT была добавлена в Python-биндинги через необязательный параметр clone_format для методов clone, deep_copy и migration_prepare. - RBD: Опция RBD_IMAGE_OPTION_FLATTEN была добавлена

В блоге цефа вышла серия статей про растянутые кластера Ceph Stretch Clusters Part 1: Key Concepts Ceph Stretch Clusters Part 2: Two Sites Plus Tiebreaker Ceph Stretch Clusters Part 3: Handling Failures #ceph #blog #stretch

⚠️ Срочно в номер! Спустя 2 месяца выпустили хотфикс-релиз 19.2.2, исправляющий баг в RGW, который приводил к потере данных, когда вызывался CopyObject для копирования объекта самого в себя. Обычно клиенты так делают, когда хотят поменять метаданные. Всем, кто сидит на 19-м релизе и использует RGW, сильно рекомендуется обновиться как можно быстрее. Подробнее тут: https://docs.ceph.com/en/latest/releases/squid/#v19-2-2-squid #ceph #squid #release #cephexpert

Вышел ceph 18.2.5 (reef) Вышел пятый бекпорт-релиз в ветке reef. Разработчики отметили: - RBD: Опция try-netlink стала опцией по умолчанию для rbd-nbd. Если ядро не поддерживает NBD netlink-интерфейс, то будет использоваться устаревший ioctl-интерфейс. - RADOS: Новая команда ceph osd rm-pg-unmap-primary-all позволяет пользователю зачистить все pg-upmap-primary связи в osdmap. Всего ченжлог содержит более 700 строк, подробнее тут: https://ceph.io/en/news/blog/2025/v18-2-5-reef-released/ #ceph #reef #release #blog #cephexpert

Вышел ceph 19.2.3 (squid) Вышел третий бекпорт релиз в 19 ветке (squid). Всем юзера 19 ветки рекомендуют обновиться. Разработчики отметили: * RGW: PutObjectLockConfiguration теперь можно использовать для включения S3 Object Lock в существующем бакете с включённым версионированием, даже если этот бакет изначально был создан без Object Lock. * RADOS: Добавлена новая команда ceph osd rm-pg-upmap-primary-all, которая позволяет очистить все сопоставления pg-upmap-primary в osdmap при необходимости. Связанные задачи: * https://tracker.ceph.com/issues/67179 * https://tracker.ceph.com/issues/66867 * RBD: Теперь запрещено перемещать в корзину образ, который является членом группы. В этом случае команда rbd trash mv теперь ведёт себя так же, как rbd rm. * MGR: Постоянно включённые (always on) модули/плагины MGR теперь можно принудительно отключать. Это может быть необходимо, если нужно предотвратить «засыпание» MGR командами модуля, когда соответствующая служба Ceph недоступна или деградировала. * RGW: Исправлена уязвимость обхода аутентификации в STS [CVE-2023-43040]. * RGW: Политики S3 теперь строго применяют условия, основанные на ARN. * RGW: Копирование объекта в самого себя больше не приводит к потере данных. Также исправлена возможная порча данных при ошибке ETIMEDOUT (по умолчанию не включена). Подробный changelog тут #ceph #squid #release #cephexpert

Что-то с новой работой совсем забил на канальчик, даже про 20 релиз не написал (когда нибудь обязательно исправлюсь) Сейчас же предупреждение для тех кто любит тестить новинки в проде. В 20.2 привезли новый крутой EC (FastEC), а вместе с ним такой баг https://tracker.ceph.com/issues/71642 который может доставить много весёлых приключений. Поэтому если вы поставили 20.2 подождите врубать FastEC.

Вышел ceph 18.2.8 (reef) Вышел восьмой, и скорее всего последний, бекпорт (хотфикс) релиз в ветке reef. Разработчики отметили: Известные проблемы - Во время тестировния обнаружился баз при котором во время апргейда с pacific на reef сообщение OSD_UPGRADE_FINISHED может выводиться до того как все OSD реально обновились. Зафиксированных проблем найдено не было, но в целях безопасности больше не рекомендуется выполнять прямой апгрейд pacific → reef. Фиксы безопасности - CephFS client: Добавлено исправление запрещающее измение sgid и suid непривелигеровным пользователям. - Mgr Alerts: Принудительно включен SSL для SMTP с целью устранения уязвимости (GHSA-xj9f-7g59-m4jx). Важные изменения RGW - пофиксили баг при котором удаление с помощью bucket rm —bypass-gc по ошибке могло удалять head объекты вместо tail объектов. - покфиксили работу rgw-restore-bucket-index - пофиксили локи которые могли вызывать зависания при закрытии соединений - добавили настройку rgw_enable_jwks_url_verification для совместимости с AWS CephFS - Убраил лаги которые могли составлять до 5 секунд на операциях rename/stat - Исправили баг в cephfs-journal-tool который мог приводить к мертвым объектам в мете. - Исправили обработку абсолютных путей - Добавлена настройка mds_allow_batched_ops для контроля может ли MDS батчевать lookup или getattr вызовы. - Добавили команду ceph fs subvolume snapshot getpath позволяющую получить абсолютный путь к снапшоту сабволума. BlueStore - пофиксили баг при котором метрки bytes_written_slow некорректно возвращала 0 при использовании aio_wtire. подробнее тут: https://ceph.io/en/news/blog/2026/v18-2-8-reef-released/ #ceph #reef #release #blog #cephexpert

Вышел ceph 19.2.4 (Squid) Четвёртый багфикс-релиз из ветки 19 с кодовым названием Squid. Разработчики рекомендуют всем обновиться. Разработчики отметили: - BlueFS: увеличен дефолтный размер WAL-тома до 1GB — чтобы реже получать ENOSPC - Health: свежедобавленные мониторы больше не будут ложно триггерить MON_DOWN - RADOS pybind: пофиксили баг в WriteOp.zero() — offset и length были перепутаны местами при вызове C API - RGW Notifications: исправлена утечка в 2pc_queue, приводившая к ENOSPC, и исправлена утечка из-за которой оверхед не уменьшался корректно при commit/abort - RGW Multipart Uploads: теги объектов, созданных через multipart upload, теперь нормально читаются - RGW: поддержка Kafka обновлена до версии 3.9.2 - CephFS Fragments: Упрощён вывод фрагментов и скорректировано преобразование последовательности байт frag_t для обеспечения согласованности сети и хранилища. - FUSE: уточнено, что fallocate для резервирования места на диске работает только со специфическими флагами типа FALLOC_FL_KEEP_SIZE - CephFS Metadata: обновлён MDS для дампа frag_t как объекта и включил sysinfo в вывод команды status для улучшения диагностики. - librbd: добавлен новый режим блокировки RBD_LOCK_MODE_EXCLUSIVE_TRANSIENT — позволяет пиру временно захватить эксклюзивный лок без немедленного abort I/O у остальных - Dashboard: пофиксили баг с созданием нового MDS-сервиса при изменении placement на label - Dashboard: Исправлены RBAC пермишены и добавлены отсутствующие типы в список mgr-модулей. Подробнее тут: https://ceph.io/en/news/blog/2026/v19-2-4-squid-released/ #ceph #squid #release #cephfs

Вышел ceph 20.2.1 (tentacle) Это первый минорный релиз в серии тенаклей. Рекомендуется обновится всем пользователям данной ветки. Разработчики отметили: • EC Recovery: пофиксили баг в расчёте длины в erase_after_ro_offset() — пустые шарды сохраняли данные, что приводило к assert shard_size >= tobj_size при восстановлении мелких объектов в EC-пулах • BlueFS: исправлен выбор тома с учётом изменения размера файла при восстановлении WAL в envelope-режиме, плюс починен stat(), который не видел реальный размер файла после индексации WAL envelope • Fast EC Restrictions: запретили включать EC-оптимизации (fast EC) для размеров чанка не кратных 4K — на невыровненных размерах fast EC работает плохо и багует, теперь такие попытки отклоняются • Peering: ceph pg repeer теперь предлагает pg temp корректного размера — оптимизированный EC не переваривает несовпадение размеров • NVMeoF: добавлена команда nvme-gw listeners для показа всех listener'ов (включая авто) внутри пула/группы, и переработана логика fast-failover шлюза — таймауты beacon'ов теперь считаются внутри prepare_beacon для поддержки коротких интервалов • librbd: добавлен новый режим блокировки RBD_LOCK_MODE_EXCLUSIVE_TRANSIENT — позволяет пиру временно захватить эксклюзивный лок, остальные пиры приостанавливают активность и ждут освобождения вместо немедленного abort I/O. Переключаться между EXCLUSIVE и EXCLUSIVE_TRANSIENT можно даже при удержанном локе • RGW: исправлена обработка условной валидации в MultiWrite, Delete и MultiDelete • Dashboard: переделан главный лендинг — пункт «Dashboard» переименован в «Overview» с новой раскладкой, формы массово переведены на Carbon Design System, починен показ IP-адресов хостов • cephadm: подняты дефолтные версии стека мониторинга — Prometheus 3.6.0, Node-exporter 1.9.1, Alertmanager 0.28.1, Grafana 12.2.0 (заодно подтянули upstream-фиксы безопасности) • mon_nvmeofgw_beacon_grace: дефолтный grace-период до пометки шлюза как упавшего снижен с 10 до 7 секунд • nvmeof_mon_client

Вышел ceph 20.2.2 (Tentacle) Второй минорный релиз в ветке Tentacle, как обычно всем пользователям этой ветки рекомендуют обновиться. Из отмеченных изменений: * Платформы: добавлена поддержка пакетных установок на Rocky Linux 10 , полный сипсок тут * MDS: пофиксили segfault возникавший из-за некорректной постановки ретрай запросов в очередь * OSD * PGLog: исправлен баг чтоб точно атачить правильную версию к missing list когда игнорятся логи. * Data Integrity: добавлены ассерты поволяющие явно поймать потенциальную порчу данных в OSD missing list * RGW * Lifecycle: починены lifecycle-переносы зашифрованных multipart-объектов * REST: RESTArgs::get_string() теперь корректно декодирует URL в котором есть параметры запроса. * RADOS * Linger: пофиксили много косяков в проверках, устранили use-after-free уязвимость, убрали утечку памяти в LingerOp, и что-то еще. * neorados Watch/Notify: Теперь overflow маркер добовляется в очередь только на первом сообщение. Устранён двойной вызов cleanup при получении ошибки после запуска maybe_cleanup(). И что-то еще. * Async Utilities: пофиксили некорректное удаление объектов из списка async-сервисов * Dashboard * NVMeoF: полный редизайн UI с поддержкой DHCHAP controller key, шифрованием namespace и настройкой secure listeners * Pools & RGW: добавлена валидация stretch-кластера, исправлены проблемы с остановкой\рестартом RGW, баги sync policy, добавлена поддержка MSR EC профиля. * NFS: добавлен тоггл видимости снапшотов CephFS, пофиксили создание экспортов и исправлена проблема с консистентностьб значения path * ceph-volume: при сканировании инвентаря теперь автоматически пропускаются RAM-диски (/dev/ram*) * extblkdev: пофиксили assert в FCM-плагине при работе с multivolume-устройствами Подробнее тут: https://ceph.io/en/news/blog/2026/v20-2-2-tentacle-released/ #ceph #tentacle #release #blog #cephexpert

Вышел Ceph v19.2.5 Squid Пятый бэкпорт-релиз в серии Squid. Рекомендуется обновиться всем пользователям. Из отмеченных изменений: * MDS: пофиксили segfault, связанный с завершением MDSContext и постановкой запросов в очередь. * OSD: поправили логику отката для object info (OI) при частичной записи и оптимизировали Erasure Coding — Twiddle теперь создаёт вектор полного * размера. * RGW: добавили опцию ssl_ciphersuites для фронтенда Beast — теперь можно настраивать TLS 1.3 cipher. * RGW: пофиксили баг, из-за которого PutObject-запросы ошибочно отклонялись при включённом BlockPublicAcls — некорректное сравнение в canned_acl.compare(). * RGW: в мультисайте устранили бесконечный цикл в RGWBucketFullSyncCR, когда исходный бакет удаляли посреди синка — добавили очистку stateful-данных в переиспользуемых объектах bucket_list_result. * RGW: ListTopics (SNS) теперь использует ARN рута аккаунта при оценке политик, если вызов идёт не от root пользователя, что предотвращает непредвиденные неявные запреты возникавшие ранее. * RGW: пофиксили internal server error при аутентификации presigned URL. * RGW: prerequest-хук теперь выполняется после авторизации, а не до. * RGW: добавили обработку plain-text тегов объектов в RGWObjTags::decode(). * RGW: Beast timeout timer перевели на strand executor для предотвращения конкурентного доступ к сокету и потенциальных гонок. * RGW: поправили bucket stats, когда индекс бакета не существует. Подробнее тут: https://ceph.io/en/news/blog/2026/v19-2-5-squid-released/ #ceph #squid #release #blog

Вышел ceph 20.2.3 (Tentacle) Третий минорный релиз в ветке Tentacle, как обычно всем пользователям этой ветки рекомендуют обновиться. Из отмеченных изменений: * MDS * Пофиксили краш и зависание при шатдауне, если были активны эфимерные пины, а max_mds выставлен в 0 * Session reclaim мог пропустить блоклистинг старой сессии — теперь обрабатывается корректно * Исправлен случай, когда скраб не мог опознать повреждение из-за неремонтируемой хардлинки * OSD * BlueStore: пофиксили баг envelope-режима BlueFS WAL, приводивший к рассогласованию выравнивания write-буфера * Erasure Coding: исправлено планирование truncate+write для размеров EC-шардов * Исправлено условие, мешавшее roll forward записей PG log * OSDMap::check_health() больше не падает в assert при обнаружении новых OSD в subtree * Scrub: репеир скрабы (deep scrub, перезапущенный ради починки уже найденной неконсистентности) больше не ограничены настроенными часами и днями скраба — теперь могут запускаться в любое время * RGW * Добавлена опция ssl_ciphersuites для Beast — можно кастомизировать наборы шифров TLS 1.3 * Пофиксили баг сравнения canned_acl в PutObject, ломавший BlockPublicAcls * Исправлены краши при перезагрузке realm * Реализован CopyObject для зашифрованных объектов * Добавлена поддержка mTLS-аутентификации по клиентскому сертификату для Kafka-нотификаций * Починено удаление delete markers при обработке lifecycle * RADOS / librados / neorados * neorados: устранён бесконечный цикл trim на пустых шардах data log * Пофиксили очистку cancellation slot в associated executor в librados/asio * Dashboard * Добавлен дашборд мониторинга железа на метриках node-proxy * Исправлена регрессия bind address, приехавшая с изоляцией CherryPy * Добавлена возможность добавлять хосты через загрузку CSV * NVMeoF: пачка бэкпортов CLI и UI — поддержка EC-пулов, IO-статистика, управление ролями * Object: глобальная вкладка RGW Roles убрана, управление рол