ArelavЯ скинул ишью lucene где написано практически тоже самое
я прочитал его и не понял и судя по тому что там никто ничего не отписал я не один такой. Я скинул код тебе где конкретно алгоритм сжатия реализован.
A Ссылка
нажмите — покажемДа вы правы в lucene есть отдельное сжатие для чисел https://github.com/apache/lucene/blob/main/lucene/core/src/java/org/apache/lucene/codecs/lucene90/Lucene90DocValuesFormat.java#L74 Но в целом если посмотреть на код lucene, видно что это что сжатие что расжатие делается скалярно и медленно, а написано еще в lucene 5.0 и например не различает на этом уровне double/float/разные-integer (потому что 15 лет назад когда это писалось, нужных алгоритмов толком и не было, а какой нибудь alp это вообще 2024) В целом ощущение что вы отрицаете прогресс последних лет 15 в области колончных движков: как storage части так и execution
A Конечно же нет, "compression methods для колонок и execution для колонок в DuckDB лучше чем в Tantivy", поиск же сделан по другому, в нашем движке IResearch поиск в целом сделан похоже на Lucene, а columnstore на основе DuckDB compression methods, в том числе потому что мы юзаем DuckDB как зависимость для execution/optimizer SQL части запроса. По поводу качества поисковой функциональности это вопрос именно к нашему IResearch движку, я считаю что он во многом лучше Tantivy и позволяет больше (куда ближе к Lucene по широте возможностей), но если хочется конкретики можно посмотреть на бенчмарки на сайте tantivy/у нас, ссылку на которые давали выше.
Andrey AbramovВсем привет!
Мы в SereneDB в марте мы приняли участие в бенчмарке Search Benchmark Game с нашим поисковым движком IResearch (С++ альтернатива Lucene и Tantivy). Проект пока не слишком известен, но так получилось, что мы выиграли бенчмарк.
Особенно приятно было, что мейнтейнеры Tantivy лично проверил
Тут про вас спрашивают – возможно вы ответите на вопросы автора (что особенно важно в эпоху ллм)
https://www.reddit.com/r/Database/s/C9s51uxGoq
Ссылка
нажмите — покажем
нажмите — покажем
https://dev.to/suchitra_shankar/tiered-or-leveled-why-not-both-building-amethyst-4g50
@kostja_osipov чего скажешь?
Вторая тривиальная мысль это разбить уровень на N отдельных последовательностей, вычисляя N, исходя из формулы "размер_уровня = F(N)*размер_блока." "Размер_блока" это объём чтения, что насыщает пропускную способность. F(N) можно брать любой, что хочется.
Отдельные последовательности в уровне позволяют уменьшать задержку слияния, и ещё кое-что приятное дают (например, лучшее сжатие).
Я про это год назад документ внутренний написал. Теперь мне интересно, не работал ли какой спец в MariaDB в то время. ;)
Фотография
нажмите — покажем
нажмите — покажем
Станьте частью технологического прорыва!
Сбер и Database Internals открывают регистрацию на флагманский Data.Митап!
Встретимся большим сообществом – внешним и внутренним, чтобы вместе обсудить СУБД в эпоху AI-трансформации.
1000+ участников, 3 доклада от ведущих лидеров отрасли, PostgreOnRocks, Multi-DC кластер DataGrid, новый алгоритм для оптимизации запросов в реляционных СУБД.
23 июня в 17:30 в офисе Сбера, Кутузовский пр., 32.
Регистрация обязательна!
S D S Да, в письме от организаторов ссылка на трансляцию: https://dbmsmeetup.dialog.sberbank.ru/translation
E
Ссылка
нажмите — покажем
нажмите — покажем
думаю, этот fiber runtime может быть полезен и для других OLAP DBMS
https://clickhouse.com/blog/silk
D Хорошая штука. Чем-то напомнил https://seastar.io/. С внедрением cooperative multitasking очень важным становится подход к единице исполнения - неверно вставил yield и перф "ушёл".
C++Russia начал постепенно публиковать записи докладов недавней конференции. Идним из первых идет рассказ Кости @kostja_osipov
Ссылка
нажмите — покажем
нажмите — покажем
#видеозаписи #плюсочетверг
Разбираемся с проблемой, для которой не существует доказанного оптимального решения — на какие компромиссы идут разработчики движков хранения данных?
Узнайте из доклада:
Константин Осипов — Стратегии слияния (compaction strategies) в LSM-деревьях
😉 YouTube | 📺 VK Видео
32 · 1.8K · Ссылка
нажмите — покажем
нажмите — покажем
Andy Pavlo joins ClickHouse to establish ClickHouse Labs (Score: 150+ in 4 hours)
Link: https://readhacker.news/s/6ZUKV
Comments: https://readhacker.news/c/6ZUKV
32 · 3.2K · Ссылка
нажмите — покажем
нажмите — покажем
Апдейт про оптимизации в Google BigQuery. Из интересного - тоже начали использовать аккуратно HBO - хотя в нем есть риск недетерминированной регрессии запросов. https://cloud.google.com/blog/products/data-analytics/bigquery-performance-optimizations