Lingtrain

🔺 SONAR в lingtrain-aligner Добавил в наш инструмент для выравнивания текстов пулл от Давида с эмбеддинг-моделью SONAR от Meta. 🔸 Поддерживает 200 языков. Полный список кодов здесь (названия тут). 🔸 На MTEB (см. вкладку bitext mining) она показывает себя лучше замечательной модели LaBSE на 100+ языков. 🔸 Пример выравнивания через python библиотеку lingtrain-aligner можно посмотреть в статье. Если прокинуть код языка из списка, то качество должно дополнительно увеличиться (это нужно только для SONAR'а). По-умолчанию, стоит греческий, с ним нормально работает для известных модели языков. В этой же статье рассказывается как дообучить LaBSE на свой язык с примером для марийского и как потом использовать. aligner.align_db(... model_name="sonar", ..., lang_emb_from="bak_Cyrl", #башкирский lang_emb_to="rus_Cyrl" ) 🔸 В веб-приложении модель тоже можно использовать, надо в конфиге .env указать MODEL="sonar". 👉 lingtrain-aligner | UI | Хабр | SONAR

Выложил новый препринт про перевод с коми-язьвинского на русский: «A Komi-Yazva–Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation» Это важная для меня история не только как исследовательский проект. Я сам наполовину коми-язьвинец, поэтому для меня это еще и попытка сделать так, чтобы у этого языка было чуть больше цифрового присутствия. Что за данные? Собрал, насколько я понимаю, первый параллельный корпус коми-язьвинский - русский: 457 выровненных пар предложений из 74 текстов. Данные небольшие, но для исчезающего языка даже такой корпус ИМХО важен. Это не коми-пермяцкий, а более редкий диалект. Корпус собран на основе лингвистической монографии В. И. Лыткина «Коми-язьвинский диалект», где опубликованы тексты и примеры, записанные во время полевой работы среди коми-язьвинцев в Пермском крае. Из этих материалов были вручную выделены и выровнены пары предложений на коми-язьвинском и русском языках. Большое спасибо Эдуарду за помощь с этим. Корпус доступен на Hugging Face: https://huggingface.co/datasets/pparshakov/komi-yazva-russian-parallel Дальше стало интересно, насколько современные LLM хороши в задаче перевода с коми-язьвинского на русский: - zero-shot, когда модель не получает примеров; - few-shot с 4 релевантными примерами; - few-shot с 8 релевантными примерами. Примеры для few-shot не выбирались случайно, а доставались через retrieval из обучающей части. Оценивал несколькими способами: chrF, BLEU, TER, LLM-as-a-judge. Основные результаты: Few-shot сильно лучше zero-shot - Переход от 0 к 4 примерам почти удваивает BLEU: с 6.44 до 12.84. chrF растет с 19.72 до 31.63, а judge-score - с 1.54 до 2.23. - То есть даже очень маленький корпус может быть полезен не только как датасет для будущего обучения, но и как источник примеров прямо в промпте. Больше примеров не всегда сильно лучше Переход от 4 к 8 примерам дает гораздо меньший прирост: chrF растет с 31.63 до 32.96, BLEU - с 12.84 до 13.15, judge-score - с 2.23 до 2.34.

🫶 Библиоточка появилась в Google Play! https://play.google.com/store/apps/details?id=com.lingtrain.theseus

🫶 Библиоточка появилась в App Store! https://apps.apple.com/ru/app/id6787875474