чето слишком долго грузит.
[nltk_data] Package punkt is already up-to-date!
> tts_models/multilingual/multi-dataset/xtts_v2 has been updated, clearing model cache...
> Downloading model to /home/astro/.local/share/tts/tts_models--multilingual--multi-dataset--xtts_v2
вот здесь останавливается и все на этом
👩💻 Ускорь Pandas в 20 раз, изменив всего одну строчку кода! 🔥
💡 Pandas часто бывает медленным. Но есть простое решение: FireDucks — библиотека с таким же API, как у Pandas, которая решает значительно ускоряет обработку данных.
❓ Как ускорить Pandas?
🌟 Просто замените импорт библиотеки:
❌ Было:
import pandas as pd
✅ Стало:
import fireducks.pandas as pd
🌟Теперь ваш код работает быстрее без изменений логики! Попробуйте сами и убедитесь, как легко ускорить работу с большими данными! 🚀
@data_analysis_ml
Есть библиотека Polars которая еще быстрее чем FireDucks, конечно могут потребоваться больше изменений, но прирост в скорости обработки того стоит. Также можно заменить csv файлы на parquet что также сильно ускорит работу с данными и уменьшит количество памяти которые они занимают на диске.
Соглашусь. Я в поларс с пандаса вкатился за недели 3 на проекте, где требовалось обрабатывать табличные данные.
До сиз пор помню ощущение скорости. "Сопли летели только назад".
Если серьёзно:
1. Очень быстр
2. Похож на пандас, но требует под рукой постоянной доки
3. Так же поддерживает цепочки-функций в обработке данных
4. Оконки - улёт, но будьте аккуратны, вы платите памятью, может сожрать всю RAM
5. Учитесь юзать LazyFrame и после connect(streaming=True), чтобы поларс внутри себя оптимизировал операции по мутации данных, правда если накосячили, оч трудно читать еррор.
6. Если умело им пользоваться, то можно обрабатывать весьма громаднве таблички, которые пандас никогда не проглотил бы
7. Из минусов, а нем нет синтаксического сахара из пандаса, но при грамотном написании кода - это не проблема
8. GeoPolars еще не зачался, только пытается, но тухло
П.С. вы рил платите за скорость своей RAM, я оптимищировал на проекте один кусок кода, и там стало умещаться в RAM 32GB памяти, а до этого и в 64 не помещался(оч плохо было написано), LazyFrame спасли дело, плюс, нужная оконка. Ещё совет, уаеличте swap до неприличных размеров, иногда помогает не ловить ошибки по переполнению памяти...
🔥 Memory pinning для ускорения обучения моделей
Если вы регулярно используете GPU для обучения моделей, то существует довольно простая техника, которая часто используется для ускорения обучения моделей.
...изменив всего две строки кода.
Рассмотрим стандартный цикл обучения модели в PyTorch (См Картинку 1)
В этом коде:
- Строка 5 передает данные в GPU из CPU.
- Все выполняется на GPU после передачи данных, то есть в строках 7-15.
💡 Это означает, что когда работает GPU, CPU простаивает, а когда работает CPU, GPU простаивает, наглядно(См Картинку 2)
⚡️ Но вот что мы можем сделать, чтобы оптимизировать:
- Когда модель обучается на 1-м батче, CPU может передать 2-й батч на GPU.
- Таким образом, GPU не придется ждать следующего батча данных, как только он завершит обработку существующего батча.
👉 Иными словами, график использования ресурсов будет выглядеть примерно так (См Картинку 3)
💡 В то время, когда CPU будет простаивать, GPU (который является фактическим ускорителем для обучения модели) гарантированно будет иметь данные для работы.
Формально этот процесс известен как memory pinning, и он используется для ускорения передачи данных от CPU к GPU, делая процесс обучения асинхронным.
Это позволяет нам готовить следующий обучающий набор параллельно с обучением модели на текущих данных.
👉 Включить эту функцию в PyTorch довольно просто. Во-первых, при определении объекта DataLoader надо установить pin_memory=True и указать num_workers (См Картинку 4)
Далее, на этапе передачи данных в шаге обучения укажите non_blocking=True (См Картинку 5)
⚡️ Готово!
Вот как работает ускорение на примере набора данных MNIST в обучении простой нейронной сети (См Картинку 6)
- Без memory pinning обучение модели на 5 эпохах занимает около 43 секунд:
- а с использованием memory pinning та же модель обучается менее чем за 10 (!!!) секунд 🔥(См Картинку 7)
📌 Важные особенности использования memory pinning:
- если несколько тензоров будут выделены в "привязанную" память, это при
🖥 Репозиторий на Github, в котором собраны лучшие промпты для всевозможных задач, а также способы обхода цензуры LLM
🌟Списки постоянно обновляются, последнее обновление было 3 дня назад!
Здесь можно найти запросы под всевозможные сферы: от IT до бизнес - советов.
▪️Github
@data_analysis_ml
🌟 Пространственно-временное прогнозирование с помощью Байесовских нейронных полей.
Байесовские нейронные поля (Bayes NF) - метод масштабируемого пространственно-временного прогнозирования, объединяющий архитектуру глубокой нейронной сети моделирования функций с иерархическим Байесовским моделированием для точной оценки неопределенности в сложных пространственно-временных полях.
Bayes NF строятся на основе Байесовской нейронной сети, отображающей многомерные пространственно-временные координаты в действительное поле.
Для получения высокой априорной вероятности для данных как с низко-, так и с высокочастотными вариациями, к исходным данным о времени и положении, подающимся в сеть, добавляются признаки Фурье, а чтобы учитывать априорные неопределенности, параметры сети получают априорное распределение.
Апостериорный вывод осуществляется с помощью стохастических ансамблей оценки максимального апостериори (MAP) или вариационно обученных суррогатов.
Метод Bayes NF относительно прост, он может обрабатывать пропущенные данные и обучаться по полному распределению вероятностей для произвольных пространственно-временных индексов.
Bayes NF универсален и применим к различным наборам данных без необходимости разработки новой модели для каждого случая или применения специфических для набора данных аппроксимаций вывода.
⚠️ Для локального запуска BayesNF на средних и больших объемах данных требуется GPU.
▶️ Практические туториалы с возможностью запуска на Google Coolab:
🟢анализ на основе пространственно-временного набора данных из 20 временных рядов еженедельных случаев заболевания ветряной оспой в Венгрии в период с 2005 по 2015 гг. Блокнот;
🟢анализ данных из об уровне загрязнения воздуха, измеряемом датчиками по всему Лондону каждый час. Блокнот.
▶️Локальная установка:
# Install bayesnf from PIP into venv:
$ python -m venv pyenv
$ source pyenv/bin/activate
$ python -m pip install -U bayesnf
# Install dependencies for Python 3.10
$ python -m pip install -r requir
✔️ YOLO11: новая эра в компьютерном зрении.
Компания Ultralytics представила YOLO11, новейшую версию своей знаменитой модели искусственного интеллекта для компьютерного зрения.
YOLO11 поддерживает широкий спектр задач CV: обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы, обнаружение ориентированных объектов (OBB) и отслеживание объектов. Модель получила улучшенное извлечение признаков.
YOLO11m достигает более высокого балла средней средней точности (mAP) в наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m.
YOLO11 вскоре будет доступна через Ultralytics HUB и пакет Ultralytics Python.
ultralytics.com
Коллеги, подскажите кто разбирается в нейронках или reinforcement learning. Я работаю с time series и на вход на обучение всегда отправляю многомерный массив одинаково размера. Реально ли сделать такую модель, что размер массива будет произвольный и так сеть сможет обучаться (в силу time series)? Например, сейчас на вход я отправляю массив 10x10. Проходит 5 минут, я отправляю 12x10. Еще время, 15x10 и тд. То есть кол-во строк всегда увеличиваются, хотя колонки одинаковые.
зависит от данных.
Для RNN длина последовательности не фиксирована. Но для длинных последовательностей могут быть проблемы. Для того придумали LSTM.
Можно взять CNN. Можно попробовать 1-д.
Или взять библиотеку для работы с последовательностями, которая превращает последовательность в feature space.
Можно трансформером попробовать.
Зависит от природы данных, и от задачи.
У меня тематика трейдинга на финансах, где на вход данные о трейдах отправляются. Но там узкое направление и каждый период времени может означать разное
А можешь прислать посоветовать что почитать, какие статьи, туториалы? И feature space библиотеки. Спасибо