27 ноября 2024
Фотография
нажмите — покажем
нажмите — покажем
⚡️ Только что вышла первая reasoning model с открытым исходным кодом от Alibaba
⚡️ QwQ-32B-Preview: экспериментальная ризонинг-модель от Qwen.
QwQ (Qwen with Questions) – экспериментальная исследовательская модель, разработанная Qwen Team с фокусом на развитие способности рассуждения.
QwQ отличается любознательностью, подходя к каждой проблеме – будь то математика, программирование или знания о мире – с подлинным удивлением и сомнением. Прежде чем остановиться на каком-либо ответе, модель подвергает сомнению свои собственные предположения, исследуя разные пути рассуждений в поисках более глубокой истины.
QwQ-32B-Preview, предварительная версия модели, которая демонстрирует аналитические способности в математике и программировании, показывая топовые результаты в тестах:
🟢65.2% на GPQA (тест на решение научных задач на уровне выпускника);
🟢50.0% на AIME (оценка математических способностей);
🟢90.6% на MATH-500 (тест на понимание математики по различным темам);
🟢50.0% на LiveCodeBench (тест на навыки программирования в реальных сценариях).
Архитектура QwQ основана на transformers с использованием RoPE, SwiGLU, RMSNorm и Attention QKV bias. Модель имеет 32.5 млрд. параметров, 64 слоя и 40 attention heads для Q и 8 для KV. Контекст модели - 32 768 токенов.
⚠️ Как у любого эксперимента, у QwQ есть ограничения:
🟠Модель может смешивать языки или переключаться между ними неожиданно, влияя на четкость ответов.
🟠QwQ склонна входить в циклические шаблоны рассуждений, что приводит к длинным ответам без окончательного результата.
⚠️ Сообществом LM Studio опубликованы квантованные версии в формате GGUF в разрядности от 3-bit (17.2 Gb) до 8-bit (34.8 GB), совместимые для запуска в llama.cpp (release b4191) и LM Studio.
▶️Пример инференса на HF Transformers:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/QwQ-32B-Preview"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
5.4K · Machine learning chat
Фотография
нажмите — покажем
нажмите — покажем
Фотография
нажмите — покажем
нажмите — покажем
Видео
нажмите — покажем
нажмите — покажем
🌟 🌟 OuteTTS-0.2-500M: обновление ТTS-модели с возможностью клонирования голоса.
OuteTTS-0.2-500M - улучшенная версия предыдущей модели синтеза речи, основанная на Qwen-2.5-0.5B и обученная на крупных и более качественных датасетах Emilia-Dataset, LibriTTS-R и Multilingual LibriSpeech. Контекст длиной 4096 токенов обеспечивает ~ 54 секунды генерации звука.
Новая версия получила изменения относительно версии 0.1:
🟢Повышенная точность. Модель лучше следует промптам и показывает более высокую согласованность выходных данных по сравнению с предыдущей версией;
🟢Естественная речь. V 0.2 генерирует более естественную и плавную синтезированную речь;
🟢Расширенный словарь. Модель обучена на более чем 5 млрд. токенов аудио;
🟢Клонирование голоса. Улучшены возможности клонирования голоса с большей вариативностью и точностью;
🟢Многоязычная поддержка. Добавлена экспериментальная поддержка китайского, японского и корейского языков.
⚠️ Для инференса GGUF-версии модели необходимо установить llama-cpp-python.
▶️ Установка и пример локального инференса:
# Install from PyPI
pip install outetts
# Interface Usage
import outetts
# Configure the model
model_config = outetts.HFModelConfig_v1(
model_path="OuteAI/OuteTTS-0.2-500M",
language="en", # Supported languages in v0.2: en, zh, ja, ko
)
# Initialize the interface
interface = outetts.InterfaceHF(model_version="0.2", cfg=model_config)
# Optional: Create a speaker profile (use a 10-15 second audio clip)
speaker = interface.create_speaker(
audio_path="path/to/audio/file",
transcript="Transcription of the audio file."
)
# Optional: Load speaker from default presets
interface.print_default_speakers()
speaker = interface.load_default_speaker(name="male_1")
output = interface.generate(
text="%Prompt Text%%.",
temperature=0.1,
repetition_penalty=1.1,
max_length=4096,
# Optional: Use a speaker profile
speaker=speaker,
)
# Save the synthesized speech to a file
output.save("output.wav")
📌Лицензирован
9.8K · 28 ноября 2024
Фотография
нажмите — покажем
нажмите — покажем
🖥 OASIS — проект для моделирования социальных взаимодействий между агентами с использованием крупномасштабных симуляций!
🌟 Он основан на многокомпонентных агентных системах и предназначен для изучения взаимодействий искусственного интеллекта в контексте общества и совместной работы. Проект сосредоточен на использовании больших языковых моделей (LLM) для управления агентами, которые симулируют различные аспекты человеческого поведения, взаимодействия и общения.
🌟 Основные направления применения OASIS включают исследование кооперативного искусственного интеллекта, поведение в симулированных обществах и масштабирование симуляций до миллиона агентов. Репозиторий ориентирован на исследователей и разработчиков, заинтересованных в построении и изучении сложных агентных экосистем на базе LLM!
🔐 Лицензия: Apache-2.0
🖥 Github
@data_analysis_ml
7.7K · Фотография
нажмите — покажем
нажмите — покажем
📖 Эта статья исследует способности крупных языковых моделей (LLMs) к логическому рассуждению, включая их склонность к запоминанию!
🌟 Основной гипотезой авторов является то, что высокий уровень точности моделей на логических задачах может быть обусловлен не столько умением рассуждать, сколько запоминанием схожих примеров из данных для обучения.
🌟 Для проверки гипотезы исследователи использовали динамически генерируемый набор логических задач на основе головоломок "Knights and Knaves" (рыцари и лжецы). Они выявили, что модели могут успешно справляться с задачами, подобными обучающим, но их точность снижается при небольших изменениях в формулировке. Однако, несмотря на это, модели показали улучшение в генерализации после дообучения, что свидетельствует о сложном взаимодействии между способностью к рассуждению и запоминанием.
🌟 Дополнительно авторы проанализировали, как LLM переключаются между запоминанием и логическим анализом, что даёт понимание о методах их дальнейшей оптимизации. Исследование включает методы создания и модификации логических задач, а также оценку поведения моделей с использованием метрик запоминания и обобщения.
🔗 Ссылка: *клик*
@data_analysis_ml
5.1K · Фотография
нажмите — покажем
нажмите — покажем
👩💻 Flexx — это фреймворк для создания графических интерфейсов на чистом Python с использованием веб-технологий!
💡 Он позволяет разработчикам создавать приложения, которые работают как на настольных компьютерах, так и в браузерах. Основная идея Flexx — это использование Python для описания логики интерфейса, при этом взаимодействие с пользователем реализуется через HTML, CSS и JavaScript, сгенерированные автоматически.
🌟 Ключевая особенность фреймворка — возможность создавать приложения с использованием декларативного подхода. Flexx поддерживает функционально-реактивное программирование (FRP) и предоставляет инструменты для управления состоянием и событийной моделью. Это делает его подходящим выбором для приложений, где требуется динамическое взаимодействие и высокая интерактивность.
🔐 Лицензия: BSD-2-Clause
🖥 Github
@data_analysis_ml
5.3K · id 1684146975👩💻 Flexx — это фреймворк для создания графических интерфейсов на чистом Python с использованием веб-технологий!
💡 Он позволяет разработчикам создавать приложения, которые работают как на настольных компьютерах, так и в браузерах. Основная идея Flexx — это использование Python для описания логики и
Программист дизайнер - горе в семье
Фотография
нажмите — покажем
нажмите — покажем
Фотография
нажмите — покажем
нажмите — покажем
Фотография
нажмите — покажем
нажмите — покажем
🌟 FastDraft: ускорение инференса LLM с помощью спекулятивного декодирования.
Спекулятивное декодирование (или вспомогательная генерация) — это техника, которая ускоряет генерацию токенов при использовании дополнительной, SLM модели-черновика.
Техника работает следующим образом: модель-черновик предсказывает следующие K-токенов один за другим авторегрессионным способом, а основная LLM проверяет эти предсказания и исправляет их при необходимости.
Процесс проходит по каждому предсказанному токену, и, если обнаруживается разница между SLM-черновиком и LLM, останавливается и сохраняет последний токен, предсказанный основной моделью. Затем SLM-черновик получает последнее предсказание LLM и снова пытается предсказать следующие K-токенов, повторяя цикл.
FastDraft — метод для обучения и согласования модели-черновика с любой LLM для использования со спекулятивным декодированием путем тонкой настройки на синтетических датасетах, сгенерированных целевой LLM.
Предобученные модели-черновики FastDraft (Llama-3.1-8B-Instruct-FastDraft-150M-int8-ov и Phi-3-mini-FastDraft-50M-int8-ov) до 3 раз эффективнее по сравнению с инференсом одиночной LLM в задачах завершения кода и до 2 раз в задачах обобщения, завершения текста и инструкций.
🟡Набор моделей
🟡Ipynb блокнот
🟡Arxiv
@ai_machinelearning_big_data
#AI #ML #LLM #Intel #FastDraft
14.9K · 29 ноября 2024
Machine learning chat
Фотография
нажмите — покажем
нажмите — покажем
Фотография
нажмите — покажем
нажмите — покажем
🌟 cuPyNumeric: замена NumPy от NVIDIA.
По мере роста объемов данных и сложности вычислений, вычисления на Python и NumPy, основанные на CPU, нуждаются в ускорении для выполнения современных исследований.
cuPyNumeric разработана, чтобы стать заменой библиотеки NumPy, предоставляя сообществу Python распределенные и ускоренные вычисления на платформе NVIDIA. cuPyNumeric позволяет масштабировать вычисления без изменения кода проектов с одного CPU до суперкомпьютеров с несколькими GPU и вычислительными нодами.
Библиотека построена на Legate, поддерживает родной Python и интерфейс NumPy. cuPyNumeric доступен из conda (версия не ниже 24.1) в legate channel. На системах с GPU пакеты, поддерживающие графические ускорители будут выбраны автоматически во время установки.
Пример эффективности cuPyNumeric - обработка 10 ТБ микроизображений многоракурсной микроскопии в виде одного массива NumPy за один день с визуализаций в режиме реального времени.
▶️Установка и тест на примере из репозитория:
# Create new conda env
conda create -n myenv -c conda-forge -c legate cupynumeric
# Test via example from repo
$ legate examples/black_scholes.py
Running black scholes on 10K options...
Elapsed Time: 129.017 ms
📌Лицензирование: Apache 2.0 License.
🟡Статья
🟡Документация
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #NumPy #NVIDIA #cuPyNumeric
28.1K · Фотография
нажмите — покажем
нажмите — покажем
Фотография
нажмите — покажем
нажмите — покажем
🌟 Wavehax: нейросетевой вокодер без эффекта наложения частот.
Wavehax - нейросетевой вокодер, который синтезирует аудиосигналы без искажений, вызванных наложением частот. Эта проблема часто возникает в моделях, работающих во временной области, где нелинейные операции и слои повышения дискретизации могут привести к наложению высокочастотных компонентов на низкочастотный диапазон.
Wavehax работает в частотно-временной области, оценивая комплексные спектрограммы и преобразуя их во временные сигналы с помощью кратковременного преобразования Фурье (STFT). Использование STFT позволяет получать более высокое качество синтезированной речи, особенно при экстраполяции на высокие значения основной частоты (F0).
Архитектура Wavehax построена на 2D CNN и специальном гармоническом априоре. Априор представляет собой комплексную спектрограмму, полученную из гармонического сигнала, который помогает модели генерировать высококачественные и согласованные по фазе гармонические компоненты.
В экспериментах, проведённых на корпусе японской речи JVS, Wavehax продемонстрировал качество речи, сравнимое с HiFi-GAN V1, при этом значительно сократив количество операций умножения-накопления и параметров модели.
Wavehax работает в 4 раза быстрее HiFi-GAN V1 на CPU и устойчив к экстраполяции на высокие значения F0, где эффект наложения частот становится особенно заметным.
▶️ Пример трейна и инференса с датасетом JVS:
# Set up the env
cd wavehax
pip install -e .
# Extract F0 and mel-spectrogram.
wavehax-extract-features audio=data/scp/jvs_all.scp
# Compute statistics of the training data
wavehax-compute-statistics feats=data/scp/train_no_dev.list stats=data/stats/train_no_dev.joblib
# Train the vocoder model
wavehax-train generator=wavehax discriminator=univnet train=wavehax train.train_max_steps=500000 data=jvs out_dir=exp/wavehax
# Inference via generate speech waveforms
wavehax-decode generator=wavehax data=jvs out_dir=exp/wavehax ckpt_steps=500000
🟡Страница проекта
🟡Arxiv
🖥GitHu
13K · Фотография
нажмите — покажем
нажмите — покажем
📖 Эта статья представляет новую архитектуру под названием Mixture-of-Transformers (MoT), ориентированную на работу с мультимодальными моделями!
🌟 Такие модели способны обрабатывать текст, изображения и аудио в единой системе. MoT решает проблемы масштабирования, связанные с обучением больших языковых моделей (LLM), предлагая более экономичный подход, уменьшающий вычислительные затраты на этапе предварительного обучения.
🌟 Основное новшество MoT заключается в раздельной обработке параметров для каждого типа данных (текста, изображений, звука), что позволяет сократить использование ресурсов без потери качества. Например, в задачах генерации текста и изображений MoT достигает производительности стандартных моделей при использовании лишь 55,8% их вычислительных операций. Кроме того, модель демонстрирует улучшенные показатели в задачах, где необходимо объединение нескольких модальностей, при меньших временных и вычислительных затратах
🔗 Ссылка: *клик*
@data_analysis_ml
5.8K · Привет, я пытался установить API в Morphic, чтобы получить PRO-версию без количества поисков, но у меня возникла небольшая проблема, поскольку для установки этого API необходимо клонировать URL-адрес на рабочем столе GitHub, и, как я выяснил, он не поддерживает путь через Android, поэтому я скачал программное обеспечение для Windows, которое преобразует Android в Windows, но у меня нет опыта работы с ним. Можете ли вы сообщить мне, будет ли установка автоматически изменять всю систему после запуска или эта установка будет. оставаться в одном отдельном независимом пакете ,который в случае использования можно распаковать и при этом система Android останется нетронутой?
30 ноября 2024
Machine learning chat
Фотография
нажмите — покажем
нажмите — покажем
✔️ Niantic тренирует большую геопространственную модель ИИ на данных Pokémon Go.
Niantic, разработчик Pokémon Go, объявила о создании модели ИИ, обученной на миллионах реальных изображений, собранных игроками Pokémon Go и приложения Scaniverse. Алгоритм, получивший название "большая геопространственная модель", обеспечит такое же свободное ориентирование в физическом мире, какое демонстрирует ChatGPT в мире языка.
Модель основана на данных "Системы визуального позиционирования" (VPS) Niantic, которая использует более 50 млн. нейросетей с более чем 150 трлн. параметров для определения местоположения телефона с точностью до сантиметра по одному изображению. Niantic планирует использовать новую модель для улучшения дополненной реальности в своих играх и разработки автономных систем и роботов.
singularityhub.com
✔️ AMD разрабатывает процессоры на основе стеклянных подложек.
AMD получила патент на использование стеклянных оснований при производстве процессоров. Стеклянные основания лучше отводят тепло, меньше теряют сигнал и точнее по размерам, чем традиционные материалы. Это делает их пригодными для высокочастотных задач, таких как 5G и искусственный интеллект.
Патент описывает технологию Through Glass Vias (TGV) для создания вертикальных каналов передачи данных и питания внутри стеклянного основания. Также в патенте представлен способ соединения нескольких стеклянных оснований с помощью меди.
AMD планирует использовать патент в процессорах Zen и новых GPU, состоящих из нескольких чиплетов.
techspot.com
✔️ Китай представил чип "Global Scheduling Ethernet".
Китайские компании представили чипы, работающие на базе протокола "Global Scheduling Ethernet" (GSE). Этот протокол предназначен для обработки больших объемов данных и обеспечения высокой скорости передачи, необходимых для искусственного интеллекта и других высокопроизводительных задач.
Разработка GSE началась в 2023 году при участии более 50 организаций, включая облачных провайдеров, производителей чипов
12.7K · Видео
нажмите — покажем
нажмите — покажем
🔥 С помощью ComfyUI + Jupyter Notebook теперь можно копировать стиль от рисунка к рисунку
🍇runpod: https://github.com/camenduru/sdxl-line-art-style-transfer-tost
🍊запускаем jupyter с помощью http://modelslab: https://github.com/camenduru/sdxl-line-art-style-transfer-jupyter
🍊 workflow: https://github.com/camenduru/sdxl-line-art-style-transfer-tost/blob/main/sdxl-line-art-style-transfer.json
@data_analysis_ml
5.7K ·