Machine learning chat

🎯 Martian выпустили крупнейший бенчмарк для оценки AI-агентов, которые проверяют код и он полностью open-source. Главная проблема большинства AI-тестов - модели со временем просто запоминают ответы. Бенчмарк превращается в «экзамен с известными вопросами», а реальные возможности моделей остаются за кадром. Martian решили эту проблему архитектурно. Вместо одного теста они внедрили систему Dual-Layer Evaluation: - Offline-слой — честное сравнение моделей на статичных данных - Online-слой — анализ поведения инструментов в реальной работе разработчиков Если компания попытается «подогнать» модель под офлайн-тест, это сразу станет заметно — её результаты перестанут совпадать с реальным использованием в онлайн-слое. Фактически это первый самокорректирующийся бенчмарк, который нельзя накрутить маркетингом или обучением на тестовых данных. Что внутри: - Более 200 000 реальных изменений кода - Данные реального поведения разработчиков - Оценка качества AI-ревью в боевых условиях - Полная нейтральность — создатели не продают собственные coding-ассистенты Это первый измеритель качества AI-инструментов для разработки, который не деградирует со временем и отражает реальную пользу, а не лабораторные метрики. https://codereview.withmartian.com/

🔥 10 GitHub-репозиториев, которые реально прокачают тебя в AI 1. Generative AI for Beginners Полноценный курс от Microsoft: Jupyter-ноутбуки, практические задания и разработка GenAI-приложений. https://github.com/microsoft/generative-ai-for-beginners 2. LLMs from Scratch Пошаговая реализация GPT-подобной модели с нуля. Лучший способ понять, как работают LLM внутри. https://github.com/rasbt/LLMs-from-scratch 3. AI Agents for Beginners Практика по созданию агентных систем: инструменты, память, планирование, workflow. https://github.com/microsoft/ai-agents-for-beginners 4. ML for Beginners Классическая база по машинному обучению: 26 структурированных уроков. https://github.com/microsoft/ML-For-Beginners 5. OpenAI Cookbook Официальные примеры работы с API: production-паттерны, RAG, функции, реальные кейсы. https://github.com/openai/openai-cookbook 6. Python 100 Days Интенсив по Python с практикой каждый день. Отличная база для входа в AI. https://github.com/jackfrued/Python-100-Days 7. LLM App Templates Готовые RAG-шаблоны и production-решения для реальных LLM-приложений. https://github.com/pathwaycom/llm-app 8. Python Data Science Handbook Фундамент по NumPy, Pandas, визуализации и классическому ML. https://github.com/jakevdp/PythonDataScienceHandbook 9. Stable Diffusion Оригинальный код модели text-to-image - отличная база для изучения генеративного CV. https://github.com/CompVis/stable-diffusion 10. Segment Anything Модель от Meta для сегментации изображений - мощный инструмент для компьютерного зрения. https://github.com/facebookresearch/segment-anything #AI #MachineLearning #LLM #GitHub #Python #DataScience

⚡️Андрей Карпати поделился интересным экспериментом: он попробовал собрать исследовательскую команду из AI-агентов. В setup: - 8 агентов (Claude + Codex) - у каждого свой GPU - каждый работает как отдельный исследователь - задачи ведутся через Git-ветки - коммуникация через файлы - всё запускается в tmux - как «офис» с окнами Фактически — попытка построить AI-research-организацию. Но главный вывод оказался неожиданным. Агенты: - плохо продумывают дизайн экспериментов - делают случайные или бессмысленные вариации - не строят сильные baseline - не контролируют compute и время - часто делают ложные выводы Пример: агент «обнаружил», что увеличение hidden size улучшает validation loss. Формально - да. Но модель просто стала больше и дольше обучалась. Никакой научной ценности. Инсайт: AI отлично реализует хорошо сформулированные идеи. Но пока плохо генерирует сильные исследовательские гипотезы. Теперь мы программируем не модель - мы программируем организацию. Source code такой системы: - промпты - роли - процессы - инструменты - standup’ы - workflow Добро пожаловать в эпоху *Org Engineering*. https://x.com/karpathy/status/2027521323275325622