Битва нейросетей на арене LMArena: как устроен главный рейтинг ИИ-моделей

Что такое LMArena и зачем она нужна

LMArena (ранее Chatbot Arena) — это публичная платформа для сравнительной оценки языковых и мультимодальных моделей искусственного интеллекта. Проект был создан исследователями из Sky Computing Lab при Калифорнийском университете в Беркли. В отличие от традиционных бенчмарков, которые проверяют модели на фиксированных наборах данных, LMArena предлагает живое голосование: реальные пользователи оценивают ответы двух анонимных моделей и выбирают лучший. Такой подход позволяет получить оценку, максимально приближенную к повседневным задачам.

Платформа быстро завоевала доверие индустрии. В 2025 году проект выделился в отдельную компанию и привлёк $100 млн инвестиций от Andreessen Horowitz, Lightspeed и других фондов. В 2026 году объём инвестиций достиг $150 млн, а оценка компании составила $1,7 млрд. На LMArena представлены как открытые, так и коммерческие модели, причём некоторые компании анонимно загружают бета-версии своих разработок до официального релиза, чтобы получить обратную связь от сообщества.

Как устроена механика парных сражений

Основной режим работы LMArena — Battle Mode (режим битвы). Пользователь вводит любой промпт на естественном языке, после чего платформа показывает два ответа от разных моделей, обозначенных как «Модель А» и «Модель Б». Названия моделей скрыты до момента голосования — это исключает предвзятость в пользу известных брендов. Пользователь выбирает, какой ответ лучше, или отмечает, что оба ответа хороши (ничья) или оба плохи. Только после голосования раскрываются имена моделей-участников.

Такой подход гарантирует, что оценка основывается исключительно на качестве ответа, а не на репутации разработчика. Например, в одном из тестов модель Qwen победила ChatGPT, хотя многие пользователи могли бы интуитивно отдать предпочтение более известному бренду. Анонимность — ключевое преимущество LMArena, которое делает рейтинг максимально объективным.

Система рейтинга Elo и модель Брэдли–Терри

В основе рейтинга LMArena лежит система Elo, разработанная венгерско-американским шахматным мастером Арпадом Эло в 1960 году. Изначально она использовалась для расчёта рейтингов шахматистов, а сегодня применяется в киберспорте и оценке ИИ. Однако LMArena использует модифицированную версию на основе модели Брэдли–Терри, которая учитывает особенности человеческого выбора в парных сравнениях.

Принцип работы: когда модель А встречается с моделью Б, ожидаемый результат вычисляется на основе разницы их текущих рейтингов. Если фаворит (модель с более высоким рейтингом) побеждает, изменение рейтинга невелико — результат был ожидаемым. Если же аутсайдер одерживает победу, изменение рейтинга значительно, так как это неожиданный исход. В случае ничьей происходит небольшая корректировка, основанная на разнице рейтингов. После множества сравнений рейтинги стабилизируются и начинают объективно отражать относительное качество моделей. Система самокорректируется: несколько случайных или ошибочных голосов практически не влияют на итоговый результат на фоне миллионов выборов.

Режимы работы: Battle, Side by Side и Direct Chat

LMArena предлагает несколько режимов взаимодействия, каждый из которых решает свои задачи.

Battle Mode — классический режим парных сражений. Вы вводите запрос, получаете два анонимных ответа и голосуете за лучший. Этот режим идеально подходит для тех, кто хочет участвовать в формировании рейтинга и получать объективное сравнение.

Side by Side — режим, в котором вы сами выбираете две конкретные модели из списка и задаёте им один и тот же вопрос. Названия моделей видны сразу, что удобно, когда вы целенаправленно сравниваете, например, GPT-4 и Claude. Этот режим помогает выбрать инструмент под конкретную задачу.

Direct Chat — режим прямого общения с выбранной моделью. Вы просто выбираете нейросеть и общаетесь с ней как в обычном чате, без сравнений и голосований. Это удобно для повседневных задач, когда не нужно оценивать несколько вариантов.

Кроме того, LMArena поддерживает генерацию изображений, видео, кода и веб-интерфейсов. Для каждого типа контента есть отдельные режимы, доступные через соответствующие иконки в интерфейсе.

Категории лидербордов и как их читать

LMArena разделяет рейтинги по категориям, чтобы сравнение было честным и осмысленным. Модель, сильная в коде, не смешивается с моделями для работы с изображениями. Основные категории лидербордов:

• Text — лидеры в области текстовой генерации.
• WebDev — модели, которые лучше всего генерируют код и веб-страницы.
• Vision — лидеры в понимании визуальных данных.
• Text-to-Image — лучшие в генерации изображений из текста.
• Image Edit — лидеры в редактировании изображений.
• Search — модели, которые лучше всего отвечают на информационные запросы.
• Text-to-Video и Image-to-Video — мультимодальные категории для генерации видео.
• Copilot / Programming — лидеры в генерации кода и автоматизации.

Рейтинги обновляются в реальном времени на основе голосов пользователей. Чем чаще модель побеждает в битвах, тем выше её позиция. Например, по состоянию на октябрь 2025 года в категории Text на первом месте находилась Gemini 2.5 Pro, а в Text-to-Image — Hunyuan Image 3.0. Важно помнить, что рейтинги динамичны и могут меняться ежедневно.

Преимущества и ограничения платформы

LMArena обладает рядом сильных сторон, но также имеет и ограничения, которые важно учитывать.

Преимущества:

• Оценка от живых людей, а не сухие метрики. Пользователи оценивают субъективное восприятие качества, что ближе к реальным сценариям использования.
• Гибкость: можно тестировать новые, даже бета-версии моделей под кодовыми именами.
• Много направлений: текст, визуал, код, мультимодальность.
• Динамичность: рейтинг постоянно меняется, модели сталкиваются между собой, пользователи активно участвуют.
• Бесплатный доступ: для большинства режимов регистрация не требуется.

Ограничения и критика:

• Субъективность оценок: разные люди могут по-разному оценивать один и тот же ответ.
• Склонность к «красивому» стилю: длинные, яркие, форматированные ответы могут побеждать просто потому, что нравятся визуально, а не из-за содержательной точности.
• Возможность «игры под платформу»: разработчики закрытых моделей могут загружать множество вариантов и публиковать лучший, что даёт им преимущество.
• Неравномерное представление моделей: коммерческие и крупные модели чаще участвуют, получая больше данных для оценки.
• LMArena дополняет, но не заменяет академические метрики вроде MMLU, BIGBench и других.

Как использовать LMArena для выбора модели под свою задачу

LMArena — это не просто развлекательная платформа, а мощный инструмент для практического выбора ИИ-модели. Вот несколько сценариев использования.

Для обычных пользователей: Если вам нужен ИИ-помощник для повседневных задач — написать письмо, перевести текст, ответить на вопрос — используйте Direct Chat. Выберите модель из топа лидерборда и общайтесь бесплатно.

Для разработчиков и стартапов: Режим Side by Side позволяет сравнить две модели на конкретной задаче, например, генерации кода или создания веб-интерфейса. Это помогает выбрать наиболее подходящий инструмент без затрат на подписки.

Для дизайнеров и маркетологов: Функции генерации изображений и видео позволяют тестировать креативные концепции. Вы можете сравнить, как разные модели справляются с созданием логотипа или рекламного баннера.

Для исследователей и энтузиастов: Участие в Battle Mode помогает понять, как развиваются разные модели, и внести свой вклад в формирование рейтинга. Вы можете задавать сложные, нестандартные вопросы и наблюдать, какие модели справляются лучше.

Важно помнить о конфиденциальности: не вводите личную или коммерчески чувствительную информацию, так как запросы и ответы могут использоваться для исследований и улучшения моделей.

Будущее LMArena и влияние на индустрию ИИ

LMArena стала не просто платформой для сравнения, а важным элементом экосистемы ИИ. Разработчики моделей всё чаще ориентируются на рейтинг LMArena как на один из ключевых показателей качества. Умный роутер Max, представленный командой проекта, на основе более 5 миллионов пользовательских предпочтений сам выбирает лучшую нейросеть для ответа на конкретный запрос. Это шаг к автоматизации выбора модели, что может кардинально изменить взаимодействие пользователей с ИИ.

Рост инвестиций и оценка компании в $1,7 млрд подтверждают, что рынок видит ценность в независимой, краудсорсинговой оценке. В будущем LMArena может стать стандартом де-факто для сравнения ИИ-моделей, аналогично тому, как рейтинг Elo стал стандартом в шахматах. Однако платформе предстоит решить проблемы субъективности и возможных манипуляций, чтобы сохранить доверие сообщества.

Вопросы и ответы