Протестировал GPT-5.3-Codex-xhigh vs Claude-Opus-4.6-high
(ну и мена у современных моделей)
Ребята, вы просили — я сделал.
Победил: Opus-4.6
Методика тестирования: Пишет мне подписчик @lu_chezarno. Не правильно вы модели тестируете. Вот как надо. В видео содержится 2 кейса:
• Демон Максвелла
• Галактика М31 с управлением жестами
Мне по началу эти тесты не очень понравились, но я решил разобраться и попробовать. Там не так все просто оказалось.
Промпт:
Сосуд с газом разделён непроницаемой перегородкой на две части: правую и левую. Молекулы хаотично движутся (Тепловое движение). В перегородке есть отверстие с устройством (так называемый демон Максвелла), которое позволяет пролетать быстрым (горячим) молекулам газа только из левой части сосуда в правую, а медленным (холодным) молекулам — только из правой части сосуда в левую (демон «открывает» и «закрывает» перегородку перед молекулами, оценивая их скорость). Тогда через большой промежуток времени «горячие» (быстрые) молекулы окажутся в правом сосуде, а «холодные» останутся в левом.
Таким образом, получается, что демон Максвелла позволяет нагреть правую часть сосуда и охладить левую без дополнительного подвода энергии к системе.
Результат: один ХТМЛ файл.
Я создал по 10 копий для GPT и Codex как описано тут. И визуально оценил результаты:
Opus 4.6 все сделал четко 4.5 из 5 (одну копию немного не доделал), а вот у GPT-5.3 не так все четко 2 из 5 (то у него термоментр остуствует, то молекулы через дверку не пролетают, то еще какой-то косяк, а главное, что часто молекулы быстрые и медленные очень похожих цветов нарисованы). И это не считая, что в целом у Opus визуальное оформление намного намного лучше, чем у Codex.
Пока выводы:
• Я уверен, что есть кейсы, в которых использование Codex будет превосходить Opus. Так же субьектвно 5.3 начал работать куда быстрее 5.2.
• Если важнее визуальное офромление, всякое 3д и физика, и пофигу как будет работать код в продакшене и сколько дублей он нафигачит — то выбирайте Opus 4.6 — не ошибетесь.
Но на этом тесты не заканчиываются, подумаю над каким-то тестами без 3д и физики.
Ребята, больше лайков богу лайков! По 10 копий одного и тогоже знаете куча времени уходит все это визуально просматривать.
Добавить комментарий