Дотестировал GLM-5 — результат меня сильно удивил
Должен признать, в предварителном тесте был не прав, что GLM-5 медленно работает.
Но, обо все по порядку. Всего было 10 шотов, времени на это ушло около 2 часов (+ написание поста):
• пять копий Claude Code + оригинальный code plan от z.ai
• пять копий opencode + ollama cloud
Промпт:
Создайте Nokia 3310 с пиксельным экраном, игрой Змейка, составлением SMS и визуализатором классического рингтона.
Методология тестирования. Программа считается рабочей, если все три функции работают:
• рингтон играет
• смс набираются
• змейка ползает и умирает
Всякие мелкие косяки, такие как: экран вылазит за пределы корпуса телефона, шрифты вверх ногами, частично не рабочие кнопки, косяками не считаются. Иногда на корпусе телефона появляются лишник кнопки и т.д.
Итого:
• Claude Code + z.ai — 3.5 и 5: одна копия полностью не рабочая, одна копия курсор в телефоне всегда двигается на 2 позиции в меню и просто проскакиевает змейку, я не смог ее запустить.
• OpenCode + Ollama — 5 из 5, работает бесплатно.
Теперь про скорость работы: Claude Code работает несоизмеримо медленнее чем OpenCode. Он бывает только план минут 15 пишет, и потом еще минут 10 реализует.
OpenCode делает быстрее минуты за 2 пишет план, и потом от 2 до 13 минут реализация, видмо это уж как повезет при выборе опций в плане, хотя я везде старался всегда выбирать по дефолту.
Но быстреемедленнее по сравнению с чем? Для сравнения протестировал новый Sonnet 4.6 — тепреь антирекорд скорости принадлежит ему! 42 минуты на реализации плана и он прогрузил 106 тыс. токенов! Т.е. Соннет 4.6 работает ну несоизмеримо медленнее чем GLM-5, но это как повезет, иногда может и за 10 минут все сделать.
Добавить комментарий