Протестировал Kimi K2.5 — работает намного намного быстрее GLM-5
Теперь гештальт с видео полностью закрыт, можно писать разгромный пост.
Промпт:
Создайте Nokia 3310 с пиксельным экраном, игрой Змейка, составлением SMS и визуализатором классического рингтона.
Методология тестирования:
Всего будет 5 попыток. Программа считается рабочей, если все три функции работают:
• рингтон играет
• смс набираются
• змейка ползает и умирает
• всякие мелкие косяки (типа экран не влезает в корпус телефона) не считаются
Что в Kimi K2.5 очень обрадовало:
1. Скорость работы Kimi несозимеримо быстрее, чем GLM-5. План пишет от 15.5 сек до 1 минута 37 сек. Реализует от 1 минуты 30 сек до 3 минут 39 сек. (в среднем план за 20 сек, реализация 2 минуты)
2. Все экраны вписаны в корпус телефона, визуально нигде ничего не торчит, как у GLM, но один из экраном по размеру меньше, чем нужно.
Но в целом мне показалось, что реализация чуть хуже, чем у GLM-5, так как 2 телефона из 5 косячные. У одного не работает центральная кнопка (что делает проект полностью не рабочим), у другого глюки с написанием смс (блокирует функции телефона).
Так же были глюки с игрой змейка, после сбора 2-3 еды, следующая еда просто не появлась (Чего у ГЛМ вообще не было).
Так что оценка 4 и 5.
Но, если выбирать между GLM и KIMI я бы выбирал, KIMI т.к. пока дождешься, что GLM напишет план 15 минут. Можно на Кими сделать 5 штук (ну или протестировать и исправить 5 раз).
Выводы:
Как видим, сейчас все модели по бенчам и тестам набирают примерно одинаково баллов стоят примерно одинаково, но на практике работают довольно по-разному и скорость работы не на последнем месте, т.к. сильно влият на пользовательский опыт.
Добавить комментарий