Проекты с бесплатными лимитами на использование open source моделей.
Сегодня внезапно для себя обнаружил, что ollama при регистрации в системе ollama cloud предоставляет возможность использования open source моделей в облаке бесплатно.
Стало интересно, а как много провайдеров в принципе дают хоть какие-то значимые лимиты на пользование Open Source моделями, чтобы их можно было использовать в периодических микро-задачах.
Каждый провайдер даёт доступ к собственному списку моделей. Выбор редко бывает большим.
Не стоит забывать, что провайдеры будут использовать данные, которые вы отправляете по API для дальнейшего обучения своих моделей (так ведёт себя любая крупная компания, получившая доступ к вашим данным).
В список вошли 5 провайдеров:
1. https://groq.com/ – мой фаворит. Хотя бы потому, что чистит несколько чатов параллельно от спама при помощи llama и денег не просит. Плюс – скорость у него выше, чем «в среднем по openrouter».
2. https://ollama.com/cloud – сегодняшнее открытие. Лимиты в токенах не прописывают, а сбрасывают их раз в час и раз в неделю.
3. https://www.cerebras.ai/inference – ещё быстрее, чем groq. Дают 1.000.000 быстрых токенов в день на различных моделях.
4. https://dash.cloudflare.com/?to=/:account/ai/workers-ai – предоставляет кастомные 10.000 «попугаев». Это примерно $0.1 в день. Прошли по нижней грани критерия «полезности для пользователей» в бесплатном режиме. Зато много моделей, которые через них можно попробовать.
5. https://openrouter.ai/models – 50 запросов в день. Но только к моделям, которые помечены как «free». Эта платформа точно не является открытием века.
Обратил внимание, что AI-компании начинают постепенно уменьшать количество того, что готовы давать бесплатно. Но об этих тенденциях подробнее – в следующих постах 😊
Добавить комментарий