💉 Нейронки в медицине — Часть 3
Не прошло и года (а нет, прошло). Дисклеймер:
1. Данный пост — дополнение-обновление предыдущий двух. Если вы не найдете ответ на свой вопрос, возможно, он есть в прошлых частях (как минимум можно ознакомиться со второй — тык).
2. Автор не является экспертом в нейронках и ML, по профессии я врач. В данной рубрике я делюсь своими мыслями и рассказываю, как использовать ИИ в вопросах здоровья максимально продуктивно и безвредно. Комментарии, дополнения, критика приветствуются.
1️⃣ Прогресс.
За последний год нейронки сделали огромный скачок в вопросах медицины. Хороший толчок дала OpenAI, первой введя в свой сервис раздел «Здоровье» и начав подтягивать знания ChatGPT в данном вопросе. Даже сделали HealthBench, показывающий интеллект нейронок. Остальные компании потянулись вслед. Сейчас назвать явного лидера сложно — все могут дать толковую мысль, есть резон узнавать мнение каждой. Пробежимся тезисно:
• ChatGPT — всё ещё много галлюцинаций.
• Grok — всюду пихает веб-поиск (то ли флексят своими скилами, то ли моделька просто тупая и без веба не вывозит), причём ссылается часто на крайне сомнительные ресурсы.
• Gemini и Claude как были лидерами, так и остались.
• Китайцы, безусловно, очень умные, но БД сильно хуже западных конкурентов.
2️⃣ Vision по-прежнему сосёт.
Прогресса никакого, интеллектом там и не пахнет: описание часто строится на основе вашего запроса, а не на самом изображении, много галлюцинаций и лжи. Некоторые ✴️ экземпляры до сих пор иногда описывают изображение, которое ты ещё не прислал 😁. Что касается специализированных решений, они цветут и пахнут, но простым пользователям по-прежнему не доступны. Open-source либо очень сырой, либо не подходит для повседневного использования (требуют настройки, принимают файлы только определенных специфических форматов, а не jpeg/pdf), либо душится в зачаточном состоянии бюрократией.
3️⃣ Норм бенчи появились?
Сейчас актуальны HelathBench и MedXpertQA, но топы в них не замеряют — только опен-сурс.
4️⃣ Можно ли сейчас использовать нейронки без рисков?
Увы, всё ещё нет. Приведу пример из того, что проверял недавно:
Опытные неврологи знают, что при нейропатии лицевых нервов ни в коем случае нельзя назначать Прозерин, иначе контрактура и инвалидизация будут обеспечены (ситуация не редкая, кста). Решил проверить, как с этой задачей справятся нейронки. И результат неутешительный: при прямом вопросе большинство LLM не видит ничего такого в назначении Прозенина, а в ситуационных задачках парочка (уже не помню какие) даже поставила препарат на первую линию терапии.
Ещё несколько примеров «фатального лечения» писал во второй части, но их нужно перепроверять, т.к. с тех пор многое изменилось. Но факт остаётся фактом: ПОКА ЧТО ИИ’шка всё еще может сильно навредить. Будьте осторожны, перепроверяйте информацию и не пренебрегайте квалифицированной помощью.
5️⃣ Как использовать нейронки максимально эффективно?
1) Расписывайте ваш случай максимально подробно (писал об этом во второй части).
2) Использование ролей больше неактуально. Свежие тесты показывают, что промпты типа «ты самый крутой юрист в мире, который разрулит любой вопрос» в современных моделях только ухудшают результат. Роль может помочь обойти цензуру и обогатить ответ, но не более.
3) Подключайте RAG (свою базу данных) и кидайте туда актуальные материалы по интересующей теме (клин.рекомендации, например) + все ваши доки (истории болезни, анализы и т.д.), чтобы удобно делать чек-апы. В Oh My Lama такой функционал есть, кстати. Ну и используйте нейронки, работающие с БД максимально эффективно и имеющие как можно большее контекстное окно (те же Gemini и Claude).
6️⃣ Вопрос из комментариев.
Моё отношение к OpenEvidence (да и в целом ко всем подобным сервисам): отличный помощник в работе (найти информацию, освежить знания и т.д.), но ни в коем случае не второй мозг и тем более не заменитель первого. Всё ещё слишком много галлюцинаций. И всё ещё есть очень много важнейшей профессиональной информации, которой нет в книгах и доках, которыми кормят LLM.
👋 Lama AI — #лама_мюсли
Добавить комментарий