IT Sabbatical • Стартаперская
@it_sabat
Почему до сих пор не продал RTX 3090, которую брал для стенда под ИИ.
Наблюдаю, как один уважаемый автор регулярно рассказывает про снижение стоимости использования облачных ИИ, и радуется, что вовремя продал свои 2х3090.
Он прав. Но параллельно происходит другая движуха - рост эффективности компактных опенсорсных моделей ИИ. Которые встают (пока с квантизацией) на одну или две 3090/4090 c 24 GB VRAM.
Только за последний месяц (!) вышли последовательно:
��Qwen QwQ-32B с RL - показала себя очень хорошо. Можно поставить на 2х3090 с квантизацией INT8 или даже на одну 3090 с INT4.
А на двух еще невышедших RTX Pro 4500 с 32 VRAM (анонсированный прайс $2600) можно вообще поставить без квантизации, получив уровень DeepSeek R1 (с оговорками) по ряду задач за $5K
��Gemma-3-27B-Instruct - прошла неделя и выходит это чудо от гугла. По независимым бенчмаркам бьет предыдущую в кодинге! Линейка включает в себя модели разных размеров: 1B, 4B, 12B, 27B - выбирайте под любой стенд и задачи.
��Mistral Small 3.1 24B - внезапно превосходит предыдущую гемму в MMLU (ключевой бенчмарк оценки LLM по разным областям знаний)! И при этом даже быстрее.
Дух захватывает от этой скорости развития LLM с одновременным понижением размера. В представленном списке каждая новая модель компактнее предыдущей.
Для каких задач подойдет? Для многих.
✔️ Когда смотрел тест cравнения Mistral Small и Gemma-3, то поразился, как же хорошо они распознают и описывают изображения, несмотря на компактность.
✔️ Несложный кодинг - написать скриптик, посмотреть/сформировать JSON.
✔️ Использование ИИ без излишней цензуры и ограничений со стороны вендора - актуально для adult контента, например.
✔️ Супервизор в агенте. Именно такая локальная компактная модель определит, что пользователь написал просто "Привет, как дела", и его запрос не стоит отправлять в платную облачную модель с огромным системным промптом и историей.
Собственно это и есть то применение, которое мне нужно.
МОРАЛЬ
Смотря на все это, не тороплюсь избавляться от 3090. Подобными темпами к концу года запустим на ней модель уровня полноценного дипсик R1.
Стартаплюсь: 409 дней
#AI@it_sabat
Наблюдаю, как один уважаемый автор регулярно рассказывает про снижение стоимости использования облачных ИИ, и радуется, что вовремя продал свои 2х3090.
Он прав. Но параллельно происходит другая движуха - рост эффективности компактных опенсорсных моделей ИИ. Которые встают (пока с квантизацией) на одну или две 3090/4090 c 24 GB VRAM.
Только за последний месяц (!) вышли последовательно:
��Qwen QwQ-32B с RL - показала себя очень хорошо. Можно поставить на 2х3090 с квантизацией INT8 или даже на одну 3090 с INT4.
А на двух еще невышедших RTX Pro 4500 с 32 VRAM (анонсированный прайс $2600) можно вообще поставить без квантизации, получив уровень DeepSeek R1 (с оговорками) по ряду задач за $5K
��Gemma-3-27B-Instruct - прошла неделя и выходит это чудо от гугла. По независимым бенчмаркам бьет предыдущую в кодинге! Линейка включает в себя модели разных размеров: 1B, 4B, 12B, 27B - выбирайте под любой стенд и задачи.
��Mistral Small 3.1 24B - внезапно превосходит предыдущую гемму в MMLU (ключевой бенчмарк оценки LLM по разным областям знаний)! И при этом даже быстрее.
Дух захватывает от этой скорости развития LLM с одновременным понижением размера. В представленном списке каждая новая модель компактнее предыдущей.
Для каких задач подойдет? Для многих.
✔️ Когда смотрел тест cравнения Mistral Small и Gemma-3, то поразился, как же хорошо они распознают и описывают изображения, несмотря на компактность.
✔️ Несложный кодинг - написать скриптик, посмотреть/сформировать JSON.
✔️ Использование ИИ без излишней цензуры и ограничений со стороны вендора - актуально для adult контента, например.
✔️ Супервизор в агенте. Именно такая локальная компактная модель определит, что пользователь написал просто "Привет, как дела", и его запрос не стоит отправлять в платную облачную модель с огромным системным промптом и историей.
Собственно это и есть то применение, которое мне нужно.
МОРАЛЬ
Смотря на все это, не тороплюсь избавляться от 3090. Подобными темпами к концу года запустим на ней модель уровня полноценного дипсик R1.
Стартаплюсь: 409 дней
#AI@it_sabat
👍 7
🔥 5
4 2 315
Обсуждение 4
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram