Грустное очевидное наблюдение про LLM.

Работающие СЕЙЧАС локально модели не могут тягаться с жЫрными облачными моделями в вопросах ЗНАНИЙ.

Не поймите меня неправильно. Я крайне доволен тем как себя ведёт LLaMA 3.1 и регулярно её использую. Лично для меня 3.1 по сравнению с 3.0 - это ОЧЕНЬ крутой шаг.
Обычно я запускаю 7B-8B или 13B модели квантованные по 4_K_M. Они шустро и достаточно точно работают ... в своих пределах.
Их "reasoning" за исключением некоторых лулзов очень неплох и когда нужно именно порассуждать или обработать данную информацию, а не "вспомнить" они справляются достойно.

Но когда нужна фактика, то очень хорошо заметно, что все знания мира вместе со скиллами по их интерпретации и выражению не очень хорошо помещаются в 4-5 гигабайт квантованных весов.

Нам нужна какая-то прорывная разработка, которая позволила бы запускать жЫр локально - пусть и с какими-то компромиссами.

Насколько я помню, в эту сторону, вроде как, ведутся работы. Я где-то мельком видел как с помощью всяких ухищрений локально запускают жирный инференс. Но на тот момент там было много "но" и для конечного "продукта" это совсем не было готово.

Пишу я это всё потому, что захотел тут проанализировать кое-что из литературы и пошёл сразу в GPT-4o, т.к. знаю по опыту, что маленькая домашняя LLaMA навыдумывает кучу всего и в итоге проще будет собирать информацию самому, чем верифицировать и править то, что вышло.
А вот GPT-4o выдала мне простыню, бегло прочитав которую я не увидел ни одной ошибки в именах или примерах, которые она привела.

Хочется иметь возможность делать это "не выходя из дома".

Но пока не получается 🤷‍♂️

#LLM #OpenAI #ChatGPT #LLaMA #thoughts #log #facts

Follow

@skobkin а дообучение разве не работает? Подбором датасетов под тему. Я вроде ролики на ютубе видел, народ ллм затачивает под тему кажется. Краем глаза слежу за кульбитами.

@3draven
Если надо чтобы модель хорошо ориентировалась в базе знаний твоей компании, например - да, идея хорошая.
Если тебе нужно работать с информацией со всего мира - не особо подойдёт.

@skobkin а, как поисковик с мозгами. Так домашние модели врядли смогут работать, разве что кто то осилит торент для датасетов, что бы множество юзеров скрапили данные и собирался общий датасет из тысяч компов и браузеров. Но такой проект поди потяни накатать.

@3draven @skobkin насколько я понимаю, дообучение пока не для простых смертных -- если инференс для мелких моделей можно гонять на более-менее жирных видеокартах, то чтобы дообучать надо ресурсов куда больше.

т. е. надо арендовать, а это приличные деньги

@burbilog @3draven
Ну, учитывая, что аренда обычно почасовая, то в зависимости от цели вполне рабочий вариант.

Sign in to participate in the conversation
MustUdon

I like Twitter, but, Mastodon it is so excited! Feel free to register it is server just for fun! Usefull links https://instances.social https://www.reddit.com/r/Mastodon/comments/yugh2o/some_useful_mastodon_lists/?utm_source=share&utm_medium=web2x&context=3