@drq @lina на двух маках можно запустить llama 405B. Не знаю кто так еще может. Но, может быть.

@3draven
> 405B

I beg your pardon? Как оно им в видеопамять влезет? Там 220 гигов. Или это чисто на проце?

@lina

@drq @lina я хз, видел в ютубе мельком как чувак показывал дему. Можешь погуглить, находится сразу. В маках нет разницы между оперативой и видеопамятью, она вся работает как видеопамять, насколько я понимаю как gddr. В мак про по 128гб памяти, 2 мака, влезло.

@3draven А, ну блэт, Амперка вообще до 4 терабайт памяти держит

https://amperecomputing.com/briefs/ampere-altra-family-product-brief

Или даже до восьми

https://amperecomputing.com/briefs/ampereone-family-product-brief

Не знаю, есть ли там NPU, но в такой лимит хоть стадо из 15 лам загоняй.

@lina

@drq @lina сколько держит m4 эпловский, я не знаю, но продают меньше наверное :)

@drq @lina я не отстаиваю эпл, просто сказал, что на арме сегодня в магазе самое крутое это мак.