Студиоз выжег микро-GPT в железе, этот момент открывает новую эру?
Я ваще обалдеваю...шотварицца
20-летний студент факультета электроники и вычислительной техники университета Торонто Лутира Абейкун выложил на GitHub проект TALOS-V2 — реализацию трансформера microGPT Андрея Карпати, целиком собранную в железе FPGA. По описанию проекта, модель выдает около 53 000 токенов в секунду на плате размером с кредитную карту — без Python, без CUDA и без какой-либо программной прослойки.
Заметьте, это сделала не корпорация NVIDIA, а обыкновенный студиоз
читать тут
20-летний студент факультета электроники и вычислительной техники университета Торонто Лутира Абейкун выложил на GitHub проект TALOS-V2 — реализацию трансформера microGPT Андрея Карпати, целиком собранную в железе FPGA. По описанию проекта, модель выдает около 53 000 токенов в секунду на плате размером с кредитную карту — без Python, без CUDA и без какой-либо программной прослойки.
Заметьте, это сделала не корпорация NVIDIA, а обыкновенный студиоз
читать тут
Результатов не найдено
Приглашен:
Чтобы ответить на вопросы, пожалуйста, сначала войдите или зарегистрируйтесь
2 ответа
potap
-
Старожил (54667)
Tonik - Всё меньше с возрастом робею и от досады не хандрю! Порой, вот, чувствую - мудрею. А присмотрюсь - так нет.... мудрю
-
Старожил (137978)