Модель весит всего 435 КБ и содержит 367 тысяч параметров.
Пользователь Reddit wollymonjac рассказал о TINY — небольшой языковой модели для DOS, созданной с помощью Claude. По его словам, программа вместе с весами занимает около 435 КБ, работает на Intel Pentium и помещается на дискету.
Автор разделил работу между двумя моделями: Fable 5.2 написала собственный трансформер, а Opus 5.5 сгенерировала обучающие данные. В набор вошли около 3500 фактов, небольшие разговорные диалоги и задания по математике. Для каждого факта подготовили несколько формулировок вопросов и ответов.
Получившаяся модель содержит 367 тысяч параметров. Чтобы сократить объем весов, их сохранили в виде 8-битных целых чисел с отдельным масштабным коэффициентом для каждой строки. По утверждению автора, программа с весами помещается не только на дискету, но и в память DOS. Ввод и вывод выполняются посимвольно — по одной букве за раз.
Возможности модели ограничены знакомым ей материалом. Как объясняет разработчик, она достаточно хорошо справляется со словами и фактами, которые встречались при обучении, но на слишком сложные или длинные запросы отвечает бессмыслицей.
В другом эксперименте с разработкой программ Claude Fable 5.2 по заданию инженера Anthropic создала браузерный шутер Saltline за восемь часов.
Источник: hi-tech.mail.ru