Представлена TINY 2.1 — маленькая языковая модель, которая работает под DOS на Pentium/486DX и помещается на дискету

Разработчик WollyMonjac с помощью нейросетей (Fable 5.2 и Opus 5.5) представил открытый проект TINY 2.1 — a transformer for DOS. Это маленькая языковая модель на Turbo C 2.0, которая работает под DOS на старом Pentium или 486DX и умещается на одну дискету (floppy disk).

Основные возможности проекта:

  • 367 000 параметров: 4 слоя, размерность 96;

  • ввод и вывод осуществляются посимвольно;

  • 8-битные веса (с одним коэффициентом масштабирования для каждой строки), общий объем — 380 КБ;

  • требуется около 540 КБ свободной основной памяти (conventional memory);

  • обучена примерно на 3500 фактах, каждый из которых был представлен в различных формулировках. При выходе за рамки этих данных модель уверенно «выдумывает» ответы;

  • полноэкранный интерфейс в стиле «неон» с динамическим отображением работы нейросети и «роботизированным» голосом, воспроизводимым через системный динамик (PC-speaker).

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев