Skip to content

yuanzhongqiao/llm-viz

 
 

Repository files navigation

布伦丹·拜克罗夫特的主页和项目

该存储库包含我(布伦丹)的主页,以及许多重要的项目。

它们保存在一个存储库中,以便于部署,并共享一堆 js 实用程序,否则共享起来很麻烦。

项目

主要项目有:

  • LLM 可视化:运行推理的 GPT 式 LLM 网络的 3D 交互模型。
  • [WIP] CPU 模拟:具有完整执行模型的 2D 数字原理图编辑器,展示基于 RISC-V 的简单 CPU

LLM可视化

该项目展示了 GPT 式网络的工作实现的 3D 模型。也就是说,OpenAI 的 GPT-2、GPT-3(也可能是 GPT-4)中使用的网络拓扑。

显示工作权重的第一个网络是一个微型网络,它对字母 A、B 和 C 的小列表进行排序。这是 Andrej Karpathy 的 minGPT实现的演示示例模型。

渲染器还支持可视化任意大小的网络,并可使用较小的 gpt2 大小,但不会下载权重(为 100 MB)。

CPU 模拟(WIP;尚未公开!)

该项目运行 2D 原理图数字电路,具有成熟的编辑器。目的是添加一些演练,展示诸如以下内容:

  • 如何构造一个简单的 RISC-V CPU
  • 细至门级的组成部分:指令解码、ALU、加法等
  • 更高级别的 CPU 想法,例如各种级别的流水线、缓存等

本地运行

  1. 安装依赖项:yarn
  2. 启动开发服务器:yarn dev

About

GPT 式 LLM 的 3D 可视化

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • TypeScript 91.8%
  • Odin 4.1%
  • SCSS 2.3%
  • Assembly 0.5%
  • JavaScript 0.5%
  • Python 0.4%
  • Other 0.4%