Skip to content

jiangyy/gpt-tokens

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 

Repository files navigation

Display GPT Chinese Tokens

This script displays all Chinese tokens for OpenAI's available models.

Usage

python3 rock-n-roll.py

Example

GPT-4o

Encoding "o200k_base", encoder.max_token_value=200018
  Used by: gpt-4o
  10: 微信公众号天天中彩票 🫣🫣🫣🫣免费视频观看 
   9: 🫣🫣🫣有限公司官网 🫣🫣免费🫣在线精品 微信上的天天中彩票 给主人留下些什么吧 微信里的天天中彩票 天天中彩票大神推荐 
   8: 彩神争霸大发快三 天天中彩票中大奖 ...
   7: 天天中彩票怎么 天天中彩票提现 ...
   6: 天天中彩票是 视频在线观看 ...
   5: 天天中彩票 重庆时时彩 ...
   4: 彩神争霸 彩神争霸 ...
   3: 中彩票 时时彩 ...
   2: 彩票 天天 ...

GPT-4

Encoding "cl100k_base", `encoder.max_token_value=100276`
  Used by: gpt-4, gpt-3.5-turbo, gpt-3.5, gpt-35-turbo, davinci-002, babbage-002, text-embedding-ada-002, text-embedding-3-small, text-embedding-3-large

   6: 生命周期函数 
   4: 生命周期 监听页面 不能为空 微软雅黑 删除成功 自动生成 
   3: 请输入 用户名 命周期 字符串 验证码 不存在 数据库 软雅黑 手机号 初始化 设计器 动生成 请选择 初始化 服务器 管理员 
   2: 成功 用户 数据 时间 失败 修改 文件 信息 删除 名称 输入 返回 类型 错误 参数 函数 密码 请求 登录 页面 使用 管理 方法 操作 获取 添加 内容 设置 生成 状态 列表 字段 提示 日期 获取 图片 商品 代码 地址 保存 一个 默认 存在 创建 服务 字符 验证 更新 用户 取消 创建 选择 订单 为空 始化 查询 表示 上传 监听 设置 不能 描述 显示 处理 开始 所有 返回 下午 编辑 作者 事件 手机 中国 加载 结果 标题 注意 完成 确定 周期 注册 下载 如果 数据 修改 删除 连接 消息 对象 是否 记录 输出 姓名 说明 通过 当前 支付 格式 北京 输入 文件 数组 重新 设计 分类 输出 以上 异常 参数 版本 网络 隐藏 进行 是否 提交 发送 联系 系统 编号 点击 公司 项目 可以 页面 程序 雅黑 排序 首页 关闭 执行 单位 方式 条件 記事 路径 退出 宋体 例如 更新 相关 默认 搜索 属性 金额 示例 没有 查询 默认 结束 请求 确认 如果 方法 测试 数量 位置 時間 文章 链接 添加 数字 声明 产品 亿元 分钟 按钮 需要 全部 资源 评论 使用 配置 问题 报道 视频 可能 文字 以下 电话 有效 今年 任务 正确 来源 详情 一页 发布 审核 其中 权限 时间 定义 万元 同时 無料 大小 节点 小时 其他 自治 分享 邮箱 新增 商品 正在 注意 备注 价格 我的 我们 移到 功能 若要 长度 送料 在线 

About

What are learned in tiktoken?

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages