Skip to content

nzhzds/taostd

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

taostd是TDengine(https://github.com/taosdata/TDengine) 时序数据库的python connector简单封装, 会自动打开和释放数据库连接。本项目主要是希望在使用TDengine过程中,能方便的高效批量插入数据。此外实现了一个简单的连接池来共享连接,避免重复创建、关闭数据库连接。
注意:为了使用方便,本项目使用了全局变量,笔者使用环境是在容器中部署微服务,这不会有问题;如果在一个环境启多个python服务的,请检查是否相互影响。
安装
pip install taostd
导入
from taostd import td
使用前,请在taos客户端创建数据库:CREATE DATABASE IF NOT EXISTS test;
必须指定database;pool_size指定连接池大小,是可选的,默认是1,可以根据需要设置大小
tz_offset默认是东八区:8
本例使用客户端taos.cfg配置,其它参数请参照taos.connect()方法,初始化后,项目里到处都可以用了
td.init_db(database="test", pool_size=2, tz_offset=8)
创建stable
td.execute("CREATE STABLE IF NOT EXISTS meters(ts timestamp, current float, voltage float, phase int) TAGS(location nchar(20), groupId tinyint)")
往单表插入一条数据,如果表不存在就先创建表,必须指定tags,如本例中的'location'和'groupId'
td.insert_one_with_stable(table='meter_01', stable='meters', ts=datetime.now(), current=0.2550, voltage=0.3542, phase=0, location='北京', groupId=0)
往单表插入一条数据,表已经存在, 可以直接插入,不需要指定 stable和tags
td.insert_one(table='meter_01', ts=datetime.now()-timedelta(minutes=10), current=0.3550, voltage=0.5542, phase=1)
往单张表插入多条记录
meters = [
    {"ts": datetime.now() - timedelta(minutes=1), "current": 0.3550, "voltage": 0.5542, "phase": 2},
    {"ts": datetime.now() + timedelta(hours=1), "current": 0.3550, "voltage": 0.5542, "phase": 3},
]
td.insert_many(table='meter_01', args=meters)
往单张表插入多条记录, 如果表不存在,就创建表
meters = [
    {"ts": "2021-11-19 15:30:44.123445", "current": 0.3550, "voltage": 0.5542, "phase": 0, "location": "上海", "groupId": 1},
    {"ts": datetime.now() - timedelta(hours=1), "current": 0.3550, "voltage": 0.5542, "phase": 1, "location": "上海", "groupId": 1},
]
td.insert_many_with_stable(table='meter_02', stable="meters", args=meters)
同时往多张表插入记录, 'meter_01', 'meter_02'表已经存在,可以不加stable;'meter_03'必须指定stable
meters = [
    {"table": "meter_01", "ts": "2021-11-19 17:30:43.1234", "current": 0.3550, "voltage": 0.5542, "phase": 4, "location": "北京", "groupId": 0},
    {"table": "meter_02", "ts": "2021-11-19 17:30:43.1234", "current": 0.3550, "voltage": 0.5542, "phase": 2, "location": "上海", "groupId": 1},
    {"table": "meter_03", "stable": "meters", "ts": datetime.now(), "current": 0.3550, "voltage": 0.5542, "phase": 0, "location": "天津", "groupId": 2},
]
td.insert_many_tables(args=meters)
查询表中行数
count = td.get("select count(1) from meters")
查询单值
last_current = td.get("select last(current) from meters")
查询一行
last_row = td.select_one("select last_row(*) from meters")
查询 list
bj_rows = td.select("select * from meters where location = '北京'")

项目起因

笔者在做一个业余项目时用到TDengine, 信息采集端用的是python语言,对外服务端并发量较大用的是Golang。对于采集的的需求就是方便的接入各种数据源,并能高效的批量插入。而笔者并不是一个纯粹的python开发者,只是在简单的项目或机器学习是用到python,在用python操作数据库时,还是沿用互联网项目的思维,习惯能完全掌控SQL,不习惯用ORM。所以本项目不是很python,甚至有用的不对的地方,还请各位看官不吝赐教。常用邮箱为 [email protected].

About

taostd is a simple sql executor for TDengine.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages