-
Notifications
You must be signed in to change notification settings - Fork 1.8k
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
当数据源选择MySQL时,存储失败 #1457
Comments
我也出现了这个问题。。能修复吗 |
我也出现了这个问题,根据日志看到是因为没有对应的表,能不能自动根据数据创建表呢 |
同样发现了 |
那手动创建表可以解决么?有人可以说下整个流程是怎么样的么 |
方法就是不用他们的save_item方法,引入自己选择的语言本身的数据库操作模块来自行实现数据读写 |
那也就是说如果我想在页面上展示没有办法实现 |
那就没办法了,如果数据量大的话,在那个页面上展示也没啥意义,反正都得自己对爬好的数据做二次加工,那就跟这个爬虫工具没啥关系了 |
哦 好的,了解了。我目前是用的自己mysql存储,但是我想更新任务上面的状态统计结果数该如何实现啊, 就是使用自己爬取的结果总数进行统计,也就是使用爬虫结束后的item_scraped_count赋值到爬虫任务的统计里面去 |
这项目现在还有人使用么?网上资料少的可怜,遇到问题不知道怎么解决? |
开源产品都这样的,埋坑是正常的,就是为了让你买他们商业版,想用免费的,遇到问题要么自己解决(高难度),要么绕开,我就绕开这个功能了,直接存mongodb,然后写个脚本把数据同步到MySQL数据库
在 2024-07-18 10:15:14,"长剑" ***@***.***> 写道:
这项目现在还有人使用么?网上资料少的可怜,遇到问题不知道怎么解决?
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
Bug 描述
例如,当 自定义数据源为MySQL时(其他自定义数据源也一样),无法看到存储数据。
复现步骤
该 Bug 复现步骤如下
新建MySQL类型标准数据源 MySQLDB
按官方示例随意新建python爬虫
选择新建数据源,并立刻执行上面的爬虫,执行成功可以看到10条数据
数据库面板查看数据,数据库查看数据也不存在,数据没有存储
6 数据源选择默认时,执行任务,则可以看到数据存储成功
期望结果
自定义MySQL数据源,数据能存储成功。
版本:0.63 社区版
The text was updated successfully, but these errors were encountered: