【创新实训个人博客】数据库搭建
1.原因
为了降低模型使用以前训练的数据或者幻觉知识,我们在对话时需要提供相关内容的数据,同时由于需要最新的广告实时数据,实时爬取和版权问题。数据由团队在网上爬取,为了广告内容的有效性,如果长期使用,数据库需要定期几个月更新一次。
2.数据库选择
我决定搭建本地轻量级数据库sqlite提供查询,数据采用最简单的方式,
3.数据表设计
一条数据包含的内容每个都不同
例如一条数据是
{"序号": 1, "公司名称": "四川腾晟乾建筑工程有限公司", "投放平台": " 巨量广告/千川 13859 (100.00%)", "投放广告创意数": "13,859", "投放天数": 14, "最后投放时间": "2025-04-14"}
而另一类数据则不同
{"序号": 89, "开发商名称": "海南捞月狗网络科技有限公司", "旗下主推产品": " 捞月狗 747 (99.20%), 偷星猫 6 (0.80%)", "投放广告创意数": "753", "投放天数": 14, "最后投放时间": "2025-04-14"}
我们不要求更加精细的查询,这对业务毫无意义。
因此按照默认生成的row_id作为主键,file_id是每个不同的类别,可以做查询和区分,第三列data是agent需要的数据