打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
五分钟爆改,把你的JSON/CSV文件打造成MySQL数据库

生活中,你我一定都看到过这种「xx元爆改出租屋」,「爆改小汽车」之类的文章,做为IT人,折腾的劲头一点也不差。

软件开发过程中,你是否有时候,会拿着业务提供的一个个CSV或者JSON的数据文件,写个解析程序,把它们存到数据库里,再在自己的程序里通过数据库读出来?

其实不用这么麻烦,还绕了一个大圈。

今天,我们一起来「爆改」JSON/CSV这类文件,把它们打造成 MySQL一样的关系型数据库,一套SQL查询走天下。:-)

第一步:代码里加入Maven依赖

   <dependency>      <groupId>org.apache.calcite</groupId>      <artifactId>calcite-file</artifactId>      <version>1.21.0</version>    </dependency>

通过这一步,你大概就看出来,咱们今天的爆改,主要依赖 Calcite,这个Apache的顶级项目。

简单介绍的话,它是个数据库查询和优化的引擎,不负责具体的存储。

所以介绍里人家自己也说了,是你高性能数据库的地基。许多的开源项目是基于它做的,比如大名鼎鼎的这些:

第二步:添加配置文件

配置的JSON 文件,一般是下面这样子:

改造的配置文件,就像行军打仗的地图一样,来告诉我们往哪走,这里的配置文件,对应到关系型数据库里,就像是哪个库,哪些表一样。

{  "version": "1.0",  "defaultSchema": "SALES",  "schemas": [    {      "name": "SALES",      "type": "custom",      "factory": "org.apache.calcite.adapter.file.FileSchemaFactory",      "operand": {        "directory": "sales"      }    }  ]}

其中schemas 表示都有哪些数据库, defaultSchema 当然是默认数据库了。factory 表示当前的数据文件,我们使用哪种Schema的形式进行解析。因为 Calcite 可以支持多种数据格式,通过这个图你也能感受到几分吧。


第三步:JDBC Style

通过 JDBC 的形式就能连接到我们自己的数据库查询了。代码和一般的JDBC类似,区别只在于连接URL的写法上,需要将源码交易配置文件的位置声明一下。

public class Demo {    public static void main(String[] args) throws SQLException, ClassNotFoundException {        Class.forName("org.apache.calcite.jdbc.Driver");        Properties config = new Properties();        config.put("model", "./src/main/resources/model.json");        String sql = "select * from hello";
        try (Connection con = DriverManager.getConnection("jdbc:calcite:", config)) {            try (Statement stmt = con.createStatement()) {                ResultSet rs = stmt.executeQuery(sql);                while (rs.next()) {                    System.out.println(rs.getString(2));                }            }        }    }}


其中SQL 语句,可以支持条件过滤,join 等所有的标准SQL。


你说我很忙,不想啰哩啰嗦再写个Java程序,办法也还有。有个程序叫 sqlline,可以方便你在命令行里执行,一个脚本连接到对应的文件数据库之后,就开始你飞一般的SQL表演吧。

sqlline> !connect jdbc:calcite:model=src/main/resources/model.json admin admin

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
10分钟教你写一个数据库
教你一步一步将excel文件导入mysql数据库
教你如何利用MySQL学习MongoDB之导入和导出
TuShare
【汇总】常见的13种数据源及其与报表系统的连接方式
Python存储数据的方式
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服