热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Java实现对象转CSV格式

CSV是一种逗号分隔值格式的文件,一般用来存储数据的纯文本格式文件。Java对象转CSV,有现成的工具包,commons-lang3 的ReflectionToStringBuilder 就可以简单的解决的对象转CSV,快跟随小编一起学习一下吧

介绍

csv全称“Comma-Separated Values”,是一种逗号分隔值格式的文件,是一种用来存储数据的纯文本格式文件。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串。

Java对象转CSV,有现成的工具包,commons-lang3 的ReflectionToStringBuilder 就可以简单的解决的对象转CSV 但是复杂点的处理还是不行,而且在运行速度上,我测试了下我自己写的,比这个快多了,1百万条数据大约也就2秒左右, 如果对速度有要求的话,我们可以使用多线程进行分割,比如1千万条数据,那么我开10个线程,1个线程执行100万条数据,所有线程执行完毕后在按照顺序拼接到一起,这样1千万条数据也就最多3~5秒执行完毕

代码样例

package com.file.csv;

import com.date.LocalDateUtils;
import lombok.Data;
import lombok.SneakyThrows;

import java.lang.reflect.Field;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.function.Function;

/**
 * 对象转csv格式
 *
 * @describe
 * 1百万数据测试 2~3秒
 * 调用顺序如下(根据情况自行选择)
 *         String s = ObjToCSV.create(userDatas)
 *                 .fieldsAll()   //转换全部列
 *                 .addIncludeFields() //只包含某些列
 *                 .addExcludeFields("roleData") //排除某些列
 *                 .addHead() //添加头部字段
 *                 .addContent() //一个对象(一行)
 *                 .addContents() //多个对象(多行)
 *                 .addEnding((data)->{ //结尾说明
 *                     JSONObject jsOnObject= new JSONObject();
 *                     jsonObject.put("count",data.getNumber());
 *                     jsonObject.put("time",data.getCreateDate());
 *                     return  jsonObject.toJSONString();
 *                 })
 *                 .ToString(); //结果
 */
@Data
public class ObjToCSV {

    private String separator = "\u0001|\u0001";  //默认分隔符
    private StringBuilder str = new StringBuilder();
    private T object;
    private List objects;
    private List excludeFields = new ArrayList(100) {{
        add("serialVersionUID");
    }};
    private List includeFields = new ArrayList(100);
    private boolean fieldsAll = false;
    private  int number;//多少行一共
    //日期串 20220617204504
    private  String createDate=LocalDateUtils.getLocalDateTimeStr1() ;

    private ObjToCSV(T object, String separator) {
        this.object = object;
        this.separator = separator;
        //行数
        this.number=1;
    }
    private ObjToCSV(T object) {
        this.object = object;
        //行数
        this.number=1;

    }
    private ObjToCSV(List objects) {
        if (objects.isEmpty()) {
            throw new NullPointerException("不能是空");
        }
        this.object = objects.get(0);
        this.objects = objects;
        //行数
        this.number=objects.size();
    }
    private ObjToCSV(List objects, String separator) {
        if (objects.isEmpty()) {
            throw new NullPointerException("不能是空");
        }
        this.object = objects.get(0);
        this.objects = objects;
        this.separator = separator;
        //行数
        this.number=objects.size();

    }


    // 排除和包含都有,那么以包含的为主
    private boolean decideFields(String fieldName) {

        //包含
        if (includeFields.contains(fieldName)) {
            return false;
        }
        //排除
        if (excludeFields.contains(fieldName)) {
            return true;
        }

        // 开启全部放行
        if (fieldsAll) {
            return false;
        }

        //默认拦截全部
        return true;
    }

    public static  ObjToCSV create(T object, String separator) {
        return new ObjToCSV(object, separator);
    }
    public static  ObjToCSV create(T object) {
        return new ObjToCSV(object);
    }
    public static  ObjToCSV create(List object, String separator) {
        return new ObjToCSV(object, separator);
    }
    public static  ObjToCSV create(List object) {
        return new ObjToCSV(object);
    }
    //全部放行
    public ObjToCSV fieldsAll() {
        fieldsAll = true;
        return this;
    }

    //包含
    public ObjToCSV addIncludeFields(String... fieldName) {
        includeFields.addAll(Arrays.asList(fieldName));
        return this;
    }

    //排除
    public ObjToCSV addExcludeFields(String... fieldName) {
        excludeFields.addAll(Arrays.asList(fieldName));
        return this;
    }

    //添加头部
    public ObjToCSV addHead() {
        StringBuilder str1 = new StringBuilder();
        Class aClass = this.object.getClass();
        Field[] fields = aClass.getDeclaredFields();
        int length = fields.length;
        for (int i = 0; i  addEnding(Function functor){
        String apply = functor.apply( this);
        this.str.append(apply);
        return this;
    }


    //将对象转换为CSV格式字符串
    @SneakyThrows
    public ObjToCSV addContent() {
        StringBuilder str1 = new StringBuilder();
        Class aClass = this.object.getClass();
        Field[] fields = aClass.getDeclaredFields();
        int length = fields.length;
        for (int i = 0; i  addContents() {
        for (T t : this.objects) {
            this.object=t;
            addContent();
        }
        return this;
    }
    //将结果输出为字符串
    public String ToString() {
        return str.toString();
    }



}

测试样例

package com.file;

import com.alibaba.fastjson.JSONObject;
import com.data.RandomUserData;
import com.entity.UserData;
import com.file.csv.ObjToCSV;
import com.file.csv.ObjToCSV;
import com.function.impl.CodeStartAndStopTimeUtil;
import lombok.SneakyThrows;
import org.junit.Test;

import java.util.List;

public class ObjToCSVTest {


    //单个对象
    @Test
    public  void show1(){
        UserData userOne= RandomUserData.getUserOne();
        String s = ObjToCSV.create(userOne)
                .fieldsAll()
//                .addIncludeFields()
                .addExcludeFields("roleData")
//                .addHead()
                .addContent()
//                .addContents()
                .addEnding((data)->{
                    JSONObject jsOnObject= new JSONObject();
                    jsonObject.put("count",data.getNumber());
                    jsonObject.put("time",data.getCreateDate());
                    jsonObject.put("separator",data.getSeparator());
                    return  jsonObject.toJSONString();
                })
                .ToString();
        System.out.println(s);

    }


    //多个对象,可以使用自定义分隔符
    @Test
    public  void show2(){
        UserData userOne= RandomUserData.getUserOne();
        String s = ObjToCSV.create(userOne,"|")
                .fieldsAll()
                .addExcludeFields("roleData")
                .addContent()
                .addEnding((data)->{
                    JSONObject jsOnObject= new JSONObject();
                    jsonObject.put("count",data.getNumber());
                    jsonObject.put("time",data.getCreateDate());
                    jsonObject.put("separator",data.getSeparator());
                    return  jsonObject.toJSONString();
                })
                .ToString();
        System.out.println(s);
    }



    //排除不显示的,其他都显示
    @Test
    public  void show3(){
        List userDatas = RandomUserData.getUserDatas(10);

        String s = ObjToCSV.create(userDatas,"|")
                .fieldsAll()//显示全部字段
                .addExcludeFields("roleData")//排除指定字段
                .addHead()
                .addContents()
                .addEnding((data)->{
                    JSONObject jsOnObject= new JSONObject();
                    jsonObject.put("count",data.getNumber());
                    jsonObject.put("time",data.getCreateDate());
                    jsonObject.put("separator",data.getSeparator());

                    return  jsonObject.toJSONString();
                })
                .ToString();
        System.out.println(s);
    }

    //只包含指定字段 ,其他都不显示
    @Test
    public  void show4(){
        List userDatas = RandomUserData.getUserDatas(10);

        String s = ObjToCSV.create(userDatas,"|")
                .addIncludeFields("id","name")
                .addHead()  //添加头部
                .addContents() //添加内容
                .addEnding((data)->{  //添加结尾信息
                    JSONObject jsOnObject= new JSONObject();
                    jsonObject.put("count",data.getNumber());
                    jsonObject.put("time",data.getCreateDate());
                    jsonObject.put("separator",data.getSeparator());
                    return  jsonObject.toJSONString();
                })
                .ToString();
        System.out.println(s);
    }


    //内容
    @Test
    public  void show5(){
        List userDatas = RandomUserData.getUserDatas(10);
        String s = ObjToCSV.create(userDatas,"|")
                .fieldsAll()
                .addExcludeFields("roleData")//排除指定字段
                .addContents() //添加内容
                .ToString();
        System.out.println(s);
    }

    @SneakyThrows
    public static void main(String[] args) {
        List userDatas = RandomUserData.getUserDatas(100);
        String s = ObjToCSV.create(userDatas)
                .fieldsAll()
//                .addIncludeFields()
                .addExcludeFields("roleData")
//                .addHead()
//                .addContent()
                .addContents()
                .addEnding((data)->{
                    JSONObject jsOnObject= new JSONObject();
                    jsonObject.put("count",data.getNumber());
                    jsonObject.put("time",data.getCreateDate());
                    return  jsonObject.toJSONString();
                })
                .ToString();
        System.out.println(s);


    }
}

到此这篇关于Java实现对象转CSV格式的文章就介绍到这了,更多相关Java对象转CSV内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!


推荐阅读
  • Iamtryingtomakeaclassthatwillreadatextfileofnamesintoanarray,thenreturnthatarra ... [详细]
  • 向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能,包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数,并结合QMimeData和QUrl等类,可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • 开发笔记:加密&json&StringIO模块&BytesIO模块
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识,希望对你有一定的参考价值。一、加密加密 ... [详细]
  • 本文介绍了Hyperledger Fabric外部链码构建与运行的相关知识,包括在Hyperledger Fabric 2.0版本之前链码构建和运行的困难性,外部构建模式的实现原理以及外部构建和运行API的使用方法。通过本文的介绍,读者可以了解到如何利用外部构建和运行的方式来实现链码的构建和运行,并且不再受限于特定的语言和部署环境。 ... [详细]
  • C++字符字符串处理及字符集编码方案
    本文介绍了C++中字符字符串处理的问题,并详细解释了字符集编码方案,包括UNICODE、Windows apps采用的UTF-16编码、ASCII、SBCS和DBCS编码方案。同时说明了ANSI C标准和Windows中的字符/字符串数据类型实现。文章还提到了在编译时需要定义UNICODE宏以支持unicode编码,否则将使用windows code page编译。最后,给出了相关的头文件和数据类型定义。 ... [详细]
  • Go Cobra命令行工具入门教程
    本文介绍了Go语言实现的命令行工具Cobra的基本概念、安装方法和入门实践。Cobra被广泛应用于各种项目中,如Kubernetes、Hugo和Github CLI等。通过使用Cobra,我们可以快速创建命令行工具,适用于写测试脚本和各种服务的Admin CLI。文章还通过一个简单的demo演示了Cobra的使用方法。 ... [详细]
  • 本文讨论了Kotlin中扩展函数的一些惯用用法以及其合理性。作者认为在某些情况下,定义扩展函数没有意义,但官方的编码约定支持这种方式。文章还介绍了在类之外定义扩展函数的具体用法,并讨论了避免使用扩展函数的边缘情况。作者提出了对于扩展函数的合理性的质疑,并给出了自己的反驳。最后,文章强调了在编写Kotlin代码时可以自由地使用扩展函数的重要性。 ... [详细]
  • 本文讨论了一个关于cuowu类的问题,作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案,并给出了两个可能导致错误的原因。 ... [详细]
  • MyBatis错题分析解析及注意事项
    本文对MyBatis的错题进行了分析和解析,同时介绍了使用MyBatis时需要注意的一些事项,如resultMap的使用、SqlSession和SqlSessionFactory的获取方式、动态SQL中的else元素和when元素的使用、resource属性和url属性的配置方式、typeAliases的使用方法等。同时还指出了在属性名与查询字段名不一致时需要使用resultMap进行结果映射,而不能使用resultType。 ... [详细]
  • 怀疑是每次都在新建文件,具体代码如下 ... [详细]
  • XML介绍与使用的概述及标签规则
    本文介绍了XML的基本概念和用途,包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则,包括标签的尖括号和合法标识符的组成,标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读,读者可以对XML的基本知识有一个全面的了解。 ... [详细]
  • CF:3D City Model(小思维)问题解析和代码实现
    本文通过解析CF:3D City Model问题,介绍了问题的背景和要求,并给出了相应的代码实现。该问题涉及到在一个矩形的网格上建造城市的情景,每个网格单元可以作为建筑的基础,建筑由多个立方体叠加而成。文章详细讲解了问题的解决思路,并给出了相应的代码实现供读者参考。 ... [详细]
  • 本文详细介绍了Java中vector的使用方法和相关知识,包括vector类的功能、构造方法和使用注意事项。通过使用vector类,可以方便地实现动态数组的功能,并且可以随意插入不同类型的对象,进行查找、插入和删除操作。这篇文章对于需要频繁进行查找、插入和删除操作的情况下,使用vector类是一个很好的选择。 ... [详细]
  • Java学习笔记之面向对象编程(OOP)
    本文介绍了Java学习笔记中的面向对象编程(OOP)内容,包括OOP的三大特性(封装、继承、多态)和五大原则(单一职责原则、开放封闭原则、里式替换原则、依赖倒置原则)。通过学习OOP,可以提高代码复用性、拓展性和安全性。 ... [详细]
  • 本文总结了在开发中使用gulp时的一些技巧,包括如何使用gulp.dest自动创建目录、如何使用gulp.src复制具名路径的文件以及保留文件夹路径的方法等。同时介绍了使用base选项和通配符来保留文件夹路径的技巧,并提到了解决带文件夹的复制问题的方法,即使用gulp-flatten插件。 ... [详细]
author-avatar
尹琢抵
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有