bulk load关于分隔符的问题-zhangjinlong87

bulk load关于分隔符的问题

在查看bulk load的源码了解到，其默认的分隔符为\t，也就是说如果数据是tab键分割的，就不需要指定分隔符了，如果需要换成其它分割符，在执行时加上-Dimporttsv.separator=","，则变成了以","分割。

前两天，无意间使用bulk load导入数据，导入的数据是以“\t”分割的，我在命令中指定了-Dimporttsv.separator="\t"，怪事就出现了，报出异常：

java.lang.IllegalArgumentException: TsvParser only supports single-byte separators
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)
        at org.apache.hadoop.hbase.mapreduce.ImportTsv$TsvParser.<init>(ImportTsv.java:88)
        at org.apache.hadoop.hbase.mapreduce.ImportTsv$TsvImporter.setup(ImportTsv.java:218)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
        at org.apache.hadoop.mapred.Child.main(Child.java:170)

跟踪了一下源码，发现是类TsvParser的构造函数中对分隔符的长度进行了验证。

[java] view plain copy

public TsvParser(String columnsSpecification, String separatorStr) {
// Configure separator
byte[] separator = Bytes.toBytes(separatorStr);
Preconditions.checkArgument(separator.length == 1,//如果separator.length == 1为false的话，将会报出上面的异常
"TsvParser only supports single-byte separators");
separatorByte = separator[0];
... ...
}

这样看来是“\t”转化为byte数组后的长度不是1导致的，跟踪看到“\t”作为参数传进来后，java转义成“\\t”，这样造成了长度为2的情形，所以报出了以上异常信息。

所以在使用hbase的bulk load时，如果数据是"\t"分割的，建议不要加参数-Dimporttsv.separator，其一hbase默认就是制表符，其二会出现上面的异常。

现在比较理解为什么bulk load不用逗号、分号或者其他的作为默认的分隔符了，或许这就是其中的缘由吧！

● bulkload ● dimporttsv.separator ● hbase

zhangjinlong87

bulk load关于分隔符的问题

评论