Sqoop1导数

发布于 2021-03-17  255 次阅读

导数示例：

sqoop import \
--connect "jdbc:sqlserver://IP:端口; \
username=xxx;password=xxx;database=xxx;" \
--target-dir  /tmp/hyj-$RANDOM  \
--query  'select id,name from input where id>20 and \$CONDITIONS' 
-m 1 --hive-overwrite \
--null-string '\\N' --null-non-string '\\N' \ 
--hive-drop-import-delims \
--fields-terminated-by '\001'

参数说明：

  • sqoop导数 默认会把NULL转化为字符串的null
  • 添加--null-string '\\N' --null-non-string '\\N'解决
  • --hive-drop-import-delims 导入到hive时删除 \n, \r, and \01
  • --hive-delims-replacement 导入到hive时用自定义的字符替换掉 \n, \r, and \01
  • sqoop --query中使用函数必须指定别名
  • sqoop --query必须配合--target-dir使用

注意：

  • sqoop1 不支持 导入到Hive多分区表
  • 增量导入 支持的类型好像只有 时间戳和int