본문 바로가기

Hadoop

[Hadoop/Sqoop] export shell example


1. EXPORT_DIR은 하둡 hdfs:// URI로 접근할때 사용되는 전체 경로
2. --input-fields-terminated-by "\t" key, value간 구분자를 여기서 설정한다. 각 컬럼이 이걸로 구분됨
3. --outdir /data/hadoop/sqoop/generated \
--bindir /data/hadoop/sqoop/generated \

이게.. 설정을 보고 java 코드를 만들고 그걸 compile해서 실행하는 것이었다..
그때 사용되는 dir임.. outdir, bindir


4. jdbc driver는 sqoop_home/lib에 위치..


테스트로.. 컬럼 5개 11만 데이터 insert에 4초가 걸린다.. 테스트DB, 테스트 서버에서..


넣는것도 Map으로 쪼개서 넣는듯..?