'sqoop'에 해당되는 글 2건

  1. 2013.03.06 [Sqoop] 사용자 가이드 링크
  2. 2013.01.22 [Hadoop/Sqoop] export shell example

http://mczo.blogspot.kr/2012/04/sqoop.html

Posted by 용식
TAG sqoop

1. EXPORT_DIR은 하둡 hdfs:// URI로 접근할때 사용되는 전체 경로
2. --input-fields-terminated-by "\t" key, value간 구분자를 여기서 설정한다. 각 컬럼이 이걸로 구분됨
3. --outdir /data/hadoop/sqoop/generated \
--bindir /data/hadoop/sqoop/generated \

이게.. 설정을 보고 java 코드를 만들고 그걸 compile해서 실행하는 것이었다..
그때 사용되는 dir임.. outdir, bindir


4. jdbc driver는 sqoop_home/lib에 위치..


테스트로.. 컬럼 5개 11만 데이터 insert에 4초가 걸린다.. 테스트DB, 테스트 서버에서..


넣는것도 Map으로 쪼개서 넣는듯..?

Posted by 용식
TAG hadoop, sqoop