map-reduce 썸네일형 리스트형 [Hadoop] map reduce 프로그래밍시 in-out type 오늘 multipleoutputs를 사용해서 reducer를 개발하면서 한 삽질 두가지... 1. 로그파일이 euc-kr이라서, 이걸 간단하게 utf-8로 변환해주는 java 프로그램을 만들어서 컨버팅하고 이걸hdfs에 올렸다. 그리고 분석을 했는데.. 600메가밖에 안되는데 java heap memory 오류가 발생한다.별짓을 다하면서 옵션도 수정해보았는데 원인을 찾을 수가 없다.... 혹시나해서 로그파일을 열어보니..600메가가 1줄이다. 1 row.... 1 line.... 컨버팅하면서 라인별로 개행문자를 안 붙여줬음 -_--> 이걸로 오전 2시간 날려먹음 (점심시간 포함) 2. Map Reduce 프로그램을 개발할때.. Mapper의 Output 타입과 Reducer의 Input타입이 맞지 않으면.. 더보기 이전 1 다음