본문 바로가기

mahout

[Mahout] 하둡 M/R을 사용한 머하웃 추천 예제 머하웃 인 액션 6챕터를 보면 하둡을 사용한 추천 예제 프로그램이 나온다.이 내용이 개인적으로는 좀 혼란스럽게 느껴져서 오해를 했었는데..오해의 내용은 M/R을 사용하여 머하웃 추천을 돌리려면 머하웃에서 제공되는 어떤 추상클래스를 상속하여나만의 추천기를 개발해야 한다는 오해였다. 책 내용을보면 그전 챕터까지 설명하던 머하웃의 기본적은 input file format인 (사용자,아이템,선호도)가 아닌[사용자:아이템1 아이템2 아이템3 ..] 과 같은 형태가 갑자기 나오며이를 분석하기 위핸 Mapper와 Combiner, Reducer를 직접 개발하는 과정이 나온다. 아무리 생각해도 이렇지는 않을 것 같은데..기본적으로 많은 알고리즘에 대해서 M/R용 API가 있을 것 같은데.. 싶어서이래저래 찾아보고 테스.. 더보기
[Mahout] IDMigrator 하루빨리 슬럼프를 극복하기위해 뭔가 몰입할 것을 찾다가..회사에도 도움이 되고, 나도 새로운것 좀 볼 수 있는.. Mahout을 한번..해보기로.. 일단, 그동안 모아놓은 검색관련 데이터들을 테스트로 돌려보기위해서예제를 보며 맞춰나가던 중.. Mahout은 대용량 데이터를 처리하기위해 ID, ItemId등의 값을 모두 Long으로 처리하는데..내가 모아놓은 데이터는.. String이라서.. 이게 .. 적용이 안됨 -.- 대부분의 사용자들이 모아둔 데이터가 Mapping을 사용해서 해놓지는 않았을테니..뭔가 API가 있을거야.... 하고 찾아보다가 IDMigrator 인터페이스를 확인... toLongID, toStringID 메서드 두개를 가지고 있는데..이를 구현한 MemoryIDMigrator, My.. 더보기