LevelDB를 적용한 Key-Value 스토어에서 데이터 중복제거 기법의 성능 분석

초록

최근 빅데이터를 처리하기 위해 기존의 관계형 데이터베이스와는 다른 Key-Value 데이터베이스가 사용되고 있으며, 저장 공간의 효율성을 높이기 위해 데이터 중복제거 기술이 자주 사용되고 있다. 본 논문에서는 Key-Value 데이터를 LevelDB기반의 스토리지에 읽기쓰기 작업 시 OpenDedup의 인라인 중복제거 기법을 사용하여 읽기/쓰기 성능을 비교한다. 데이터가 MemTable을 거쳐 SSTable에 저장될때, 기존의 Ext3 또는 4 파일 시스템 대신 SDFS 파일시스템을 사용하도록 변환하여 중복제거를 수행하였다. Key-Value 데이터 워크로드 생성을 위해 db_bench를 사용했으며 실험 결과 중복제거를 적용하지 않은 기존 방법 대비 순차 읽기 성능은 1.3배, 임의 읽기 성능은 최대 4.2배 향상된 성능을 보였다.