[세종=뉴스핌] 이경태 기자 = 뇌과학과 인공지능(AI) 산업에 널리 쓰이게 되는 그래픽 데이터 분석이 손쉽게 이뤄질 전망이다. 1조 개의 그래프도 컴퓨터 1대만으로도 처리가 가능해지는 기술을 국내 연구진이 개발했기 때문이다.

한국과학기술원(KAIST)은 김민수 전산학부 교수 연구팀이 1조 개 간선의 초대규모 그래프에 대해 데이터 저장 없이 알고리즘을 계산할 수 있는 신개념 기술을 세계 최초로 개발했다고 23일 밝혔다.

김민수 한국과학기술원 전산학부 교수 연구팀이 개발한 T-GPS(Trillion-scale Graph Processing Simulation) 기술. [자료=한국과학기술원] 2021.04.23 biggerthanseoul@newspim.com

최근 뇌공학, 인공지능, 블록체인 등의 광범위한 분야에서는 그래프 타입의 데이터에 대한 다양한 알고리즘들의 연구가 매우 중요하다. 다만, 그래프 데이터의 복잡성으로 인해 그 크기가 커질 때 막대한 규모의 컴퓨터 장비가 필요해 대용량 데이터 처리가 쉽지 않았다. 그래프 알고리즘을 개발하기 위해 먼저 합성 그래프를 생성 및 저장한 후, 이를 다시 그래프 처리 엔진에서 메모리로 적재해 알고리즘을 계산하는 2단계 방법을 사용했다. 데이터가 많아지면 그만큼 컴퓨터 용량이 커져야 하는 상황이다.

김 교수 연구팀은 이를 근본적으로 해결하는 T-GPS(Trillion-scale Graph Processing Simulation)라는 기술을 개발했다. T-GPS 기술은 그래프 데이터를 실제로 디스크에 저장하지 않고도 마치 그래프 데이터가 저장돼 있는 것처럼 알고리즘을 계산할 수 있고, 계산 결과도 실제 저장된 그래프에 대한 알고리즘 계산과 동일한 게 특징이다.

그래프 알고리즘은 그래프 처리 엔진 상에서 개발되고 실행된다. 이는 산업적으로 널리 사용되는 SQL(데이터베이스를 구축하고 활용하기 위해 사용하는 언어) 질의를 데이터베이스 관리 시스템(DBMS) 엔진 상에서 개발하고 실행하는 것과 유사한 방식이다

김민수 교수 연구팀은 T-GPS 기술을 기존의 2단계 방법과 비교한 결과, 기존의 2단계 방법이 11대의 컴퓨터로 구성된 클러스터에서 10억 개 간선 규모의 그래프를 계산할 수 있었던 반면, T-GPS 기술은 1대의 컴퓨터에서 1조 개 간선 규모의 그래프를 계산할 수 있어 컴퓨터 자원 대비 1만배 더 큰 규모의 데이터를 처리를 할 수 있다는 것을 확인했다. 알고리즘 계산 시간도 최대 43배 빠르다.

교신저자로 참여한 김민수 교수는 "오늘날 거의 모든 IT 분야에서 그래프 데이터를 활용하고 있다"며 "연구팀이 개발한 새로운 기술은 그래프 알고리즘의 개발 규모와 효율을 획기적으로 높일 수 있어 산업적 측면에서 파급 효과가 매우 클 것"이라고 내다봤다.

이번 연구에는 김 교수의 제자이자 캐나다 워털루 대학에 박사후 연구원으로 재직 중인 박힘찬 박사가 제1 저자로, 김 교수가 교신저자로 참여했다. 연구 결과는 지난 22일 그리스 차니아에서 온라인으로 열린 데이터베이스 분야 최고 국제학술대회 중 하나인 IEEE ICDE에 발표됐다.

biggerthanseoul@newspim.com