100만 기가 빅데이터 분석…피터 필이 세운 유니콘 '팔란티어'

[이코노미조선] 100만 기가 빅데이터 분석…피터 필이 세운 유니콘 '팔란티어'

박종민 딜로이트 안진회계법인 선임연구원

입력 : 2016.06.8 09:18 | 수정 : 2016.06.28 09:43

 

빅데이터는 신문기사로 접하는 첨단기술이 아니라 숨쉬는 공기처럼 일상생활 속에 이미 들어와 있다. 범죄자 추적, 교통량 분산, 테러 대비와 같은 사회안전 관련된 공공서비스에서 제약사의 약효 분석, 카드회사의 거래내역 분석, 소매업자의 마케팅 프로그램 등 기업경영 전반에 도입돼 낮은 비용으로 고객 만족도를 높이고 있다. 팔란티어 테크놀로지(Palantir Technologies)는 빅데이터를 활용한 모든 분야에서 첨단기술을 기반으로 새로운 지평을 열어가는 아이콘이다.

▲ 페이팔의 공동 창업자인 피터 틸은 금융거래 데이터 분석 경험을 계기로 빅데이터 분석을 다양한 분야에 활용하고자 2004년 팔란티어 테크놀로지를 창업했다. /사진=블룸버그 제공

2011년 2월 미국 이민세관단속국 요원이 텍사스주 고속도로에서 갱단의 총격을 받고 사망하는 사건이 발생했다. 미 연방 마약단속국(DEA)은 마약 조직원, 밀매 루트, 자금 유통경로, 마약 사용자, 정보원 보고서, 감청 자료 등 방대한 자료를 종합적으로 분석해 용의선상에 오른 마약조직의 핵심 인물을 파악하고 이들의 거주지, 주요 활동지역, 자금 흐름 등을 밝혀냈다.

DEA는 이 자료를 토대로 소탕 작전을 수행해 텍사스주 댈러스에 근거지를 둔 조직원 57명을 체포하고 2만달러 이상의 현찰과 금괴 등을 압수했다. 이는 빅데이터 분석이 단순 마케팅뿐 아니라 현실의 여러 분야에서 다양하게 쓰일 수 있음을 보여주는 사례다.

아프가니스탄과 이라크의 도로에 설치된 사제 폭발물의 감지와 반군의 공격 예측, 달라이 라마의 노트북 컴퓨터에 스파이웨어를 설치한 해커의 추적, 제약회사가 개발 중인 약의 효능 분석, 주택담보 대출에 대한 금융사기 적발, 과자회사의 소비자 기호 변화 추적 등 전혀 관련이 없어 보이는 다양한 업무에 빅데이터 분석이 효과적으로 사용되고 있다. 그런데 위의 사례들은 분석이 필요한 대량의 데이터가 존재한다는 것 외에도 한 가지 공통점이 있다. 한 기업이 홀로 빅데이터 분석 소프트웨어를 개발하고 업무를 지원하고 있다는 사실이다.

미 경제 전문지 <포천>의 유니콘(10억달러 이상의 가치를 평가받는 창업 초기 기업) 리스트에서 기업가치 200억달러(약 23조원)로 4위를 기록하고, 빈 라덴을 사살하는 데 결정적인 공헌을 한 것으로 소문난 팔란티어 테크놀로지가 바로 그 기업이다.

◆ 포천 선정 ‘유니콘’ 4위

2000년대 초반 신생 인터넷 지급결제 기업이었던 페이팔은 급격한 성장을 이루는 가운데 골치 아픈 문제에 직면했었다. 러시아 마피아가 주도하는 대규모의 사기 거래로 인해 회사의 존망까지 위협받게 된 것이다.

문제 해결을 위해 페이팔은 사기 거래를 파악하는 전문가 집단을 양성하고 분석 소프트웨어를 개발했다. 이를 통해 성공적으로 사기 거래를 막아낸 후, 페이팔의 공동 창업자인 피터 틸(Peter Thiel)과 관련 엔지니어들은 이 소프트웨어가 대규모의 데이터 분석에 탁월하다는 사실을 깨닫고 보다 폭넓은 활용이 가능할 것이라고 생각했다.

피터 틸은 2004년 페이팔을 이베이에 매각한 후, 클래리엄 캐피털이란 헤지펀드를 설립하면서 동시에 미 스탠퍼드대 컴퓨터공학과 졸업생인 조 론스데일(Joe Lonsdale), 스티븐 코헨(Stephen Cohen), 전 페이팔 엔지니어 네이선 게팅스(Nathan Gettings)와 함께 팔란티어 테크놀로지를 창업했다. 이를 통해 페이팔의 기존 소프트웨어를 기반으로 빅데이터 분석 소프트웨어를 개발하기 시작했다.

그는 헤지펀드 업무 등으로 자신이 전적으로 회사 운영을 담당할 수 없었기에 스탠퍼드 대학시절에 인연을 맺었던 알렉스 카프(Alex Karp)를 공동창업자들에게 소개해 팔란티어 테크놀로지의 최고경영자(CEO)로 영입하도록 했다.

하지만 회사의 시작은 순조롭지 못했다. 우선 회사 운영을 위한 투자자금의 확보가 쉽지 않았다. 그들에겐 페이팔의 성공이란 배경이 있었지만, 벤처캐피털들은 닷컴 버블 붕괴의 여파로 인해 신생 소프트웨어 기업에 대한 투자를 꺼려했다. 빅데이터 분석에 대한 개념이 생소했던 시기이기 때문에 팔란티어가 개발하던 소프트웨어의 가치도 이해하지 못했다. 이 때문에 틸은 페이팔 지분 매각으로 얻은 자금 중 상당 금액(4000만달러)을 직접 투자해야 했다.

또한 분석 소프트웨어의 개발이 생각보다 어려웠다. 페이팔의 금융거래 데이터는 완벽하게 구조화되고 정돈돼 있었지만, 대부분의 기업과 조직이 보유한 데이터는 그렇지 않았다. 예상치 못한 난관에 직면한 개발팀은 목표를 명확히 설정하기 위해 산업계와 주요 공공기관의 데이터 보유 현황과 분석 관행을 검토한 후 다음과 같이 결과를 정리했다.

첫째, 보유한 데이터들의 형태가 매우 다양하고 대부분이 구조화되어 있지 않았으며, 서로 호환되지 않는 데이터베이스나 분리된 시스템에서 별도로 관리되고 있는 경우가 많았다. 특히 광대역 인터넷의 보급이 확대되고 소셜 미디어 사용이 늘어남에 따라 동영상 및 소셜 미디어 메시지와 같은 비구조화된 데이터의 양이 폭발적으로 증가하고 있었다.

둘째, 데이터베이스에서의 데이터 질의와 조작을 위해서는 일반적으로 SQL이라는 프로그래밍 언어가 사용되는데, 간단한 명령의 경우 초보자들도 비교적 쉽게 사용할 수 있지만 일정 수준 이상의 기능을 사용하기 위해서는 프로그래밍 능력이 필요했다. 또한 분석 결과가 대부분 텍스트와 단순한 그래프 수준으로 제공되기 때문에 이를 보고 인사이트를 도출하기가 어려웠다.

셋째, 데이터베이스의 질의응답 처리 속도는 하드웨어의 눈부신 발전에도 불구하고 여전히 느렸다. 대규모 데이터를 분석하는 경우에는 더욱 느려졌고 그 과정에서 오류가 발생하는 경우도 빈번했다.

이러한 결과를 바탕으로 개발팀은 최종 목표를 설정했다. △컴퓨터 프로그래밍 지식이 없는 일반인들이 쉽게 사용할 수 있도록 자연어로 질의응답을 처리하게 만들고 △분석 결과를 다양한 방식으로 시각화해 제공한다. △다양한 정보 원천에서 산출되는 비구조화된 데이터를 결합할 수 있는 도구를 개발하고 △빠른 데이터 분석과 반복실행을 위해 소프트웨어의 실행 속도를 최적화한다.

▲ 빅데이터는 기업들의 단순한 마케팅 수단을 넘어 핵심 업무를 위한 분석도구로 발전하고 있다. 미국의 팔란티어 테크놀로지는 공공부문 데이터 분석 서비스로 시작해 현재 전체 매출의 75%를 민간 부문에서 올리고 있다./조선일보DB

◆ 3년간 기술 완성도에만 주력

목표는 명확해졌지만, 결코 쉽게 해결할 수 있는 과제는 아니었다. 미완성 소프트웨어의 개발을 완료하는 데 최소 2~3년이 필요할 것으로 예상되는 상황에서 투자자와 초기 고객을 확보해야 하는 난관에 직면한 것이다. 팔란티어는 민간이 아닌 공공, 특히 안보·첩보기관으로 눈을 돌렸다.

2001년 9·11 테러 이후, 미국 정보기관들은 다양한 정보 원천을 통해 대규모로 데이터를 수집하고 알 카에다 등 테러조직을 추적하고 있었지만, 대량의 데이터를 빠르게 분석해 의미 있는 정보를 도출하는 데 어려움을 겪고 있었다. 민간 분야가 과거 실적도 없고 소프트웨어 완성에 몇년이 걸릴지 알 수 없는 신생기업의 지원을 꺼린 반면, 미국의 안보·첩보기관은 장기간의 투자를 감당할 수 있었다.

결국 팔란티어는 2005년 미 중앙정보국(CIA)을 최초의 고객으로 확보했고 CIA의 벤처투자 자회사인 인큐텔(In-Q-Tel)의 투자를 유치했다. 계약 이후 거의 3년 동안 팔란티어의 개발자들은 2주마다 캘리포니아 팰로앨토 본사에서 워싱턴 DC의 CIA 본부를 방문해 실제 소프트웨어를 사용하는 분석가들과 토의하면서 소프트웨어 개발과 개선을 지속해 나갔다.

야심 차게 설정한 소프트웨어 기능을 한 번에 완벽하게 구현하려 무리하지 않고, 개발팀은 빠른 반복 개발을 통해 단계별로 기능을 완성한 후 CIA 분석가들의 피드백을 받아 지속적으로 개선해 나갔다. 2008년 대규모의 이질적인 데이터를 서로 연결 시켜주고 페타바이트(기가바이트의 100만배)의 데이터를 자연어로 질의해 실시간으로 결과를 출력하며 사람이 쉽게 인지할 수 없는 데이터 간의 연결관계와 패턴을 시각화해 보여주는 빅데이터 분석 소프트웨어의 개발이 완료됐다. 회사는 소프트웨어에 ‘고담(Gotham)’이라는 이름을 붙였다.

완성된 소프트웨어에 대해 호평이 쏟아졌다. 정보분석가들은 지금까지 정부가 보유했던 분석도구 중 최고라는 평가를 내렸다. CIA에 이어 미 국가안보국(NSA), 미 연방수사국(FBI), DEA, 국방부, 해병대, 공군, 특수전 사령부, 질병예방통제센터, 뉴욕 경찰청(NYPD), LA 경찰청(LAPD) 등 다양한 정부기관에서 수상한 활동의 감지, 자금흐름 추적, 사제 폭발물 설치 패턴 파악, 해외 해커집단 추적, 미아 및 실종자 추적, 질병 전파경로 분석 등 다양한 분석 활동을 위해 팔란티어의 소프트웨어를 도입했다.

이러한 성공은 소프트웨어의 뛰어난 완성도 때문에 가능했다. 비밀 정보를 다루는 입장 때문에 마케팅 활동이 어려웠지만, 고객들의 입소문만으로 단기간에 많은 고객들을 확보할 수 있었다. 3년간 CIA만을 고객으로 삼아 개발을 진행하는 동안, 미완성 제품으로 추가적인 고객들을 확보하려 하지 않고 완성도를 높이는 데 주력한 것이 결실을 맺은 것이다.

또한 회사와 상품에 대한 높은 평가는 민간 시장의 문을 열어주는 열쇠로 작용했다. 2010년 뉴욕 경찰청의 소개로 JP모건을 최초의 민간 고객으로 확보하게 됐다. CIA와 일할 때처럼, 개발팀은 밤낮없이 일하면서 고객과의 대화를 통해 문제를 분석하고 기존 소프트웨어를 수정해 민간용 분석도구인 ‘메트로폴리스(Metropolis)’를 완성시켰다.

팔란티어의 능력과 일하는 자세에 감명받은 JP모건은 원래 맡겼던 부정거래 적발에 더해 부실 대출 해결 업무까지 추가로 맡겼다. 팔란티어의 금융부문 사업은 이를 계기로 계속 확장됐고 그 과정에서 회사의 분석도구는 월가를 뒤흔들었던 버나드 메이도프의 폰지(Ponzi) 사기를 밝혀내는 데 사용되기도 했다.

현재 팔란티어의 수익 중 75%가 민간부문에서 발생하고 있으며 고객들의 사업분야도 금융기관, 법률회사, 제약회사, 에너지기업, 소비재기업 등 매우 폭이 넓다. 아직 정확한 매출은 공개되지 않고 있지만, 회사는 2015년 민간기업과의 계약규모가 17억달러(약 1조9600억원)에 달한다고 밝혔다.

◆ 품질 좋아 입소문 마케팅으로 성장

다만, 회사가 성장하고 인지도가 높아지면서 회사가 다루는 민감한 정보와 기술력이 일으킬 수 있는 사생활 침해 가능성에 대해 우려하는 목소리도 높아졌다. 팔란티어는 이러한 우려에 대해 “정부는 테러와의 전쟁에서 분석할 수 있는 것 이상으로 필요 없이 많은 데이터를 수집하고 있었다”며 “팔란티어가 데이터에서 의미를 찾을 수 있도록 정부를 도울 수 있다면, 오히려 무차별적인 감시를 끝낼 수 있을 것”이라고 말한다.

팔란티어는 데이터의 오남용을 막기 위해 데이터를 암호화·익명화하고 데이터 사용에 대한 다단계의 승인 절차를 설치하고 있다. 데이터 사용 여부를 확인할 수 있는 로그 기록도 남기고 있다. 카프 CEO는 이들 기록을 제3의 기관이 확인할 수 있도록 공개할 수도 있다는 제안을 하기도 했다. 또한 회사의 소프트웨어가 인도적인 목적에 사용될 수 있다는 것을 보여주기 위해 비영리 구호기구와 함께 소셜 미디어, 비정부기구(NGO) 현장 보고서, 뉴스 보도 등을 모아 시리아 내전의 진행 상황을 실시간으로 시각화해 보여주는 디지털 지도를 다보스 포럼에서 전시하기도 했다.

팔란티어의 성공은 빅데이터 분석과 같은 개념이 단순히 마케팅 차원의 유행어가 아닌 세상을 바꿀 수 있을 정도의 잠재력을 가지고 있음을 증명하고 있다. 데이터 간의 숨겨진 연관성을 시각화해 보여주는 분석 능력이 새로운 인사이트의 도출을 가능하게 만들고 있는 것이다. 또한 기업의 성공을 좌우하는 최우선 요인은 마케팅이 아닌 제품과 서비스 자체의 탁월함임을 다시 한 번 확인시켜주고 있다.

신규 사업영역이 레드오션화 되는 속도가 빨라지고 있는 지금, 쉽게 따라갈 수 있는 길은 아니지만 야심 차면서도 정확한 목표 설정과 장기투자를 통해 데이터 과학 솔루션 분야를 뒤흔들고 있는 팔란티어의 사례는 또 다른 방향을 제시해 주고 있다.

◆ 빅데이터(Big Data)

기존의 데이터베이스 관리 시스템이 수집·저장·관리·분석할 수 있는 역량을 넘어설 만큼 거대해서 통제하기 힘든 데이터 집합. 온라인과 모바일 등을 통해 실시간으로 정보가 넘나들면서 데이터 양이 급증하고 있으며 이를 분석하는 툴도 발전하고 있다.