김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

김진철의 How-to-Big Data | 빅데이터 조직과 시스템 (1)

출처)CIO코리아

http://www.ciokorea.com/news/39986?page=0,0#csidx9f88766eec0e2788d468a1edc08dfce 

김진철 | CIO KR

LHC 실험을 위한 협력 체계의 구조
LHC는 지구에서 가장 큰 기계일 뿐만 아니라, 건설 및 운영 비용에서도 NASA의 스페이스 셔틀 프로젝트, 허블 망원경과 같은 우주 과학 실험과 현재 프랑스 카다라슈에 건설 중인 ITER 핵융합 실험로와 함께 많은 건설, 운영 비용이 들어간 프로젝트이다. 이렇게 거대한 프로젝트의 결과로 지어진 LHC 가속기와 4개의 검출기를 이용해 입자물리학 실험은 단순한 협업으로는 불가능에 가깝다. 20년이 넘는 긴 건설 기간과 인류 역사상 하나밖에 없는, 처음으로 설계해서 건설하는 거대 실험 장치이고, 모든 실험 조건이 지금까지 만들어본 적이 없는 극한의 실험 조건이라는 측면에서 프로젝트의 위험 수준이 이 세상 어떤 프로젝트보다도 높은 프로젝트였다.

빅데이터를 만들어 내는 LHC 가속기와 검출기부터 빅데이터를 가공하는 Level-1 트리거와 고수준 트리거(high-level trigger), 그리고 데이터를 분석하는 LHC 컴퓨팅 그리드까지 빅데이터 모든 영역의 시스템을 연구개발해야 했던 LHC 프로젝트는 만들어야 했던 기술 영역의 범위도 넓고 그 수준도 복잡한 어려운 과제였다. 이렇게 어렵고 복잡한 시스템을 만들기 위해 LHC 연구자들이 어떤 조직과 체계를 가지고 협력하여 일했는지 살펴보고 그 교훈과 빅데이터 비즈니스 조직과의 차이점을 생각해보는 것은 빅데이터 비즈니스를 운영하는 조직과 기업들에게도 의미 있는 일이다.

Credit: http://www.atlasexperiment.org/etours_intro/images/organigram.gif

우선 그림 1과 2는 LHC의 4개의 실험 중에서 가장 많은 비용이 투입되고 가장 많은 연구자들이 참여하고 있는 ATLAS와 CMS 실험의 조직 체계를 그림으로 보여주고 있다. 이 조직 체계를 살펴보면서 빅데이터 비즈니스를 수행하기 위한 조직 설계에 대한 아이디어를 같이 살펴보도록 하자.

첫번째로, 이 조직도를 보면 LHC 프로젝트 전반에서 나타나는 조직 패턴이 하나 보이는데, 바로 장치를 건설하고 운영하는데 필요한 자원을 계획, 조달하는 자원 관리 위원회(Resource Review Board; RRB)가, 실험의 전반적인 의사 결정을 내리고 대변하는 대변인(Spokesperson)과 운영위원회(ATLAS Plenary Meeting) 직속으로, LHC 과학 및 기술 연구 협력을 위한 조직인 공동 연구 협력 위원회(Collaboration Board, Technical Coordination, Physics Coordination)와 동등한 지위로 운영된다는 점이다.

필자가 CMS 실험과 각종 회의에 참석하면서 느낀 것은 LHC 실험 공동 연구단과 CERN이 기술적인 의사 결정과 LHC 실험을 수행하는 데 필요한 자원과 예산에 관한 의사 결정을 하는데 항상 적절한 균형을 맞추려고 노력한다는 점이다.

예산과 인력에 섬세하게 신경을 쓰고 오랜 기간에 걸쳐 계획을 세우고 점검하는 것은 사실 국제 공동 연구 프로젝트에서 그렇게 유별난 일도 아니다. UN 산하 국제기구를 포함한 많은 국제기구와 여러 나라의 국제 협력 조직과 이해관계자 간의 협력을 통해 진행되는 다자 국제 협력 프로젝트의 경우 프로젝트를 수행하는데 필요한 예산과 인력, 물자를 확보하기 위해 참여하는 이해관계자들을 설득하고 합의하는데 걸리는 시간이 꽤 많이 필요한 경우가 많다. 이런 문제로 국제 협력 프로젝트는 필요한 예산, 인력과 물자를 확보하는데 유난히 많은 노력을 기울이는 것이 사실이다.

Credit: http://cms.web.cern.ch/content/cms-management

LHC 실험의 빅데이터 인프라를 구축하고 실험을 수행하는 기술 조직인 공동 연구 협력 위원회(Collaboration Board)가 위와 같이 자원을 점검하고 관리하는 자원 관리 위원회(Resource Review Board; RRB)와 동등한 수준의 권한과 영향력으로 프로젝트 운영을 담당하는 것은 앞서 설명한 것같이 국제 공동 협력 프로젝트에서 자원 조달 및 확보가 어렵고, 실험 장치와 분석 인프라의 운영과 이를 활용한 성과가 이를 운영하는 예산, 인력, 조달되는 자원에 의존하기 때문이다.

통상적으로 예산이나 재무를 담당하는 부서가 조직 내에서 더 많은 정치적인 영향력을 갖는 경우가 많고, CERN과 LHC 국제 공동 실험 프로젝트의 경우에도 자금을 대는 각 국가의 자금 조달 기관(funding agency)들이 많은 영향력을 가지고 있는 것은 사실이다. 이러한 참여 및 지원 조직 간의 영향력의 차이로 인한 문제를 최소화하기 위해 실제 프로젝트 운영을 위한 조직은 기술 협력 담당관(Technical Coordinator, Physics Coordinator)과 기술, 공동 연구 협력 위원회(CB 또는 TB, PB)와 자원 관리 위원회(RRB)가 동등한 자격과 지위로 운영이 되게끔 조직이 설계된 것을 볼 수 있고, 이 의미를 우리는 깊게 생각해볼 필요가 있다.

Credit: http://wlcg.web.cern.ch/collaboration/management

이것은 LHC 프로젝트 성공을 위해 자원의 투입과 관리가 중요하지만, 또한 자원의 투입과 관리가 입자물리학 지식과 통찰의 추구라는 프로젝트의 근본적인 목적에 맞지 않는다면 아무런 의미가 없음을 고려한 LHC 실험 연구자들의 생각을 보여주는 것이다. LHC 국제 협력 프로젝트의 운영 이슈는 단순한 회계, 예산의 논리로 해결될 수 없다는 생각이 조직 설계에 반영된 것이다.
  

LHC 실험에서 수행하고 탐색해야 하는 수많은 물리학적 질문들과 가설, 이를 확인하기 위한 다양한 이론들과 실험 방법들은 지금까지 수십 년을 입자물리학 현상을 연구해온 수많은 물리학자와 과학자가 없었더라면 알아내는 것이 불가능했을 것이다. 빅데이터 분석을 위한 LHC 컴퓨팅 그리드가 오늘날과 같이 구축되어 동작하기 위해서는 LHC 컴퓨팅 그리드의 요구 사항을 분석하고 개발하며, 구축하고, 운영하는 수많은 LHC 컴퓨팅 그리드 연구자와 엔지니어들이 없었으면 불가능했을 것이다.

위와 같이 LHC 실험을 통해 힉스 입자를 발견하느냐 못하느냐의 문제는 투입되는 예산과 자원의 한계 내에서 타협할 문제가 아니라 반드시 달성해야 하는 과학적인 목표이다. 이에 필요한 자원과 예산이 수지타산을 맞추기 위해 이 정도만 투입해서 적당히 일하자는 식으로 의사 결정이 이루어져서는 결코 LHC 실험의 목적을 달성하지 못한다는 뜻이다.

실험 진행 및 계획에 대해 같이 검토하여 의사 결정을 한다는 것이다.

매 분기 및 반기별로 CERN에서는 LHC 실험에 참여하는 국가들의 LHC실험 대표와 주요 과학기술 리더, 그리고 정부 자금 조달 기관의 행정관과 의사 결정자가 참여해서 LHC 실험의 현재 자원 상황을 검토하고 앞으로의 자원 확보 계획과 이에 따른 LHC 실험 계획 진행 현황을 검토하고 앞으로의 실험 수행을 위해 긴밀하게 협력한다.

많은 경우 정부의 연구 프로그램 담당 행정관이나 프로그램 관리자가 학술회의에서 정부의 과학기술 연구 프로그램에 대해 일방적으로 설명하는 경우가 많고, 특별하게 과학기술자들과 만나서 정부의 연구개발 예산 수립에 대해 긴밀하게 논의하는 경우는 많지 않다. 그렇지만, LHC 실험에서는 이렇게 과학기술 행정가들, 자금 조달 관련 업무를 맡은 정부 관료 및 담당 공무원들, LHC 실험을 실제로 수행하는 과학기술자들과의 협업과 회의를 정례화해서 진행하고 있다.

이렇게 자금 조달 및 자원 관리를 담당하는 정부 담당자들과 LHC 과학자들 간의 정례 회의와 이를 통한 긴밀한 의사소통과 협의는 LHC 실험 계획을 현실적으로 다듬고 성공 가능성을 높이는 데 크게 기여하고 있다. 이렇게 과학기술자들과 자원을 조달하고 관리하는 기관 간의 긴밀한 협조를 유도하게끔 한 조직 설계는 LHC 실험의 성공을 크게 뒷받침하고 있다.

질량의 근본을 이루는 물리학적 법칙과 근거가 무엇인지, 우주의 근원 입자를 다스리는 물리학적 원리와 지식이 우리에게 주는 의미가 무엇인지 탐구하는 과학기술자들이 LHC 실험의 명분과 뼈대를 만들고 지구에서 가장 큰 빅데이터 시스템인 LHC 컴퓨팅 그리드 시스템을 구현했다면, 수많은 과학 행정가들과 정책 입안자들, 스태프들의 노력으로 살이 붙여지고 비로소 현실이 되었다. 이들이 특히 누군가가 더 중요하고 덜 중요한 것이 아니다. 이들 모두가 없었다면 LHC 실험은 결코 현실이 되지 않았을 것이고, 힉스 입자는 발견되지 못했을 것이다. 이렇게 다양한 사람들이 모여 힉스 입자 발견 및 표준 모델의 검증이라는 공동의 목표를 위해 서로 긴밀하게 협력할 수 있도록 LHC 실험 조직이 설계되고 운영되지 않았다면 LHC 가속기, LHC 컴퓨팅 그리드 시스템의 건설과 힉스 입자 발견은 불가능했을 것이다.

빅데이터 비즈니스를 위한 조직의 조건 (1) – 자원과 기술을 동등하게 지원하는 조직
필자가 컨설팅을 하거나 실제 조직에서 일해보면서 빅데이터 프로젝트를 수행해보거나 수행되는 타 빅데이터 프로젝트를 가만히 관찰해보면 일반 기업에서의 빅데이터 프로젝트는 다양한 스펙트럼으로 나타나고, 이에 따라 실패의 양상이 다양하게 나타난다. 그런데, 한가지 공통으로 비슷하게 발견되는 부분이 있는데 실패의 원인은 대부분의 경우 기술의 문제라기보다는 조직과 시스템의 문제인 경우가 많다. 이번 기고문부터는 빅데이터 비즈니스를 가능하게 하는 조직과 시스템을 어떻게 갖추어야 할 것인가, 그리고 일반 기업의 시스템에서 빅데이터 비즈니스를 하려고 할 때 겪을 수 있는 문제가 어떤 것이 있는지 같이 살펴보면서 그 해결책을 생각해보고자 한다.

IT나 첨단 기술 기반의 새싹기업(스타트업)이나 회사가 아닌 일반 기업이 빅데이터 비즈니스나 프로젝트를 수행하는 경우, 필자의 경험과 지식에 비추어 보면 아래의 경우가 참 많은 것을 알게 된다.

첫번째로, 빅데이터가 왜 필요한지, 왜 빅데이터 기술이 필요한지 목적이 분명하지 않은 상태에서 신사업 기획을 위해 빅데이터라는 말을 쓰고 하둡과 같은 빅데이터 기술을 미디어나 일부 기업의 성공 사례에 비추어 일단 도입하고 갖추어보자는 식으로 진행하는 프로젝트가 상당히 많았다.

구글과 같이 인터넷 검색 및 인터넷 기술과 함께 새롭게 발전한 기술 기반 신사업을 하지 않는 일반 기업에서 실제 빅데이터가 절실하게 필요한 경우가 대부분의 경우 많지 않고, 빅데이터 기술과 인프라를 반드시 활용해야만 유지되는 비즈니스 모델을 설계하는 것 자체가 또한 쉽지 않은 일이다. 많은 기업의 경우 사업이나 전략 기획, 또는 연구개발 기획을 하시는 분들이 빅데이터 비즈니스에 대한 구체적인 감각을 얻기가 쉽지 않아 실제 기업의 비즈니스에 도움이 될 만큼 구체적인 프로젝트로 기획되기가 쉽지 않은 문제가 많았다.

두번째로, 위와 같이 사업, 전략, 연구개발 기획을 하는 분들이 노력해서 어느 정도 실현 가능한 구체적인 빅데이터 비즈니스 아이템을 발견했다고 하더라도, 일반 미디어에서 최근 많이 언급된 것 같이, 자동화가 아닌 분석에 초점을 맞춰 빅데이터를 활용하다 보니 그 효과가 경영진의 기대만큼 빠른 시간에 크게 나타나지 않아 일찌감치 사업을 접는 경우도 보았다. 필자는 빅데이터 활용을 분석보다는 자동화에 초점을 맞추어서 시작하는 것이 좋다고 이전 여덟 번째 기고를 비롯해 여러 번 강조한 바 있다.

세번째로, 빅데이터 비즈니스를 위해 외부에서 전문가들과 새로운 구성원들을 다수 영입하고 새롭게 조직을 만들어 야심 차게 프로젝트를 시작하지만, 외부에서 영입된 리더와 전문가들이 기술 전문가들로만 구성된 경우가 많아 기술적인 면이 지나치게 강조되어서 빅데이터 비즈니스나 프로젝트가 기획되고 추진되면서 좌초되는 경우이다.

세번째 경우는 생각보다 자주 나타나는데, 빅데이터 비즈니스를 지나치게 기술적인 측면에서 접근해서 생기는 문제이기도 하고, 빅데이터 비즈니스가 유지, 성장하는데 필요한 시스템에 대해서 사전에 깊게 고민하지 않아 생기는 문제이기도 하다.

세번째 경우에 기업들은 우선 빅데이터 기술 전문가들을 많이 영입하게 된다. 이때 빅데이터 프로젝트가 구체적으로 디자인이 되지 않은 상태에서 프로젝트 기획을 위해서 외부 기술 전문가들을 많이 영입하기도 하고, 이미 어느 정도 내부 승인이 난 프로젝트에서 실제로 일할 인력을 뽑기 위해서 외부 기술 전문가들을 영입하기도 한다.

이들 외부 기술 전문가들은 조직의 주목과 많은 기대를 받으면서 빅데이터 프로젝트를 시작하게 된다. 이들의 자부심은 한껏 고취되고, 자신들의 전문성을 맘껏 발휘해 멋지게 성과를 내겠다는 생각으로 자신들에게 가장 전문성이 있는 기술에 대한 요구 사항을 중심으로 빅데이터 비즈니스 및 프로젝트 기획과 실행을 진행하기 시작한다.

전사에서 기대를 받는 이들 빅데이터 전문가 조직에게 기대와 호감을 가지고 협업을 하는 부서도 있지만, 이미 조직에서 어느 정도 자리를 잡고 인정을 받는 부서에서는 왠지 달갑지만은 않다. 협업이 특정 부분에서는 원활하게 이루어지기도 하지만, 경쟁과 알력도 나타나기 시작한다.

기업의 업의 본질에 맞는 구체적인 빅데이터 활용 방안을 만들어 내기 위해서는 기업의 현재 업에서 빅데이터 기반 비즈니스의 효용을 구체적으로 분석, 도출할 수 있는 도메인 전문가, 비즈니스 실행 부서와의 협업이 필요할 수밖에 없는데, 빅데이터를 기반으로 한 신사업 때문에 자신의 업무나 일이 영향을 받으리라 생각하여 협업이 원활하게 진행되지 않는다. 이렇게 되면서 빅데이터 프로젝트를 진행하는 부서는 빅데이터 프로젝트를 조직의 비즈니스와의 연계성을 갖춘 프로젝트로 발전시키지 못하고 점점 기술적인 차별화를 중심으로 프로젝트를 진행하게 된다.

비즈니스 조직과의 협업과 연계성이 긴밀하게 유지되지 않으면서 비즈니스 실행 부서로부터의 지원과 지지가 약해지면, 빅데이터 프로젝트 조직이 기술 개발과 프로젝트 진행에 필요한 예산과 장비, 인력에 대한 지원이 얻기가 점차 힘들어진다. 이렇게 되면서 특히나 속도와 단기 성과를 중요하게 생각하는 우리나라 많은 기업에서 빅데이터 프로젝트가 기업의 비즈니스에 큰 기여를 만들지 못하고 프로젝트 구성원들이 자신의 커리어를 위해 새로운 자리로 떠나면서 좌초하게 된다.

필자가 정말 자주 본 빅데이터 프로젝트 진행 과정이다. 빅데이터 기반의 신사업을 하고 싶어 하는 기업과 조직이 매번 필자에게 자문을 구하는 내용을 보면 위와 같은 과정을 피할 수 없겠다는 생각이 많이 들게 된다. 이런 현상은 빅데이터라는 트렌드 키워드에 초점을 맞추고, 빅데이터 비즈니스의 본질에 대해서 깊게 생각하지 않고 일부 기술 전문가나 벤더의 솔루션 판매에 초점을 맞춰 빅데이터 전략과 사례에 의사 결정이 편중되면서 일어난다.

빅데이터라는 트렌드가 사회 전반에서 중요하게 부각되어 서로 경쟁적으로 이 트렌드 용어를 앞세워서 활용하려고는 하나, 이 빅데이터 트렌드가 무얼 의미하는 것인지, 비즈니스로 이어지는 수익 모델이 무엇인지, 그리고 빅데이터 트렌드가 기업의 업과 관련해 주는 의미와 시사점이 무엇인지 분명하지 않은 상태에서 사업 부서가 성과를 내려고 하다 보니 생기는 문제이기도 하다. 이에 더해, 빅데이터 비즈니스도 비즈니스이기 때문에, 비즈니스 조직으로서의 체계를 잘 갖추지 않으면 성장하기 어렵다는 사실을 많이들 잊고 지나치게 빅데이터 기술에 초점을 맞춘 프로젝트로 흘러가 버리기 때문에 생기는 일이다.

필자가 이전 글들에서 여러 번 강조한 것처럼 빅데이터 인프라와 시스템을 구축하는 데에는 일반 기업들의 기준으로 보았을 때는 적지 않은 투자가 들어간다. 그렇다 보니, 빅데이터가 기업의 비즈니스에 실질적인 기여와 성과를 낸다는 것이 가시적으로 보이기까지 빅데이터 시스템과 비즈니스가 지속 가능하게 유지되려면 이 빅데이터 시스템과 프로젝트를 안정적으로 운영할 수 있게 하는 예산, 인력, 장비 등의 자원 투입이 원활하게 이루어져야 한다. 대부분의 많은 기업들이 빅데이터 비즈니스를 신사업 프로젝트로서 많이 시작하게 되는데, 이렇게 되었을 때 경영 자원의 투입에 대한 의사 결정을 하는 전략 기획 부서, 재무 부서, 인사 부서와의 협업이 프로젝트에 중요하게 영향력을 미치게 된다.

이 글을 읽으시는 독자분들께서는 신사업 프로젝트, 기업 내에서의 프로젝트는 당연히 자원 투입과 관리가 중요한 거 아니냐고 생각하실지 모르겠다. 맞다. 어느 프로젝트에서건 프로젝트 수행을 위한 자원 관리는 프로젝트 관리의 기본이다. 그런데, 필자가 하고 싶은 얘기의 핵심은 이렇게 어느 신사업 프로젝트이건 간에 자원 관리가 프로젝트 관리의 기본임에도 빅데이터 기반 신사업 비즈니스에 대해서는 기본적인 자원 관리에 대한 상식이 잘 지켜지지 않는다는 것이다.

앞서 LHC의 프로젝트 관리 조직에 대한 사례를 소개하면서도 언급하였지만, 프로젝트 자원 산정과 일정을 추정하고 계획하기 위해 입자물리학 전문가들, 가속기 및 검출기, IT 및 정보 시스템, 컴퓨팅 기술 전문가들이 기술적으로 엄밀한 연구와 검토 과정을 거쳐 실현 가능한 목표 설정을 하였고, 이를 기반으로 프로젝트 자원 투입에 대한 의사 결정과 관리가 이들 기술 전문가들과의 긴밀한 협업에 의해서 진행되었던 것을 다시 떠올려보자.

이렇게 프로젝트 자원 투입에 대한 의사 결정은 기술과 비즈니스에 대한 엄밀한 분석과 구체적인 목표 설정으로 현실적으로 이루어져야 하고, 다시 기술 전문가들의 빅데이터 비즈니스 시스템 구축과 빅데이터 기술 적용은 이런 자원 투입과 지원, 전략 기획 부서와의 원활한 협업을 통해 비즈니스와의 연계성이 긴밀하게 유지되어야 빅데이터 신사업 프로젝트가 성공할 수 있다.

그럼 이제 일반 기업이 빅데이터 신사업 프로젝트를 성공시키기 위해 어떻게 조직을 구성하고 운영하는 것이 좋을지, 필자의 경험을 바탕으로 외람되지만 몇 가지 조언을 독자 여러분께 드리고자 한다.

첫번째로, 빅데이터 비즈니스와 시스템의 효용을 기업의 구성원들이 빠르게 체감하여 공감대가 확산될 수 있도록 비즈니스 모델은 구체적이고 작게 시작하여 빠르게 비즈니스 모델을 검증한다는 마음가짐으로 스타트업과 같은 작은 조직으로 빅데이터 프로젝트를 시작하는 것이 좋다.

빅데이터 사업이 신사업으로서 독립적인 조직을 갖추어 시작한다고 하더라도, 기업의 성과에 도움이 되기 위해서는 전사적인 도움과 협업이 필요하다. 지나치게 빅데이터 시스템의 업무 범위나 신사업의 비즈니스 모델을 크게 잡고 시작하면 들어가는 자원이 많아지게 되어 전사적인 공감대나 협조를 쉽게 이끌어내기가 쉽지 않다.

특히, 대기업의 경우 빅데이터 비즈니스의 비교 대상이나 경쟁 상대를 구글, 넷플릭스, 아마존, 페이스북과 같은 플랫폼 기업들을 잡는 경우가 많은데, 이들 기업이 자신들의 플랫폼 비즈니스 모델을 정착시키기 위해 10년 이상의 긴 시간이 필요했다는 것은 잘 생각하지 않는다. 우리나라 대기업의 특성상 신사업의 규모도 신사업이라고 하기에는 투입 자원이나 사업 규모가 큰 사업을 시작하려는 경우가 많은데, 일의 규모가 크고 거창하다고 해서 기업에 많은 매출을 가져다주는 빅 비즈니스가 된다는 법은 없다. 기업에 자원 투입대비 수익을 많이 가져다주는 신사업이 좋은 사업이지, 대기업이라고 해서 꼭 비즈니스를 크게 시작해야 하는 것은 아니다.

사회 정서 및 법규상 대기업 참여가 제한된 업종이 있지만, 그렇다고 해서 비즈니스를 작게 시작해서 비즈니스 모델을 검증하면서 점차 성장시키는 비즈니스 개발의 원칙이 대기업이라고 해서 유별나게 다른 것이 아니다. 기업의 업에 맞는 비즈니스 모델을 잘 고민하고, 작게 시작하고, 빠르게 검증하자.

두번째로, 빅데이터 비즈니스와 시스템의 구축과 운영에 필요한 자원(예산, 인력, 장비 등)이 조직 간의 알력이나 주도권 다툼으로 적절하게 공급되지 못 하는 일이 없도록 전사적인 협력 체제와 협의체를 구성하자. 그리고, 이런 전사 협의체에서 반드시 빅데이터 비즈니스와 시스템에 필요한 자원에 대한 경영진의 책임감 있는 의사 결정과 지원이 보장되도록 시스템을 구성하자.

필자가 빅데이터 신사업 추진을 위해 전사적인 협력 체제와 경영진 수준에서의 의사 결정과 지원을 강조하는 것은 LHC 및 LCG실험을 참여하면서 얻었던 통찰 때문이기도 하지만, 이후 근무했던 기업과 조직, 그리고 다양한 고객의 상황을 지켜본 필자의 경험에 따른 것이기도 하다.

대부분 기업의 경우, 아무래도 기술 조직보다는 재무 조직이 정치적으로 우위에 있거나 힘이 있는 경우가 많아서, 신사업 추진에서의 기술적인 요구 사항과 필요성에 대한 고려보다는 회사 경영상 당장의 필요에 의해 재무 부서의 의견에 더 힘이 실리는 경우가 많다. 이는 회사라는 조직의 속성상 어쩔 수 없기는 하나, 빅데이터 비즈니스와 같이 신사업을 추진할 때에는 신사업 조직의 발목을 잡게 되는 일이기도 하다.

빅데이터 비즈니스가 실제 수익을 내는 비즈니스로 운영되기 위해 가장 중요한 것 중의 하나가 비즈니스 모델을 떠받치는 중요한 한 축인 빅데이터 비즈니스 정보 시스템과 인프라인데, 이들 빅데이터 비즈니스 정보 시스템과 인프라를 설계, 구축하고 운영하는 일에서는 기술적인 요구 사항과 전문성이 많이 필요하다. 기술적인 전문성을 가지고 검토해야 할 일이 일방적으로 재무적인 관점에서만 검토되어 기술적으로 꼭 해야 할 일을 하지 못해 빅데이터 비즈니스가 제대로 지원되지 못하면 결국은 투자한 자원을 제대로 회수하지 못하고 빅데이터 비즈니스가 실패하게 될 것이다.

빅데이터 비즈니스도 결국 비즈니스이기 때문에 통상적인 기업의 핵심 경영 부서인 경영 전략 기획, 재무 부서와 같이 회사 자원을 관리, 운영하는 조직의 의견이 경영진에게 중요하게 받아들여질 수밖에 없다. 그러나, 이들 기업 경영에 영향력이 큰 조직이 기술적인 요구 사항과 기술적인 전문성을 가지고 검토, 추진되어야 할 일에 대해 지나친 영향력을 행사해서 빅데이터 비즈니스의 기민성과 확장성을 떨어뜨리는 의사 결정을 경영진이 하게 된다면 빅데이터 신사업의 성공률을 낮아질 수밖에 없다.

전통적인 기업의 핵심 부서인 경영 전략 기획, 재무 부서에서 제공하는 거시적인 전략 및 재무 자원에 대한 의견과 함께 빅데이터 비즈니스의 핵심 인프라인 빅데이터 정보 시스템과 인프라에 대한 기술적인 의견도 기업의 경영진이 균형 있게 듣고 의사결정하여 빅데이터 비즈니스를 가능하게 하는 정보 시스템과 인프라에 대한 기술 조직의 의견이 폄하되거나 무시되지 않도록 조심할 것을 필자는 권고한다.

현재 빅데이터 비즈니스로 유명세를 떨치고 있는 소위 GAFA, 즉 구글, 애플, 페이스북, 아마존과 함께, 넷플릭스와 같은 플랫폼 기업들의 창업자와 CEO들이 수학 또는 컴퓨터 과학, 엔지니어링에 정통한 사람들이라는 것은 중요한 시사점을 준다. 그만큼 이 CEO들은 기술적인 의견을 깊이 있게 이해하고 의사 결정에 활용할 수 있는 사람들이며, 그만큼의 관심과 의지를 가진 사람들이라는 것이다. 또한, 구글과 페이스북 같은 회사들은 엔지니어들의 의견을 중요하게 생각하고 존중하는 회사들이다.

이런 사례를 같이 생각해보면, 빅데이터 신사업을 추진하려는 기업의 경영진들은 주요 경영 핵심 부서의 의견과 함께 기술 및 IT 부서의 의견도 귀담아듣고, 빅데이터 신사업에 필요한 자원과 지원을 위해 전사적으로 이해관계를 원만하게 조율하고 실행할 수 있는 의지와 의사 결정 체계를 갖추는 것이 중요하다.

세번째로, 빅데이터 비즈니스의 성장과 수명 주기에 따른 확장성을 고려하여 기술 전담 조직과 재무 및 전사 자원 전담 조직 간의 정기적인 회의와 업무 조율, 그리고 밀접한 협업이 체계적으로 지원될 수 있도록 하자.

CERN과 LHC 실험 조직의 존재 이유는 핵입자물리학의 지식과 통찰을 추구하고 이를 통해 유럽 국가 간 평화로운 협력 관계와 통합을 이루는 것이다. 이러한 조직의 근본적인 존재 이유에 충실하게 핵입자물리학의 최신 지식을 밝혀내고 검증하기 위해 필요한 실험 장치의 건설과 운영, 데이터 분석과 연구 인프라의 요구 사항과 필요성을 우선적으로 고려하여 이를 위한 예산과 자원 확보를 항상 고려하게 된다. CERN이라는 조직의 임무에 맞게 예산을 확보하고 적절하게 집행하는 것이 우선이지, 예산에 맞추어 일을 재단하지는 않는 것이다.

물론, CERN도 국제기구라는 조직이고 현실적인 제약과 한계가 있어 조직 운영에 대한 의사 결정을 할 때 예산의 제약에 따른 의사 결정이 없다고는 말할 수 없다. 그러나, CERN을 이끄는 사무총장도 물리학자들이며, CERN 운영에 중요한 의사 결정을 하는 대부분의 의사 결정자들이 영향력 있는 과학자들이거나 과학 행정가들이기 때문에 CERN의 미션에 대한 깊은 이해와 공감을 가지고 있다. 이렇기 때문에 적어도 원칙적인 큰 틀에서는 CERN의 미션에 맞는 자원 확보와 투입에 대한 의사 결정이 이루어진다는 말이다. 즉, 예산에 맞추어 실험 계획 자체가 휘둘리지는 않는다.

대개의 기업의 경우 비즈니스 환경과 상황에 따라 조직의 자금 조달과 자원 활용성의 변화가 심하기 때문에, 아무리 기술적인 요구 사항과 의견이 중요하다고 하더라도 이를 실현, 구현하기 위해 필요한 자금 및 자원 조달 상황을 정기적으로 점검, 고려해서 실현해 나갈 수 있는 주도면밀함과 전사적인 협의 과정이 필요하다. 정기적으로 검토된 자원 확보 상황과 전망에 맞추어 달성가능한 기술적인 요구 사항과 마일스톤에 맞게 빅데이터 비즈니스 계획이 수립되게끔 전사적인 협의가 체계적으로 이루어지는 것이 좋다.

우리나라의 많은 SI 및 IT 기업의 경우 이런 체계적인 의사 결정 과정보다는 엔지니어들의 과다한 업무량과 희생으로 기술적인 문제를 해결하려는 경향이 많다. 빅데이터를 이용해 비즈니스를 개척하려는 기업들은 이런 관행은 개선하기 위해 노력할 것을 권고한다. 이렇게 주먹구구식으로 엔지니어들에게 어떻게든 해결해내라는 식으로 막무가내로 밀어붙이는 것은 빅데이터 비즈니스를 위해 필요한 기민성과 확장성을 체계적으로 확보하는데 결코 도움이 되지 않는다.

앞에서 언급했던 구글, 페이스북과 같은 빅데이터를 활용하는 플랫폼 서비스 기업들이 회사 구성원들의 일과 삶의 균형에 신경을 쓰고, 다양한 복지 혜택을 통해 일에 집중할 수 있는 환경을 제공하려 하며, 조직에서 일어나는 중간 관리자의 리더십 문제와 같은 많은 문제를 체계적인 데이터 수집과 분석, 연구를 통해 해결책을 찾으려고 하는 것은 빅데이터 비즈니스가 엔지니어들의 일방적인 희생으로 유지될 수 없음을 알기 때문이다.

빅데이터를 활용한 플랫폼 비즈니스와 같이 기술에 대한 전문적인 지식이 필요한 분야는 단순 반복적인 노동이 아닌 고도의 지적 노동이기 때문에 단순히 직원들이 일하는 시간만 늘리고 한 사람당 업무량만 늘린다고 해서 비즈니스 문제가 해결되지 않는다. 체계적인 시스템과 데이터에 근거한 합리적이고 객관적인 의사결정이 하나하나 쌓여 이루어지는 비즈니스 체계가 빅데이터 비즈니스의 기민성과 확장성을 높여주는 근간이 되는 것이다.

위 CERN의 LHC와 LCG 실험에서도 자원에 대한 의사 결정과 조율을 체계적으로 수행하기 위해 실험을 계획하고 준비하기 시작한 1990년대 중반부터 자원과 실험을 위한 기술적인 의견을 모두 듣고 의사결정할 수 있도록 기술 협력 위원회(Collaboration Board)와 자원 검토 위원회(Resource Review Board, LCG의 경우 Computing Resource Review Board, C-RRB)를 명시하였고, 이들 기술적인 의견 조율과 자원 의견 조율을 책임감 있게 수행할 기술 위원(Technical Coordinator, Physics Coordination, Technical Coordination, LCG의 경우 Architect Forum, Grid Deployment Board)과 자원 위원(Resource Coordinator, Resource Manager)를 조직도상에 명시하고 역할과 책임을 분명하게 하였다.

그리고 CERN에서는 보통 회계 분기에 맞추어 정기적으로 자원 검토 위원회(Resource Review Board)가 열린다. 이 자원 검토 위원회에서는 현재 확보되고 운영되고 있는 예산과 인력을 포함한 자원의 상황을 점검하고, LHC 및 LCG 프로젝트의 목표를 달성하는데 자원의 부족이 이슈가 되지 않는지 자원 조달에 책임이 있는 각 회원국의 예산 조달 기관(funding agency)의 행정관들과 실험의 주요 리더들이 모여 같이 이슈 해결 방안 및 앞으로의 계획을 논의한다. 이렇게 정기적으로 자원 운영과 활용에 대한 체계적인 의사 결정을 통해서 자원 부족으로 인한 LHC 및 LCG 프로젝트의 실패 위험 요인을 사전에 체계적으로 점검하고 대응했기 때문에 20여 년에 걸친 긴 기간에 이루어진 인류 최대의 기술적인 도전이었던 LHC 가속기와 LCG 컴퓨팅 인프라의 건설과 구축이 성공적으로 마무리될 수 있었다.

빅데이터 비즈니스가 일반 기업에서 성공하기 위해서는 단순히 기술과 인프라만 도입해서 되는 것이 아니라, 조직 차원에서의 체계적인 시스템과 지원이 중요하다는 점을 필자는 다시 한번 강조하고 싶다. 빅데이터 신사업을 기획하고 실행하려는 기업들은 위에서 필자가 권고한 내용을 빅데이터 신사업을 구체적으로 시작하기 전에 꼭 마음에 두고 기획과 계획을 하길 바란다.

[참고문헌]
[1] 김진철, “LHC에서 배우는 빅데이터와 machine learning 활용 방안”, 2016년 9월 28일, A CIO Conversation for Technology Leadership – Breakfast Roundtable 발표 자료
[2] The ATLAS Collaboration, “ATLAS Fact Sheet,” 2011. (https://cds.cern.ch/record/1457044/files/ATLAS%20fact%20sheet.pdf)
 

*김진철 박사는 1997년 한국과학기술원에서 물리학 학사, 1999년 포항공과대학교에서 인공신경망에 대한 연구로 석사 학위를, 2005년 레이저-플라즈마 가속기에 대한 연구로 박사 학위를 받았다. 2005년부터 유럽입자물리학연구소(CERN)의 LHC 데이터 그리드 구축, 개발에 참여, LHC 빅데이터 인프라를 위한 미들웨어 및 데이터 분석 기술을 연구하였다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성SDS를 거쳐 2013년부터 SK텔레콤에서 클라우드 컴퓨팅과 인공지능 기술을 연구하고 있다. 빅데이터와 인공지능 기술의 기업 활용 방안에 대해 최근 다수의 초청 강연 및 컨설팅을 수행하였다.ciokr@idg.co.kr

원문보기:
http://www.ciokorea.com/news/39986?page=0,2#csidx0a909fdc2320d4b874dba37486eb078