[HRD 칼럼]빅데이터 경영, 글로벌 경쟁을 위한 필수 아이템

2020-10-14


문제해결을 위한 새로운 패러다임이 등장하다.

오늘날 컴퓨터로 이메일을 보내고 카카오톡으로 친구와 대화하며 심지어 금융거래 같은 매우 중요한 일도 모바일로 할 수 있게 된 것은 바람처럼 살다간 실리콘 밸리의 컴퓨터 과학자 “짐 그레이”에 힘입은 바가 크다. “짐 그레이”는 젊은 시절부터 IBM, 탠덤, DEC에 근무하며 데이터베이스, 트랜잭션 이론을 정립하여 컴퓨터를 활용한 온라인 거래를 가능하게 하는데 큰 기여를 하였다. 오늘날 실리콘밸리로 상징되는 IT(Information Technology) 혁명의 주역 중 한 사람이었다.


사람이 일생을 통하여 한 번의 역사적 대변혁에 기여하기도 힘든 법인데 “짐 그레이”는 정보화 시대의 이론적 토대를 제공한 영웅이었을 뿐만 아니라 빅데이터 혁명이라는 DT(Data Technology)시대의 서막을 열었던 주역이기도 하다. “짐 그레이”는 90년대 중반 IT전문가로서 현역을 은퇴한 후 빌 게이츠의 제안을 받아들여 MS 연구소에서 인류를 위한 새로운 과학연구에 몰두하였다. 그리고 세월이 흘러 21세기 막 시작될 무렵, 그 연구의 결과로 놀라운 비전을 제시하였다. 그것은 바로 “과학연구에 있어서 제4차 패러다임”에 관한 통찰이었다. 과학자도 아닌 IT 전문가 출신이었던 “짐 그레이”는 과학연구방법론에 새로운 패러다임이 다가오고 있음을 예견하였고 그것은 바로 빅데이터 분석을 통한 새로운 과학의 시대가 온다는 것이었다.


새로운 밀레니엄의 시대가 막 시작될 무렵인 당시에 소위 지금 빅데이터라고 불리는 대용량 데이터가 존재하고 있었던 분야는 많지 않았다. 그 몇 안 되는 영역 중 한 분야가 바로 천문학이었다. “짐 그레이”는 천문학 분야에서 기존 과학이론으로 설명되지 않는 많은 천문현상이 있음을 지적하였다. 그리고 이를 분석하고 예측하기 위해서는 빅데이터 분석을 통한 방법이 가장 효율적인 해결책이라고 주장하며 이것이 미래의 새로운 과학 방법으로 자리매김 할 것이라고 예견하였다.


“짐 그레이”에 의하면 역사적으로 과학연구의 첫 번째 패러다임은 르네상스가 시작되었던 갈릴레오와 티코 브라헤의 실증적 천문데이터 수집 시기였고, 두 번째 패러다임은 케플러와 뉴턴의 이론과학 시기였으며, 세 번째는 현대적 컴퓨터를 활용한 시뮬레이션 과학연구방법론 시기로 변화해 왔다. 그런데 이러한 접근 방법으로 아직 설명과 예측이 되지 않는 많은 천문현상이 존재하고 있고, “짐 그레이”는 이를 해결하기 위해서 당시 천문학 분야에 쌓이고 있던 대용량 데이터 활용하는 방법인 빅데이터 분석을 통한 과학 연구방법론을 주창했다. 즉 과학연구에 있어서 네 번째 패러다임의 도래를 예측했던 것이다. 아직 빅데이터라는 말이 존재하기 이전, 20년 전 무렵의 일이었으니 지금 돌이켜보면 얼마나 시대를 앞서간 탁월한 통찰이었는지를 알 수 있다.


어찌 과학 분야 뿐이겠는가?

20여 년이 지난 지금은 천문학뿐만 아니라 IoT 센서의 발달, 모바일 기기의 범용화, SNS의 활성화, 클라우드 컴퓨팅의 등장 등으로 이제는 거의 모든 영역에 빅데이터가 쌓여가고 있다. 그렇다면 일찍이 천문학에서 빅데이터의 존재가 새로운 과학 방법론이 이어진 것처럼 이제는 모든 분야에서 빅데이터가 쌓여가고 있음으로 제조 현장, 유통, 기업, 도시, 국가 등 거의 모든 영역에서 문제발견과 최적화 그리고 의사결정에 이르기까지 새로운 빅데이터 접근 방법이 필수적인 요소가 되는 것이다. 이러한 현상에 대해서 2016년 다보스 포럼의 클라우스 슈밥 의장은 제4차 산업혁명이라고 명명하여 인류에게 새로운 혁명적 시기가 도래했음을 선언한 바 있다.


의사결정을 최적화하는 빅데이터 활용

빅데이터 혁명 이전 20세기를 관통하여 데이터 분석을 다루던 주된 분야는 통계학이었다.

100년 전 영국의 “로날드 피셔”에 의해서 본격적으로 발전된 통계학은 전수 데이터 분석은 현실적으로 불가능하다는 가정하에서 출발한다. 그래서 모집단으로부터 표본을 추출하여 가장 합리적인 추정을 통하여 문제를 발견하고 예측하는 일을 해 왔다. 예를 들면 반도체 장비에서 발생하는 엄청난 품질 관련 데이터를 모두 분석할 수 없었기 때문에 샘플링을 통하여 일부를 추출하고 통계적 추정을 통하여 품질 검사를 진행했다. 그러나 최근 빅데이터 시대를 가능하게 한 기술인 GPU(Graphic Processing Unit)를 활용하여 반도체 생산장비 자체에 부착된 컴퓨터에서 전수 데이터처리 즉 빅데이터 분석이 가능해지고 있다.


표본 추출에 의한 방법은 어쩔 수 없이 각 단계별로 사람에 의한 추정과 판단이 존재할 수밖에 없지만, 기계장비에서 발생하는 전체 데이터를 처리하는 빅데이터 분석은 사람에 의한 추정적 판단이 개입할 여지가 현저히 줄어들게 된다. 이러한 방식을 엣지 컴퓨팅이라고 하는데 반도체 장비에 밀착된 컴퓨터에서 전체 데이터 분석을 진행하고 그 결과를 클라우드로 통합하여 언제 어디서나 그 결과를 공유할 수 있게 된다. 빅데이터를 활용하는 엣지 컴퓨팅과 클라우드 컴퓨팅은 모든 조직에서 의사결정 프로세스의 최적화를 가능하게 하여 조직의 양태와 운영원리에 혁명적 변화를 가져올 것이다.


빅데이터 시대의 핵심 역량 “데이터 리터러시”

13세기 전 세계를 정복했던 몽골 기병의 위대한 역량은 달리는 말 위에서 허리를 돌려 후방으로 화살을 날릴 수 있는 능력이었다고 한다. 오늘날에는 스포츠에서의 기예로 의미 있는 역량이지만 당시에는 세계를 정복할 수 있었던 첨단 하이테크였던 것이다. 이처럼 시대에 따라 글로벌 경쟁력을 좌우하는 역량은 변화한다.

가까운 예를 들어보면 말단 사원으로 입사하여 기술 명장의 반열에 오른 대우중공업의 김규환 명장의 이야기는 늘 감동을 주는 이야기다. 말단 사원 시절 김규환 명장은 정밀기계의 품질 문제를 개선하기 위해서 3년 동안 공장 바닥에 모포를 깔고 숙식하며 10분에 한 번씩 온도와 금속 팽창과의 관계 데이터를 수집하였다고 한다. 이러한 초인적 노력으로 수집한 데이터를 토대로 정밀기계 분야의 엄청난 품질향상을 가져왔다고 한다. 그런데 이제는 4차 산업혁명시대, 빅데이터 혁명의 시대이다. 반도체 제조라인의 장비에서 발생하는 데이터는 1초에 1,000개가 넘는다. 아무리 숙련된 전문가일지라도 사람의 능력으로는 1초의 1,000개 남는 데이터를 식별해서 기록할 수도 없고 판단할 수도 없다.


빅데이터 시대에는 초인적인 집념과 열정으로 데이터를 수집해 온 전문가가 없어도 스마트한 IoT 센서가 너무 쉽게 데이터를 수집해 준다. 그렇다, 지금 이 시대에 새롭게 필요한 역량은 데이터를 분석하여 숨겨진 의미를 파악해 내고 목적에 맞게 활용할 수 있는 “데이터 리터러시” 역량이다. 기업과 사회 전반에 넘쳐나고 있는 빅데이터를 잘 활용하고 연결시켜 새로운 인사이트를 얻어 낼 수 있는 “데이터 리터러시”가 개인과 기업 모두에게 필요한 시점이다. 13세기 몽골 기병의 활쏘기 능력이 세계정복을 가능하게 한 첨단의 하이테크였다면 4차 산업혁명시대 글로벌 경쟁력을 갖기 위해 필요한 역량은 빅데이터 분석하여 기업과 사회 문제해결에 잘 활용하는 “데이터 리터러시”인 것이다.


오픈소스 활용과 오픈이노베이션

최근 빅데이터 분석 툴로서 가장 주목받는 소프트웨어는 단연 R과 파이썬이다. R과 파이썬은 모든 90년대 초반에 만들어진 무료 소프트웨어로서 불과 10년 전까지만 해도 엑셀이나 SPSS 같은 훌륭한 상용 소프트웨어를 보조하는 역할에 불과했지만, 지금은 대기업과 공공기관에서도 앞 다투어 도입을 검토하고 있고 직원들의 빅데이터 교육에 활용하고 있다. R과 파이썬은 상용 소프트웨어 달리 책임지고 개발하는 회사가 없으며 개발자들의 커뮤니티를 중심으로 개발되는 소위 말하는 오픈소스 소프트웨어이다. 오늘 저녁 인터넷 게시판에 필요한 기능을 요청하면 다음 날 아프리카에 있는 어떤 개발자가 재능기부로 개발해 주고 내일 어떤 추가적인 요청을 하면 칠레에 있는 어떤 개발자가 올려주는 방식으로 유지된다.


과거에는 가격이 저렴하다는 점이 강점이었지만 지금은 기능의 다양함과 효율성이 오히려 기존 상용 툴을 능가하고 있기에 빅데이터 시대의 필수적인 툴이 되고 있는 것이다. 놀랍게도 Microsoft, IBM 같은 거대 소프트웨어 회사를 제치고 이러한 오픈소스 소프트웨어가 빅데이터, 인공지능 시대를 주도하고 있다는 것은 시사하는 바가 매우 크다.


무엇이든 연결되어 가고 있는 초연결의 시대에 나 혼자만으로는 경쟁력을 유지할 수 없고 외부의 자원을 잘 끌어다가 융합하는 오픈소스 생태계가 매우 중요해 지고 있다. 특히 빅데이터 활용은 외부에 흩어진 데이터를 잘 엮어서 분석했을 때 전문가도 알 수 없었던 새로운 통찰을 얻을 수 있다. 빅데이터 시대에는 오픈소스 생태계를 잘 이해하고 활용하는 것이 곧 개인과 기업이 오픈이노베이션을 하는 가장 좋은 방법이라고 말할 수 있다.


오픈소스를 활용한 빅데이터 분석은 아이언맨 수트를 입는 것과 같다.

R과 파이썬은 필요한 기능이 패키지라는 단위로 인터넷 리파지토리에 저장되어 있어 필요한 때 언제든지 무료로 다운로드해서 쓸 수 있게 되어 있고 심지어 수많은 공공데이터도 다양한 방법으로 쉽게 끌어다가 쓸 수 있다. 또한 각종 코딩 샘플도 인터넷에 쉽게 공유되어 있어서 Copy & Paste 방식으로 목적에 맞게 조립하여 쓸 수 있다. CPU나 Memory 같은 어려운 컴퓨터 지식이 없어도 나의 업무에 대한 정확한 논리적인 지식만 있으면 쉽게 데이터 분석과 코딩을 할 수 있어서 이제는 전산요원이 아니어도 누구나 R과 파이썬으로 자신의 데이터를 분석하고 디지털화 할 수 있는 시대가 되고 있는 것이다. 내 자리에 앉아서 전 세계 사람들의 훌륭한 아이디어와 무한한 능력을 쉽게 빌릴 수 있다면 이것은 토니 스타크가 아이언맨 수트를 입고 능력을 극대화하는 것과 비슷하다. 어찌 흥분되지 않을 수 있겠는가.


조직문화로서의 데이터 리터러시가 필요

무한 글로벌 경쟁의 시대가 펼쳐지고 있는 이러한 빅데이터 활용은 거의 모든 분야에서 개인과 기업에게 새로운 의사결정방식을 가져 올 것이며 조직의 운영원리 또한 변화할 것이다. 오픈소스를 활용하는 빅데이터로 무장한 개인과 기업은 몽골기병처럼 글로벌 시장에서 경쟁력을 가질 수 있겠지만 그렇지 못한 개인과 기업은 이 새로운 시대에 뒤쳐질 수밖에 없다. 그렇다면 지금 당장 개인과 기업은 무엇을 해야 하는가? 데이터 리터러시는 시스템의 도입만으로는 이뤄질 수 없고 전체 구성원들의 문화로서 자리 잡아야만 한다. 그래서 개인과 조직의 데이터 리터러시 역량을 키우기 위한 다양한 교육이 필요하고 이것이 조직문화로서 자리 잡는 노력이 절대적으로 필요한 시점이다.


■ 성균관대학교 경영학과 겸임교수 권건우






블로그