베타뉴스

Last Update : 2017.08.19 14:04
space
  | 이츠비매거진 | Apple 공식사이트    
현재위치 : Home > 모바일 > 칼럼/사설> 칼럼 > 본문읽기

ICT 기술로 철학의 모던 어프로치 - 빅데이터를 중심으로

 

크게보기 작게보기 프린트 신고하기 Translation : English Translation Simplified Chinese Translation Japanese Translation French Translation Russian Translation
2017-06-12 16:37:59
손병희 기자
(diana@yonsei.ac.kr)

《논어》에 박문약례(博文約禮)라는 4자성어가 <옹야>편에 나온다.

子曰: "君子博學於文, 約之以禮, 亦可以弗畔矣夫"
(자왈: "군자박학어문, 약지이례, 역가이불반의부")

박학어문(博学於文 [bóxuéyúwén])은 문헌을 통해 널리 배우고 익힌다는 뜻이며, 약지이례(约之以礼 [yuēzhīyǐlǐ])는 이렇게 익힌 것을 다시 예로써 요약한다는 뜻이다. 즉, 널리 배워야 올바른 박학이 되고, 박학해야만 요약이 가능하다.

안중근의사의 유묵에도 있는 이 생각은 IT 기술인 빅데이터에도 그대로 묻어있다.

주희(朱熹)에 의하면, 박문은 만물의 이치를 모두 알고자 하는 것으로 시서(詩書)·육례(六禮)를 이해하는 것만이 아니라, 사물의 도리를 이해하여 행위의 옳고 그름을 분별하는 것들도 포함한다고 했다. 이어 약례는 마음의 이치를 성찰하는 것으로 인식 대상을 지각하고, 지각한 경험을 다시 이성으로 판단한다고 풀이했다. 다만 지금의 모든 처리과정은 시스템이 담당하고 있어 정보의 데이터 형식에서부터 이성의 판단까지 아날로그로 하느냐, 디지털로 하느냐의 차이다. 그러니 옛 성인의 말씀처럼 데이테베이스를 구축할 때, 지식이라는 정형화 된 데이터뿐만 아니라 사물의 도리와 경험이라는 비정형화된 데이터도 탑재해야만 진정한 빅데이터가 된다. 이런 빅데이터를 통해 내가 원하는 서비스를 원할 때 받는 것이다.

ICT 기술로 철학의 모던 어프로치 - 빅데이터를 중심으로

바람난 감성공학자 손병희 (인하공업전문대학 교수)


빅데이터의 이용은 미래 변화에 대한 잠재적 성장과 그 가치에 중점을 두어야 한다. 빅데이터란 맥킨지사에서 '빅데이터를 일반적인 데이터베이스 소프트웨어가 수집, 저장, 관리, 분석할 수 있는 범위를 초과하는 대규모의 데이터'라 정의하였고, IDC (International Data Corporation)에서는 '다양한 데이터로 구성된 방대한 양의 데이터로부터 고속 캡처, 데이터 탐색 및 분석을 통해 경제적으로 필요한 가치를 추출할 수 있도록 디자인 된 차세대 기술과 아키텍처'라고 하였다.

즉 빅데이터는 정형화되거나 비정형화된 데이터들이 혼재되어 있고, 복잡하지만 신속하게 처리된 뒤 내가 원하는 서비스를 원할 때 받을 수 있어야 그 가치가 높다. 아무리 그 데이터가 최신 자료, 깊은 지식, 심지어 특급 비밀 정보일지라고 나에게 불필요한 것이라면 쓰레기에 불과하다. 그러기에 키워드 4가지를 꼽는다면 Volume (양), Velocity (속도), Variety (다양성), 그리고 Presonalization (개인화)이라고 본다. 따라서 시간이 지날수록 데이터 자체로서의 가치가 부각 되어 누가 데이터를 많이 보유하고 있느냐에 따라 그 힘은 지수곡선처럼 올라갈 수 밖에 없다. 시장조사업체 오범(Ovum)은 전 세계 빅데이터 시장이 2016년 17억 달러에서 2020년에는 94억 달러까지 성장할 것으로 전망했다. 다만 데이터의 통제 부분은 번외로 하자. 하루에 페이스북에 저장되는 사진 데이터만 보더라도 30PB가 넘는데, 이 양은 미국 국회도서관에 저장되어 있는 정보량의 3배다. 우리는 그야말로 정보의 바다에 떠 있는 것이다.

여기서 데이터의 수집부터 마지막 선정문제까지 지금과는 다른 차원으로 접근해야 한다. 사유를 통해 무언가 아는 것을 도와주는 장치가 인간의 감각이였다면, 이제는 센서 장치들로 대체된다. 인간의 감각은 때때로 잘못 인식되어 다른 정보를 주기도 하지만 기계 장치들이 인간에게 건네주는 감각적 정보는 너무 정밀하고 정확하다. 그렇기 때문에 인간이 체득하는 지식의 입력방식도 달라져야 한다.

빅데이터 분석과 기획의 프로세스에서는 수집 대상의 데이터를 많이 분석해 본 전문가의 의견도 반영해야 하고, 분석 목적에 맞는 데이터를 선정해야 한다. 그리고 데이터의 포맷을 확인하고, 시스템이 바로 처리할 수 있도록 정형화된 데이터든 비정형화된 데이터든 모두 구조화 된 형태인 디지털로 변환해야 한다. 이렇게 저장된 데이터는 빅데이터의 전처리와 후처리 과정을 거친 후 다양한 데이터 내에 숨겨진 패턴이나 알려지지 않은 특별하고 고유한 정보를 찾게 된다. 그리고 개인 정보나 가치 없는 데이터는 과감히 폐기하고, 데이터를 골고루 활용한 객관적인 분석을 통해 시각화 시킨 후 미래의 단기, 중기, 장기 전략을 아우르는 전망을 내놓는 수순를 밟으면 된다.

이 때 사용하는 프로그램은 분석 데이터를 시각화 한 언어 R 프로그램이며 시스템으로는 클라우드 컴퓨팅을 사용한다. 인터넷이 연결되어 있는 어떤 컴퓨터에서든 데이터와 어플리케이션의 사용이 가능하고, 데이터 모델링에서부터 마이닝까지 구현한다. 하지만 네트워크에 연결되지 않으면 모든 처리는 불가능하나 데이터를 여러 서버에 분산시키고 동시에 처리할 수 있는 기술이 등장하면서 이런 단점을 보완했다. 하나의 서버에서 고장이 발생하더라도 하둡이라는 분산 시스템은 아무런 문제없이 동작할 수 있도록 고장 복구 기능을 탑재했다. 하둡은 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술이다. 수천대로 분산된 장비에 대용량 파일을 저장하는 기능과 저장된 데이터를 분산된 서버의 CPU와 메모리를 이용하여 쉽고 빠르게 분석할 수 있는 맵리듀스라는 컴퓨팅 플랫폼이 그 핵심 기술이다. 페이스북도 하둡을 이용해 하루 30PB라는 어마어마한 량의 사진 데이터를 작은 데이터로 쪼개 처리하고, 약 2천 여개의 서버가 매 순간 데이터를 실시간으로 처리한다. 그렇기 때문에 페이스북 사용자가 사진을 쉽게 올리고 내려받으며, 다른 사람의 페이스북 사진을 클릭과 동시에 볼 수 있는 것이다. 하둡은 아파치 루씬 창시자인 더그 커팅이 만들었는데, 이렇게 빅데이터 처리 부분에서 주도적 역할을 하는 이유는 모든 소스를 공개했기 때문이다. 그리고 무엇보다도 사용하기 쉽고 편하다. 이름이 ‘하둡’인 것은 커팅의 딸이 가지도 놀던 봉제인형의 이름이란다.

子曰: "質勝文則野, 文勝質則史. 文質彬彬, 然後君子."
(자왈: "질승문즉야, 문승질즉사. 문질빈빈, 연후군자.")

공자께서 말씀하셨다. "실질적인 내용이 겉모양보다 뛰어나면 너무 투박하고, 겉모양이 실질적인 내용보다 뛰어나면 너무 부화하다. 문채와 실질이 적절히 조화된 뒤라야 비로소 군자답다."

정리하면 빅데이터 관련 기술은 실질적인 내용인 데이터의 수집/저장/관리부터 문채와 같은 데이터의 처리, 분석, 그리고 시각화 표현까지 조화를 잘 이뤄야 한다. 이래야 우리가 이야기하는 인공지능까지 연결해서 딥러닝이나 머쉰러닝에도 활용할 수 있는 것이다. 동작 중인 데이터를 분석하는 것은 사실 새로운 기술이 아니다. 이벤트 프로세싱 프로그램이 처음 등장한 것이 20년 전의 일이 말이다. 그러나 오픈 소스 기술과 확장형 인프라스트럭처에 실시간 스트리밍을 해서 접근하는 부분은 고도화 시켜야할 부분이다. 또 다양하게 변하고 있는 여러 환경 요인에 이것을 어떻게 적응해야 하는 지는 지금의 숙제다. 특히 IoT에 대응할 수 있는 실시간 감지, 분석, 그리고 애플리케이션 스트리밍에도 관심을 쏟아야 한다.

 

[바람난 감성공학자 손병희]

손병희 인하공업전문대학 교수는 <유비쿼터스 개론-개념과 기술>, <임베디드 기술>, <공대생을 위한 전공영어>, 그리고 <컴퓨팅 크리에이터 – ICT 기술아이디어 만들기> 등 다수의 저서를 저술한 바 있다. 관심분야는 미래교육과 융합기술이다.




기사공유
트위터 페이스북 미투데이 구글



목록보기

글쓰기, 수정, 삭제는 로그인을 하셔야 합니다

모바일 - 칼럼/사설 목록 보기

로그인

자동로그인


인기 PHOTO

  • 애플, 새로운 맥OS와 성능 높인 아이맥 프로 발표

  • SKB센터협의회, 위협 아닌 진심 담긴 해법 원한다

  • 사물인터넷(IoT), 내 생활을 어떻게 바꿀까?

  • 최신 디스플레이, OLED vs QLED







ㆍ(주)베타뉴스 ㆍ제호 : 베타뉴스 ㆍ발행일 : 2002년 2월 5일 ㆍ등록번호 : 서울아00247 ㆍ등록일 : 2006년 9월 8일 ㆍ발행인 겸 편집인 : 이직
ㆍ주소 : 04316 서울시 용산구 원효로 237 화전빌딩 3층 (주)베타뉴스 ㆍ대표이사 : 이직 ㆍ보도자료 : press@betanews.net ㆍ청소년보호책임자 : 박미선
ㆍ사업자번호 : 106-86-07377 ㆍ통신판매업 신고 : 용산 제00314호 ㆍ전화 : 02-3211-3040 ~1 ㆍFAX : 02-714-3042 ㆍ문의메일 : leejik@betanews.net

ㆍ저작권안내 : (주)베타뉴스의 모든 컨텐츠(기사)는 저작권법에 보호를 받습니다. , 회원들이 작성한 게시물의 권리는 해당 저작권자에게 있습니다.
   타인의 저작물을 무단으로 게시, 판매, 대여 또는 상업적 이용시 손해배상의 책임과 처벌을 받을 수 있으며, 이에 대해 책임을 지지 않습니다.