▲빅데이터는 사회적 기업가 정신에도 큰 영향을 미친다(사진=ⓒ셔터스톡)

오늘날 완벽한 자료를 찾기 어렵다고 생각한다면 10~20년 전에는 과연 어땠을지 상상해보라. 과거에는 자료를 모으고 정리하기가 지금보다 훨씬 더 어려웠을 것. 오늘날에는 불과 몇 대의 컴퓨터나 전자기기만으로 검색 엔진을 통해 원하는 정보를 쉽게 얻을 수 있고, 자료 수집에 필요한 책도 전자 파일로 볼 수 있다.

모든 것의 본질에 있어 책은 자료를 찾아내는 데 필요한 최적의 도구다. 그러나 책에서 원하는 정보를 빨리 찾아내기란 쉬운 일이 아니다. 또 책을 찾았다고 해도 책 안에 꼭 필요한 정보가 포함됐다는 보장은 없다. 도서관에서 6~7시간을 보내도 원하는 자료를 얻지 못하는 경우가 허다하다.

그런데 인터넷이 탄생하면서 이런 과정이 훨씬 빨라지고 쉬워졌다. 사람들은 빅데이터 기반 검색 엔진을 통해 원하는 정보를 찾는다.

사회적 기업가 정신의 부상

시간이 지나면서 빅데이터 기술의 기능은 검색 엔진에만 국한되지 않게 됐다. 빅데이터는 여러 분야로 이동했으며 현재는 마케팅, 비즈니스 인텔리전스, 연구 등 다양한 분야에서 활용되고 있다. 인도의 한 지역에서는 빅데이터 기반 모바일 앱 나판타(NaPanta)가 농부들의 삶을 변화시키고 있다.

인도 텔랑가나의 한 작은 마을에 살던 빚쟁이 농부가 킥스타터를 통해 자금을 모아 나판타를 만들었다.

이 앱을 사용하면 농부들은 소모 비용을 20% 줄이고 생산성과 효율성을 높일 수 있다. 또 수확량은 10%가량 높아진다. 나판타 앱은 농산물에 가장 높은 가격을 매기는 시장을 찾아내고 경작하기에 가장 좋은 작물을 찾아내며 날씨가 시장 가격에 어떤 영향을 미칠지 분석한다. 또 농부가 온라인 커뮤니티를 통해 통신할 수 있도록 도우며 디지털 또는 전자 상거래 플랫폼으로도 작용한다.

결론적으로 이 앱은 빅데이터 아키텍처를 기반으로 한 편리한 농업 도구다. 단순한 도구일 뿐만 아니라, 농부들이 전자 상거래 기능을 이용해 농산물을 직접 판매할 수 있도록 돕는 앱이다.

가장 좋은 점은 이 앱이 무료로 제공된다는 것이다. 나판타를 사용하는 지역 농부들의 수는 점차 늘고 있다.

이처럼 인터넷은 사물인터넷(IoT)이나 소셜미디어 등과 더불어 사회적 기업가 정신까지 부여했다. 빅데이터를 사용하는 온라인 서비스가 점점 늘고 있는 것도 놀랄 일은 아니다. 나판타와 유사한 앱이 있으면 사람들이 온라인에서 편하게 할 수 있는 일이 더 많아진다. 모두 빅데이터 관리 시스템 개발 덕분이다.

결과 예측

빅데이터의 장점은 정보와 사회적 기업가 정신을 위한 대량의 데이터를 관리하는 것뿐만이 아니다. 빅데이터는 전 세계에 큰 영향을 미칠 사건을 예측할 수 있다. 예를 들어 영국과 북아일랜드의 브렉시트 결정, 미국 선거에서 도널드 트럼프의 당선 등을 예측할 수 있다.

대통령 선거 같은 기념비적인 사건이 발생하기 전에는 각 여론 기관에서 설문 조사를 실시하는 것이 관습이었다. 그런데 세계가 점점 더 디지털화됨에 따라 빅데이터 도구를 이용한 설문 조사에 대해서도 논의되고 있다. 물론 빅데이터 예측이 틀릴 수도 있다. 그러나 빅데이터로 결과를 예측하는 것은 가치 있는 일이다.

2016년 그리피스대학의 벨라 스탠틱은 미국에서 실시한 조사에서 한 주를 제외한 모든 주의 결과를 정확하게 예측했다. 같은 해에 스탠틱은 영국의 브렉시트 결정도 예측했다. 이때 스탠틱은 200만 개 소셜미디어 댓글 등을 분석했다. 호주의 선거에서도 스콧 모리슨의 승리를 예측하기도 했다.

사실 여러 기관에서 실시한 여론 조사 결과에서는 호주 노동당이 우세할 것이라는 의견이 지배적이었다. 그러나 스탠틱은 그렇게 생각하지 않았다. 그는 모리슨의 페이스북 페이지가 당시 경쟁자이던 빌 쇼튼보다 25%나 더 많은 상호 작용을 보인다고 언급했다.

▲소셜미디어를 통한 설문 조사는 매우 정확한 편이다(사진=ⓒ셔터스톡)

스탠틱은 사람들이 소셜미디어를 매우 익숙하고 편안하다고 생각하기에 진실을 말할 가능성이 높고, 이에 따라 설문 조사 결과도 정확한 편이라고 말했다. 또 사람들은 자신과 친하거나 가까운 사람들과 함께 있을 때 더 정직한 발언을 하는데, 소셜미디어는 보통 가족 및 친구들과 소통하는 공간이기 때문에 솔직하다는 것이다.

결국 호주 선거에서 모리슨이 승리하고 총리로 당선되자 스탠틱의 가정이 옳았다는 것이 다시 한 번 입증됐다. 그리피스대학 빅데이터와 스마트 애널리틱스 연구소는 이후에도 다양한 조사를 실시했다.

스탠틱은 빅데이터 기술과 소셜 미디어 조사를 사용하면 선거 결과를 비교적 정확하게 예측할 수 있을 것이라고 말했다. 그리고 이는 빅데이터 기술의 신뢰도가 매우 높다는 것을 보여준다.