Home

지난 10년간 인공지능(AI)과 머신러닝(ML)은 우리의 일상에 큰 변화를 가져왔습니다. 자율 주행 및 주차 기능(Tesla), 시간대별 영화 추천(Netflix)처럼, 다양한 기술이 가능해진 배경에는 딥러닝 기술의 발전이 있습니다. 지능형 알고리즘이 방대한 데이터를 바탕으로 패턴을 학습하고 해석하면서, 이러한 혁신이 현실이 되었습니다. 하지만 AI 기술이 이미 많은 산업과 일상에 영향을 미치고 있음에도 불구하고, 여전히 AI와 ML의 도입이 더딘 산업들도 존재합니다.

모든 산업이 AI의 혜택을 받지 못하는 이유는?

AI가 여러 분야를 변화시키고 있음에도, 2020년까지 일부 산업에 적용되지 못한 데에는 다음과 같은 세 가지 이유가 있습니다.

전문 인재 부족

AI 솔루션을 설계하고 구현할 수 있는 인재들이 대부분 IT 업계에 집중되어, 다른 산업에서는 인력 부족 현상이 발생하고 있습니다.

보수적인 경영 문화

일부 산업에서는 전통적인 경영 방식이 여전히 강하게 작용하고 있어, R&D에 추가적인 자금과 인력을 투자하는 데에 어려움이 따릅니다.

‘스몰 데이터’ 문제

무엇보다 중요한 이유는, 대부분의 산업에서는 AI 모델을 훈련시키기에 충분한 양의 데이터가 존재하지 않는다는 점입니다. 많은 AI 기술이 방대한 데이터를 바탕으로 정교한 관계를 학습하는 딥러닝 기반으로 발전해왔지만, 원천 데이터가 너무 적은 산업에서는 이 기술이 적용되기 어렵습니다.

대부분의 AI 발전은 방대한 데이터를 기반으로 더 깊은 관계를 학습하며 높은 정확도를 끌어올리는 딥러닝 기술에서 이루어졌습니다. 대표적인 예로 GPT-3가 있습니다. 하지만 많은 산업은 구조적으로 확보 가능한 데이터 자체가 매우 적어, AI의 이점을 누리지 못하고 있습니다.

관련 트윗: Andrew Ng의 스몰 데이터에 대한 의견 보기

대표적인 예: 소재 개발 분야

이 문제는 특히 소재 포뮬레이션 및 개발 분야에서 두드러집니다. 실험 데이터가 많지 않고, 실험 방식도 체계적이지 않아 데이터화가 잘 되어 있지 않으며, 실험 자체가 처음 시도되는 경우도 많기 때문입니다.

이러한 환경에서는 연구원들이 원하는 결과를 얻기 위해 처음부터 시행착오를 반복할 수밖에 없습니다. 이 과정에서 시간과 자원, 비용이 비효율적으로 소모되며, 경쟁사보다 뒤처질 위험도 커집니다.

'소량의 데이터' 문제는 특히 소재 연구개발(R&D) 분야에서 두드러집니다.

이 분야의 실험 데이터는 보통 소규모이며, 실험이 효율적으로 기록되지 않거나, 처음 시도되는 실험이 많아 기존 데이터가 존재하지 않는 경우도 많습니다. (참고 논문)

신소재를 개발할 때, 연구원들은 특정 성능 조건을 만족시키기 위해 반복적인 시행착오를 겪습니다. 이 과정에서 시간과 자원, 제품이 낭비되며, 경쟁사가 더 빠르게 제품을 출시할 기회를 제공하는 셈이 됩니다.

그렇다면 '스몰 데이터'를 잘 활용하는 방법은 없을까요?

컴퓨터 비전 분야에서는 적은 데이터로도 높은 성능을 내는 전이 학습(Transfer Learning) 기법이 사용되기도 합니다.

예: 관련 논문 보기

하지만 이 방식은 주로 이미지 데이터에 특화되어 있고, 소재 개발처럼 복잡한 도메인에는 적용이 어려운 경우가 많습니다.

결국, 적은 양의 데이터에서 의미 있는 정보를 추출할 수 있는 도메인 특화형 AI가 필요합니다. 이런 AI는 핵심적인 현장 지식을 바탕으로 작동하며, 빠른 신제품 개발과 연구를 가능하게 만들어야 합니다. 이로 인해 개발 시간 단축, 환경 부담 완화, 비용 절감, 그리고 경쟁력 확보라는 효과를 기대할 수 있습니다.