NPU에 대한 고찰, 이도 저도 아닌걸 굳이?

1. 서론

 

혹시 여러분들은 인텔 cpu가 탑제된 노트북 상품정보를 본 경험이 있는가?

125h같은 울트라 라인업에는 항상 들어가는 말이 있다.

 

'인텔 AI Boost, 인텔 최초 AI 전용 엔진 탑재'

'통합 NPU는 AI영역을 더 빠르게 처리한다.'

'원활한 AI 퍼포먼스'

 

위 카피들은 LG 그램과 삼성전자 갤럭시북의 상품 상세정보에서 가져온 문구들이다.

 

필자가 생각하는 NPU에 대한 생각을 공유하고싶어 이 글을 작성한다.

 

 

2. 모바일 용 CPU에 탑재되는 NPU

 

말을 이어가기 전에 먼저 할 말이 있다.

1. 필자는 반도체 관련 전공자가 아니다.
2. ~한다고 생각한다, ~라고 본다등으로 끝날때는 필자 개인의 의견이지만, ~이다등으로 끝날때는 의견이 아닌 사실임을 알아달라.
3. 필자가 말할 내용은 금융시장등에서 말하는 신문사등에서 말하는 두루뭉실한 정보가 아니다.

 

 

NPU, Nerual Processing Unit의 줄임말로 우리말로 풀어쓰면 신경망 처리장치라고 부를 수 있다.

NPU에 대한 이야기를 더 이어가기전에, 딥러닝과 GPU의 상관관계에 대해 아주 짧게 언급하고 가겠다.

 

GPU는 CPU와 다르게 행렬곱셈같은 무식한, 많은 작업에 특화되어있다.

그러기에 LLM기반 서비스를 하는 업체에서는 엔비디아의 H100같은 가속기를 구매하여, 학습하는데 이용한다.

 

다시 돌아와서 NPU는 일반 CPU와 다르게 행렬곱셈이나 비선형함수 계산같이 AI에 쓰이는 연산만 전용으로 처리할 수 있는 칩이라고 말할 수 있다.

 

이에 따라 일반 사용자들이라면, 완성 PC 제조회사나 인텔, AMD, 퀄컴에서 홍보하는 NPU가 탑재된 제품을 구매하면, 내 기기에서 AI기능을 더 효율적으로 강력하게 사용할 수 있을 것이라고 기대할 것이라고 생각한다.

 

하지만, 반은 맞고 반은 틀렸다.

 

물론 NPU는 비교적 저전력으로 GPU보다 못하지만 CPU보다는 빠르게 AI관련 연산을 수행할 수는 있다.
하지만 이 NPU를 사용하는 활용처가 무엇이라고 생각하는가?

 

윈도우 코파일럿? NPU를 사용하지 않는다. MS 자체 API로 작동된다.

스테이블 디퓨전? NPU로 처리하라고 나온 모델이 아니다.

ChatGPT? API로 작동된다.

오피스 코파일럿? API로 작동된다.

어도비 포토샵에 생성형 AI? API로 작동된다.

 

그 어디에서도 NPU가 관여할 일이 없다.

 

아직 데스크톱상에 관련 프로그램이 있는지 없는지 필자가 잘 모르기에 모바일에 비유를 또 하자면

 

번역? 삼성전자가 그렇게 홍보하는 오프라인 번역은 파파고에서 이미 지원했던 기능이다. NPU의 개입이 필요없다.

생성? 인터넷 연결이 끊기면 작동하지 않는다. 즉 API로 작동된다.

이미지 인식? 만약 개, 고양이를 인식한다고 한들, 내장된 모델에는 눈 앞에 있는 음료에 관한 정보가 담겨있지 않다. 구글 이미지서치의 개입이 필수적이다. 즉 API로 작동된다.

 

그 어디에서도 NPU를 사용할만한 껀덕지가 없다는것이다.

 

그런데도 인텔과 제조업체는 NPU가 효율적이라고 홍보하고, AMD와 퀄컴도 이에 끼어들고 있다.

모두들 이구동성으로 AI, NPU, 퍼포먼스, 효율등을 언급하면서 NPU가 탑재된 제품이 뛰어나다고 홍보하고 있다.

 

필자가 보기에는 당장 상용 불가능한 폐기불가능한 짐덩어리로밖에 보이지 않는데 말이다.

 

 

3. 조금 긴 여담

 

메타버스라는 말을 들어본 적이 있는가?

없다고 하면 거짓말일 것이다. 정부에서까지 그렇게 떠들던 메타버스이고, 페이스북은 사명을 메타로 변경할 정도였으니.

 

메타버스의 정의를 논하고 싶진 않다.

단순히 사회에서 말하는 속칭 '메타버스 플랫폼'을 나열하며 말을 이어가고싶다.

 

VRChat이 메타버스라고 한다.

단순히 캐릭터를 만들어서 가상세계에서 타인과 상호작용할 뿐이다.

제페토가 메타버스라고 한다.

이것또한 캐릭터를 만들어 가상세계에서 타인과 상호작용할 뿐이다.

게더타운이 메타버스라고 한다.

위와 같다.

마인크래프트가 메타버스라고 한다.

 

필자는 메타버스라는 단어가 사회적으로 대두될 때, 세상이 이상하게 돌아간다고 생각했다.

영남대학교는 마인크래프트 내 캠퍼스를 만들어서, 운영한다고 할 정도이니 말이다.

 

위에서 나열한 것들은 모두, 개인의 캐릭터를 만들어서 가상세계 속에서 타인과 상호작용하는 플랫폼이다.

뭔가 이상하지 않은가?

1996년 출시한 바람의 나라를 생각해보자.

가상세계, 개인의 캐릭터, 타인과 상호작용.

지금 온라인 게임에 게임의 성격만 제거해두고 메타버스라고 부르고 있는게 지금 21세기이다.

이제는 3D공간에 3D스캔한 유물을 배치한 뒤, 1인칭 캐릭터가 돌아다닐 수 있으면 메타버스 박물관이라고 불렀다.

 

지금은 어떤가?

메타버스 운운하는 종자들은 다 어디로 사라진것인가?

 

NFT에 대해서 들어봤는가?

대체 불가능 토큰, 디지털 자산의 소유 증명...

 

메타버스와 밀접하게 사용가능하다.

새로운 투자수단...

 

지금 이 NFT를 열혈히 추종하던 사람들은 다 어디로 가버렸는가?

 

이제는 너도 나도 NPU의 효험, 효능에 대해 떠들고 있다.

아무리 NPU라고 말해도 결국 GPU보다 부족한 성능을 가진 행렬곱 계산기일 뿐인데 말이다.

 

이런 행태를 보면, 인터넷에 가끔 떠도는 게스트하우스에서 직업소개관련한 밈이 생각난다.

 

"저는 클라이언트의 파이프라인에서 발생하는 이슈들을 해결하고, 추후 일어날 수 있는 이슈를 예방하기위한 디벨롭 방안을 발굴하며, 사용자의 니즈에 맞는 해결법에대해 카운슬링해주는 업무를 하고 있습니다."

 

위 대사는 출장설비업체에 다니는 이가 게스트하우스에서 본인의 직업을 소개했을 때 나온 대사이다.