세계에서 가장 작은 미니 PC? '타이니 AI 포켓 랩' 알아보기

 

미국의 딥테크 인공지능(AI) 스타트업 

타이니 AI(Tiiny AI Inc.)가 

세계에서 가장 작은 개인 AI 슈퍼컴퓨터인 

'타이니 AI 포켓 랩(Tiiny AI Pocket Lab)'을 

공식 공개했다고 하는데요

 

이 장치는 기네스 세계 기록으로부터 

'가장 작은 미니 PC(100B LLM 로컬 구동)' 

부문에서  공식 인증을 받았다고 해요

 

어떤 특징이 있는지 알아볼게요 👍

 

 

 

 

 

 기네스 기록 인증! 주머니 속의 1200억 LLM 구동 장치

 

이번 행사는 타이니 AI 포켓 랩의 

첫 글로벌 공개 발표로,

 

AI 슈퍼컴퓨팅 역사상 처음으로 

주머니 크기의 장치가 최대 1200억 

매개변수의 거대 언어 모델(LLM)을 

클라우드 연결이나 서버, 고사양 GPU 없이 

온디바이스 AI 환경에서 

완전히 구동할 수 있게 되었어요

 

 

 

타이니 AI 포켓 랩은 에너지 효율적인 

개인 지능을 위해 65W의 

전력 내에서 작동하도록 설계됐는데요

 

이는 기존 GPU 기반 시스템에 비해 

에너지 소비량과 탄소 발자국을 크게 줄이면서도 

대규모 모델의 성능을 

구현할 수 있음을 의미한다고 볼 수 있어요

 

 

클라우드 AI의 한계를 넘어서: 온디바이스 AI의 필요성

 

이 장치는 AI 산업의 궤도에 

중대한 변화를 예고하는데요

 

클라우드 기반 AI가 지속 가능성 문제, 

에너지 비용 상승, 글로벌 서비스 중단, 

긴 콘텍스트 처리의 막대한 비용, 

그리고 증가하는 개인 정보 보호 위험 등으로 

어려움을 겪는 가운데...

 

 

 

타이니 AI는 개인적이고 휴대 가능하며 

완전히 사적인 지능을 중심으로 하는 

대안적인 모델을 제시했어요

 

타이니 AI에 따르면, 

오늘날 AI 생태계의 진정한 병목 현상은 

"컴퓨팅 성능이 아니라 

클라우드에 대한 의존성"이라고 합니다

 

 

타이니 AI의 GTM 디렉터인 사마르 보즈는 

"클라우드 AI는 놀라운 발전을 가져왔지만, 

동시에 의존성, 취약성, 지속 가능성 

문제도 야기했다"고도 말했어요

 

그는 "지능은 데이터 센터가 아닌 

사람들에게 속해야 한다고 믿는다"며, 

 

"이것이 클라우드의 대규모 모델 기능을 

모든 개인 장치로 가져와 

고급 AI를 진정으로 접근 가능하고, 

사적이며, 개인화하는 첫걸음"이라고도 했습니다

 

 

타이니 AI 포켓 랩은 개발자, 연구원, 

창작자, 전문가, 학생 등 거의 모든 

주요 개인 AI 솔루션 사용 사례를 

지원하도록 설계되었는데요

 

인터넷 연결 없이도 다단계 추론, 

깊은 컨텍스트 이해, 에이전트 워크플로우, 

콘텐츠 생성, 그리고 민감한 정보의 

안전한 처리가 가능하다고 합니다

 

 

 

또한, 은행 수준의 암호화로 사용자 데이터, 

환경 설정 및 문서를 로컬에 저장하여, 

 

클라우드 기반 AI 시스템이 

제공할 수 없는 수준의 AI 보안과 

영구적인 개인 기억을 제공합니다

 

 

GPT-4o급 성능, 300g의 휴대성으로 제공

 

타이니 AI 포켓 랩은 개인 AI의 

'골든 존'(100억~1200억 매개변수) 

내에서 작동하며, 

이는 실제 세계 요구의 80% 이상을 충족해요

 

더욱이, 최대 1200억 매개변수 

LLM까지 지원하여 

GPT-4o에 필적하는 지능 수준을 제공해요

 

이는 박사 학위 수준의 추론, 다단계 분석, 

깊은 문맥 이해를 제공하면서도, 

완전히 오프라인인 온디바이스 

AI 처리의 AI 보안을 보장합니다

 

 

이러한 혁신은 장치를 소형화하면서 

대규모 매개변수 모델을 구동 가능하게 만든 

두 가지 핵심 기술적 돌파구 덕분인데요

 

'터보 스파스(TurboSparse)'는 

뉴런 수준의 희소 활성화 기술로, 

 

전체 모델 지능을 유지하면서 

추론 효율을 크게 향상할 수 있어요

 

 

AI 슈퍼컴퓨터의 핵심 사양은 

ARMv9.2 12코어 CPU, 

맞춤형 이기종 모듈(≈190 TOPS), 

80GB LPDDR5X 메모리, 

1TB SSD 저장 공간을 갖추고 있으며, 

30W TDP, 65W 일반 시스템 전력으로 작동해요

 

크기는 14.2 × 8 × 2.53 cm, 무

게는 약 300g으로 주머니에 쏙 들어가는

아기자기한 크기가 돋보입니다 :)

 

 

타이니 AI는 GPT-4o급의 지능이 필요한 

전문가나 연구자들이 고가의 전문가급 

GPU(수백만 원) 없이도 

첨단 AI 연구를 수행할 수 있는 만큼

 

앞으로 어떤 반응을 불러일으킬지

기대해 보게 됩니다 :)

 

 

 

세계 최소형 개인 AI 슈퍼컴퓨터 등장! 주머니 속의 GPT-4o급 인공지능 - 디지털포커스

 

Tiiny AI Reveals World's Smallest Personal AI Supercomputer, Verified by Guinness World Records