NVIDIA Jetson

개요

NVIDIA Jetson은 엣지 AI / 임베디드 AI 컴퓨팅을 위한 소형 모듈 플랫폼입니다. 로봇, 자율주행, 드론, IoT, 산업용 비전 등 현장(엣지)에서 AI 추론을 실행할 때 사용합니다. 데이터센터용 GPU나 AI Inference Accelerator와 달리 저전력·소형 폼팩터가 핵심입니다.

제품 라인업

현행 라인업 (2024~2026)

모듈	GPU	CPU	RAM	AI 성능	전력	용도
Jetson Orin Nano (Super)	1024 CUDA	6코어 Arm A78AE	8GB LPDDR5	67 TOPS (INT8)	7~25W	입문용, 교육, 소형 로봇
Jetson Orin NX 8GB	1024 CUDA	6코어 Arm A78AE	8GB	70 TOPS	10~25W	중급 엣지 AI
Jetson Orin NX 16GB	1024 CUDA	8코어 Arm A78AE	16GB	100 TOPS	10~25W	멀티 AI 파이프라인
Jetson AGX Orin 32GB	2048 CUDA + 64 Tensor	12코어 Arm A78AE	32GB	200 TOPS	15~60W	자율주행, 산업용 로봇
Jetson AGX Orin 64GB	2048 CUDA + 64 Tensor	12코어 Arm A78AE	64GB	275 TOPS	15~75W	자율주행 최상위, 대형 모델

차세대 — Jetson Thor (2025~2026)

항목	사양
GPU	Blackwell 아키텍처 기반
트랜스포머 엔진	있음 (FP8)
AI 성능	800 TOPS (INT8), 1+ PFLOPS (FP4)
CPU	12코어 Arm Grace (Neoverse V2)
RAM	128GB LPDDR5X
전력	100W
용도	휴머노이드 로봇, L4+ 자율주행, 엣지 LLM 추론

• Jetson AGX Orin 대비 3~4배 AI 성능
• 엣지에서 소형 LLM (7B~13B) 직접 추론 가능
• NVIDIA Isaac (로봇) / DRIVE (자동차) 플랫폼과 통합

레거시 라인업

세대	모듈	AI 성능	비고
Maxwell	Jetson Nano (2019)	472 GFLOPS	입문용, $99, 단종
Pascal	Jetson TX2 (2017)	1.33 TFLOPS	드론, 로봇
Volta	Jetson AGX Xavier (2018)	32 TOPS	Tensor Core 최초 도입
Volta	Jetson Xavier NX (2020)	21 TOPS	Xavier의 소형 버전

가격

모듈	가격 (USD)
Jetson Orin Nano Super	~$249 (개발 키트)
Jetson Orin NX 16GB	~$599 (모듈)
Jetson AGX Orin 64GB	~$1,999 (개발 키트)
Jetson Thor	미정 (2026 출시 예정)

• 개발 키트 = 모듈 + 캐리어보드 + 전원
• 산업용 모듈 단가는 대량 구매 시 더 낮음

소프트웨어 생태계 — JetPack SDK

구성요소	설명
JetPack	L4T (Linux for Tegra) + CUDA + cuDNN + TensorRT 통합 SDK
TensorRT	추론 최적화 엔진 (INT8/FP16 양자화 자동 적용)
DeepStream	비디오 분석 파이프라인 (다중 카메라 AI)
Isaac ROS	로봇 AI (SLAM, 경로 계획, 조작)
NVIDIA DRIVE	자율주행 소프트웨어 스택
Triton Inference Server	멀티모델 서빙 (Triton Inference Server)
Jetson Containers	Docker 기반 사전 빌드 AI 컨테이너
Ollama / llama.cpp	엣지 LLM 추론 (Orin 이상에서 소형 모델 실행 가능)

활용 사례

분야	사례	추천 모듈
자율주행	L2~L4 자율주행 컴퓨팅	AGX Orin / Thor
로봇	물류 로봇, 휴머노이드, 산업용 암	AGX Orin / Thor
스마트 팩토리	불량 검출, 비전 검사	Orin NX
드론	실시간 객체 탐지, 매핑	Orin Nano / NX
스마트 시티	교통 감시, CCTV 분석 (DeepStream)	Orin NX
의료	엣지 의료 영상 분석	AGX Orin
엣지 LLM	소형 언어 모델 로컬 실행	AGX Orin 64GB / Thor
교육/취미	AI 학습, 개인 프로젝트	Orin Nano Super

Jetson vs 경쟁 제품

제품	개발사	AI 성능	강점	약점
Jetson AGX Orin	NVIDIA	275 TOPS	CUDA 생태계, TensorRT	전력, 가격
Hailo-8L	Hailo	13 TOPS	초저전력 (1.5W), RPi AI Kit	NPU 전용 (학습 불가)
Hailo-8	Hailo	26 TOPS	초저전력 (2.5W), TOPS/W 최고	NPU 전용 (학습 불가)
Google Coral (Edge TPU)	Google	4 TOPS	저렴, TFLite 통합	TFLite 전용
Qualcomm QCS8550	Qualcomm	48 TOPS	모바일 최적화, NPU	생태계 제한
Apple Neural Engine	Apple	38 TOPS (M4)	macOS/iOS 통합	임베디드 불가
Intel Movidius	Intel	~4 TOPS	저전력, OpenVINO	단종 방향
Raspberry Pi + AI Kit	RPi	13 TOPS (Hailo)	$70, 커뮤니티	성능 한계

• NVIDIA Jetson의 최대 강점: CUDA/TensorRT 생태계 + 데이터센터 GPU와 동일한 개발 워크플로우
• 학습은 클라우드/데이터센터 GPU → 추론은 Jetson으로 바로 배포 가능

관련 항목

• AI Inference Accelerator
• GPU
• TensorRT-LLM
• Triton Inference Server
• Model Quantization
• Large Language Models (LLMs)