개요

macOS Tahoe (26)부터 모든 Apple Silicon 맥에 약 30억 파라미터 LLM이 기본 탑재됐지만 Apple은 Siri와 Writing Tools 뒤에만 노출. apfel 오픈소스 프로젝트가 이 빈틈을 파고들어 brew install 한 줄로 CLI + OpenAI 호환 서버 + 대화형 챗으로 사용 가능하게 함. 무료, 오프라인, 프라이빗 AI를 누구나 활용 가능.


Apple FoundationModels 프레임워크

Apple이 macOS 26과 함께 공개한 Swift API

Swift API: SystemLanguageModel
  ↓
온디바이스 언어 모델 접근
  ↓
실행: Neural Engine + GPU (Metal)
  - 네트워크 호출 ❌
  - API 키 ❌
  - OS에 모델 포함

모델 스펙

항목
파라미터30억
양자화Mixed 2/4-bit (~3.5 bpw)
컨텍스트4,096 토큰 (입출력 합산)
언어 (9개)영, 독, 스, 프, 이, 일, , 포, 중
위치OS 내장 (별도 다운로드 ❌)
비용$0

Apple의 한계: 직접 노출 안 함

Apple FoundationModels의 활용처:
  ✓ Siri
  ✓ Writing Tools (맞춤법·요약)
  ✗ 일반 사용자 직접 접근 ❌
  ✗ 터미널 호출 ❌
  ✗ HTTP 엔드포인트 ❌

개발자 사용:
  Xcode 프로젝트 + Swift 코드 작성 필수

→ “30억 모델이 내 맥에 있는데 못 쓴다”


apfel이 뚫은 빈틈

설치

brew install Arthur-Ficial/tap/apfel

3가지 인터페이스

1. UNIX CLI 도구

# 직접 호출
apfel "이 텍스트 번역해줘: Hello"
 
# stdin 입력
echo "Hello" | apfel "번역해줘"
 
# JSON 출력
apfel "..." -o json
 
# 파일 첨부
apfel "요약해줘" -f document.txt
 
# 파이프 조합 (UNIX 철학)
ls *.log | apfel "오늘 수정된 것만 골라줘" | xargs cat | apfel "에러 패턴 찾아줘"

LLM을 UNIX 철학에 맞게 “하나의 일을 잘 하는 도구”로

2. OpenAI 호환 HTTP 서버

apfel --serve
 
# localhost:11434/v1/chat/completions 엔드포인트 활성화

지원 기능:

  • ✅ 스트리밍 (SSE)
  • ✅ 도구 호출 (function calling)
  • response_format: json_object
  • ✅ CORS
# 기존 OpenAI SDK 코드 그대로
from openai import OpenAI
 
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="anything"
)
response = client.chat.completions.create(
    model="apfel",
    messages=[{"role": "user", "content": "Hello"}]
)

→ Apple Transcript.ToolDefinition ↔ OpenAI 도구 스키마 자동 변환

3. 대화형 챗

apfel --chat
 
# 멀티턴 대화 + 5가지 트리밍 전략
# (4,096 토큰 작은 윈도우 관리)

4,096 토큰의 현실적 활용

한계

4,096 토큰:
  vs GPT-4o (128K)    : 31배 작음
  vs Claude (200K)    : 49배 작음

→ 복잡한 코드 리뷰 ❌
→ 긴 문서 요약 ❌

적합한 작업

작업적합성
셸 명령어 생성✅ “오늘 수정된 .log 파일 찾아줘”
짧은 번역
문법 교정
코드 스니펫 설명
커밋 메시지 요약
텍스트 분류
단일 턴 작업

apfel demo/ 폴더의 도구 예시

도구기능
cmd자연어 → 셸 명령
oneliner파이프 체인 생성
explain명령어 설명
gitsum커밋 요약

실전 벤치마크 (HN 사용자 사례)

시나리오:
  데이터 분석 + 가격·비용 예측 백테스팅

결과 (10개 케이스):
  - Apple 모델 (3B): 6개에서 최고 정확도 ⭐
  - Claude Sonnet: 월 수천 달러 비용
  - DeepSeek: 월 수백 달러
  - Apple: $0
  - Ollama (다른 로컬 모델): 너무 느리거나 정확도 부족

환경: 64GB M4 Max Studio

⚠️ 단일 사례 — 일반화 어렵지만 특정 도메인에서 소형 온디바이스 경쟁력 입증


핵심 가치: 프라이버시

모든 토큰이 내 기기에서 생성
  ↓
절대 외부로 나가지 않음
  ↓
민감 컨텍스트 안전

사용 시나리오:
  - 의료 기록 처리
  - 법률 문서 분석
  - 사내 코드 리뷰
  - 개인 일기 정리
  - 회계·재무 분석

→ “완전 프라이빗 Grammarly 대안” 같은 아이디어 가능


⚠️ 보안 경고

localhost HTTP 서버 운영 시 위험:

1. 시스템의 모든 앱이 접근 가능
   - 브라우저 포함

2. 웹페이지 JavaScript 공격 가능
   - 해당 포트로 요청 전송
   - Same-origin 정책이 응답 읽기는 막아도
   - 명령 실행 자체는 막지 못함

3. CORS 열어두면 데이터 유출 가능

대응:
  - 외부 노출 ❌
  - 방화벽 규칙 확인
  - CORS 신중히 설정
  - 신뢰할 수 있는 클라이언트만 연결

Apple 모델 vs 오픈소스 모델 (구조적 차이)

항목Apple FoundationModelsOllama 오픈소스
설치OS에 내장 (별도 ❌)Ollama + 모델 다운로드
업데이트macOS 메이저 업데이트 (연 1회)즉시 (3~6개월 세대 교체)
모델 선택1개 (고정)자유 선택
현재 성능~Qwen-3-4B 수준 (1년 전)최신 모델 가능
컨텍스트4,096모델별 (8K~1M+)
비용$0$0 (전기비)
프라이버시완전 로컬완전 로컬
접근성brew install apfelOllama 설치 + pull

경쟁이 아닌 보완 관계:

  • Apple = 즉시 사용 가능, 항상 켜져 있는 백그라운드 AI
  • Ollama = 최신 성능, 선택 자유

”Apple이 잠갔다”는 표현의 정확성

apfel 마케팅 문구:
  "Apple locked it behind Siri. apfel sets it free"

실제:
  - Apple이 공식 제공하는 FoundationModels 프레임워크
  - apfel은 정당한 래퍼 (해킹 ❌)
  - Apple API 활용한 정당한 프로젝트

오해 가능 표현:
  - "Neural Engine에서 실행" → 실제론 GPU(Metal)도 사용
  - Apple 내부 스케줄링에 따라 다름
  - 사용자 제어 불가

OS 내장 AI의 시대 (큰 그림)

2024~2026 흐름:

Apple:
  - Apple Intelligence
  - FoundationModels (macOS 26+)
  - 30억 파라미터 모델 OS 내장

Google:
  - Gemini Nano
  - Chrome + Android 내장

Microsoft:
  - Copilot Windows 통합
  - Phi-3.5 / Phi-4 활용

Linux:
  - Ollama가 사실상 표준
  - 시스템 통합은 약함

→ **“항상 켜져 있고, 무료이며, 프라이빗한 AI 레이어”**가 OS 수준에서 깔리는 시대


apfel의 의의

1. OS 내장 AI를 모든 개발자에게 개방
   - Swift 몰라도 사용
   - brew install 한 줄

2. UNIX 철학 적용
   - LLM = "하나의 일 잘 하는 도구"
   - 파이프·xargs·jq와 조합

3. OpenAI 호환 = 즉시 마이그레이션
   - 기존 코드 base_url만 변경
   - 100% 로컬 + 무료

4. 프라이빗 AI 도구 빌드 기반
   - 별도 모델 다운로드 ❌
   - macOS만 있으면 즉시 시작
   - "프라이빗 Grammarly" 같은 앱 가능

5. 진입장벽 제거
   - 누구나 시작 가능
   - 학습 곡선 최소

활용 예시

# 1. 셸 명령 생성
apfel "최근 7일 수정된 Python 파일 찾기"
# → find . -name "*.py" -mtime -7
 
# 2. 커밋 메시지 자동
git diff --cached | apfel "이 변경사항 커밋 메시지 작성"
 
# 3. 로그 분석
tail -100 /var/log/system.log | apfel "에러 패턴 요약"
 
# 4. 빠른 번역
echo "Hello, how are you?" | apfel "한국어 번역"
 
# 5. JSON 응답 + jq 조합
apfel "오늘 날씨 정보 JSON으로" -o json | jq .
 
# 6. 코드 설명
cat script.py | apfel "이 코드 한 줄로 설명"

관련 도구·경쟁

도구차별점
apfelmacOS 내장 모델 활용, brew 설치
Ollama다양한 오픈모델, 모든 OS
llamafile실행파일 1개로 모델 + 실행
LM StudioGUI 우선
ChatGPT 데스크탑OpenAI 의존
Claude Code CLIAnthropic 의존

→ apfel niche: macOS + 즉시 사용 + 완전 무료


한계 & 우려

1. 모델 업데이트 속도

Apple: macOS 메이저 업데이트 (연 1회)
오픈소스 LLM: 3~6개월 세대 교체

→ Apple 모델이 "1년 전 Qwen-3-4B 수준"으로 평가
→ 따라잡기 어려울 수 있음

2. 4,096 토큰 한계

  • 긴 컨텍스트 작업 부적합
  • 대형 코드베이스 분석 ❌

3. 모델 선택권 없음

  • Apple이 정해준 1개만 사용
  • 도메인 특화 파인튜닝 ❌

4. macOS 전용

  • Linux/Windows 사용자는 사용 불가

추천 사용 시나리오

적합부적합
macOS 26+ Apple Silicon 사용자Intel Mac, 다른 OS
짧은 작업 자동화대형 모델 필요한 작업
프라이버시 중시최고 성능 요구
UNIX 도구 조합 좋아함GUI 선호
즉시 시작하고 싶음모델 선택 자유 원함

다른 노트와의 연결

노트연결점
Claude Code 로컬 모델 (Ollama)Ollama 대안
Large Language Models (LLMs)소형 LLM의 가치
OmniCoder-9B소형 모델 활용
Open Source LLM오픈소스 LLM 생태계
Apple Silicon
iOSApple 생태계
TerminalCLI 도구
OpenAIAPI 호환
FOMO 무기화와 기술 조기 채택”기다려도 괜찮다” — Ollama 충분

메타 패턴 — OS의 AI 통합

새로운 표준화 흐름:

1. OS = AI 인프라
   - Apple FoundationModels
   - Windows Copilot
   - Android Gemini Nano

2. 로컬 AI 진입장벽 ↓
   - 별도 다운로드 ❌
   - 별도 인증 ❌
   - 별도 비용 ❌

3. 프라이버시 표준화
   - 데이터가 기기 떠나지 않음
   - 클라우드 의존 감소

4. UNIX 철학의 부활
   - apfel | jq | grep
   - LLM도 "도구" 중 하나

5. 오픈소스의 빈틈 파기
   - 빅테크가 안 한 것을 인디 메이커가
   - brew install로 즉시 공유

→ 관련: AI 시대 실행 비용 붕괴 (개인 도구의 시대)


관련 항목