vibe-mod 실증 검증 보고서

1. 검증 요약

1.1 11개 클레임 검증 결과

전체 판정: 9/11 fully feasible, 2/11 require pattern modernization. 컨셉은 흔들리지 않음.

2. 🚨 결정적 변경: Claude → OpenAI (또는 Gemini)

2.1 정책 verbatim

At this time, the only AI providers we allow are OpenAI and Google Gemini:

- api.openai.com
- generativelanguage.googleapis.com

Requests to use any other AI provider will be denied. — docs/capabilities/server/http-fetch-policy.md, section "AI providers"

2.2 LLM 재선정

2.3 신규 비용 추정 (gpt-4o-mini 기준)

• 1 룰 컴파일: 800 in + 400 out ≈ $0.00012 + $0.00024 = $0.00036 (≈ 0.36¢ → Haiku의 8배 cheaper)
• 50 컴파일/sub/day × 30일 × 1,000 sub = 150만 컴파일 × $0.00036 = $540/월
• 실제로 sub당 일평균 5 컴파일 정도면 → $54/월 (1,000 sub 운영)

2.4 영향 — 아키텍처 변경 사항

• devvit.json: permissions.http.domains에 "api.openai.com" (또는 "generativelanguage.googleapis.com") 추가
• global settings: openaiApiKey (isSecret: true). 공식 settings-and-secrets 문서에 정확히 이 패턴이 예시로 등장 → vibe-mod-shaped 사례
• System prompt + JSON schema: OpenAI JSON 모드 활용 (Zod validator 그대로 유지)
• 비용 절감: Anthropic보다 8배 저렴 → 50 compiles/day rate limit 완화 가능 (예: 100/day)

2.5 공식 sample — vibe-mod와 동일 패턴

// devvit.json (공식 settings-and-secrets.mdx 예시 — 그대로 차용 가능)
{
  "settings": {
    "global": {
      "openaiApiKey": {
        "type": "string",
        "label": "OpenAI API Key",
        "isSecret": true,
        "defaultValue": ""
      }
    }
  },
  "permissions": {
    "http": { "enable": true, "domains": ["api.openai.com"] }
  }
}

// server/index.ts (공식 예시 그대로)
import { settings } from '@devvit/web/server';

app.post('/api/generate', async (c) => {
  const apiKey = await settings.get('openaiApiKey');
  const response = await fetch('https://api.openai.com/v1/chat/completions', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json', 'Authorization': `Bearer ${apiKey}` },
    body: JSON.stringify({ model: 'gpt-4o-mini', messages: [...] }),
  });
  ...
});

3. API / Primitive 검증 매트릭스

3.1 Triggers (verbatim from docs/capabilities/server/triggers.mdx)

등록 방법 (verbatim):

// devvit.json
"triggers": {
  "onAppUpgrade": "/internal/on-app-upgrade",
  "onPostSubmit": "/internal/on-post-submit",
  "onCommentCreate": "/internal/on-comment-create"
}

// server/index.ts (Hono)
app.post('/internal/on-post-submit', async (c) => {
  const input = await c.req.json<OnPostSubmitRequest>();
  const post = input.post;
  const author = input.author;
  // ... evaluate rules
  return c.json<TriggerResponse>({ status: 'ok' });
});

3.2 Redis

3.3 Scheduler

3.4 Settings (정확히 vibe-mod 시나리오 그대로)

공식 settings-and-secrets.mdx에 "OpenAI API Key with isSecret: true" 예시가 그대로 등장. vibe-mod의 LLM 통합 패턴이 정식 권장 패턴임을 의미.

3.5 HTTP Fetch

4. 패턴 전환: @devvit/public-api → @devvit/web

4.1 변경 요약

4.2 신 패턴의 장점

• HTTP routes = 표준 웹 패턴, 디버깅 쉬움
• devvit.json이 single source of truth
• Hono/Express 선택 자유
• Validation endpoint 같은 declarative 패턴 지원

5. 공식 Mod Tool 패턴 (quickstart-mod-tool.md verbatim)

5.1 공식 권장 구조: Menu Action + Form

quickstart의 Comment Mop 예시가 정확히 vibe-mod의 base pattern입니다.

// devvit.json
{
  "menu": {
    "items": [
      {
        "label": "Compose rule",
        "description": "Write a moderation rule in English",
        "forUserType": "moderator",
        "location": "subreddit",
        "endpoint": "/internal/menu/compose-rule"
      }
    ]
  },
  "forms": {
    "ruleComposerForm": "/internal/form/compose-rule-submit"
  },
  "permissions": {
    "reddit": { "enable": true, "scope": "moderator" },
    "redis": true,
    "http": { "enable": true, "domains": ["api.openai.com"] }
  },
  "triggers": {
    "onPostSubmit": "/internal/on-post-submit",
    "onAppInstall": "/internal/on-app-install"
  },
  "scheduler": {
    "tasks": {
      "audit-retention": {
        "endpoint": "/internal/scheduler/audit-retention",
        "cron": "0 3 * * *"
      },
      "dry-run-replay": {
        "endpoint": "/internal/scheduler/dry-run-replay"
      }
    }
  },
  "settings": {
    "global": {
      "openaiApiKey": { "type": "string", "label": "OpenAI Key", "isSecret": true }
    },
    "subreddit": {
      "dryRunOnly": { "type": "boolean", "label": "Dry-run mode (no actions)", "defaultValue": true }
    }
  }
}

5.2 코드 샘플 — vibe-mod 핵심 부분 (실현 가능 입증)

// server/index.ts
import { Hono } from 'hono';
import type {
  MenuItemRequest, UiResponse,
  OnPostSubmitRequest, TriggerResponse,
  SettingsValidationRequest
} from '@devvit/web/shared';
import { reddit, settings, scheduler } from '@devvit/web/server';
import { redis } from '@devvit/redis';

const app = new Hono();

// 1. Mod opens "Compose rule" menu → form
app.post('/internal/menu/compose-rule', async (c) => {
  return c.json<UiResponse>({
    showForm: {
      name: 'ruleComposerForm',
      form: {
        title: 'Write a moderation rule',
        acceptLabel: 'Compile + Preview',
        fields: [
          { name: 'rule', label: 'Your rule (English)', type: 'paragraph', defaultValue: '' },
          { name: 'shadow', label: 'Shadow mode (recommended)', type: 'boolean', defaultValue: true }
        ]
      }
    }
  });
});

// 2. Form submit → call OpenAI → store as draft
app.post('/internal/form/compose-rule-submit', async (c) => {
  const { rule, shadow } = await c.req.json<{rule:string,shadow:boolean}>();
  const apiKey = await settings.get('openaiApiKey');

  const llmResp = await fetch('https://api.openai.com/v1/chat/completions', {
    method: 'POST',
    headers: { 'Content-Type': 'application/json', 'Authorization': `Bearer ${apiKey}` },
    body: JSON.stringify({
      model: 'gpt-4o-mini',
      response_format: { type: 'json_object' },
      messages: [
        { role: 'system', content: VIBE_MOD_SYSTEM_PROMPT },  // ~600 tok, schema-defining
        { role: 'user', content: rule }
      ],
      max_tokens: 700, temperature: 0.1
    })
  });
  const { choices } = await llmResp.json();
  const compiledRule = JSON.parse(choices[0].message.content);

  // Validate against Zod schema (action whitelist, predicate schema)
  const validated = RuleSchema.parse(compiledRule);

  // Store as draft
  await redis.set('rules:draft', JSON.stringify(validated));

  // Schedule dry-run replay
  await scheduler.runJob({
    name: 'dry-run-replay',
    runAt: new Date(),
    data: { ruleId: validated.id }
  });

  return c.json<UiResponse>({
    showToast: { text: 'Rule compiled. Dry-run running…', appearance: 'success' }
  });
});

// 3. Trigger: PostSubmit → evaluate active rules → take action
app.post('/internal/on-post-submit', async (c) => {
  const { post, author } = await c.req.json<OnPostSubmitRequest>();

  const activeRulesJson = await redis.get('rules:active');
  if (!activeRulesJson) return c.json<TriggerResponse>({ status: 'ok' });

  const activeRules = JSON.parse(activeRulesJson);
  const factBag = await buildFactBag(post, author);  // account age, karma, etc.

  for (const rule of activeRules.rules) {
    if (!rule.enabled) continue;
    if (evaluatePredicate(rule.when, factBag)) {  // pure deterministic
      for (const action of rule.then) {
        await executeAction(action, post, author);
        await writeAuditEntry(rule.id, action, post.id);
      }
    }
  }
  return c.json<TriggerResponse>({ status: 'ok' });
});

// 4. Helper: deterministic action executor
async function executeAction(action: Action, post: any, author: any) {
  const allowed = ['remove', 'lock', 'flair', 'modmail', 'report'];
  if (!allowed.includes(action.action)) throw new Error('forbidden action');

  switch (action.action) {
    case 'remove': {
      const p = await reddit.getPostById(post.id);
      await p.remove();
      break;
    }
    case 'lock': {
      const p = await reddit.getPostById(post.id);
      await p.lock();
      break;
    }
    case 'modmail': {
      await reddit.modMail.create({
        subredditName: post.subreddit,
        subject: action.params.subject,
        body: action.params.body
      });
      break;
    }
    // ... etc
  }
}

5.3 검증된 사실: 무료 호스팅

"Notice that you don't need to worry about running costs for your mod tool, because Reddit hosts all Devvit applications for free." — quickstart-mod-tool.md

→ 인프라 비용 = $0. LLM API 비용만 부담 (OpenAI에 직접 결제).

6. HTTP Fetch + AI 정책 verbatim

6.1 Global allowlist (verbatim)

다음 도메인은 모든 앱에서 즉시 호출 가능 (단, permissions.http.domains에 여전히 명시해야 함):

example.com, site.api.espn.com, cdn.espn.com, discord.com,
api.polygon.io, api.massive.com, polygon.io, slack.com,
lichess.org, api.telegram.org, commentanalyzer.googleapis.com,
language.googleapis.com, statsapi.mlb.com,
api.openai.com,                        ← ✅ vibe-mod 사용
api.scryfall.com, api.nasa.gov,
api.sportradar.us, api.sportradar.com, random.org,
generativelanguage.googleapis.com,    ← ✅ Gemini 대안
youtube.googleapis.com, api.weather.gov, wikipedia.org,
finance.yahoo.com, api.twitter.com, api.petfinder.com,
fonts.googleapis.com, nytimes.com, npr.org, propublica.org,
pbs.org, i.giphy.com, chessboardjs.com

6.2 AI providers 정책 (verbatim, 강조)

### AI providers

At this time, the only AI providers we allow are OpenAI and Google Gemini:

- api.openai.com
- generativelanguage.googleapis.com

Requests to use any other AI provider will be denied. — docs/capabilities/server/http-fetch-policy.md

6.3 도메인 신청 카테고리

1. API 제공 서비스 (e.g. api.openai.com) — public docs + valid use case면 승인 가능
2. 제한적 클라우드 (supabase.com, firebase.com, s3.amazonaws.com 등) — 예외 승인 가능, 단 정책 준수
3. 개인 도메인 — 거부됨. Devvit 서버로 해결 불가능한 use case만 예외

7. Redis 실제 한계

8. Scheduler 실제 한계

9. Reddit API 메서드 검증 (RedditAPIClient verbatim)

모든 vibe-mod 필요 메서드가 공식 API에 존재 확인. (docs/api/redditapi/RedditAPIClient/classes/RedditAPIClient.md)

10. Day-0 CLI Smoke Test 결과

10.1 환경 검증

10.2 실제 devvit new 시도 제약

"Go to https://developers.reddit.com/new and choose Mod Tool under Other templates. Go through the wizard. You will need to create a Reddit account and connect it to Reddit developers. Follow the instructions on your terminal." — quickstart-mod-tool.md

→ Devvit new는 Reddit 계정 OAuth 로그인 + 브라우저 wizard가 필수. AI 환경에서 비대화형 실행 불가. 사용자 본인이 실행해야 함.

10.3 Day-0 권장 액션 (사용자 단독 수행)

# 1) 브라우저에서 https://developers.reddit.com/new 열고 "Mod Tool" 템플릿 선택
#    → wizard가 끝나면 터미널에 token + dir 생성 안내

# 2) 생성된 디렉토리로 이동
cd vibe-mod  # or whatever you named it

# 3) devvit.json 확인 — http 권한 추가
#    permissions: { http: { enable: true, domains: ['api.openai.com'] }, reddit: {...}, redis: true }

# 4) server/index.ts에 fetch test endpoint 한 줄 추가
#    app.post('/internal/menu/test-openai', ...) — OpenAI ping

# 5) npm run dev — playtest sub에서 실행

# 6) 메뉴 액션 클릭 → 토스트로 OpenAI 응답 표시
#    → 성공 시 vibe-mod 본격 개발 시작

11. 추가 제출 요건 (원본 plan 누락)

11.1 Terms and Conditions + Privacy Policy 의무

"Any app that uses fetch must upload Terms and Conditions and a Privacy Policy. Links to each of these documents must be saved in the app details form." — http-fetch.mdx

→ 새 작업 항목: 2 문서 작성 + 호스팅 (GitHub Pages 또는 우리 갤러리 repo 활용 가능):

• /tos.html — vibe-mod 사용 약관 (1-page)
• /privacy.html — Privacy Policy (모드의 NL → OpenAI 전송, Reddit 콘텐츠 미전송 명시)

11.2 README "Fetch Domains" 섹션

"If your app uses fetch domains, you must add context to your app's README for the approval process: Create a 'Fetch Domains' section in your README, List each domain you're requesting and explain why you need it." — http-fetch-policy.md

→ README 추가 섹션 (vibe-mod 예시):

## Fetch Domains

The following domains are requested for this app:

- `api.openai.com` — Used to translate moderators' natural-language
  rule descriptions into a structured rule JSON. The LLM call happens
  ONLY at rule-edit time, NOT on every post evaluation. Reddit user
  content (post bodies, usernames) is NEVER sent to the LLM. Only the
  moderator's own typed sentence is sent.

11.3 App publishing 결정

→ 전략: 마감 4-5일 전 (5/22~23) Public publish 신청. Review 1주 걸린다고 명시되어 있음. 늦으면 unlisted로 fallback.

11.4 vibe-mod 제출 패키지 업데이트

• ☐ App listing 링크 (developers.reddit.com/apps/vibe-mod)
• ☐ NEW: ToS HTML URL
• ☐ NEW: Privacy Policy HTML URL
• ☐ NEW: README의 "Fetch Domains" 섹션
• ☐ 참가자 Reddit username 전원
• ☐ Tool overview
• ☐ Project impact (1-3 communities)
• ☐ 200-member 미만 sub 데모 포스트 (심사 기간까지 free access)
• ☐ 60초 데모 비디오 (YouTube/Vimeo 공개)

12. 업데이트된 4일 MVP scope (검증 후)

Day 1 (5/12 화)

• 사용자 액션: 브라우저로 developers.reddit.com/new → Mod Tool 템플릿 선택 → wizard → terminal에 vibe-mod 디렉토리 생성
• devvit.json 확장: permissions(reddit moderator, redis, http openai), settings(global openaiApiKey isSecret, subreddit dryRunOnly), menu, forms, triggers(onPostSubmit, onCommentSubmit, onAppInstall), scheduler(audit-retention cron, dry-run-replay one-shot)
• OpenAI key 발급 + 일일 $5 ceiling + npx devvit settings set openaiApiKey
• Hono 서버 stub: menu/compose, form/submit, trigger/post-submit endpoints (모두 200 응답만)
• Redis schema 검증: rules:active, audit ZSET
• EXIT GATE: npm run dev → 플레이테스트 sub에서 "Compose rule" 메뉴 보이고 form 열림

Day 2 (5/13 수)

• OpenAI gpt-4o-mini 호출 wrapper + JSON 모드 + Zod schema validator
• System prompt + 3 few-shot 예제 (rule schema 정의)
• Action whitelist 하드코딩 (remove/lock/flair/modmail/report; ban/permaban/mute는 confirmation)
• Predicate evaluator (pure TS, {all|any|not} tree)
• onPostSubmit handler에서 rules:active 평가 + 첫 action 실행 (reddit.getPostById().remove())
• EXIT GATE: form에 "Remove posts containing 'discord.gg' from accounts under 7 days" 입력 → compile → 실제 매칭 포스트 제거 + audit 엔트리

Day 3 (5/14 목)

• Rollback 메커니즘: audit:<actionId> ZSET + reverse-action params + redis.expire(rollback:..., 2592000)
• Dry-run replay scheduler one-shot: reddit.getNewPosts({limit:100}) 가져와 rules:draft 평가, 매치 카운트를 Redis에 저장
• Live Log 보기: 별도 메뉴 → zRange(audit, 0, 50) → form display
• Activate 흐름: shadow mode 24h cron job 등록
• EXIT GATE: "47 posts would fire" 확인 → Activate (shadow) → 새 포스트 들어옴 → action 실행 → Undo

Day 4 (5/15 금)

• 5 starter rules onAppInstall에서 seed
• 50 compiles/day rate limit (Redis counter)
• 30-day audit retention (cron 0 3 * * *)
• Error 카피 8개 (LLM down, invalid rule, conflict, permission denied, ...)
• ToS + Privacy Policy HTML 작성 + 갤러리 repo에 호스팅
• README "Fetch Domains" 섹션 작성
• EXIT GATE: 완전한 end-to-end 흐름 + 200-member 미만 sub 생성 + 첫 데모 영상 trial

Days 5-15: Polish + Beta + 데모 영상 (원본 plan 유지)

마감일 작업 (5/27 수)

• 아침: npx devvit publish (unlisted) — 이미 5/22-23경 Public publish 신청 시도 OK
• 제출 양식 채우기 + ToS/PrivacyPolicy URL 입력
• 10:00 PT (KST 5/28 02:00): 제출 완료 목표 (8시간 buffer)

13. 출처 (verbatim 인용 소스)

공식 문서 (cloned from reddit/devvit-docs @ HEAD)

• docs/quickstart/quickstart-mod-tool.md — Mod Tool 공식 quickstart (Comment Mop 예시)
• docs/capabilities/server/http-fetch.mdx — fetch 활성화 + global allowlist
• docs/capabilities/server/http-fetch-policy.md — AI provider 정책 + 도메인 신청 카테고리
• docs/capabilities/server/triggers.mdx — 모든 트리거 이벤트 + 등록 패턴
• docs/capabilities/server/redis.mdx — Redis 명령어 + 한계 + transactions
• docs/capabilities/server/scheduler.mdx — 스케줄러 + cron + one-shot + daisy chain
• docs/capabilities/server/settings-and-secrets.mdx — 설정 + isSecret + OpenAI 예시
• docs/capabilities/server/reddit-api.mdx — Reddit API 개요 + 인증 자동 처리
• docs/api/redditapi/RedditAPIClient/classes/RedditAPIClient.md — 100+ 메서드 전체 API surface
• docs/capabilities/client/menu-actions.mdx — menu items + forUserType moderator + 10분 보안 제약
• docs/guides/faq.mdx — publish/install 패턴, unlisted vs public

관련 자료 (이 갤러리 repo 내)

• 26-card Gallery
• 소유권 규정 심층 분석
• vibe-mod 통합 계획 (4 전문가 합의 — 본 보고서로 보강됨)

검증 완료: 2026-05-11 KST · 다음 단계: 사용자가 Day-1 CLI 액션 수행 시점에 본 보고서를 implementation guide로 사용