Skip to content
kkkk2058Public

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

ย 

History

78 Commits

Folders and files

Repository files navigation

screenlog

screenlog

๋‚ด ํ™”๋ฉด ๊ธฐ๋ก์— ๋ฌผ์–ด๋ณด๋ฉด ๊ทผ๊ฑฐ์™€ ํ•จ๊ป˜ ๋‹ตํ•˜๋Š” ๊ฐœ์ธ์šฉ RAG.

Backend
Python FastAPI uvicorn SQLite

AI / RAG
LangGraph ChromaDB BGE-M3 Ollama

Infra
Docker GitHub Actions GHCR EC2

0.99

๊ฒ€์ƒ‰ recall@8
๊ณจ๋“ ์…‹ 25๋ฌธํ•ญ ์ง์ ‘ ๋ผ๋ฒจ๋ง

1.4์ดˆ

์ฒซ ์‘๋‹ต ยท 5.3์ดˆ์—์„œ
as_completed โ€” ์บ์‹œ ์ ์ค‘๊ณผ ๋ฌด๊ด€

โˆ’97.7%

ํ•˜๋ฃจ ์š”์•ฝ ํ”„๋กฌํ”„ํŠธ
100๋งŒ ์ž โ†’ 2.3๋งŒ ์ž

screenpipe๊ฐ€ ๋ช‡ ์ดˆ๋งˆ๋‹ค ์ฐ์–ด๋‘” ํ™”๋ฉด ๊ธฐ๋ก์„ ์ฝ์–ด์„œ, ํ•œ๊ตญ์–ด ์งˆ๋ฌธ์— ๊ทผ๊ฑฐ์™€ ํ•จ๊ป˜ ๋‹ตํ•œ๋‹ค. ์ˆ˜์ง‘ยท์ •์ œยท์ž„๋ฒ ๋”ฉยท๊ฒ€์ƒ‰ยท๋ผ์šฐํŒ…ยท์š”์•ฝยท์—์ด์ „ํŠธยท์„œ๋น™ยท๋ฐฐํฌ๊ฐ€ ์ „๋ถ€ ์ด ์ €์žฅ์†Œ ์•ˆ์— ์žˆ๊ณ , ์›๋ณธ ๋ฐ์ดํ„ฐ๋Š” ์ด ์ปดํ“จํ„ฐ๋ฅผ ๋– ๋‚˜์ง€ ์•Š๋Š”๋‹ค.

ํ•ต์‹ฌ ์„ฑ๊ณผ โ€” ๋ฌธ์ œ โ†’ ํ•ด๊ฒฐ โ†’ ๊ฒฐ๊ณผ

  • ๋Œ€๊ธฐ ์‹œ๊ฐ„: ์—ฌ๋Ÿฌ ๋‚ ์งœ๋ฅผ asyncio.gather๋กœ ๋ฌถ์œผ๋‹ˆ ๊ฐ€์žฅ ๋А๋ฆฐ ํ•˜๋ฃจ๊ฐ€ ์ „์ฒด ์‘๋‹ต์„ ๊ฒฐ์ •ํ•ด ๊ทธ๋•Œ๊นŒ์ง€ ํ™”๋ฉด์ด ๋น„์–ด ์žˆ์—ˆ๋‹ค โ†’ asyncio.as_completed๋กœ ๋จผ์ € ๋๋‚œ ๋‚ ์งœ๋ถ€ํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ โ†’ ์ฒซ ์‘๋‹ต 5.3์ดˆ โ†’ 1.4์ดˆ(โˆ’74%). ์บ์‹œ ์ ์ค‘๊ณผ ๋ฌด๊ด€ํ•˜๊ฒŒ ํ•ญ์ƒ ์žฌํ˜„๋œ๋‹ค.
  • ๊ฒ€์ƒ‰ ํ’ˆ์งˆ: "๊ฒ€์ƒ‰์ด ์ •๋‹ต์„ ๊ฐ€์ ธ์˜ค๋Š”์ง€" ์žด ๋ฐฉ๋ฒ•์ด ์—†์—ˆ๋‹ค โ†’ ๊ณจ๋“ ์…‹ 25๋ฌธํ•ญ์„ ์ง์ ‘ ๋ผ๋ฒจ๋งํ•˜๊ณ  recall@k๋ฅผ ์‹ค์ธก โ†’ RETRIEVE_K 10โ†’8, recall 1%p๋ฅผ ๋‚ด์ฃผ๊ณ  ํ”„๋กฌํ”„ํŠธ ๊ทผ๊ฑฐ 20% ์ ˆ๊ฐ.
  • ๋น„์šฉ/์•ˆ์ •์„ฑ: ์ด๋ฒคํŠธ๊ฐ€ ๋งŽ์€ ๋‚  ํ•˜๋ฃจ ์š”์•ฝ ํ”„๋กฌํ”„ํŠธ๊ฐ€ 1,005,356์ž๋กœ ํ„ฐ์กŒ๋‹ค โ†’ ์•ž์ž๋ฅด๊ธฐ ๋Œ€์‹  ๊ท ๋“ฑ ์†Ž์•„๋‚ด๊ธฐ(_thin_out()) + ๊ฐœ์ˆ˜ ์ƒํ•œ โ†’ 22,730์ž(โˆ’97.7%), ํ•˜๋ฃจ ์ „์ฒด ์ปค๋ฒ„๋Š” ์œ ์ง€.
  • ์ •ํ™•๋„: ์‚ฌ์šฉ ํšŸ์ˆ˜๋ฅผ LLM์— ๋งก๊ฒผ๋”๋‹ˆ ์‹ค์ œ 340ํšŒ๋ฅผ "5ํšŒ"๋กœ ๋‹ตํ–ˆ๋‹ค โ†’ ์ง‘๊ณ„๋Š” LLM์„ ๋นผ๊ณ  metadata๋ฅผ ์ฝ”๋“œ๊ฐ€ ์ง์ ‘ ์…ˆ โ†’ ์‹ค์ธก ์นด์šดํŠธ์™€ ์ •ํ™•ํžˆ ์ผ์น˜, ์—์ด์ „ํŠธ๊ฐ€ ๋„๊ตฌ๋ฅผ ์–ด๋–ค ์ˆœ์„œ๋กœ ๋ถˆ๋Ÿฌ๋„ ์•ˆ ๊นจ์ง.
๊ธฐ๊ฐ„ / ์—ญํ•  ๊ฐœ์ธ ํ”„๋กœ์ ํŠธ ยท 1์ธ ๊ฐœ๋ฐœ ยท ์ปค๋ฐ‹ 68๊ฐœ (2026-07-28 ~ 08-06)
์ƒ‰์ธ ๋ฐ์ดํ„ฐ ์ด๋ฒคํŠธ 30,521๊ฐœ / 15์ผ์น˜(2026-07-22 ~ 08-05) / ์บก์ฒ˜ ํ”„๋ ˆ์ž„ 55,188๊ฐœ / ์•ฑ 27์ข… / ๋ฒกํ„ฐ DB 688MB
๊ฒฐ๊ณผ๋ฌผ ์›น ์„œ๋น„์Šค(๋žœ๋”ฉยท์งˆ์˜ยทํƒ์ƒ‰) + ๋กœ์ปฌ ์ˆ˜์ง‘ยท๋™๊ธฐํ™” Mac ์•ฑ(.dmg) + GitHub Actions โ†’ GHCR โ†’ EC2 ์ž๋™ ๋ฐฐํฌ

์‹คํ—˜ ์›๋ฌธยท์‹คํŒจํ•œ ์‹œ๋„ยท๊ธฐ๊ฐํ•œ ๊ฒฐ๋ก ๊นŒ์ง€ docs/์™€ eval/์— ๋‚จ์•„ ์žˆ๋‹ค. โ†’ ๋ฌธ์„œ ์ง€๋„ ยท ์„ค์น˜์™€ ์‹คํ–‰์€ ๋งจ ์•„๋ž˜ ๋น ๋ฅธ ์‹œ์ž‘.


๐Ÿ“บ ๋ฐ๋ชจ ์˜์ƒ

๋ฐ๋ชจ ์˜์ƒ ์žฌ์ƒ

โ–ถ 2๋ถ„ ์š”์•ฝ๋ณธ ยท โ–ถ ์ „์ฒด๋ณธ

๋žœ๋”ฉ โ†’ ์„ค์น˜ ์•ˆ๋‚ด โ†’ ํƒ์ƒ‰ โ†’ ๋ฌผ์–ด๋ณด๊ธฐ โ†’ ๋‹ต๋ณ€๊นŒ์ง€ ์‹ค์ œ ๋™์ž‘. ํŽธ์ง‘ยท๊ฐ€์† ์—†์Œ.


๋ชฉ์ฐจ

์†Œ๊ฐœ 1. ์™œ ๋งŒ๋“ค์—ˆ๋‚˜ ยท 2. ๋ฌด์—‡์„ ํ•˜๋Š”๊ฐ€
์„ค๊ณ„ 3. ์‹œ์Šคํ…œ ๊ตฌ์กฐ ยท 4. ํŒŒ์ดํ”„๋ผ์ธ
๊ฒ€์ฆ 5. ํ‰๊ฐ€ ยท 6. ํ•ต์‹ฌ ์„ค๊ณ„ ๊ฒฐ์ • ยท 7. ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ… ยท 8. ์„ฑ๋Šฅ
์šด์˜ 9. ์›น ์„œ๋น„์Šค์™€ API ยท 10. ๋ฐฐํฌ ยท 11. ๊ฐœ์ธ์ •๋ณด
๊ทธ ์™ธ 12. ์•Œ๋ ค์ง„ ํ•œ๊ณ„ ยท 13. ๋ฌธ์„œ ์ง€๋„ ยท 14. ๋น ๋ฅธ ์‹œ์ž‘

๐ŸŽฏ 1. ์™œ ๋งŒ๋“ค์—ˆ๋‚˜

๊ธˆ์š”์ผ๋งˆ๋‹ค ์ฃผ๊ฐ„ ๊ณต์œ ๋ฅผ ์“ธ ๋•Œ๊ฐ€ ์ œ์ผ ๋ง‰๋ง‰ํ–ˆ๋‹ค. ๋ถ„๋ช… ๋ฐ”๋นด๋Š”๋ฐ ๋ญ˜ ํ–ˆ๋Š”์ง€๊ฐ€ ๊ธฐ์–ต์ด ์•ˆ ๋‚˜์„œ, ์ปค๋ฐ‹ ๋กœ๊ทธ์™€ ๋ธŒ๋ผ์šฐ์ € ํžˆ์Šคํ† ๋ฆฌ๋ฅผ ํ•œ์ฐธ ์—ญ์ถ”์ ํ•˜๊ณ  ๋‚˜์„œ์•ผ ๊ฒจ์šฐ ๋ช‡ ์ค„์„ ์ ์—ˆ๋‹ค. ํ•˜๋ฃจ ์ข…์ผ ํ™”๋ฉด์„ ๋ณด๋ฉฐ ์ผํ–ˆ๋Š”๋ฐ, ์ •์ž‘ ๊ทธ ๊ธฐ๋ก์€ ์–ด๋””์—๋„ ๋‚จ์•„ ์žˆ์ง€ ์•Š์•˜๋‹ค.

ํ™”๋ฉด ๊ธฐ๋ก ์ž์ฒด๋Š” ์Œ“์„ ์ˆ˜ ์žˆ๋Š” ๋ฐฉ๋ฒ•์ด ์žˆ์—ˆ๋‹ค.(screenpipe). ์ด ํ”„๋กœ์ ํŠธ๋Š” ๊บผ๋‚ด๋Š” ์ชฝ์— ์ง‘์ค‘ํ–ˆ๋‹ค.

1. ๊ธฐ๋ก์€ ์žˆ๋Š”๋ฐ ์งˆ๋ฌธ์œผ๋กœ ๋ชป ๊บผ๋‚ธ๋‹ค. screenpipe๊ฐ€ ์ œ๊ณตํ•˜๋Š” ๊ฒ€์ƒ‰์€ FTS5 ํ‚ค์›Œ๋“œ ๋งค์นญ์ด๋‹ค. ํ™”๋ฉด์— ์˜์–ด๋กœ "Commit ํƒ€์ž…"์ด๋ผ๊ณ  ์ฐํ˜€ ์žˆ์œผ๋ฉด "์ปค๋ฐ‹ ์ปจ๋ฒค์…˜"์ด๋ผ๋Š” ์งˆ๋ฌธ์œผ๋กœ๋Š” ์•ˆ ์žกํžŒ๋‹ค โ€”

"์–ด์ œ ๋ญ ํ–ˆ์ง€", "์ด๋ฒˆ ์ฃผ ์–ธ์ œ๊ฐ€ ์ œ์ผ ๋ฐ”๋นด์–ด", "์นดํ†ก ๋ช‡ ๋ฒˆ ์ผฐ์–ด" ๊ฐ™์€ ์งˆ๋ฌธ์€ ์• ์ดˆ์— ํ‚ค์›Œ๋“œ๋กœ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋Š” ํ˜•ํƒœ๊ฐ€ ์•„๋‹ˆ๋‹ค. ๋‚ ์งœ๋ฅผ ํ•ด์„ํ•˜๊ณ , ํ•˜๋ฃจ๋ฅผ ์š”์•ฝํ•˜๊ณ , ๋‚ ์งœ๋ฅผ ๊ฐ€๋กœ์งˆ๋Ÿฌ ๋น„๊ตํ•˜๊ณ , ์„ธ์–ด์•ผ ๋‹ต์ด ๋‚˜์˜จ๋‹ค๊ณ  ํŒ๋‹จํ–ˆ๋‹ค.

2. ๊ทธ๋ ‡๋‹ค๊ณ  ํ™”๋ฉด์„ ํ†ต์งธ๋กœ ๋‚จ์—๊ฒŒ ๋งก๊ธธ ์ˆ˜๋Š” ์—†๋‹ค. ํ™”๋ฉด ๊ธฐ๋ก์—๋Š” ๋ฉ”์‹ ์ € ๋Œ€ํ™”์™€ ๋กœ๊ทธ์ธ ํ™”๋ฉด์ด ๊ทธ๋Œ€๋กœ ๋“ค์–ด์žˆ๋‹ค. ์—…๋กœ๋“œํ˜• ์ƒ์šฉ ์„œ๋น„์Šค๋Š” "๋ฌด์—‡์ด ์˜ฌ๋ผ๊ฐ€๋Š”์ง€"๋ฅผ ๋‚ด๊ฐ€ ํ†ต์ œํ•  ์ˆ˜ ์—†์–ด์„œ ์ด ๋ฐ์ดํ„ฐ์—๋Š” ์“ธ ์ˆ˜ ์—†๋Š” ์„ ํƒ์ง€์˜€๋‹ค. ๊ฐœ์ธ์ •๋ณด๊ฐ€ ๊ธฐ๋Šฅ์ด ์•„๋‹ˆ๋ผ ์ œ์•ฝ์œผ๋กœ ๋จผ์ € ์žˆ์—ˆ๊ณ , ์•„ํ‚คํ…์ฒ˜๊ฐ€ ๊ฑฐ๊ธฐ์— ๋งž์ถฐ์กŒ๋‹ค.

3. ์›ํ•˜๋Š” ๊ฑด ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๊ฐ€ ์•„๋‹ˆ๋ผ ๋งฅ๋ฝ์˜ ๋ณต์›์ด์—ˆ๋‹ค. ์ฃผ๊ฐ„ ๊ณต์œ ์— ๋ถ™์ผ ์ˆ˜ ์žˆ๋Š” ๊ฑด ๋งํฌ ๋ชฉ๋ก์ด ์•„๋‹ˆ๋ผ ๋ฌธ์žฅ์ด๋‹ค. "๊ทธ๋•Œ ๋ญ˜ ํ•˜๋‹ค ๋ง์•˜์ง€"๋ฅผ ๋‹ค์‹œ ์ด์–ด์„œ ํ•˜๋ ค๋ฉด ๋”๋”์šฑ ๊ทธ๋ ‡๋‹ค. ๊ทธ๋ž˜์„œ ๊ฒ€์ƒ‰ ์œ„์— ์ธ์ˆ˜์ธ๊ณ„ ๋ฌธ์„œ์™€ ์Šฌ๋ž™ ๊ณต์œ  ์ดˆ์•ˆ์„ ์ถœ๋ ฅ ์–‘์‹์œผ๋กœ ์˜ฌ๋ ธ๋‹ค.

์ œ์•ฝ ์–ด๋–ป๊ฒŒ ์ง€์ผฐ๋‚˜
์›๋ณธ์€ ์ด ์ปดํ“จํ„ฐ๋ฅผ ๋– ๋‚˜์ง€ ์•Š๋Š”๋‹ค ์ˆ˜์ง‘ ๋‹จ๊ณ„์—์„œ PII ๋ฆฌ๋•์…˜์„ ์ผœ๊ณ  ๋ฆฌ๋•์…˜๋ณธ์„ mode=ro๋กœ๋งŒ ์ฝ๋Š”๋‹ค. ํ™”๋ฉด ์บก์ฒ˜ยท์˜ค๋””์˜ค ์›๋ณธ๊ณผ ํ”„๋ ˆ์ž„ DB๋Š” ๋กœ์ปฌ์—๋งŒ ๋‚จ๊ณ , ์ž„๋ฒ ๋”ฉ์„ ๋กœ์ปฌ์—์„œ ๋๋‚ธ ๋’ค ์„œ๋ฒ„๋กœ๋Š” ๋ฆฌ๋•์…˜๋œ ํ…์ŠคํŠธ์™€ ๊ทธ ๋ฒกํ„ฐ๋งŒ ์˜ฌ๋ฆฐ๋‹ค
๋‹ต์—๋Š” ํ•ญ์ƒ ๊ทผ๊ฑฐ๊ฐ€ ๋ถ™๋Š”๋‹ค search()์™€ ask()๋ฅผ ์ผ๋ถ€๋Ÿฌ ๋ถ„๋ฆฌํ–ˆ๋‹ค โ€” ํ•ฉ์ณ๋‘๋ฉด ์—‰๋šฑํ•œ ๊ฑธ ๊ฐ€์ ธ์™€๋„ ๊ทธ๋Ÿด๋“ฏํ•œ ๋‹ต์ด ๋‚˜์™€์„œ ๋ˆˆ์น˜์ฑ„์ง€ ๋ชปํ•œ๋‹ค. UIยทCLIยทAPI ๋ชจ๋‘ ๋‹ต๊ณผ ๊ทผ๊ฑฐ๋ฅผ ๊ฐ™์ด ๋‚ธ๋‹ค
์–ธ์ œ๋“  ๊ฐˆ์•„๋ผ์šธ ์ˆ˜ ์žˆ์–ด์•ผ ํ•œ๋‹ค LLM์€ USE_LOCAL_LLM โ†’ OPENAI_API_KEY โ†’ ANTHROPIC_API_KEY 3์ค‘ ์Šค์œ„์น˜. ํ™˜๊ฒฝ๋ณ€์ˆ˜ ํ•œ ์ค„๋กœ ์™„์ „ ๋กœ์ปฌ(Ollama)๊นŒ์ง€ ๋‚ด๋ ค๊ฐ„๋‹ค โ€” ๊ทธ ๊ฒฝ๋กœ๋ฅผ 8๋ฌธํ•ญ ร— ๋ฐ€๋„๊ฐ€ ๋‹ค๋ฅธ 5์ผ๋กœ API์™€ ์ •๋ฉด ๋น„๊ตํ–ˆ๋‹ค

์ •์งํ•˜๊ฒŒ ์ ์ž๋ฉด, ๊ธฐ๋ณธ ๊ตฌ์„ฑ์—์„œ ์™ธ๋ถ€๋กœ ๋‚˜๊ฐ€๋Š” ๊ฒƒ์€ LLM ํ˜ธ์ถœ๋ฟ์ด๊ณ  ๊ทธ๋•Œ ๊ทผ๊ฑฐ ํ…์ŠคํŠธ๊ฐ€ ํ”„๋กฌํ”„ํŠธ์— ์‹ค๋ฆฐ๋‹ค. ๊ทธ๊ฒƒ๋งˆ์ € ์›์น˜ ์•Š์œผ๋ฉด USE_LOCAL_LLM=1๋กœ ์™„์ „ ๋กœ์ปฌ ๋™์ž‘์ด ๊ฐ€๋Šฅํ•˜๊ณ , ๊ทธ๊ฒŒ ๋กœ์ปฌ LLM ์‹คํ—˜์„ ์ง„ํ–‰ํ•œ ์ด์œ ์ด๋‹ค.


๐Ÿ’ฌ 2. ๋ฌด์—‡์„ ํ•˜๋Š”๊ฐ€

ํ‰์†Œ ๋งํˆฌ๋กœ ๋ฌผ์–ด๋ณด๋ฉด ํ•„ํ„ฐ๋ฅผ ์Šค์Šค๋กœ ๋ฝ‘์•„ ๊ทธ ๋ฒ”์œ„ ์•ˆ์—์„œ๋งŒ ๋‹ตํ•œ๋‹ค. ์งˆ๋ฌธ์„ ๋˜์ง€๋ฉด ๋ผ์šฐํŒ… ๊ฒฐ๊ณผ(Google Chrome์—์„œ ยท ์ตœ๊ทผ 7์ผ)๊ฐ€ ๋จผ์ € ๋œจ๊ณ  ๋‹ต์ด ํ† ํฐ ๋‹จ์œ„๋กœ ํ˜๋Ÿฌ๋‚˜์˜จ๋‹ค.

๋ผ์šฐํŒ… ๋ฐฐ์ง€์™€ ๋‹ต๋ณ€ ๊ทผ๊ฑฐ ์นด๋“œ
๋‹ต๋ณ€ โ€” ์งˆ๋ฌธ ์•„๋ž˜์— ๋ผ์šฐํŒ… ๊ฒฐ๊ณผ๋ฅผ ๋ฐฐ์ง€๋กœ ๋ณด์—ฌ์ฃผ๊ณ , ๊ฐ ํ•ญ๋ชฉ์— ์บก์ฒ˜ ์‹œ๊ฐ ยท ์•ฑ ยท ์ฐฝ ์ œ๋ชฉ ยท ์‹ค์ œ URL์„ ๊ทธ๋Œ€๋กœ ๋ถ™์ธ๋‹ค. ๊ทผ๊ฑฐ โ€” ๋‹ต์˜ ์ถœ์ฒ˜๊ฐ€ ๋œ ์ด๋ฒคํŠธ๋ฅผ ๊ฑฐ๋ฆฌ ์ ์ˆ˜์™€ ํ•จ๊ป˜ ํŽผ์ณ๋ณผ ์ˆ˜ ์žˆ๋‹ค. ํ™”๋ฉด์—์„œ ์ฝํžŒ ์›๋ฌธ ๊ทธ๋Œ€๋กœ๋ผ OCR ๋…ธ์ด์ฆˆ๊นŒ์ง€ ์‚ฌ์šฉ์ž๊ฐ€ ์ง์ ‘ ๊ฒ€์ฆํ•  ์ˆ˜ ์žˆ๋‹ค.

์งˆ๋ฌธ์€ ํ•œ ์ข…๋ฅ˜๊ฐ€ ์•„๋‹ˆ๋‹ค.

๊ฐ™์€ ํŒŒ์ดํ”„๋ผ์ธ์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๋ฉด ์ „๋ถ€ ํ‹€๋ฆฐ๋‹ค๋Š” ๊ฑธ ํ™•์ธํ•˜๊ณ , ๋‹ต์„ ๋งŒ๋“œ๋Š” ๋ฐฉ์‹์„ ๋‹ค์„ฏ ๊ฐˆ๋ž˜๋กœ ๋‚˜๋ˆด๋‹ค.

์œ ํ˜• ์˜ˆ์‹œ ๋‹ต์„ ๋งŒ๋“œ๋Š” ๋ฐฉ์‹ ๊ตฌํ˜„
๊ฒ€์ƒ‰ "์ฝ”๋“œํŠธ๋ฆฌ์—์„œ ๋ญ ํ’€์—ˆ์–ด?" ๋ฒกํ„ฐ ๊ฒ€์ƒ‰ top-k โ†’ LLM์ด ๊ทผ๊ฑฐ๋กœ ๋‹ต๋ณ€ ask.py
์ •๋ฆฌ "์–ด์ œ ํ•˜๋ฃจ ์ •๋ฆฌํ•ด์ค˜" ๋‚ ์งœ๋ณ„ ์š”์•ฝ์„ ๋ณ‘๋ ฌ ์ƒ์„ฑํ•ด ๋จผ์ € ๋๋‚œ ๊ฒƒ๋ถ€ํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ summarize.py
๋น„๊ต "์ด๋ฒˆ ์ฃผ ์–ธ์ œ๊ฐ€ ์ œ์ผ ๋ฐ”๋นด์–ด?" ๋‚ ์งœ๋ณ„ ์š”์•ฝ โ†’ ๊ทธ ์š”์•ฝ๋“ค์„ ๋‹ค์‹œ LLM์œผ๋กœ ๋น„๊ต summarize.py
์ง‘๊ณ„ "์นดํ†ก ๋ช‡ ๋ฒˆ ์ผฐ์–ด?" LLM์„ ์•ˆ ๊ฑฐ์นœ๋‹ค. metadata๋ฅผ ์ฝ”๋“œ๊ฐ€ ์ง์ ‘ ์„ผ๋‹ค count_range()
๋ณตํ•ฉ "์œ ํŠœ๋ธŒ ๋ช‡ ๋ฒˆ ๋ดค๋Š”์ง€๋ž‘ ๋ญ ๋ดค๋Š”์ง€ ๊ฐ™์ด" ReAct ์—์ด์ „ํŠธ๊ฐ€ ์œ„ ๋„๊ตฌ๋“ค์„ ๊ณจ๋ผ ์กฐํ•ฉ agent.py

์—ฌ๊ธฐ์— ์ธ์ˆ˜์ธ๊ณ„ ๋ฌธ์„œยท์Šฌ๋ž™ ๊ณต์œ  ์ดˆ์•ˆ ๋‘ ๊ฐ€์ง€ ์ถœ๋ ฅ ์–‘์‹์ด ์—์ด์ „ํŠธ ๋„๊ตฌ๋กœ ์–นํ˜€ ์žˆ๋‹ค. ์Šฌ๋ž™์€ ์ดˆ์•ˆ๊นŒ์ง€๋งŒ ๋งŒ๋“ค๊ณ , ์‹ค์ œ ์ „์†ก์€ ์‚ฌ์šฉ์ž๊ฐ€ ๋ฒ„ํŠผ์„ ๋ˆŒ๋Ÿฌ์•ผ๋งŒ ๋„๋Š” ๋ณ„๋„ ์—”๋“œํฌ์ธํŠธ๋‹ค.

๊ธฐ๋Šฅ ์ƒ์„ธ

๊ฒ€์ƒ‰ โ€” ๊ทผ๊ฑฐ 8๊ฐœ๊ฐ€ ๊ฐ™์ด ๋‚˜์˜จ๋‹ค ์ •๋ฆฌ โ€” ํ•˜๋ฃจ๋ฅผ ์‹œ๊ฐ์ˆœ์œผ๋กœ ๋ณต์›
๊ฒ€์ƒ‰ ์ •๋ฆฌ
๋ผ์šฐํŒ… ๊ฒฐ๊ณผ๊ฐ€ ๋ฐฐ์ง€๋กœ ๋จผ์ € ๋œจ๊ณ , ๋‹ต ์•„๋ž˜์— ์บก์ฒ˜ ์‹œ๊ฐ ยท ์•ฑ ยท ์ฐฝ ์ œ๋ชฉ ยท ๊ฑฐ๋ฆฌ ์ ์ˆ˜๊ฐ€ ๊ทธ๋Œ€๋กœ ๋ถ™๋Š”๋‹ค. ํ™”๋ฉด์—์„œ ์ฝํžŒ ์›๋ฌธ์ด๋ผ OCR ๋…ธ์ด์ฆˆ๊นŒ์ง€ ๊ฒ€์ฆ๋œ๋‹ค. ์œ ํŠœ๋ธŒยทNotionยท์นด์นด์˜คํ†กยทํ„ฐ๋ฏธ๋„์ด ํ•œ ์ค„๊ธฐ๋กœ ์ด์–ด์ง„๋‹ค. ๋‚ ์งœ๋ณ„ ์š”์•ฝ์„ ๋ณ‘๋ ฌ ์ƒ์„ฑํ•ด ๋จผ์ € ๋๋‚œ ๊ฒƒ๋ถ€ํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐ โ€” ์ฒซ ๋ฌธ์žฅ์ด 1.4์ดˆ.
๋น„๊ต โ€” ๋‚ ์งœ๋ฅผ ๊ฐ€๋กœ์ง€๋ฅด๋Š” ์งˆ๋ฌธ ์ธ์ˆ˜์ธ๊ณ„ โ€” ๊ฐ™์€ ๊ธฐ๋ก, ๋‹ค๋ฅธ ์–‘์‹
๋น„๊ต ์ธ์ˆ˜์ธ๊ณ„
๋‚ ์งœ๋ณ„ ์š”์•ฝ์„ ๊ฐ๊ฐ ๋งŒ๋“  ๋’ค ๊ทธ ์š”์•ฝ๋“ค์„ ๋‹ค์‹œ LLM์— ๋„ฃ์–ด ํŒ๋‹จ์‹œํ‚จ๋‹ค. ๋‚˜์—ด๋งŒ ํ•ด์„œ๋Š” "์–ด๋А ๋‚ ์ด ๋” ๋ฐ”๋นด๋‚˜"์— ๋‹ต์ด ์•ˆ ๋‚˜์˜จ๋‹ค. ์ง„ํ–‰ํ•œ ์ž‘์—… / ์ด์–ด์„œ ํ•  ๊ฒƒ / ์ฐธ๊ณ ํ•  ์  ์„ธ ๊ฐˆ๋ž˜๋กœ ๋‹ค์‹œ ์“ด๋‹ค. "๊ทธ๋•Œ ๋ญ˜ ํ•˜๋‹ค ๋ง์•˜์ง€"๋ฅผ ์ด์–ด์„œ ํ•˜๋ ค๋ฉด ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๊ฐ€ ์•„๋‹ˆ๋ผ ๋ฌธ์žฅ์ด ํ•„์š”ํ–ˆ๋‹ค.
์Šฌ๋ž™ ์ดˆ์•ˆ โ€” ์ „์†ก์€ ์‚ฌ๋žŒ์ด ์ง‘๊ณ„ โ€” LLM์„ ํ•œ ๋ฒˆ๋„ ์•ˆ ๋ถ€๋ฅธ๋‹ค
์Šฌ๋ž™ ์ดˆ์•ˆ ์ง‘๊ณ„
"๋ฐฉ๊ธˆ ๊ทธ๊ฑฐ"๋ผ๊ณ ๋งŒ ํ•ด๋„ ์ง์ „ ๋‹ต๋ณ€์„ ์ฝ”๋“œ๊ฐ€ ๊ทธ๋Œ€๋กœ ๊ฐ€์ ธ์™€ ์žฌํฌ๋งทํ•œ๋‹ค โ€” LLM์ด ํ•„ํ„ฐ๋ฅผ ๋‹ค์‹œ ์ถ”๋ก ํ•˜๋‹ค ๋ฌด๊ด€ํ•œ ๋‚ด์šฉ์„ ๋งŒ๋“  ์‚ฌ๊ณ ๊ฐ€ ์žˆ์–ด์„œ๋‹ค. ์‹ค์ œ ์ „์†ก์€ ์‚ฌ์šฉ์ž๊ฐ€ ๋ฒ„ํŠผ์„ ๋ˆŒ๋Ÿฌ์•ผ๋งŒ ๋„๋Š” ๋ณ„๋„ ์—”๋“œํฌ์ธํŠธ. count_range()๊ฐ€ chroma metadata๋ฅผ ์ง์ ‘ ์„ธ์„œ ๋ฌธ์ž์—ด๋งŒ ์กฐํ•ฉํ•œ๋‹ค. ์š”์•ฝ๋ฌธ์„ ์ฝ๊ณ  LLM์ด ์„ธ๊ฒŒ ํ•˜๋ฉด ์‹ค์ œ 340ํšŒ๋ฅผ "5ํšŒ"๋กœ ๋‹ตํ•˜๋Š” ์‚ฌ๊ณ ๊ฐ€ ๋‚œ๋‹ค(์‹ค์ธก).
์ •์  ํ™”๋ฉด์œผ๋กœ ๋” ๋ณด๊ธฐ โ€” ์œ ํ˜•๋ณ„ ์‹ค์ œ ์‘๋‹ต 3๊ฑด

์ง‘๊ณ„ โ€” "์ด๋ฒˆ ์ฃผ์— ์–ด๋–ค ์•ฑ์„ ์ œ์ผ ๋งŽ์ด ์ผ์–ด?"

์ง‘๊ณ„ ์‘๋‹ต

LLM์„ ํ•œ ๋ฒˆ๋„ ์•ˆ ๋ถ€๋ฅธ ๋‹ต์ด๋‹ค. count_range()๊ฐ€ chroma metadata๋ฅผ ์ง์ ‘ ์„ธ์„œ ๋ฌธ์ž์—ด๋งŒ ์กฐํ•ฉํ•œ๋‹ค. ์š”์•ฝ๋ฌธ์„ ์ฝ๊ณ  LLM์ด ์„ธ๊ฒŒ ํ•˜๋ฉด ์‹ค์ œ 340ํšŒ๋ฅผ "5ํšŒ"๋กœ ๋‹ตํ•˜๋Š” ์‚ฌ๊ณ ๊ฐ€ ๋‚œ๋‹ค(์‹ค์ธก).


๋น„๊ต โ€” "8์›” 3์ผ์ด๋ž‘ 8์›” 4์ผ ์ค‘ ์–ธ์ œ๊ฐ€ ๋” ๋ฐ”๋นด์–ด?"

๋น„๊ต ์‘๋‹ต

๋‚ ์งœ๋ณ„ ์š”์•ฝ์„ ๊ฐ๊ฐ ๋งŒ๋“  ๋’ค ๊ทธ ์š”์•ฝ๋“ค์„ ๋‹ค์‹œ LLM์— ๋„ฃ์–ด ํŒ๋‹จ์‹œํ‚จ๋‹ค. ์š”์•ฝ์„ ๋‚˜์—ด๋งŒ ํ•ด์„œ๋Š” "์–ด๋А ๋‚ ์ด ๋” ๋ฐ”๋นด๋‚˜"๋ผ๋Š” ๋‚ ์งœ๋ฅผ ๊ฐ€๋กœ์ง€๋ฅด๋Š” ์งˆ๋ฌธ์— ๋‹ต์ด ์•ˆ ๋‚˜์˜จ๋‹ค. ๊ทผ๊ฑฐ๋กœ ๋“  ์‹œ๊ฐ„๋Œ€์™€ ํ™œ๋™์„ ์งš์œผ๋ฉด์„œ ๊ฒฐ๋ก ์„ ๋‚ธ๋‹ค.


๋ณตํ•ฉ โ€” "์ด๋ฒˆ์ฃผ์— ๊นƒํ—ˆ๋ธŒ ๋ช‡ ๋ฒˆ ๋ดค๋Š”์ง€๋ž‘ ์–ด๋–ค ์ž‘์—… ํ–ˆ๋Š”์ง€ ๊ฐ™์ด ์•Œ๋ ค์ค˜"

๋ณตํ•ฉ ์งˆ๋ฌธ โ€” ์—์ด์ „ํŠธ ๊ฒฝ๋กœ

์ง‘๊ณ„์™€ ๊ฒ€์ƒ‰์ด ๋™์‹œ์— ํ•„์š”ํ•ด์„œ ๋„ค ๊ฐˆ๋ž˜ ์ค‘ ํ•˜๋‚˜๋กœ๋Š” ๋ชป ํ‘ธ๋Š” ์งˆ๋ฌธ์ด๋‹ค. route()๊ฐ€ compound=true๋กœ ํ‘œ์‹œํ•˜๋ฉด ReAct ์—์ด์ „ํŠธ๊ฐ€ count_events(429ํšŒ)์™€ search_events๋ฅผ ์ฐจ๋ก€๋กœ ๋ถ€๋ฅธ ๋’ค ํ•˜๋‚˜์˜ ๋‹ต์œผ๋กœ ํ•ฉ์นœ๋‹ค.


๐Ÿ— 3. ์‹œ์Šคํ…œ ๊ตฌ์กฐ

ํ•œ ์ค„ ์š”์•ฝ โ€” ํ™”๋ฉด์„ ์ฐ๊ณ  ยท ๊ฑธ๋Ÿฌ๋‚ด๊ณ  ยท ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ํ˜•ํƒœ๋กœ ์Œ“๋Š” ์ผ๊นŒ์ง€ ์ „๋ถ€ ์ž๋™์œผ๋กœ ๋Œ์•„๊ฐ€๊ณ , ์‚ฌ์šฉ์ž๋Š” "์–ด์ œ ๋ญ ํ–ˆ์ง€?"๋ผ๊ณ  ํ‰์†Œ ๋งํˆฌ๋กœ ๋ฌป๊ธฐ๋งŒ ํ•˜๋ฉด 1.4์ดˆ ์•ˆ์— ์ฒซ ๋ฌธ์žฅ์„ ๊ทผ๊ฑฐ์™€ ํ•จ๊ป˜ ๋ฐ›๋Š”๋‹ค. ์›๋ณธ ๊ธฐ๋ก์€ ๊ทธ๋™์•ˆ ๋‚ด ์ปดํ“จํ„ฐ ๋ฐ–์œผ๋กœ ๋‚˜๊ฐ€์ง€ ์•Š๋Š”๋‹ค.

์‚ฌ์šฉ์ž๊ฐ€ ์‹ค์ œ๋กœ ํ•˜๋Š” ์ผ์€ ์„ธ ๊ฐ€์ง€๋ฟ์ด๋‹ค โ€” โ‘  ๋ฉ”๋‰ด๋ฐ” ์•ฑ์—์„œ ๋…นํ™”๋ฅผ ์ผœ๋‘”๋‹ค โ†’ โ‘ก ํ•˜๋ฃจ ๋์— "๋™๊ธฐํ™”"๋ฅผ ๋ˆ„๋ฅธ๋‹ค(์ƒ‰์ธยท์š”์•ฝยท์ „์†ก์ด ์•Œ์•„์„œ ๋ˆ๋‹ค) โ†’ โ‘ข ์›น์—์„œ ๋ฌป๋Š”๋‹ค. ์•„๋ž˜ ๋‹ค์ด์–ด๊ทธ๋žจ์˜ ๋‚˜๋จธ์ง€ ์ „๋ถ€๊ฐ€ ์ด ์„ธ ๋™์ž‘ ๋’ค์—์„œ ์ž๋™์œผ๋กœ ์ฒ˜๋ฆฌ๋˜๋Š” ๋ถ€๋ถ„์ด๋‹ค.

์‹œ์Šคํ…œ ์•„ํ‚คํ…์ฒ˜ โ€” Mac ๋กœ์ปฌ์—์„œ ์ž„๋ฒ ๋”ฉ๊นŒ์ง€ ๋๋‚ด๊ณ  EC2๋กœ๋Š” ๋ฒกํ„ฐ๋งŒ ์ „์†ก
๋ฐ์ดํ„ฐ ํ๋ฆ„ ์ƒ์„ธ โ€” ์ˆ˜์ง‘ ยท ์ƒ‰์ธ ยท ์งˆ์˜ ยท ์„œ๋น™
flowchart LR
    subgraph COLLECT["์ˆ˜์ง‘ (๋กœ์ปฌ)"]
        SP["screenpipe<br/>ํ™”๋ฉด ์บก์ฒ˜ + OCR/AX + PII ๋ฆฌ๋•์…˜"] --> DB[("~/.screenpipe-redacted<br/>db.sqlite ยท ์ฝ๊ธฐ ์ „์šฉ")]
    end

    subgraph INDEX["์ƒ‰์ธ ํŒŒ์ดํ”„๋ผ์ธ"]
        DB --> SRC["source.py<br/>ํ”„๋ ˆ์ž„ ๋กœ๋“œ ยท UTCโ†’KST"]
        SRC --> CLN["clean.py<br/>ํ”„๋ ˆ์ž„ โ†’ ์ด๋ฒคํŠธ"]
        CLN --> IDX["index.py<br/>BGE-M3 ์ž„๋ฒ ๋”ฉ"]
        IDX --> CH[("chroma<br/>events ์ปฌ๋ ‰์…˜")]
    end

    subgraph QUERY["์งˆ์˜"]
        Q(["์งˆ๋ฌธ"]) --> RT["router.py<br/>route() โ€” ๊ตฌ์กฐํ™” ์ถœ๋ ฅ 1ํšŒ"]
        RT --> ASK["ask.py / summarize.py<br/>๊ฒ€์ƒ‰ ยท ์ •๋ฆฌ ยท ๋น„๊ต ยท ์ง‘๊ณ„"]
        RT --> AG["agent.py<br/>๋ณตํ•ฉ์ด๋ฉด ReAct ๋ฃจํ”„"]
        CH --> ASK
        CH --> AG
        ASK --> LLM["LLM<br/>๊ฒŒ์ดํŠธ์›จ์ด ยท Anthropic ยท Ollama"]
        AG --> LLM
        LLM --> A(["๋‹ต๋ณ€ + ๊ทผ๊ฑฐ"])
    end

    subgraph SERVE["์„œ๋น„์Šค"]
        API["api.py<br/>FastAPI ยท SSE ยท Basic Auth"] --> A
        API --> HIST[("chat_history.sqlite")]
        API --> SC[("summary_cache.sqlite")]
    end
Loading

๊ธฐ์ˆ  ์„ ํƒ๊ณผ ์ด์œ 

์˜์—ญ ์„ ํƒ ์™œ
์ž„๋ฒ ๋”ฉ BAAI/bge-m3 (sentence-transformers, ๋กœ์ปฌ) ํ•œ๊ตญ์–ด+์˜์–ด๊ฐ€ ์„ž์ธ ํ™”๋ฉด ํ…์ŠคํŠธ์— ๊ฐ•ํ•จ. e5-largeยทko-sroberta์™€ ๊ณจ๋“ ์…‹์œผ๋กœ ์‹ค์ธก ๋น„๊ต ํ›„ ์œ ์ง€
๋ฒกํ„ฐ DB ChromaDB PersistentClient (cosine) app/hour/date where ํ•„ํ„ฐ๊ฐ€ ํ•„์ˆ˜. ์ž„๋ฒ ๋””๋“œ๋ผ ๊ฐœ์ธ์šฉ์— ์šด์˜ ๋ถ€๋‹ด 0
LLM ๊ฒŒ์ดํŠธ์›จ์ด ยท Anthropic ยท Ollama 3์ค‘ ์Šค์œ„์น˜ ํ™˜๊ฒฝ๋ณ€์ˆ˜ ํ•œ ์ค„๋กœ ์ „ํ™˜/๋กค๋ฐฑ. ๋ฒค๋” ์žฅ์• ยทํฌ๋ ˆ๋”ง ์†Œ์ง„ ๋Œ€๋น„
์—์ด์ „ํŠธ ๋ชจ๋ธ ๋ฉ€ํ‹ฐํ„ด ๊ฒฝ๋กœ๋งŒ ๋ชจ๋ธ ๋ถ„๋ฆฌ ๊ฒŒ์ดํŠธ์›จ์ด๊ฐ€ Gemini์˜ thought_signature๋ฅผ ๋ˆ„๋ฝ์‹œ์ผœ 2ํ„ด๋ถ€ํ„ฐ 400 ์—๋Ÿฌ โ€” ์ฝ”๋“œ๋กœ ๋ชป ๊ณ ์น˜๋Š” ๋ฌธ์ œ
์„œ๋ฒ„ FastAPI + uvicorn + SSE ๋‚ ์งœ๋ณ„ ์š”์•ฝ์„ asyncio.as_completed๋กœ ๋จผ์ € ๋๋‚œ ๊ฒƒ๋ถ€ํ„ฐ + ๊ฒ€์ƒ‰์€ ํ† ํฐ ๋‹จ์œ„ SSE
์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜ LangGraph StateGraph + ์ปค์Šคํ…€ ReAct ๊ณ ์ • ๋ถ„๊ธฐ์™€ ํด๋ฐฑ ๋ฃจํ”„๋ฅผ ํ•œ ์ƒํƒœ ๊ธฐ๊ณ„๋กœ. ์ŠคํŠธ๋ฆฌ๋ฐ ์ด๋ฒคํŠธ๋ฅผ ๋…ธ๋“œ์—์„œ ์ง์ ‘ ๋ฐฉ์ถœ
์ €์žฅ sqlite ร—3 (์›๋ณธ ro / ๋Œ€ํ™” / ์š”์•ฝ ์บ์‹œ) ๋‹จ์ผ ๋…ธ๋“œ ๊ฐœ์ธ ๋„๊ตฌ์— ๋ณ„๋„ DB ์„œ๋ฒ„๋Š” ๊ณผํ•จ
๋ฐฐํฌ Docker + GitHub Actions + GHCR + EC2 git push ํ•œ ๋ฒˆ์œผ๋กœ ์ด๋ฏธ์ง€ ๋นŒ๋“œ โ†’ SSH ์žฌ๋ฐฐํฌ

โš™๏ธ 4. ํŒŒ์ดํ”„๋ผ์ธ

1. ์ˆ˜์ง‘ โ†’ ์ •์ œ โ€” ํ”„๋ ˆ์ž„์€ ๊ฒ€์ƒ‰ ๋‹จ์œ„๊ฐ€ ์•„๋‹ˆ๋‹ค

๋ช‡ ์ดˆ๋งˆ๋‹ค ๊ฑฐ์˜ ๊ฐ™์€ ํ™”๋ฉด์ด ์ฐํžˆ๊ธฐ ๋•Œ๋ฌธ์— ํ”„๋ ˆ์ž„์„ ๊ทธ๋Œ€๋กœ ์ž„๋ฒ ๋”ฉํ•˜๋ฉด ๋ฌด์—‡์„ ๋ฌผ์–ด๋„ ์‚ฌ์ด๋“œ๋ฐ” ๋ฉ”๋‰ด๊ฐ€ 1๋“ฑ์œผ๋กœ ์žกํžŒ๋‹ค. clean.py๊ฐ€ ์„ธ ๊ฐ€์ง€๋ฅผ ํ•œ๋‹ค.

flowchart LR
    F1["ํ”„๋ ˆ์ž„ ร—2,215<br/>๊ฑฐ์˜ ๊ฐ™์€ ํ™”๋ฉด"] --> G["group_frames()<br/>์•ฑ+์ฐฝ ์—ฐ์† ๋ฌถ๊ธฐ"]
    G --> S["split_group()<br/>Jaccard 0.3 ๋ฏธ๋งŒ์ด๊ฑฐ๋‚˜ 2,000์ž ์ดˆ๊ณผ๋ฉด ๋ถ„ํ• "]
    S --> E["์ด๋ฒคํŠธ ร—1,164<br/>์ค‘๋ณต ์ œ๊ฑฐ๋œ ๋ณธ๋ฌธ"]
Loading
  • ๋ฌถ๊ธฐ โ€” ์•ฑ+์ฐฝ์ด ๊ฐ™์€ ์—ฐ์† ํ”„๋ ˆ์ž„๋งŒ ํ•œ ๋ฉ์–ด๋ฆฌ๋กœ. ์นดํ†ก โ†’ ํฌ๋กฌ โ†’ ์นดํ†ก์ด๋ฉด ์นดํ†ก ๊ทธ๋ฃน์ด ๋‘ ๊ฐœ๋‹ค. ์‹œ๊ฐ„์ด ๋–จ์–ด์ง„ ๊ฑธ ํ•ฉ์น˜๋ฉด "์–ธ์ œ"๊ฐ€ ๋ญ‰๊ฐœ์ง„๋‹ค.
  • ์ค„์ด๊ธฐ โ€” ๊ทธ๋ฃน ์ „์ฒด์—์„œ ์ด๋ฏธ ๋ณธ ์ค„์€ ๋ฒ„๋ฆฐ๋‹ค. ์ด๋ฒคํŠธ๋งˆ๋‹ค seen์„ ๋น„์šฐ๋ฉด ์‚ฌ์ด๋“œ๋ฐ” ๊ฐ™์€ ๋ฐ˜๋ณต ์ค„์ด ์ด๋ฒคํŠธ๋งˆ๋‹ค ๋˜์‚ด์•„๋‚œ๋‹ค.
  • ๋‚˜๋ˆ„๊ธฐ โ€” ์ฐฝ ์ œ๋ชฉ์ด ์•ˆ ๋ฐ”๋€Œ๋Š” ์•ฑ(Claude, Code)์—์„œ๋Š” ์„œ๋กœ ๋‹ค๋ฅธ ์ž‘์—…์ด ํ•œ ๊ทธ๋ฃน์— ๋‹ค ๋“ค์–ด์˜จ๋‹ค. Jaccard ๊ฒน์นจ์ด ์ž„๊ณ„ ๋ฏธ๋งŒ์ด๊ฑฐ๋‚˜ ๊ธ€์ž ์ˆ˜ ์ƒํ•œ์„ ๋„˜์œผ๋ฉด ๋Š๋Š”๋‹ค.

2026-08-02 ์‹ค์ œ ๊ธฐ๋ก: ํ”„๋ ˆ์ž„ 2,215๊ฐœ(7,482,811์ž) โ†’ ์ด๋ฒคํŠธ 1,164๊ฐœ(1,933,257์ž), ๊ธ€์ž โˆ’75%

2. ์ƒ‰์ธ โ€” ์žฌ์‹คํ–‰ํ•ด๋„ ์•ˆ์ „ํ•˜๊ฒŒ

index.py๋Š” id๋ฅผ ๋‚ด์šฉ ํ•ด์‹œ(app|window|start|text)๋กœ ๋งŒ๋“ ๋‹ค. ์žฌ์‹คํ–‰ํ•ด๋„ ์ค‘๋ณต์ด ์•ˆ ์Œ“์ด๊ณ , 200๊ฐœ ๋‹จ์œ„ ์ฒดํฌํฌ์ธํŠธ๋ผ ์ค‘๊ฐ„์— ์ฃฝ์–ด๋„ ์ด์–ด์„œ ์ƒ‰์ธํ•œ๋‹ค.

3. ๋ผ์šฐํŒ… โ€” ์งˆ๋ฌธ ํ•˜๋‚˜์— LLM ํ˜ธ์ถœ ์ •ํ™•ํžˆ 1ํšŒ

router.py์˜ route()๊ฐ€ JSON Schema ๊ตฌ์กฐํ™” ์ถœ๋ ฅ ํ•œ ๋ฒˆ์œผ๋กœ ์•„๋ž˜๋ฅผ ์ „๋ถ€ ๋ฝ‘๋Š”๋‹ค.

ํ•„๋“œ ํ•˜๋Š” ์ผ
app / site ๊ฒ€์ƒ‰์„ ์ขํžˆ๋Š” ํ•„ํ„ฐ. enum์œผ๋กœ ๊ฐ•์ œ โ€” ์ฝ”ํผ์Šค์— ์—†๋Š” ์•ฑ์„ ์ง€์–ด๋‚ด๋Š” ๊ฑธ API ๋ ˆ๋ฒจ์—์„œ ์ฐจ๋‹จ
hour_range ์‹œ๊ฐ์ด ์‹ค์ œ๋กœ ์–ธ๊ธ‰๋์„ ๋•Œ๋งŒ. ํŒŒ์‹ฑ ํ›„ 0~23 ๋ฒ”์œ„๋ฅผ ์ฝ”๋“œ๊ฐ€ ์žฌ๊ฒ€์ฆ
periods ๊ธฐ๊ฐ„์„ ๋ฆฌ์ŠคํŠธ๋กœ. ํ•˜๋ฃจ์งœ๋ฆฌ๋„ ๊ธฐ๊ฐ„ 1๊ฐœ๋กœ ํ†ต์ผํ•ด์„œ ์ดํ›„ ๋‹จ๊ณ„์˜ ์ด์ค‘ ํ‘œํ˜„์„ ์—†์•ฐ
intent ๊ฒ€์ƒ‰ / ์ •๋ฆฌ / ๋น„๊ต / ์ง‘๊ณ„
search_query ํ›„์† ์งˆ๋ฌธ("์ตœ๊ทผ ์ผ์ฃผ์ผ๋กœ ๋„“ํ˜€์ค˜")์— ์ด์ „ ๋Œ€ํ™”์˜ ์ฃผ์ œ๋ฅผ ํ•ฉ์ณ ๋‹ค์‹œ ์“ด ๊ฒ€์ƒ‰ ๋ฌธ์žฅ
count_by_site ์ง‘๊ณ„๋ฅผ ์•ฑ ๋‹จ์œ„๊ฐ€ ์•„๋‹ˆ๋ผ ๋ฐฉ๋ฌธ ๋„๋ฉ”์ธ ๋‹จ์œ„๋กœ
compound ์—์ด์ „ํŠธ ํด๋ฐฑ ์—ฌ๋ถ€. ์ „์šฉ ํŒ๋ณ„ ํ˜ธ์ถœ์„ ์—†์• ๊ณ  ์ด ํ•„๋“œ ํ•˜๋‚˜๋กœ ํ•ฉ์ณ ์งˆ๋ฌธ๋‹น LLM 1ํšŒ๋ฅผ ์ค„์˜€๋‹ค

4. ๋‹ต ์ƒ์„ฑ โ€” ๊ณ ์ • ๊ฒฝ๋กœ + ์—์ด์ „ํŠธ ํด๋ฐฑ

๋ณตํ•ฉ ์งˆ๋ฌธ์„ ์œ„ํ•ด ReAct ๋ฃจํ”„๋ฅผ ์–น์œผ๋ฉด์„œ, ์ด๋ฏธ ๊ฒ€์ฆ๋œ ๊ณ ์ • ๊ฒฝ๋กœ๋ฅผ ๋ง๊ฐ€๋œจ๋ฆฌ์ง€ ์•Š๋„๋ก ์„ค๊ณ„ํ–ˆ๋‹ค. (graph.pyยท agent.py)

flowchart TD
    Q(["์งˆ๋ฌธ"]) --> C{"plan.compound?"}

    subgraph FIXED["๊ณ ์ • ๊ฒฝ๋กœ โ€” graph.py"]
        R2["route ๋…ธ๋“œ"] -.-> N1["search / single_period<br/>multi_period / fallback"]
    end

    subgraph LOOP["์—์ด์ „ํŠธ ๋ฃจํ”„ โ€” agent.py"]
        AG["agent ยท LLM์ด ๋„๊ตฌ ์„ ํƒ"] --> TL["tools ยท ์‹คํ–‰"]
        TL -. "๋” ํ•„์š”ํ•˜๋ฉด" .-> AG
    end

    C -- "์•„๋‹ˆ์˜ค (๋Œ€๋ถ€๋ถ„)" --> FIXED
    C -- "์˜ˆ (๊ฐ€๋”)" --> LOOP
    FIXED --> A(["๋‹ต๋ณ€"])
    AG -- "์ถฉ๋ถ„ํ•˜๋ฉด" --> A
Loading
  • ๋„๊ตฌ๋Š” ์ƒˆ ๋กœ์ง์„ ์งœ์ง€ ์•Š๋Š”๋‹ค. 6๊ฐœ ๋„๊ตฌ(search_events / count_events / summarize_days / compare_days / draft_handover_doc / draft_slack_message) ์ „๋ถ€ ๊ธฐ์กด ํ•จ์ˆ˜๋ฅผ ๊ฐ์‹ธ์„œ ๊ตฌํ˜„ํ–ˆ๋‹ค.
  • ๊ฐ€๋“œ๋ ˆ์ผ: ํ™”์ดํŠธ๋ฆฌ์ŠคํŠธ 6๊ฐœ + recursion_limit=8. ํ•œ๋„๋ฅผ ๋„˜๊ธฐ๋ฉด ์žฌ์‹œ๋„ ๋Œ€์‹  ์•ˆ๋‚ด ๋ฌธ๊ตฌ๋กœ ๋๋‚ธ๋‹ค.
  • ๋˜๋Œ๋ฆด ์ˆ˜ ์—†๋Š” ํ–‰๋™์€ ๋„๊ตฌ๊ฐ€ ์•„๋‹ˆ๋‹ค. ์Šฌ๋ž™ ์ดˆ์•ˆ์€ LLM์ด ๋งŒ๋“ค์ง€๋งŒ ์‹ค์ œ ์ „์†ก์€ ์‚ฌ์šฉ์ž๊ฐ€ ๋ฒ„ํŠผ์„ ๋ˆŒ๋Ÿฌ์•ผ๋งŒ ํ˜ธ์ถœ๋˜๋Š” ๋ณ„๋„ ์—”๋“œํฌ์ธํŠธ๋‹ค. "์Šน์ธ๋œ ๊ฒƒ ๊ฐ™๋‹ค"๋Š” ์ถ”๋ก ์œผ๋กœ ๋ฉ”์‹œ์ง€๊ฐ€ ๋‚˜๊ฐ€๋ฉด ์•ˆ ๋˜๋ฏ€๋กœ ์ž๋™ ์Šน์ธ ๊ฐ์ง€๋Š” ์ผ๋ถ€๋Ÿฌ ๋„ฃ์ง€ ์•Š์•˜๋‹ค.
  • ์ง์ „ ๋‹ต๋ณ€ ์žฌ์‚ฌ์šฉ์€ LLM์ด ์•„๋‹ˆ๋ผ ์ฝ”๋“œ๊ฐ€ ํ•œ๋‹ค. "๊ทธ๊ฑฐ ์Šฌ๋ž™์œผ๋กœ ๋ณด๋‚ด์ž"๋Š” ์žฌ์กฐํšŒ ํ•„ํ„ฐ๋ฅผ LLM์ด ๋‹ค์‹œ ์ถ”๋ก ํ•˜๋‹ค ๋ฌด๊ด€ํ•œ ๋‚ด์šฉ์„ ๋งŒ๋“  ์‚ฌ๊ณ ๊ฐ€ ์žˆ์–ด์„œ, InjectedState๋กœ ๋Œ€ํ™” ๊ธฐ๋ก์„ ๋„๊ตฌ์— ๋„ฃ์—ˆ๋‹ค.

๊ฐ™์€ ๊ณ„์•ฝ์„ ์ง€ํ‚ค๋Š” ๊ตฌํ˜„ ์…‹

api.py๊ฐ€ ํ™˜๊ฒฝ๋ณ€์ˆ˜ ํ•œ ์ค„๋กœ ๊ณ ๋ฅด๋ฏ€๋กœ A/B๋“  ๋กค๋ฐฑ์ด๋“  ์ฝ”๋“œ ๋ฐฐํฌ ์—†์ด ๋๋‚œ๋‹ค.

๊ตฌํ˜„ ๋ฌด์—‡์„ ์ƒˆ๋กœ ์งฐ๋‚˜ ๋ฌด์—‡์„ ๊ทธ๋Œ€๋กœ ์ผ๋‚˜
screenlog (์›๋ณธ) ์ „๋ถ€ โ€”
screenlog_langchain LLM ํ˜ธ์ถœ๋งŒ (with_structured_output, LCEL prompt | llm | parser) ๋ฐ์ดํ„ฐ ๊ณ„์ธต ์ „๋ถ€
screenlog_langgraph ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜๋งŒ (StateGraph ๋ถ„๊ธฐ, ์ปค์Šคํ…€ ์ŠคํŠธ๋ฆผ, ReAct) ํ”„๋กฌํ”„ํŠธยท๊ฒ€์ƒ‰ยท์š”์•ฝยท์บ์‹œ ์ „๋ถ€

LangChain ๋ฒ„์ „์—์„œ ๋ถ„๊ธฐ๋ฅผ RunnableBranch๋กœ ์•ˆ ์˜ฎ๊ธด ์ด์œ ๋„ ๋‚จ๊ฒผ๋‹ค โ€” route() ํ•œ ๋ฒˆ์œผ๋กœ ํ™•์ •๋˜๊ณ  ์žฌํŒ๋‹จ์ด ์—†๋Š” ๊ณ ์ • ํ๋ฆ„์ด๋ผ, ์ฒด์ธ์œผ๋กœ ๊ฐ์‹ผ๋‹ค๊ณ  ๋” ๋ช…ํ™•ํ•ด์ง€์ง€ ์•Š๋Š”๋‹ค๊ณ  ํŒ๋‹จํ–ˆ๋‹ค.


๐Ÿ“Š 5. ํ‰๊ฐ€

1. ๋ผ์šฐํŒ… ์ •ํ™•๋„ โ€” ์ž๊ธฐ ๊ฒ€์ฆ์˜ ํŽธํ–ฅ๊นŒ์ง€ ๊ธฐ๋ก

๋‹จ๊ณ„ app hour date
3๋‹จ๊ณ„ (๊ทœ์น™ ๋ผ์šฐํŒ…) 15/15 15/15 15/15
4๋‹จ๊ณ„ (LLM ๊ตฌ์กฐํ™” ์ถœ๋ ฅ) 18/18 18/18 18/18

3๋‹จ๊ณ„์˜ 15/15์—๋Š” ํŽธํ–ฅ์ด ์žˆ๋‹ค โ€” ์งˆ๋ฌธ๊ณผ ๊ทœ์น™์„ ๊ฐ™์€ ์‚ฌ๋žŒ์ด ๊ฐ™์€ ์ฝ”ํผ์Šค๋ฅผ ๋ณด๊ณ  ๋งŒ๋“ค์—ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์‚ฌ์ „์— ์—†๋Š” ํ‘œํ˜„("ํ™”์ƒํšŒ์˜ ์•ฑ", "ํŒŒ์ผ ๊ด€๋ฆฌ์ž", "์‰˜")์„ ์ถ”๊ฐ€ํ•ด ์žฌ๊ฒ€์ฆํ–ˆ๊ณ , ๊ทธ ๊ณผ์ •์—์„œ LLM์ด ๋‚ด์šฉ ์งˆ๋ฌธ์— ์—†๋Š” ์•ฑ์„ ์ง€์–ด๋‚ด๋Š” ๋ฒ„๊ทธ๋ฅผ ๋จผ์ € ์žก์•˜๋‹ค. โ†’ eval/routing/REPORT.md ยท docs/routing-verification.md

2. ๊ฒ€์ƒ‰ recall โ€” ๊ณจ๋“ ์…‹ 25๋ฌธํ•ญ์„ ์ง์ ‘ ๋ผ๋ฒจ๋ง

๋ผ๋ฒจ๋ง ๋„๊ตฌ(label_retrieval.py)๋ถ€ํ„ฐ ์ž์ž‘ํ–ˆ๋‹ค.

k 5 6 7 8 9 10 20
ํ‰๊ท  recall 0.86 0.89 0.93 0.99 0.99 1.00 1.00

โ†’ RETRIEVE_K๋ฅผ 10์—์„œ 8๋กœ ๋‚ฎ์ท„๋‹ค. recall 1%p๋ฅผ ๋‚ด์ฃผ๊ณ  ํ”„๋กฌํ”„ํŠธ ๊ทผ๊ฑฐ๋ฅผ 20% ์ ˆ๊ฐํ•œ ํŠธ๋ ˆ์ด๋“œ์˜คํ”„๋‹ค.

3. ๊ฒ€์ƒ‰ ์ „๋žต 7์ข… + ์ž„๋ฒ ๋”ฉ 3์ข…์„ ๋น„๊ตํ•˜๊ณ  โ€” ์•„๋ฌด๊ฒƒ๋„ ๋ฐ”๊พธ์ง€ ์•Š์•˜๋‹ค

"์ฝ”ํผ์Šค๊ฐ€ ์ปค์ง€๋ฉด ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ๊ฒ€์ƒ‰์ด ํ•„์š”ํ•˜๋‹ค"๋Š” ๋กœ๋“œ๋งต์˜ ๊ฐ€์ •์„ ๊ฒ€์ฆํ–ˆ๋‹ค. 7๊ฐœ ๋ฐฉ๋ฒ•์„ ํ•˜๋‚˜์˜ ์Šคํฌ๋ฆฝํŠธ, ๊ฐ™์€ ์ฑ„์  ํ•จ์ˆ˜๋กœ ํ†ต์ผํ•ด์„œ ์Ÿ€๋‹ค.

๋ฐฉ๋ฒ• R@5 P@5 F1@5 R@10 F1@10
dense (ํ”„๋กœ๋•์…˜) 0.95 0.60 0.69 1.00 0.62
bm25 0.63 0.34 0.42 0.71 0.34
bm25 + ์ฟผ๋ฆฌ ํ™•์žฅ 0.55 0.26 0.33 0.68 0.33
ํ•˜์ด๋ธŒ๋ฆฌ๋“œ (dense+bm25, RRF) 0.94 0.50 0.61 0.97 0.47
ํ•˜์ด๋ธŒ๋ฆฌ๋“œ (ํ™•์žฅ ์ฟผ๋ฆฌ) 0.89 0.50 0.60 0.97 0.49
๋ฆฌ๋žญ์ปค (cross-encoder) 0.93 0.63 0.69 0.96 0.64
HyDE 0.68 0.35 0.44 0.80 0.39

์—ฌ๊ธฐ์„œ ์ œ์ผ ์ค‘์š”ํ•œ ๊ฑด ๋ฆฌ๋žญ์ปค๋‹ค. ํ‰๊ท  F1์ด dense์™€ ์ •ํ™•ํžˆ ๊ฐ™์•„์„œ "์ฐจ์ด ์—†์Œ"์œผ๋กœ ๋„˜์–ด๊ฐˆ ๋ป”ํ–ˆ๋Š”๋ฐ, ๋ฌธํ•ญ๋ณ„๋กœ ๋œฏ์–ด๋ณด๋‹ˆ ๋™๋ฅ ์ด ์•„๋‹ˆ์—ˆ๋‹ค.

์งˆ๋ฌธ dense ๋ฆฌ๋žญ์ปค ๋ฌด์Šจ ์ผ์ด
์ •๋‹ต์ด ํ•˜๋‚˜๋ฟ์ธ ์งˆ๋ฌธ(r15) 0.50 1.00 ํฌ๊ฒŒ ๊ฐœ์„ 
์ •๋‹ต์ด ์—ฌ๋Ÿฌ ํŽ˜์ด์ง€์ธ ์งˆ๋ฌธ(r08) 1.00 0.33 ํฌ๊ฒŒ ์•…ํ™”

cross-encoder๊ฐ€ "๊ฐ€์žฅ ๊ทธ๋Ÿด๋“ฏํ•œ ํ•˜๋‚˜"๋กœ ์ˆ˜๋ ดํ•ด์„œ, ์ •๋‹ต์ด ๊ฐˆ๋ฆฌ๋Š” ์งˆ๋ฌธ์˜ ๋‚˜๋จธ์ง€๋ฅผ ์ˆœ์œ„ ๋ฐ–์œผ๋กœ ๋ฐ€์–ด๋ƒˆ๋‹ค. ํ‰๊ท ์ด ๊ฐ™์•˜๋˜ ๊ฑด ๊ฐœ์„ ๋ถ„๊ณผ ์•…ํ™”๋ถ„์ด ์šฐ์—ฐํžˆ ์ƒ์‡„๋œ ๊ฒฐ๊ณผ์˜€๋‹ค โ†’ ๋„์ž… ๋ณด๋ฅ˜.

์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ๋„ ๋ฐ”๊ฟ”๋ดค๋‹ค. bge-m3 F1@5 0.69 / multilingual-e5-large 0.50 / ko-sroberta 0.37 โ€” ํ•œ๊ตญ์–ด ์ „์šฉ ๋ชจ๋ธ์ด ๋‹ค๊ตญ์–ด ๋ชจ๋ธ์— ๋ชป ๋ฏธ์ณค๋‹ค. ํ™”๋ฉด ์บก์ฒ˜์—” ์˜์–ด UI ๋ฌธ์ž์—ดยท๊ณ ์œ ๋ช…์‚ฌ๊ฐ€ ์„ž์—ฌ ์žˆ์–ด ํ•œ๊ตญ์–ด ํŠนํ™”๋ณด๋‹ค ๋‹ค๊ตญ์–ด ์ปค๋ฒ„๋ฆฌ์ง€๊ฐ€ ๋” ์ค‘์š”ํ•œ ๊ฒƒ์œผ๋กœ ๋ณด์ธ๋‹ค.

ํ‰๊ท ๋งŒ ๋ณด๊ณ  ์ฑ„ํƒํ–ˆ๋‹ค๋ฉด ํŠน์ • ์งˆ๋ฌธ ์œ ํ˜•์ด ์กฐ์šฉํžˆ ๋ง๊ฐ€์กŒ์„ ๊ฒƒ์ด๋‹ค. ๊ทผ๊ฑฐ: eval/retrieval/RETRIEVAL_REPORT.md

4. ๋กœ์ปฌ LLM์˜ ๊ฒฐํ•จ์„ ํŒŒ์ธํŠœ๋‹๊ณผ ์•„ํ‚คํ…์ฒ˜, ๋‘ ๊ฐ€์ง€๋กœ ๊ฐ๊ฐ ๊ณ ์ณ์„œ ๋น„๊ตํ–ˆ๋‹ค

๋กœ์ปฌ ๋ชจ๋ธ(Qwen2.5-7B)์ด "ํ•˜๋ฃจ ์ •๋ฆฌ" ์งˆ๋ฌธ์—์„œ ํ•˜๋ฃจ์˜ ๋Œ€๋ถ€๋ถ„์„ ๋ˆ„๋ฝํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ์‹ค์ธกํ–ˆ๋‹ค (8/3, ์ด๋ฒคํŠธ 3,190๊ฐœ ์ค‘ 5๊ฐœ๋งŒ ๋‹ตํ•จ). ๋ชจ๋ธ์„ ํ‚ค์›Œ๋„(14B), ๊ณ„์—ด์„ ๋ฐ”๊ฟ”๋„(Llama) ์•ˆ ๊ณ ์ณ์กŒ๋‹ค โ€” 7~14B๊ธ‰ ๊ณตํ†ต์˜ ํ•œ๊ณ„๋ผ๋Š” ๊ฒฐ๋ก ์— ๋„๋‹ฌํ•œ ๋’ค, ๋‘ ๋ฐฉํ–ฅ์œผ๋กœ ๊ฐ๊ฐ ํ•ด๊ฒฐํ•ด์„œ ๋น„๊ตํ–ˆ๋‹ค.

ํ•ด๋ฒ• ๋ฐฉ์‹ ์ปค๋ฒ„๋ฆฌ์ง€(์›๋ณธ โ†’ ํ•ด๋ฒ• ์ ์šฉ, GOLD ๋Œ€๋น„)
LoRA ํŒŒ์ธํŠœ๋‹ 68๊ฐœ ์ง€์‹ ์ฆ๋ฅ˜ ๋ฐ์ดํ„ฐ๋กœ ๋ชจ๋ธ ํ–‰๋™ ์ž์ฒด๋ฅผ ๊ต์ • 0.020.13 โ†’ **0.770.95**
ํ”„๋กฌํ”„ํŠธ ๋ถ„ํ•  ์‹œ๊ฐ„๋Œ€๋ณ„ map-reduce, ๋ชจ๋ธ์€ ๊ทธ๋Œ€๋กœ(ํ•™์Šต ์—†์Œ) 0.020.13 โ†’ **0.811.00**

๋ถ„ํ•  ์ชฝ์€ ๋ธ”๋ก๋ณ„ ๊ฒฐ๊ณผ๋ฅผ ๋‹จ์ˆœํžˆ ์ด์–ด๋ถ™์ด์ž ํ•œ ๋ธ”๋ก์ด ์ค‘๊ตญ์–ด๋กœ ๋‹ตํ•˜๋Š” ์˜ค์—ผ์ด ํ•˜์œ„ ๊ธฐ๋Šฅ(๋น„๊ตยท์Šฌ๋ž™ ์ดˆ์•ˆ)๊นŒ์ง€ ์ „ํŒŒ๋๊ณ , "ํ†ต์งธ๋กœ ๋‹ค์‹œ ์ •๋ฆฌ(reduce)"๋กœ ๊ณ ์น˜๋ ค ํ•˜์ž ๊ทธ ํ˜ธ์ถœ ์ž์ฒด๊ฐ€ ๊ธด ์ปจํ…์ŠคํŠธ๋ผ recency bias๋ฅผ ์žฌ๋„์ž…ํ•ด ์ปค๋ฒ„๋ฆฌ์ง€๊ฐ€ ๋„๋กœ ๋‚˜๋น ์กŒ๋‹ค(1.00โ†’0.19). ์˜ค์—ผ๋œ ๋ธ”๋ก๋งŒ ๊ณจ๋ผ ์žฌ์‹œ๋„ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ๋ฐ”๊พธ๊ณ  ๋‚˜์„œ์•ผ ์•ˆ์ •๋๋‹ค.

LoRA ์ชฝ์€ "์—๋Ÿฌ ์—†์ด ์กฐ์šฉํžˆ ๋ง๊ฐ€์ง€๋Š”" ํ•จ์ •๋“ค์ด ์กด์žฌํ–ˆ๋‹ค โ€” ํ”„๋กฌํ”„ํŠธ ์ค‘์•™๊ฐ’์ด 14,394ํ† ํฐ์ด๋ผ ํ”ํ•œ ๊ธฐ๋ณธ๊ฐ’(max_length=8192)์œผ๋กœ ์ž˜๋ž์œผ๋ฉด 68๊ฐœ ์ค‘ 46๊ฐœ์—์„œ ํ•™์Šต ์‹ ํ˜ธ๊ฐ€ 0์ด ๋์„ ๊ฒƒ์ด๊ณ , ํ† ํฐํ™” ๊ฒฝ๊ณ„๊ฐ€ ๋ฐ€๋ ค ๋งˆ์Šคํ‚น์ด ์–ด๊ธ‹๋‚œ ๊ฒƒ๋„ assert๋ฅผ ์‹คํŒจ์‹œ์ผœ์„œ ์ฐพ์•˜๋‹ค. 16K ์‹œํ€€์Šค OOM์€ ๋๋ถ€๋ถ„ logits๋งŒ ๊ณ„์‚ฐํ•˜๋Š” TailLossTrainer๋ฅผ ์ง์ ‘ ๊ตฌํ˜„ํ•˜๊ณ  ๊ธฐ๋ณธ ๊ตฌํ˜„๊ณผ ์†์‹ค์ด 1e-6 ์˜ค์ฐจ ๋‚ด ๋™์ผํ•จ์„ ๊ฒ€์ฆํ•œ ๋’ค ๋ฐ˜์˜ํ–ˆ๋‹ค.

๊ทผ๊ฑฐ: docs/local-llm-experiment-report.md ยท eval/lora/ ยท eval/summary_chunking/


๐Ÿงญ 6. ํ•ต์‹ฌ ์„ค๊ณ„ ๊ฒฐ์ •

์ „์ฒด ๊ธฐ๋ก์€ **์„ค๊ณ„ ๊ฒฐ์ • ๋ฌธ์„œ**์— ์žˆ๋‹ค. ์—ฌ๊ธฐ์„œ๋Š” ๋‘˜๋งŒ.

LLM์—๊ฒŒ ์‹œํ‚ค๋ฉด ์•ˆ ๋˜๋Š” ์ผ์„ ๊ฐ€๋ ค๋ƒˆ๋‹ค

๋งก๊ฒผ๋”๋‹ˆ ์‹ค์ œ ๊ฒฐ๊ณผ ์กฐ์น˜
์‚ฌ์šฉ ํšŸ์ˆ˜ ์„ธ๊ธฐ ์‹ค์ œ 340ํšŒ๋ฅผ "5ํšŒ" ๋กœ ๋‹ตํ•จ count_range() โ€” metadata๋ฅผ ์ฝ”๋“œ๊ฐ€ ์ง์ ‘ ์…ˆ
์š”์ผ ๊ณ„์‚ฐ 7/27์„ ์ผ์š”์ผ์ด๋ผ๊ณ  ๋‹ตํ•จ ์š”์ผ์„ ๋ฏธ๋ฆฌ ๊ณ„์‚ฐํ•ด ํ”„๋กฌํ”„ํŠธ์— ์ฃผ์ž…
"์–ด์ œ"๊ฐ€ ๋ฉฐ์น ์ธ์ง€ ์ •ํ™•ํ•œ ๊ทผ๊ฑฐ๋ฅผ ์•ž์— ๋‘๊ณ  "๊ธฐ๋ก์— ์—†๋‹ค" today ์ฃผ์ž… + ์žฌ๊ณ„์‚ฐ ๊ธˆ์ง€ ์ง€์‹œ
์•ฑ ์ด๋ฆ„ ์ถ”๋ก  ์ฝ”ํผ์Šค์— ์—†๋Š” ์•ฑ์„ ์ง€์–ด๋ƒ„ JSON Schema enum์œผ๋กœ API ๋ ˆ๋ฒจ์—์„œ ์ฐจ๋‹จ
URL ์ธ์šฉ ์˜์ƒ ์ œ๋ชฉ์„ ๋ถ™์—ฌ ๊ฐ€์งœ ๋งํฌ ์ƒ์„ฑ ์ด๋ฒคํŠธ์— ์‹ค์ œ url์„ ์ €์žฅํ•ด ๊ทผ๊ฑฐ์— ๊ฐ™์ด ๋„ฃ์Œ

LLM์€ ๋ฌธ์žฅ์„ ์“ฐ๊ณ , ์„ธ๊ณ  ๊ฑฐ๋ฅด๋Š” ์ผ์€ ์ฝ”๋“œ๊ฐ€ ํ•œ๋‹ค.

์‹ค์ธก์œผ๋กœ ์ •ํ•œ ๊ฐ’๋“ค

config.py์— ๋ชจ์—ฌ ์žˆ๊ณ , ์ „๋ถ€ ๊ทผ๊ฑฐ ์ฃผ์„์ด ๋ถ™์–ด ์žˆ๋‹ค.

๊ฐ’ ์„ค์ • ์™œ ์ด ๊ฐ’์ธ๊ฐ€
RETRIEVE_K 8 ๊ณจ๋“ ์…‹ recall@8 = 0.99, @10 = 1.00. 1%p๋ฅผ ์ฃผ๊ณ  ํ”„๋กฌํ”„ํŠธ ๊ทผ๊ฑฐ 20% ์ ˆ๊ฐ
JACCARD_MIN 0.3 0.1/0.3/0.5 ์Šค์œ•์—์„œ recall ์ฐจ์ด ์—†์Œ โ†’ ๊ธฐ๋ณธ๊ฐ’ ์œ ์ง€ (ํ‘œ๋ณธ ํ•œ๊ณ„๋„ ๊ธฐ๋ก)
๊ฒ€์ƒ‰ ์ „๋žต dense ๋‹จ๋… 6์ข… ๋Œ€์•ˆ ์ „๋ถ€ dense๋ฅผ ๋ชป ์ด๊น€
CONTEXT_CHARS_PER_HIT 1500 ์ด๋ฒคํŠธ ํฌ๊ธฐ๊ฐ€ ๊ณ ๋ฅด์ง€ ์•Š๋‹ค(์ค‘์•™๊ฐ’ 1,270์ž, ์ตœ๋Œ€ 36,870์ž)
MAX_EVENTS_PER_DAY_SUMMARY 60 ์ƒํ•œ ์—†์ด ๋Œ๋ ธ๋”๋‹ˆ ํ•˜๋ฃจ ์š”์•ฝ ํ”„๋กฌํ”„ํŠธ๊ฐ€ 1,005,356์ž โ†’ 22,730์ž
MAX_PERIOD_SEARCH_K 50 ๊ธฐ๊ฐ„ ์žˆ๋Š” ๊ฒ€์ƒ‰์€ k=8์ด๋ฉด ๊ด€๋ จ ์ด๋ฒคํŠธ๊ฐ€ ๋ฐ€๋ ค์„œ ํ†ต์งธ๋กœ ๋ˆ„๋ฝ
EMBED_BATCH_SIZE 4 ๊ธฐ๋ณธ๊ฐ’ 32๋ฉด MPS OOM. ํ™”๋ฉด ํ…์ŠคํŠธ ํ•œ ๊ฑด์ด ๊ธธ๋‹ค
HISTORY_TURNS 2 5ํ„ด์€ ํžˆ์Šคํ† ๋ฆฌ๊ฐ€ ์ปค์ ธ ํ• ๋ฃจ์‹œ๋„ค์ด์…˜์ด ๋Š˜์—ˆ๋‹ค
IDLE_GAP_SEC 120 ์ด๋ฒคํŠธ start/end๋งŒ ์“ฐ๋ฉด 93%๊ฐ€ ํญ 0. 2๋ถ„ ์ดˆ๊ณผ ๊ณต๋ฐฑ์€ ์ž๋ฆฌ ๋น„์›€์œผ๋กœ ์ฒ˜๋ฆฌ
AI_APPS {Claude, Code} ์žฌ๊ท€ ์˜ค์—ผ ๊ฒฉ๋ฆฌ (์•„๋ž˜)

ํ”„๋กฌํ”„ํŠธ ์ƒํ•œ์„ ๊ฑธ ๋•Œ ์•ž์ž๋ฅด๊ธฐ ๋Œ€์‹  ์ผ์ • ๊ฐ„๊ฒฉ ์†Ž์•„๋‚ด๊ธฐ(_thin_out())๋ฅผ ์“ด ์ด์œ ๋„ ๊ฐ™์€ ์„ฑ๊ฒฉ์ด๋‹ค โ€” ์•ž์—์„œ ์ž๋ฅด๋ฉด ํ•˜๋ฃจ์˜ ์˜ค์ „๋งŒ ๋‚จ๊ณ  ์˜คํ›„ยท์ €๋…์ด ํ†ต์งธ๋กœ ์‚ฌ๋ผ์ง„๋‹ค.


๐Ÿ› 7. ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ… โ€” ์žฌ๊ท€ ์˜ค์—ผ

23๊ฑด ์ „์ฒด๋Š” docs/troubleshooting-star.md์— STAR ํ˜•์‹์œผ๋กœ ์žˆ๋‹ค.

๋ฌธ์ œ โ€” ๋ฌด๊ด€ํ•œ ์งˆ๋ฌธ์— LLM์ด ์กด์žฌํ•˜์ง€ ์•Š๋Š” ์‹œ๊ฐ๊ณผ ์ด๋ฒคํŠธ๋ฅผ ๊ทผ๊ฑฐ๋กœ ์ธ์šฉํ–ˆ๋‹ค. ๊ฒ€์ƒ‰์€ ์ •์ƒ์ด์—ˆ๊ณ  ํ”„๋กฌํ”„ํŠธ๋„ ์ •์ƒ์ด์—ˆ๋Š”๋ฐ ๋‹ต๋งŒ ํ‹€๋ ธ๋‹ค.

์›์ธ โ€” ๊ทผ๊ฑฐ๋ฅผ ํ•˜๋‚˜์”ฉ ์—ด์–ด๋ณด๋‹ˆ, ์ด ๋„๊ตฌ๊ฐ€ ๋””๋ฒ„๊น…ํ•˜๋ฉฐ ํ„ฐ๋ฏธ๋„ยท์—๋””ํ„ฐ์— ์ถœ๋ ฅํ•œ ์š”์•ฝ๋ฌธ์ด ํ™”๋ฉด ์บก์ฒ˜๋กœ ๋‹ค์‹œ ์ƒ‰์ธ๋˜์–ด ๊ฒ€์ƒ‰ ํ›„๋ณด์— ์˜ฌ๋ผ์™€ ์žˆ์—ˆ๋‹ค. RAG๊ฐ€ ์ž๊ธฐ ์ถœ๋ ฅ์„ ์‚ฌ์‹ค๋กœ ๋˜์ฝ๊ณ  ์žˆ์—ˆ๋˜ ๊ฒƒ์ด๋‹ค.

ํ•ด๊ฒฐ โ€” 3๋‹จ๊ณ„๋กœ ๋ง‰์•˜๋‹ค.

โ‘  AI ๋„๊ตฌ ์•ฑ(Claude, Code)์„ ๊ฒ€์ƒ‰ ํ›„๋ณด์—์„œ ์ œ์™ธ

โ‘ก ๋‹จ ์‚ฌ์šฉ์ž๊ฐ€ ๊ทธ ์•ฑ์„ ๋ช…์‹œ์ ์œผ๋กœ ๋ฌผ์œผ๋ฉด("์ฝ”๋”ฉ ๋ช‡ ์‹œ๊ฐ„ ํ–ˆ์–ด?") ์˜ˆ์™ธ โ€” ์ •๋‹นํ•œ ์งˆ๋ฌธ๊นŒ์ง€ ๋ง‰์œผ๋ฉด ์•ˆ ๋˜๋ฏ€๋กœ

โ‘ข ๊ทธ๋ž˜๋„ ๊ฑธ๋ฆฐ ๊ทผ๊ฑฐ๋Š” API ์‘๋‹ต์— ai_app: true๋กœ ํ‘œ์‹œํ•ด ์‚ฌ์šฉ์ž๊ฐ€ ํ•œ ๋ฒˆ ๋” ์˜์‹ฌํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ–ˆ๋‹ค.

์ž๊ธฐ ์ž์‹ ์„ ๊ด€์ธกํ•˜๋Š” ์‹œ์Šคํ…œ์—์„œ๋งŒ ๋‚˜์˜ค๋Š” ์˜ค์—ผ์ด๋ผ, ์ผ๋ฐ˜์ ์ธ RAG ์ฒดํฌ๋ฆฌ์ŠคํŠธ์—๋Š” ์—†๋‹ค. ์™„์ „ ์ฐจ๋‹จ์ด ์•„๋‹ˆ๋ผ "๊ฒฉ๋ฆฌ + ํ‘œ์‹œ"๋ฅผ ํƒํ•œ ์ด์œ ๋Š”, ์›์ธ ์ž์ฒด๋ฅผ ์—†์• ๊ธฐ๋Š” ์–ด๋ ค์› ๊ธฐ ๋•Œ๋ฌธ์ด์—ˆ๋‹ค.

๋‹ค๋ฅธ 5๊ฑด โ€” ์ฆ์ƒ / ์ง„์งœ ์›์ธ / ์ค‘์š”ํ–ˆ๋˜ ๊ฒƒ
์ฆ์ƒ ์ง„์งœ ์›์ธ ํ•ด๊ฒฐ ๊ณผ์ •์—์„œ ์ค‘์š”ํ–ˆ๋˜ ๊ฒƒ
์ƒ‰์ธ์ด 20๋ถ„ โ†’ ์˜ˆ์ƒ 21์‹œ๊ฐ„ ์›์ธ์ด 4๊ฒน: Docker Desktop VM์˜ 8GB ์ƒ์‹œ ์˜ˆ์•ฝ + Ctrl+Z๋กœ ๋ฐฉ์น˜๋œ ์ข€๋น„ ํ”„๋กœ์„ธ์Šค 3๊ฐœ(๋ชจ๋ธ ์ค‘๋ณต ๋กœ๋”ฉ) + ๋ฐฐ๊ฒฝ ํ”„๋กœ์„ธ์Šค + ๋ฌผ๋ฆฌ 16GB ํ•œ๊ณ„ ๊ฐ€์„ค์„ ํ•˜๋‚˜์”ฉ ์ˆ˜์น˜๋กœ ๋ฐ˜์ฆ. "๋ฐ์ดํ„ฐ๊ฐ€ ๋Š˜์—ˆ๋‚˜"๋Š” DB ์ฟผ๋ฆฌ๋กœ, "GPU ๋ฌธ์ œ์ธ๊ฐ€"๋Š” ๊ฒฉ๋ฆฌ ๋ฒค์น˜๋งˆํฌ๋กœ ์ง€์› ๋‹ค โ†’ 8๋ฐฐ ๊ฐœ์„ 
๋ณตํ•ฉ ์งˆ๋ฌธ ํŒ๋ณ„๊ธฐ๊ฐ€ ํ•ญ์ƒ False except Exception: return False๊ฐ€ ๋งค ํ˜ธ์ถœ์˜ API 400์„ ์กฐ์šฉํžˆ ์‚ผํ‚ค๊ณ  ์žˆ์—ˆ๋‹ค ํด๋ฐฑ์„ ๊ฑท์–ด๋‚ด๊ณ  ์›์‹œ ์˜ˆ์™ธ๋ฅผ ์ง์ ‘ ๋ดค๋‹ค. ๊ณ ์น˜๋‹ˆ ์ด๋ฒˆ์—” ๋ณ‘๋ ฌ ๋„๊ตฌ ํ˜ธ์ถœ๋กœ chromadb ๊ฒฝ์Ÿ ์ƒํƒœ๊ฐ€ ๋“œ๋Ÿฌ๋‚˜ Lock์œผ๋กœ ํ•ด๊ฒฐ โ€” ์ƒˆ ์‹คํ–‰ ๊ฒฝ๋กœ๋Š” ๊ธฐ์กด ์ฝ”๋“œ์˜ ์•”๋ฌต์  ์ „์ œ๋ฅผ ๊นฌ๋‹ค
๋ฉ€ํ‹ฐํ„ด ๋„๊ตฌ ํ˜ธ์ถœ์ด 2๋ฒˆ์งธ ํ„ด์—์„œ 400 ๊ฒŒ์ดํŠธ์›จ์ด๊ฐ€ Gemini ์‘๋‹ต์„ OpenAI ํฌ๋งท์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋ฉฐ thought_signature๋ฅผ ๋ˆ„๋ฝ โ€” ์žฌ์ „์†กํ•  ๊ฐ’์ด ์• ์ดˆ์— ๋„๋‹ฌํ•˜์ง€ ์•Š์Œ git stash๋กœ ๋‚ด ๋ณ€๊ฒฝ์„ ๋ฐฐ์ œํ•ด ๋ฒ”์œ„๋ฅผ ์ขํžŒ ๋’ค ์›๋ณธ ์‘๋‹ต์„ ์ง์ ‘ ์—ด์–ด๋ดค๋‹ค. ์ฝ”๋“œ๋กœ ๋ชป ๊ณ ์น˜๋Š” ๋ฌธ์ œ๋กœ ํŒ๋‹จํ•˜๊ณ  ํ•ด๋‹น ๊ฒฝ๋กœ๋งŒ ๋ชจ๋ธ ๋ถ„๋ฆฌ
์ƒ‰์ธํ• ์ˆ˜๋ก ๋ฉ”๋ชจ๋ฆฌ๊ฐ€ 15GB๊นŒ์ง€ MPS ์บ์‹ฑ ํ• ๋‹น์ž๊ฐ€ ๊ธธ์ด๊ฐ€ ๋“ค์ญ‰๋‚ ์ญ‰ํ•œ ๋ฐฐ์น˜(100~36,870์ž)๋งˆ๋‹ค ์ƒˆ ๋ธ”๋ก์„ ์Œ“๊ธฐ๋งŒ ํ•˜๊ณ  ๋ฐ˜๋‚ฉ ์•ˆ ํ•จ ๋ฐฐ์น˜ ํฌ๊ธฐ(32โ†’4)์™€ torch.mps.empty_cache(). ํ•˜๋“œ์›จ์–ด ํŠน์„ฑ์ด ๋ฐ์ดํ„ฐ ๋ถ„ํฌ์™€ ๋งŒ๋‚˜ ์ƒ๊ธด ๋ฌธ์ œ
ํ”„๋กœ๋•์…˜ API๊ฐ€ ์ธ์ฆ ์—†์ด ์ธํ„ฐ๋„ท์— ๋…ธ์ถœ "์ผ๋‹จ ๋„์šฐ๊ณ  ๋‚˜์ค‘์— ์ž ๊ทธ์ž"๊ฐ€ ๊ทธ๋Œ€๋กœ ๋‚จ์Œ Basic Auth๋ฅผ ๋ถ™์ด๋Š” ๋ฐ ๊ทธ์น˜์ง€ ์•Š๊ณ , ํ‚ค๊ฐ€ ์—†์œผ๋ฉด ์„œ๋ฒ„๊ฐ€ ๊ธฐ๋™ ์ž์ฒด๋ฅผ ๊ฑฐ๋ถ€ํ•˜๊ฒŒ ๋งŒ๋“ค์–ด ๊ฐ™์€ ์‹ค์ˆ˜์˜ ์—ฌ์ง€๋ฅผ ์—†์•ด๋‹ค

โšก 8. ์„ฑ๋Šฅ

์บ์‹œ ์ ์ค‘๊ณผ ๋ฌด๊ด€ํ•˜๊ฒŒ ํ•ญ์ƒ ์žฌํ˜„๋˜๋Š” ์ˆซ์ž์™€, ์‚ฌ์ „ ๊ณ„์‚ฐ์ด ์žˆ์–ด์•ผ๋งŒ ๋‚˜์˜ค๋Š” ์ˆซ์ž๋ฅผ ๋‚˜๋ˆ ์„œ ์ธก์ •ํ–ˆ๋‹ค.

ํ•ญ๋ชฉ ์ „ ํ›„ (์บ์‹œ ๋ฌด๊ด€, ํ•ญ์ƒ ์žฌํ˜„) ์บ์‹œ ์ ์ค‘ ์‹œ
"์ €๋ฒˆ์ฃผ ์ •๋ฆฌํ•ด์ค˜" (7์ผ) ~20์ดˆ (์ˆœ์ฐจ) 6.4์ดˆ (asyncio.gather) 1.7~2.0์ดˆ
"์ €๋ฒˆ์ฃผ vs ์ด๋ฒˆ์ฃผ" (14์ผ) ~45์ดˆ ~10์ดˆ โ€”
๋ธŒ๋ผ์šฐ์ € ์ œ์ถœ โ†’ ํ™”๋ฉด ์™„์„ฑ(7์ผ ์ •๋ฆฌ) ~20์ดˆ ~7์ดˆ๋Œ€ 4.6์ดˆ (์ฒซ ๊ธ€์ž 2.0์ดˆ)

asyncio.gather()๋Š” ๊ทธ ์•ˆ์—์„œ๋Š” ๋ณ‘๋ ฌ์ด์ง€๋งŒ, ๋ฐ–์—์„œ ๋ณด๋ฉด ๊ฐ€์žฅ ๋А๋ฆฐ ํ•˜๋ฃจ๊ฐ€ ์ „์ฒด ์‘๋‹ต ์‹œ๊ฐ„์„ ๊ทธ๋Œ€๋กœ ๊ฒฐ์ •ํ•˜๊ณ  ๊ทธ๋•Œ๊นŒ์ง€ ์‚ฌ์šฉ์ž๋Š” ์•„๋ฌด๊ฒƒ๋„ ๋ชป ๋ณธ๋‹ค. asyncio.as_completed()๋กœ ๋ฐ”๊ฟ” ๋จผ์ € ๋๋‚œ ๋‚ ์งœ๋ถ€ํ„ฐ ์ŠคํŠธ๋ฆฌ๋ฐํ•˜๋„๋ก ๊ณ ์ณค๋‹ค.

(๊ฐ™์€ 5์ผ์น˜, ์บ์‹œ ์šฐํšŒ) ์ฒซ ํ† ํฐ ์ด ์™„๋ฃŒ ์‹œ๊ฐ„
์ „ (gather, ๋‹ค ๋๋‚˜์•ผ ๋ฐ˜ํ™˜) 5.3~7.3์ดˆ 5.3~7.3์ดˆ
ํ›„ (as_completed, ๋จผ์ € ๋๋‚œ ๊ฒƒ๋ถ€ํ„ฐ) 1.4~1.9์ดˆ 5.0~5.2์ดˆ

์ด ์™„๋ฃŒ ์‹œ๊ฐ„์€ ๊ฑฐ์˜ ๊ทธ๋Œ€๋กœ๋‹ค โ€” ํ•˜๋Š” ์ผ์˜ ์ด๋Ÿ‰์€ ์•ˆ ์ค„์—ˆ์œผ๋‹ˆ ๋‹น์—ฐํ•˜๋‹ค. ๋Œ€์‹  ์ฒด๊ฐ ๋Œ€๊ธฐ ์‹œ๊ฐ„์ด ์•ฝ 4๋ฐฐ ๋‹น๊ฒจ์กŒ๋‹ค. ๋‹จ๋ฐœ ๊ฒ€์ƒ‰์€ LLM์„ ํ•œ ๋ฒˆ๋งŒ ๋ถ€๋ฅด๋ฏ€๋กœ ๊ฐœ์„ ํญ์ด ํ›จ์”ฌ ์ž‘๋‹ค(์ฒซ ์ฝ˜ํ…์ธ  1.862.04์ดˆ โ†’ 1.121.17์ดˆ, ~40%) โ€” ๋‚˜๋ˆŒ ๊ฒŒ ์—ฌ๋Ÿฌ ๊ฐœ ์žˆ์–ด์•ผ ์ŠคํŠธ๋ฆฌ๋ฐ์ด ํฌ๊ฒŒ ์ด๊ธด๋‹ค๋Š” ๊ฑธ ์ˆซ์ž๋กœ ํ™•์ธํ–ˆ๋‹ค.

๋ฐฑ์—”๋“œ๋ฅผ ๋น ๋ฅด๊ฒŒ ๋งŒ๋“ค์ž ํ”„๋ก ํŠธ ํƒ€์ดํ•‘ ์• ๋‹ˆ๋ฉ”์ด์…˜์ด ์ƒˆ ๋ณ‘๋ชฉ์ด ๋๋‹ค โ€” 4,600์ž ๋‹ต์ด ์ฆ‰์‹œ ๋„์ฐฉํ•ด๋„ 15ms๋งˆ๋‹ค 2๊ธ€์ž์”ฉ ๊ทธ๋ฆฌ๋А๋ผ 30์ดˆ๊ฐ€ ๊ฑธ๋ ธ๋‹ค. ๊ฐ์‡  ๊ณ„์ˆ˜๋ฅผ ์‹ค์ธก(์˜ˆ์ƒ 90ํ‹ฑ โ†’ ์‹ค์ œ 380ํ‹ฑ)์œผ๋กœ ๋ณด์ •ํ•ด์„œ 1.7์ดˆ๋กœ ๋งž์ท„๋‹ค.

๊ณ ์ณ๋ดค๋‹ค๊ฐ€ ๋˜๋Œ๋ฆฐ ๊ฒƒ๋„ ๋‚จ๊ฒผ๋‹ค. "๋™๊ธฐ search()๊ฐ€ ์ด๋ฒคํŠธ ๋ฃจํ”„๋ฅผ ๋ง‰๋Š”๋‹ค"๋Š” ์ง„๋‹จ์œผ๋กœ asyncio.to_thread()๋ฅผ ์ ์šฉํ–ˆ๋Š”๋ฐ, ๊ฒฉ๋ฆฌํ•ด์„œ ์žฌ๋ณด๋‹ˆ ์ž„๋ฒ ๋”ฉ+๊ฒ€์ƒ‰์€ 60~70ms๊ณ  LLM ์ƒ์„ฑ์€ ~2์ดˆ๋ผ ๋ง‰๊ณ  ์žˆ๋˜ ์‹œ๊ฐ„์ด ์ „์ฒด์˜ 3%๋„ ์•ˆ ๋๋‹ค. ๊ทผ๊ฑฐ ์—†์ด ์ฝ”๋“œ๋งŒ ๋ณต์žกํ•ด์ ธ์„œ ๋˜๋Œ๋ ธ๋‹ค. โ†’ docs/streaming-and-async.md ยท docs/summary-cache.md


๐Ÿ–ฅ 9. ์›น ์„œ๋น„์Šค์™€ API

์„ธ ํŽ˜์ด์ง€ ๋ชจ๋‘ ์˜์กด์„ฑ ์—†๋Š” ์ •์  HTML์ด๊ณ , ๊ณต์œ  ๋””์ž์ธ ํ† ํฐ(tokens.css)๋งŒ ๊ฐ™์ด ์“ฐ๋„๋ก ํ–ˆ๋‹ค.

ํŽ˜์ด์ง€ ๋‚ด์šฉ
/ (๋žœ๋”ฉ) ์„œ๋น„์Šค ์†Œ๊ฐœ ยท ๋‹ค์šด๋กœ๋“œ ์œ ๋„. ์ธ์ฆ ์˜ˆ์™ธ(์ •ํ™•ํžˆ /๋งŒ)
/dashboard (๋ฌผ์–ด๋ณด๊ธฐ) ์ฑ„ํŒ… ยท ๋ผ์šฐํŒ… ๋ฐฐ์ง€ ยท ๊ทผ๊ฑฐ ์นด๋“œ ยท ํ™œ๋™ ์ž”๋”” ยท ์ตœ๊ทผ ๊ธฐ๋ก ยท ์ด์ „ ๋Œ€ํ™” ์‚ฌ์ด๋“œ๋ฐ”
/explore (ํƒ์ƒ‰) ๋‚ ์งœ๋ณ„ ์•ฑ ์‚ฌ์šฉ ยท ํ•˜๋ฃจ ๋ฆฌ๋ณธ ํƒ€์ž„๋ผ์ธ ยท ๊ฒ€์ƒ‰ ํ›„๋ณด ํŽธ์ค‘(์ƒ์œ„ ์•ฑ์ด ํ›„๋ณด์˜ ๋ช‡ %์ธ์ง€)
๋ฌผ์–ด๋ณด๊ธฐ ํ™”๋ฉด ํƒ์ƒ‰ ํ™”๋ฉด
๋ฌผ์–ด๋ณด๊ธฐ โ€” ์งˆ๋ฌธ์ฐฝ ์˜†์— ํ™œ๋™ ์ž”๋””(๋‚ ์งœร—์‹œ๊ฐ ๊ฒฉ์ž)์™€ ํ•˜๋ฃจ ์š”์•ฝ ํ”ผ๋“œ. โ€ป ์š”์•ฝ ํ”ผ๋“œ๋Š” ์‹ค์ œ ๋Œ€ํ™” ๋‚ด์šฉ์ด๋ผ ์ด ์ด๋ฏธ์ง€์—์„œ๋งŒ ํ๋ฆผ ์ฒ˜๋ฆฌํ–ˆ๋‹ค. ํƒ์ƒ‰ โ€” ๋ณธ๋ฌธ์„ ํ•œ ๊ธ€์ž๋„ ์•ˆ ์ฝ๊ณ  metadata๋งŒ์œผ๋กœ ๋งŒ๋“  ์ง‘๊ณ„. ๋งจ ์˜ค๋ฅธ์ชฝ ์นด๋“œ๊ฐ€ "๊ฒ€์ƒ‰ ํ›„๋ณด ํŽธ์ค‘"(์ƒ์œ„ ์•ฑ์ด ํ›„๋ณด์˜ 22%)์œผ๋กœ, RAG ์ ๋ฆผ์„ ๋ˆˆ์œผ๋กœ ๋ณด๊ฒŒ ํ•œ ์ง€ํ‘œ๋ฅผ ๋„ฃ์—ˆ๋‹ค.
๋žœ๋”ฉ ํŽ˜์ด์ง€
๋žœ๋”ฉ(/) โ€” ํŒ€ ๋ฐฐํฌ์šฉ .dmg ๋‹ค์šด๋กœ๋“œ๊นŒ์ง€ ์—ฌ๊ธฐ์„œ ์ด์–ด์ง„๋‹ค. ์ธ์ฆ ์—†์ด ์ ‘๊ทผ ๊ฐ€๋Šฅํ•˜๋‹ค.
์—”๋“œํฌ์ธํŠธ ์„ค๋ช…
POST /api/ask ์งˆ๋ฌธ โ†’ ๋‹ต๋ณ€ + ๋ผ์šฐํŒ… ๊ณ„ํš + ๊ทผ๊ฑฐ(๋ณธ๋ฌธ์€ 200์ž ๋ฐœ์ทŒ)
POST /api/ask/stream SSE โ€” conversation/plan/hits/token/tool_start/tool_done/done
GET /api/stats ยท /api/timeline/{date} ยท /api/digest ๋Œ€์‹œ๋ณด๋“œ ์ง‘๊ณ„ (๋ณธ๋ฌธ ์—†์ด ์ˆซ์žยท์•ฑ ์ด๋ฆ„๋งŒ)
GET /api/conversations[/{id}] ๋Œ€ํ™” ๋ชฉ๋ก / ์žฌ์ƒ
POST /api/slack/send ์ดˆ์•ˆ ์ „์†ก โ€” ์‚ฌ์šฉ์ž๊ฐ€ ๋ฒ„ํŠผ์„ ๋ˆŒ๋ €์„ ๋•Œ๋งŒ

api.py๋Š” ๋กœ์ง์„ ์ƒˆ๋กœ ์งœ์ง€ ์•Š๋Š”๋‹ค. ask_auto()๋ฅผ ์–‡๊ฒŒ ๊ฐ์‹ธ๊ณ , ์˜ค๋Š˜ ๋‚ ์งœ ๋‹ค์ด์ œ์ŠคํŠธ๋งŒ ํ”„๋กœ์„ธ์Šค ๋ฉ”๋ชจ๋ฆฌ์— 3๋ถ„๊ฐ„ ๋ถ™์žก์•„ ์ƒˆ๋กœ๊ณ ์นจ ๋ณ‘๋ชฉ์„ ์—†์•ค๋‹ค(๋””์Šคํฌ ์บ์‹œ์—๋Š” ์•ˆ ๋„ฃ๋Š”๋‹ค โ€” ์˜ค๋Š˜ ๊ธฐ๋ก์€ ๊ณ„์† ์ƒ๊ธฐ๋ฏ€๋กœ).


๐Ÿš€ 10. ๋ฐฐํฌ

flowchart LR
    P["git push ยท main"] --> GA["GitHub Actions"]
    GA --> IM["docker buildx<br/>โ†’ ghcr.io/โ€ฆ:latest"]
    IM --> SSH["ssh EC2"]
    SSH --> DC["docker compose pull โ†’ up -d"]
    DC --> SVC["screenlog :8000<br/>Basic Auth"]

    MB["distribution/mac<br/>๋ฉ”๋‰ด๋ฐ” ์•ฑ ยท Screenlog.dmg"] --> DL["GET /download"]
    SVC --- DL
Loading
  • ์ปจํ…Œ์ด๋„ˆ: uv sync --frozen์„ 2๋‹จ ๋ ˆ์ด์–ด(์˜์กด์„ฑ โ†’ ์†Œ์Šค โ†’ ์ •์  ํŒŒ์ผ)๋กœ ๋‚˜๋ˆ  ์บ์‹œ๊ฐ€ ์•ˆ ๊นจ์ง€๊ฒŒ. screenpipe sqlite๋Š” :ro๋กœ, chroma/๋Š” ๋ณผ๋ฅจ์œผ๋กœ ๋ถ™์ธ๋‹ค.
  • ๋ฌด๊ฑฐ์šด ์ผ์€ ์ „๋ถ€ ๋กœ์ปฌ์—์„œ. ์ž„๋ฒ ๋”ฉ์€ Mac์—์„œ ๋๋‚ด๊ณ  ์„œ๋ฒ„๋กœ๋Š” ๊ฒฐ๊ณผ๋ฌผ(๋ฒกํ„ฐ)๋งŒ ์˜ฌ๋ฆฐ๋‹ค. ์›๋ณธ ํ”„๋ ˆ์ž„ DB์™€ ํ™”๋ฉด ์บก์ฒ˜๋Š” ๋กœ์ปฌ์„ ๋– ๋‚˜์ง€ ์•Š๋Š”๋‹ค.

์ˆ˜์ง‘๊ธฐ์™€ ๋™๊ธฐํ™” Mac ์•ฑ

flowchart LR
    subgraph MAC["Mac โ€” ์•ฑ ํ•˜๋‚˜๋กœ ์™„๊ฒฐ"]
        REC["screenpipe ๋…นํ™”<br/>+ PII ๋ฆฌ๋•์…˜"] --> IX["์ด๋ฒคํŠธํ™” โ†’ ์ž„๋ฒ ๋”ฉ<br/>BGE-M3 (์ฒซ ์‹คํ–‰์— ๋‚ด๋ ค๋ฐ›์Œ)"]
    end
    IX -->|"HTTPS POST /api/ingest<br/>Basic Auth ยท ๋ฒกํ„ฐ๋งŒ"| APIS
    subgraph SRV["EC2"]
        APIS["FastAPI"] --> CH["chroma upsert<br/>(์žฌ์‹œ์ž‘ ๋ถˆํ•„์š”)"]
    end
Loading

๋ฉ”๋‰ด๋ฐ” ์•ฑ(distribution/mac/menubar/app.py, rumps)์€ ๋…นํ™” ์‹œ์ž‘/์ค‘์ง€, ์ €์žฅ ์šฉ๋Ÿ‰ยท๋ฆฌ๋•์…˜ ์ง„ํ–‰๋ฅ  ํ‘œ์‹œ, ์„œ๋ฒ„ ์„ค์ •, ๋™๊ธฐํ™”๋ฅผ ๋‹ด๋‹นํ•œ๋‹ค. ์ €์žฅ์†Œ ํด๋ก ๋„ uv๋„ SSH ํ‚ค๋„ ์—†์ด .dmg ํ•˜๋‚˜๋กœ ๋™์ž‘ํ•œ๋‹ค. ์—ฌ๊ธฐ์„œ์˜ ํŒ๋‹จ๋“ค:

  • ์ „์†ก์€ HTTP, ํŒŒ์ผ ๋ณต์‚ฌ๊ฐ€ ์•„๋‹ˆ๋‹ค. ์˜ˆ์ „์—” chroma/๋ฅผ ํ†ต์งธ๋กœ rsyncํ•œ ๋’ค ์ปจํ…Œ์ด๋„ˆ๋ฅผ ์žฌ์‹œ์ž‘ํ–ˆ๋Š”๋ฐ, ๊ทธ๋Ÿฌ๋ฉด (1) EC2 ๊ฐœ์ธํ‚ค๋ฅผ ์•ฑ์— ๋„ฃ์–ด ๋ฐฐํฌํ•ด์•ผ ํ•˜๊ณ  (2) ๋””๋ ‰ํ† ๋ฆฌ๋ฅผ ๋ฎ์–ด์“ฐ๋‹ˆ ํŒ€์› ๋‘ ๋ช…์ด ์“ฐ๋ฉด ๋‚˜์ค‘ ์‚ฌ๋žŒ์ด ์•ž์‚ฌ๋žŒ ๋ฐ์ดํ„ฐ๋ฅผ ์ง€์šฐ๊ณ  (3) ์žฌ์‹œ์ž‘ ๋™์•ˆ ์„œ๋น„์Šค๊ฐ€ ๋ฉˆ์ถ˜๋‹ค. id๊ฐ€ ๋‚ด์šฉ ํ•ด์‹œ๋ผ upsert๋Š” ์ž์—ฐํžˆ ๋ฉฑ๋“ฑํ•˜๋‹ค.

  • ์ž„๋ฒ ๋”ฉ ์ „์— ์„œ๋ฒ„์— ๋จผ์ € ๋ฌผ์–ด๋ณธ๋‹ค. ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ์ œ์ผ ๋น„์‹ผ ๋‹จ๊ณ„๊ฐ€ ์ž„๋ฒ ๋”ฉ์ด๋ผ, /api/ingest/known์œผ๋กœ ์ด๋ฏธ ์žˆ๋Š” id๋ฅผ ๊ฑธ๋Ÿฌ์•ผ ๋‘ ๋ฒˆ์งธ ๋™๊ธฐํ™”๋ถ€ํ„ฐ ๋‚ญ๋น„๊ฐ€ ์—†๋‹ค (์‹ค์ธก: ๋กœ์ปฌ ๊ธฐ๋ก์„ ์ง€์›Œ๋„ 1.3์ดˆ์— 0๊ฑด์œผ๋กœ ๋๋‚œ๋‹ค).

  • ์„œ๋ฒ„๊ฐ€ ๋ฒกํ„ฐ ์ฐจ์›์„ ๊ฒ€์‚ฌํ•œ๋‹ค. ์ฐจ์›์ด ๋‹ค๋ฅธ ๋ฒกํ„ฐ๊ฐ€ ํ•œ ๋ฒˆ ์„ž์ด๋ฉด ๊ฒ€์ƒ‰์ด ๊นจ์ง€๋Š”๋ฐ, ๊ทธ ์‹œ์ ์—” ์–ด๋А ๊ฒŒ ์ž˜๋ชป ๋“ค์–ด๊ฐ”๋Š”์ง€ ๊ตฌ๋ถ„ํ•  ์ˆ˜ ์—†๋‹ค. ๊ทธ๋ž˜์„œ 422๋กœ ๋ฏธ๋ฆฌ ๋ง‰๋Š”๋‹ค.

  • ๋ชจ๋ธ(2.1GB)์€ ๋ฒˆ๋“ค์ด ์•„๋‹ˆ๋ผ ์ฒซ ์‹คํ–‰์— ๋ฐ›๋Š”๋‹ค. ๋„ฃ์œผ๋ฉด .dmg๊ฐ€ 2.8GB๊ฐ€ ๋˜์–ด ์• ํ”Œ ๊ณต์ฆ๋ถ€ํ„ฐ ์žฌ๋ฐฐํฌ๊นŒ์ง€ ์ „ ๊ณผ์ •์ด ๋ฌด๊ฑฐ์›Œ์ง„๋‹ค โ€” ๋‚ด์žฅ ๋…นํ™”๊ธฐ๊ฐ€ whisper๋ฅผ ์ฒซ ์‹คํ–‰์— ๋ฐ›๋Š” ๊ฒƒ๊ณผ ๊ฐ™์€ ์ด์œ ๋‹ค. ์•ˆ ์“ฐ๋Š” onnx/๋ฅผ ์ œ์™ธํ•ด ๋ฐ›๋Š” ์–‘์„ 4.3GB โ†’ 2.1GB๋กœ ์ค„์˜€๋‹ค.

  • launchd๊ฐ€ ์•„๋‹ˆ๋ผ GUI ์•ฑ์ด ๋…นํ™”๊ธฐ๋ฅผ ์ง์ ‘ ๋„์šด๋‹ค. launchd๋กœ ์กฐ์šฉํžˆ ๋„์šฐ๋ฉด macOS ๊ถŒํ•œ ํŒ์—…์— ์‚ฌ์šฉ์ž๊ฐ€ ์‘๋‹ตํ•˜๊ธฐ ์ „์— ์žฌ์‹œ์ž‘์„ ๋ฐ˜๋ณตํ•˜๋‹ค ํฌ๊ธฐํ•ด๋ฒ„๋ฆฐ๋‹ค.

  • GUI ์•ฑ์˜ stdout์€ /dev/null๋กœ ๊ฐ„๋‹ค. ๊ทธ๋ž˜์„œ ํŒŒ์ผ ๋กœ๊ทธ๋ฅผ ๋”ฐ๋กœ ๋‚จ๊ธฐ๊ณ  "๋™๊ธฐํ™” ๋กœ๊ทธ ๋ณด๊ธฐ" ๋ฉ”๋‰ด๋ฅผ ๋ถ™์˜€๋‹ค โ€” ๋ฐฑ๊ทธ๋ผ์šด๋“œ ์ž‘์—…์ด ์กฐ์šฉํžˆ ์‹คํŒจํ–ˆ์„ ๋•Œ ์›์ธ์„ ๋ณผ ์ˆ˜ ์žˆ์–ด์•ผ ํ•œ๋‹ค.

  • ๊ณ ์•„ ํ”„๋กœ์„ธ์Šค ์ •๋ฆฌ๋ฅผ ์‹œ์ž‘ ์ „์— ํ•œ๋‹ค. ์•ฑ์„ Quitํ•ด๋„ ์ž์‹ ๋…นํ™”๊ธฐ๊ฐ€ ์‚ด์•„๋‚จ์•„ ํฌํŠธ๋ฅผ ์ฅ๊ณ  ์žˆ์œผ๋ฉด, ์ƒˆ๋กœ ๋„์šด ํ”„๋กœ์„ธ์Šค๊ฐ€ ์ฆ‰์‚ฌํ•˜๋ฉด์„œ UI๋งŒ "๊บผ์ง"์œผ๋กœ ์ž˜๋ชป ํ‘œ์‹œ๋œ๋‹ค.

๋ฐฐํฌ๋Š” .dmg ํ•˜๋‚˜๋กœ ๋ฌถ์–ด /download์—์„œ ๋ฐ›๊ฒŒ ํ–ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๋กœ ๋ฐ›์•„์•ผ ๊ฒฉ๋ฆฌ(quarantine) ์†์„ฑ์ด ๋ถ™์–ด์„œ Gatekeeper ๊ฒฝ๊ณ ๊นŒ์ง€ ํฌํ•จํ•œ ์ง„์งœ ์ตœ์ดˆ ์„ค์น˜ ๊ฒฝํ—˜์ด ์žฌํ˜„ ๊ฐ€๋Šฅํ•˜๋‹ค. โ†’ docs/ec2-deployment-guide.md ยท docs/mac-app-and-download-page.md ยท docs/mac-app-self-contained.md ยท ์„ค์น˜ ์•ˆ๋‚ด


๐Ÿ”’ 11. ๊ฐœ์ธ์ •๋ณด

ํ™”๋ฉด ๊ธฐ๋ก์—๋Š” ๋ฉ”์‹ ์ € ๋Œ€ํ™”์™€ ๋กœ๊ทธ์ธ ํ™”๋ฉด์ด ๋“ค์–ด์žˆ๋‹ค. ์ฒ˜์Œ๋ถ€ํ„ฐ ์ œ์•ฝ์œผ๋กœ ๋’€๋‹ค.

  • ์ˆ˜์ง‘ ๋‹จ๊ณ„์—์„œ screenpipe์˜ PII ๋ฆฌ๋•์…˜(secret/email/phone/person/address, ๋กœ์ปฌ ๋ฐฑ์—”๋“œ)์„ ์ผœ๊ณ , ๋ฆฌ๋•์…˜๋œ DB๋ฅผ mode=ro๋กœ๋งŒ ์—ฐ๋‹ค
  • ์ž„๋ฒ ๋”ฉยท์š”์•ฝ์„ ๋กœ์ปฌ์—์„œ ๋๋‚ด๊ณ  ๊ฒฐ๊ณผ๋ฌผ(chroma/)๋งŒ ๋ณด๋‚ธ๋‹ค โ€” ์›๋ณธ ํ”„๋ ˆ์ž„ DB๋Š” ๋กœ์ปฌ์„ ๋– ๋‚˜์ง€ ์•Š๋Š”๋‹ค
  • chroma/, .env, eval/*/runs/๋Š” ์ปค๋ฐ‹๋˜์ง€ ์•Š๋Š”๋‹ค
  • API๊ฐ€ ๋‚ด๋ณด๋‚ด๋Š” ๊ทผ๊ฑฐ๋Š” ๋ณธ๋ฌธ ์ „์ฒด๊ฐ€ ์•„๋‹ˆ๋ผ 200์ž ๋ฐœ์ทŒ๋งŒ ๋ณด์ด๊ฒŒ ํ–ˆ๋‹ค.
  • ๋Œ€์‹œ๋ณด๋“œ ์ง‘๊ณ„๋Š” ๋ณธ๋ฌธ์„ ์•„์˜ˆ ์•ˆ ์ฝ๋Š”๋‹ค โ€” ์ˆซ์ž์™€ ์•ฑ ์ด๋ฆ„๋งŒ
  • ํ‚ค๊ฐ€ ์—†์œผ๋ฉด ์„œ๋ฒ„๊ฐ€ ๊ธฐ๋™์„ ๊ฑฐ๋ถ€ํ•˜๊ณ , ๋น„๊ต๋Š” secrets.compare_digest

๐Ÿงฑ 12. ์•Œ๋ ค์ง„ ํ•œ๊ณ„์™€ ํ•ด๊ฒฐ ๋ฐฉํ–ฅ

๋‚จ์€ ๊ฒƒ๊ณผ ํ•ด๊ฒฐ ๋ฐฉ์•ˆ์„ ๊ฐ™์ด ์ ์—ˆ๋‹ค.

ํ•œ๊ณ„ ์–ด๋А ๊ณ„์ธต์˜ ๋ฌธ์ œ์ธ๊ฐ€ ํ•ด๊ฒฐ ๋ฐฉ์•ˆ
Discord ์บก์ฒ˜๊ฐ€ ์‹ค์ œ ๋ฉ”์‹œ์ง€๊ฐ€ ์•„๋‹Œ ์‚ฌ์ด๋“œ๋ฐ”(์„œ๋ฒ„ยท์ฑ„๋„ ๋ชฉ๋ก) ์œ„์ฃผ๋กœ ์ฐํž˜ ์ˆ˜์ง‘/OCR โ€” ์ฒญํ‚นยท๊ฒ€์ƒ‰์œผ๋กœ ๋ชป ๊ณ ์นจ ํ”„๋ ˆ์ž„์— ์ด๋ฏธ ์ €์žฅ ์ค‘์ธ text_source(AX ํŠธ๋ฆฌ / OCR ํด๋ฐฑ)๋ฅผ ํ™œ์šฉํ•ด AX์ผ ๋•Œ ์ฑ„ํŒ… ์˜์—ญ ๋…ธ๋“œ๋งŒ ์ทจํ•˜๋„๋ก ์ˆ˜์ง‘์„ ์ขํžŒ๋‹ค. ๊ทธ ์ „์— ์ „์—ญ ๋นˆ๋ฐœ ๋ผ์ธ ์ œ๊ฑฐ๋ฅผ clean.py์— ์–น์–ด ๋น„์šฉ ์—†์ด ํšจ๊ณผ๋ฅผ ๋จผ์ € ์žฐ๋‹ค
์ฐฝ์ด ๊ฒน์ณ ์ฐํžˆ๋ฉด ๋ณธ๋ฌธ์ด ์„ž์ž„ (GmailยทZoom์—์„œ ํ™•์ธ) ์ˆ˜์ง‘ ํ™œ์„ฑ ์ฐฝ ๊ธฐ์ค€์œผ๋กœ๋งŒ ํ…์ŠคํŠธ๋ฅผ ์ทจํ•˜๋„๋ก ํ•„ํ„ฐ๋ง. ๋จผ์ € ๊ฒน์นจ ๋ฐœ์ƒ๋ฅ  ์ง€ํ‘œ๋ฅผ ๋งŒ๋“ค์–ด ๋นˆ๋„๋ฅผ ์žฌ๋Š” ๊ฒŒ ์ˆœ์„œ
Jiraยท์บ˜๋ฆฐ๋” ์ฐฝ์˜ ์ฒญํ‚น ๋ฏผ๊ฐ๋„ ๋ฏธ๊ฒ€์ฆ ํ‰๊ฐ€ ์ปค๋ฒ„๋ฆฌ์ง€ ์ด๋ฏธ ์ถ”์ถœํ•ด๋‘” "์ฒญํ‚น์— ๋ฏผ๊ฐํ•œ ์ฐฝ 48๊ฐœ" ๋ชฉ๋ก์—์„œ ๊ณจ๋“ ์…‹ ๋ฌธํ•ญ์„ ๋ณด๊ฐ•ํ•ด ์žฌ์ธก์ •
๊ณจ๋“ ์…‹ r11 ๋ผ๋ฒจ ์‹ ๋ขฐ๋„ ๋‚ฎ์Œ (์ฐฝ ์ œ๋ชฉ์ด ๋ฌด์˜๋ฏธํ•œ ํ™”๋ฉด) ๋ผ๋ฒจ๋ง ๋„๊ตฌ ์ฐฝ ์ œ๋ชฉ์ด ์•„๋‹ˆ๋ผ ๋ณธ๋ฌธ ์ž„๋ฒ ๋”ฉ ํด๋Ÿฌ์Šคํ„ฐ๋กœ ํ›„๋ณด๋ฅผ ๋ฌถ์–ด ๋ณด์—ฌ์ฃผ๋„๋ก ๋„๊ตฌ ๊ฐœ์„ 
๋น„๊ตํ˜•ยท์ง‘๊ณ„ํ˜•์˜ ์ •ํ™•๋„ ๋ฏธ๊ฒ€์ฆ ("ํฌ๋ž˜์‹œ ์•ˆ ๋‚จ"๊นŒ์ง€๋งŒ ํ™•์ธ) ํ‰๊ฐ€ ์ง‘๊ณ„๋Š” metadata์—์„œ ์ •๋‹ต์„ ์ฝ”๋“œ๋กœ ์‚ฐ์ถœํ•  ์ˆ˜ ์žˆ๋‹ค โ†’ ์ž๋™ ์ •๋‹ต ๋ผ๋ฒจ ์ƒ์„ฑ์œผ๋กœ ์™„์ „ ์ž๋™ ์ฑ„์ 
SCREENPIPE_DB๊ฐ€ ์ตœ๊ทผ ๋ฉฐ์น ์น˜๋งŒ ๋ณด์กด โ†’ ๊ณผ๊ฑฐ ์žฌ์‹คํ—˜์ด ์ž์ฃผ ๋ง‰ํž˜ ๋ฐ์ดํ„ฐ ๋ณด์กด ์ •์ฑ… ์žฌ์‹คํ—˜์ด ํ•„์š”ํ•œ ๊ธฐ๊ฐ„๋งŒ ๋ณ„๋„ ๋ฐฑ์—…ํ•˜๋Š” ์ ˆ์ฐจ๋ฅผ ๋งŒ๋“ ๋‹ค
๋กœ์ปฌ LLM recency bias ํ•ด๋ฒ•(LoRA/ํ”„๋กฌํ”„ํŠธ ๋ถ„ํ• ) ๋‘˜ ๋‹ค ๊ฒ€์ฆ๋งŒ ํ•˜๊ณ  summarize.py์—” ๋ฏธ๋ฐ˜์˜ ์‹ค์‚ฌ์šฉ ์—ฐ๊ฒฐ ๋‘˜ ์ค‘ ํ•˜๋‚˜๋ฅผ USE_LOCAL_LLM ๊ฒฝ๋กœ์— ์‹ค์ œ๋กœ ์—ฐ๊ฒฐ โ€” LoRA๋Š” GGUF๋งŒ ๊ต์ฒด, ๋ถ„ํ• ์€ summarize_day()์— map-reduce ์ถ”๊ฐ€

๋‹ค์Œ ๋งˆ์ผ์Šคํ†ค โ€” "๋ฌผ์–ด๋ด์•ผ ๋‹ตํ•˜๋Š” ๋„๊ตฌ"์—์„œ "๋จผ์ € ์ •๋ฆฌํ•ด์ฃผ๋Š” ํ”„๋กœ๋•ํŠธ"๋กœ

์œ„๊ฐ€ ๊ฐš์•„์•ผ ํ•  ๋ถ€์ฑ„๋ผ๋ฉด, ์—ฌ๊ธฐ๋Š” ์ด ๋„๊ตฌ๊ฐ€ ์–ด๋””๋กœ ๊ฐ€์•ผ ํ•˜๋Š”๊ฐ€๋‹ค. ์…‹ ๋‹ค ์ด๋ฏธ ๋งŒ๋“ค์–ด๋‘” ์กฐ๊ฐ์„ ์ž‡๋Š” ์ผ์ด๋ผ ์ƒˆ ๊ธฐ์ˆ ์ด ์•„๋‹ˆ๋ผ ์ œํ’ˆ ํŒ๋‹จ์˜ ๋ฌธ์ œ๋‹ค.

๋ฐฉํ–ฅ ์ด๋ฏธ ์žˆ๋Š” ์กฐ๊ฐ ๋‹ค์Œ ๋‹จ๊ณ„
์ฃผ๊ฐ„ ์—…๋ฌด ๋ฆฌํฌํŠธ ์ž๋™ ์ดˆ์•ˆ ํ•˜๋ฃจ ์š”์•ฝ ์บ์‹œ + summarize_range() + ์ธ์ˆ˜์ธ๊ณ„/์Šฌ๋ž™ ์ดˆ์•ˆ ์–‘์‹ ๊ธˆ์š”์ผ ์ €๋…์— ๊ทธ ์ฃผ์˜ ์บ์‹œ๋ฅผ ๋ชจ์•„ ๋ฆฌํฌํŠธ ์ดˆ์•ˆ์„ ๋จผ์ € ๋งŒ๋“ค์–ด ๋‘๊ณ  ์•Œ๋ฆผ๋งŒ ์ค€๋‹ค. ์‚ฌ๋žŒ์€ ๊ณ ์น˜๊ณ  ์Šน์ธ๋งŒ โ€” "์ด๋ฒˆ ์ฃผ ๋ญ ํ–ˆ์ง€"๋ฅผ ๋งค๋ฒˆ ๋ฌป์ง€ ์•Š์•„๋„ ๋˜๊ฒŒ
๋ฌป๊ธฐ ์ „์— ๋จผ์ € ๋งํ•ด์ฃผ๊ธฐ /api/digest(์ตœ๊ทผ n์ผ ์š”์•ฝ) + ํ™œ๋™ ์ž”๋””ยท๋ฆฌ๋ณธ ํƒ€์ž„๋ผ์ธ ํ•˜๋ฃจ ๋งˆ๊ฐ ๋‹ค์ด์ œ์ŠคํŠธ, "์–ด์ œ์™€ ๋‹ค๋ฅธ ์ "์ฒ˜๋Ÿผ ๋ณ€ํ™”๋ฅผ ๊ฐ์ง€ํ•ด์„œ ๋จผ์ € ๋„์šฐ๋Š” ์•Œ๋ฆผ.
ํŒ€์—์„œ ์“ฐ๋˜ ๋ฐ์ดํ„ฐ๋Š” ๊ฐ์ž ๋กœ์ปฌ์— .dmg ๋ฐฐํฌ + /download + Basic Auth + chroma/๋งŒ ์ „์†กํ•˜๋Š” ๋™๊ธฐํ™” ๊ณ„์ •๋ณ„ ์ธ๋ฑ์Šค ๊ฒฉ๋ฆฌ์™€ ๊ถŒํ•œ. ์›๋ณธ์€ ๊ฐ์ž ๊ธฐ๊ธฐ์— ๋‘๊ณ  ์š”์•ฝ๋ณธ๋งŒ ๊ณต์œ ํ•˜๋Š” ๊ฒฝ๊ณ„๋ฅผ ์œ ์ง€ํ•˜๋Š” ๊ฒŒ ์„ค๊ณ„์˜ ํ•ต์‹ฌ.

์„ธ ๋ฐฉํ–ฅ ๋ชจ๋‘ "์‚ฌ์šฉ์ž๊ฐ€ ์งˆ๋ฌธ์„ ๋– ์˜ฌ๋ ค์•ผ ํ•œ๋‹ค"๋Š” ์ง€๊ธˆ์˜ ์ „์ œ๋ฅผ ๊นจ๋Š” ๊ฒƒ์ด ๋ชฉํ‘œ๋‹ค.


๐Ÿ“š 13. ๋ฌธ์„œ ์ง€๋„

๋ฌธ์„œ ๋‚ด์šฉ
์„ค๊ณ„ ๊ฒฐ์ • ๊ธฐ๋ก ์™œ ๊ทธ๋ ‡๊ฒŒ ์ •ํ–ˆ๋‚˜ โ€” ์ž‘์—… ์›์น™ 4๊ฐ€์ง€, ๊ฐœ๋ฐœ ๋‹จ๊ณ„๋ณ„ ํ†ต๊ณผ ๊ธฐ์ค€, ์‹ค์ธก์œผ๋กœ ์ •ํ•œ ๊ฐ’๋“ค, ๋ฐฐํฌ, API
docs/troubleshooting-star.md STAR ํ˜•์‹ 23๊ฑด โ€” 4๊ฒน์œผ๋กœ ์Œ“์ธ ์„ฑ๋Šฅ ์ €ํ•˜, ์กฐ์šฉํžˆ ์‹คํŒจํ•˜๋Š” ํด๋ฐฑ, ๊ฒŒ์ดํŠธ์›จ์ด ํ•„๋“œ ๋ˆ„๋ฝ, ์ฝ”๋“œ ๋ฆฌ๋ทฐ๋กœ ๋ฐœ๊ฒฌํ•œ ๋ ˆ์ด์Šค ๋“ฑ
eval/retrieval/RETRIEVAL_REPORT.md ๊ณจ๋“ ์…‹ ๊ตฌ์ถ• ยท recall@k ยท ์ฒญํ‚น ์Šค์œ• ยท ๊ฒ€์ƒ‰ ์ „๋žต 7์ข… ยท ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ 3์ข…
eval/routing/REPORT.md ๋ฐ”๋‹๋ผ โ†’ ๋ฉ”ํƒ€ ํ•„ํ„ฐ โ†’ ๋ผ์šฐํŒ… โ†’ ์—ฌ๋Ÿฌ ๋‚ ์งœ, ๋‹จ๊ณ„๋ณ„ ๋น„๊ต
docs/routing-verification.md ๋ผ์šฐํŒ… 12์ผ€์ด์Šค ์ˆ˜๋™ ๊ฒ€์ฆํ‘œ
docs/local-llm-experiment-report.md ๋กœ์ปฌ LLM 3์ข… ๋น„๊ต โ†’ recency bias ์›์ธ ๋ถ„์„ โ†’ LoRAยทํ”„๋กฌํ”„ํŠธ ๋ถ„ํ•  ๋‘ ํ•ด๋ฒ• ๊ฒ€์ฆ (์งˆ๋ฌธ๋ณ„ ์›๋ฌธ ๋‹ต๋ณ€ ์ „๋ถ€ ํฌํ•จ)
docs/langgraph-architecture.md 2๋‹จ ๊ทธ๋ž˜ํ”„ ๊ตฌ์กฐ (์ปดํŒŒ์ผ๋œ ๊ทธ๋ž˜ํ”„์—์„œ ๋ฝ‘์€ mermaid) + ๋…ธ๋“œ๋ณ„ state ํ‘œ
docs/streaming-and-async.md SSEยทasync ์ „ํ™˜ โ€” ์–ด๋””์„œ ์ด๋“์ด ๋‚˜๊ณ  ์–ด๋””์„œ ์•ˆ ๋‚˜๋Š”์ง€, ๋˜๋Œ๋ฆฐ ๋ณ€๊ฒฝ๊นŒ์ง€
docs/summary-cache.md ํ•˜๋ฃจ ์š”์•ฝ ์บ์‹œ์™€ ์ผ๋ถ€๋Ÿฌ ์šฐํšŒํ•˜๋Š” 6๊ฐ€์ง€ ์กฐ๊ฑด
docs/ec2-deployment-guide.md ๋ฐฐํฌ ํŒŒ์ดํ”„๋ผ์ธ ์ „ ์ ˆ์ฐจ + ๊ฒช์€ ๋ฌธ์ œ 6๊ฑด
docs/mac-app-and-download-page.md screenpipe ์†Œ์Šค ๋นŒ๋“œ ยท py2app ํŒจํ‚ค์ง• ยท Gatekeeper ยท ๋‹ค์šด๋กœ๋“œ ํŽ˜์ด์ง€
docs/mac-app-self-contained.md ์•ฑ ์ž๋ฆฝํ™” โ€” HTTP ์ธ์ œ์ŠคํŠธ ์ „ํ™˜ ยท ๋ชจ๋ธ ์ฒซ ์‹คํ–‰ ๋‹ค์šด๋กœ๋“œ ยท ์ €์žฅ์†Œ/SSH ํ‚ค ์˜์กด ์ œ๊ฑฐ

๐Ÿ 14. ๋น ๋ฅธ ์‹œ์ž‘

์„ค์น˜ ยท ์ƒ‰์ธ ยท ์‹คํ–‰ ยท ํ‰๊ฐ€ โ€” ๋ช…๋ น์–ด ํŽผ์น˜๊ธฐ

์š”๊ตฌ์‚ฌํ•ญ โ€” Python 3.14 ยท uv ยท macOS(์ž„๋ฒ ๋”ฉ MPS ๊ฐ€์†) ยท screenpipe๋กœ ์ˆ˜์ง‘๋œ db.sqlite

uv sync && cp .env.example .env

.env์— ์ตœ์†Œํ•œ ์ด ์…‹์„ ์ฑ„์šด๋‹ค. ์—†์œผ๋ฉด ์„œ๋ฒ„๊ฐ€ ๊ธฐ๋™ํ•˜์ง€ ์•Š๋Š”๋‹ค(ํ™”๋ฉด ๊ธฐ๋ก์„ ๋‹ค๋ฃจ๋Š” API๋ผ ์ธ์ฆ ์—†์ด ๋œจ๋Š” ๊ฒƒ์„ config.py๊ฐ€ ๋ง‰๋Š”๋‹ค).

OPENAI_API_KEY=...      # ๋˜๋Š” ANTHROPIC_API_KEY / USE_LOCAL_LLM=1
SCREENLOG_USER=...
SCREENLOG_PASSWORD=...

์ƒ‰์ธ โ€” ์–ด๋–ค ๋‚ ์งœ๊ฐ€ ์žˆ๋Š”์ง€ ๋ณด๊ณ , ์ •์ œ ๊ฒฐ๊ณผ๋ฅผ ๋ˆˆ์œผ๋กœ ํ™•์ธํ•œ ๋’ค, ํ•˜๋ฃจ์”ฉ ๋„ฃ๋Š”๋‹ค.

uv run python -m screenlog.source              # ์ˆ˜์ง‘๋œ ๋‚ ์งœ ๋ชฉ๋ก
uv run python -m screenlog.clean 2026-08-05    # ์ •์ œ ๊ฒฐ๊ณผ ๋ฌด์ž‘์œ„ 3๊ฑด ํ™•์ธ
uv run python -m screenlog.index 2026-08-05    # ๋‚ ์งœ ์ƒ๋žต ์‹œ ๋ฏธ์ƒ‰์ธ๋ถ„ ์ „๋ถ€
uv run python -m screenlog.summarize           # ์ง€๋‚œ ๋‚  ํ•˜๋ฃจ ์š”์•ฝ ์บ์‹œ ์ฑ„์šฐ๊ธฐ

์‹คํ–‰

uv run python -m screenlog.ask                 # CLI โ€” ๋‹ต๋ณ€ + ๊ทผ๊ฑฐ ๋ชฉ๋ก
uv run uvicorn screenlog.api:app --reload      # http://localhost:8000
docker compose up --build                      # ์ปจํ…Œ์ด๋„ˆ๋กœ

ํ‰๊ฐ€

uv run python eval/routing/run_eval.py --auto        # ์‹ค์ œ ์ง„์ž…์ ์œผ๋กœ 18๋ฌธํ•ญ
uv run python eval/retrieval/eval_retrieval.py       # ๊ณจ๋“ ์…‹ recall@k
uv sync --extra bm25 && uv run python eval/retrieval/final_search_comparison.py

LLM ๋ฐฑ์—”๋“œ ์šฐ์„ ์ˆœ์œ„๋Š” USE_LOCAL_LLM โ†’ OPENAI_API_KEY โ†’ ANTHROPIC_API_KEY. ๋กœ์ปฌ LLM์œผ๋กœ ์ผฐ๋‹ค๊ฐ€ ๋ง์ฝ์ด๋ฉด ํ™˜๊ฒฝ๋ณ€์ˆ˜ ํ•œ ์ค„๋งŒ ๋น„์šฐ๋ฉด ์ฝ”๋“œ ๋ณ€๊ฒฝ ์—†์ด ๋กค๋ฐฑ๋œ๋‹ค.

ํ”„๋กœ์ ํŠธ ๊ตฌ์กฐ
src/screenlog/              # ๋ณธ์ฒด
โ”œโ”€โ”€ config.py               # ์‹คํ—˜ํ•˜๋ฉด์„œ ๋ฐ”๋€Œ๋Š” ๊ฐ’ ์ „๋ถ€ ์—ฌ๊ธฐ (๊ทผ๊ฑฐ ์ฃผ์„ ํฌํ•จ)
โ”œโ”€โ”€ source.py               # 1. screenpipe sqlite โ†’ ํ”„๋ ˆ์ž„ (์ฝ๊ธฐ ์ „์šฉ, UTCโ†’KST)
โ”œโ”€โ”€ clean.py                # 2. ํ”„๋ ˆ์ž„ โ†’ ์ด๋ฒคํŠธ (๋ฌถ๊ธฐยท์ค„์ด๊ธฐยท๋‚˜๋ˆ„๊ธฐ, URLโ†’๋„๋ฉ”์ธ)
โ”œโ”€โ”€ index.py                # 3. BGE-M3 ์ž„๋ฒ ๋”ฉ โ†’ chroma (์ฒดํฌํฌ์ธํŠธยท๋ฐฑํ•„ยท๋ฝ)
โ”œโ”€โ”€ router.py               # 3. route() โ€” ์งˆ๋ฌธ โ†’ app/site/hour/periods/intent/compound
โ”œโ”€โ”€ ask.py                  # 4. search() + ask() + ask_auto() + ํ† ํฐ ์ŠคํŠธ๋ฆฌ๋ฐ
โ”œโ”€โ”€ summarize.py            # 4. ์ •๋ฆฌ/๋น„๊ต/์ง‘๊ณ„ + ์ธ์ˆ˜์ธ๊ณ„/์Šฌ๋ž™ ์ดˆ์•ˆ + ์บ์‹œ ํ”„๋ฆฌ๋นŒ๋“œ
โ”œโ”€โ”€ summary_cache.py        #    ํ•˜๋ฃจ ์š”์•ฝ ์บ์‹œ (sqlite, model ํ‚ค ํฌํ•จ)
โ”œโ”€โ”€ chat_history.py         #    ๋Œ€ํ™” ๊ธฐ๋ก (sqlite, ์ œ๋ชฉ์€ ์ฒซ ์งˆ๋ฌธ์„ ๊ทธ๋Œ€๋กœ ์ž๋ฆ„)
โ”œโ”€โ”€ stats.py                #    ๋Œ€์‹œ๋ณด๋“œ ์ง‘๊ณ„ โ€” metadata๋งŒ, ๋ณธ๋ฌธ์€ ์•ˆ ์ฝ์Œ
โ”œโ”€โ”€ slack_client.py         #    chat.postMessage ํ•˜๋‚˜๋งŒ ๊ฐ์‹ผ ์ €์ˆ˜์ค€ ํ˜ธ์ถœ
โ”œโ”€โ”€ api.py                  # 6. FastAPI โ€” SSE ยท Basic Auth ยท ์ •์  ์„œ๋น™
โ””โ”€โ”€ static/                 #    index(๋žœ๋”ฉ) ยท dashboard(๋ฌผ์–ด๋ณด๊ธฐ) ยท explore(ํƒ์ƒ‰) ยท tokens.css

src/screenlog_langgraph/    # ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜๋งŒ LangGraph๋กœ
โ”œโ”€โ”€ graph.py                #   route โ†’ search/single_period/multi_period/fallback
โ””โ”€โ”€ agent.py                #   compound๋ฉด ReAct ๋ฃจํ”„ (๋„๊ตฌ 6๊ฐœ, recursion_limit=8)

src/screenlog_langchain/    # LLM ํ˜ธ์ถœ๋งŒ LCEL๋กœ (๋น„๊ต์šฉ) โ€” chains/router/pipeline

eval/routing/               # ๋ผ์šฐํŒ… ํ‰๊ฐ€ โ€” questions.jsonl ยท run_eval.py ยท eval_routing.py ยท REPORT.md
eval/retrieval/             # ๊ฒ€์ƒ‰ ํ‰๊ฐ€ โ€” ๊ณจ๋“ ์…‹ 25๋ฌธํ•ญ ยท ๋ผ๋ฒจ๋ง ๋„๊ตฌ ยท ์ฒญํ‚น/k/์ „๋žต/์ž„๋ฒ ๋”ฉ ์Šค์œ• ยท RETRIEVAL_REPORT.md
eval/summary_chunking/      # ์‹œ๊ฐ„๋Œ€ ๋ถ„ํ•  ์š”์•ฝ(map-reduce) ์‹คํ—˜ 4์ข… โ€” ๋ถ„ํ•  / ํ•˜์œ„์˜ํ–ฅ / reduce / ์˜ค์—ผ๋ธ”๋ก ์žฌ์‹œ๋„
eval/lora/                  # LoRA ํ•™์Šต ๋ฐ์ดํ„ฐ ์ƒ์„ฑ ยท ์–‘์žํ™” ๋ชจ๋ธ held-out ๋น„๊ต

docs/                       # ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ…(STAR) 23๊ฑด + ์ฃผ์ œ๋ณ„ ๊ธฐ๋ก 8ํŽธ
distribution/mac/           # ๋ฉ”๋‰ด๋ฐ” ์•ฑ(rumps) ยท Screenlog.dmg ยท ๋‹ค์šด๋กœ๋“œ ํŽ˜์ด์ง€ ยท ์„ค์น˜ ์•ˆ๋‚ด
.github/workflows/          # deploy.yml โ€” ๋นŒ๋“œ โ†’ GHCR โ†’ SSH ์žฌ๋ฐฐํฌ
Dockerfile, docker-compose*.yml, pyproject.toml, uv.lock

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages