Topickly

새벽에 “환불 절차 알려줘”라고 물었던 사용자 문의가, 로그 서버에는 이름과 전화번호까지 통째로 남아 있는 걸 발견한 적 있으신가요? LLM 앱 로깅은 디버깅을 위해 반드시 필요하지만, 프롬프트와 응답을 원문 그대로 저장하면 그 자체가 개인정보 저장소가 되어버립니다. 결론부터 말씀드리면 원문 전체 저장 대신 마스킹·요약·짧은 보관 기간을 조합하는 쪽이 안전하면서도 디버깅 효율을 크게 해치지 않습니다. 이 글은 Python … Read more

asyncio 앱에서 블로킹 코드를 잡아내는 가장 확실한 방법은 이벤트 루프에 짧은 대기를 반복 예약해두고, 실제로 깨어난 시각과 예약한 시각의 차이를 재는 것입니다. 이 차이가 커진다는 건 그 사이에 무언가가 루프를 붙잡고 놓아주지 않았다는 뜻이거든요. 이 글에서는 asyncio 표준 라이브러리의 디버그 모드와, 직접 짜는 워치독 코루틴 두 가지 방식으로 이벤트 루프 지연을 실제로 측정하고, 어떤 코드가 … Read more

이 글에서는 APScheduler 예약이 재시작마다 날아가는 근본 원인과, 잡스토어를 바꾸는 것만으로는 왜 부족한지, 그리고 DB를 진실의 원천(source of truth)으로 두는 틱 루프 구조로 이 문제를 근본적으로 우회하는 방법을 확인하실 수 있습니다. 핵심 답부터 말씀드리면, APScheduler의 잡 저장소를 영속화하는 것보다 “예약 정보는 DB에만 두고, APScheduler는 주기적으로 DB를 훑는 틱(tick) 하나만 담당하게” 구조를 바꾸는 편이 재시작에 훨씬 … Read more

이 글에서는 허깅페이스 모델 캐시가 실제로 어디에 저장되는지 확인하는 방법과, 캐시 경로를 원하는 위치로 고정하고 오프라인 모드까지 켜는 절차를 순서대로 정리합니다. 핵심만 먼저 말씀드리면, Hugging Face 모델이 매번 다시 다운로드되는 것은 캐시가 진짜로 사라져서가 아니라 실행할 때마다 캐시 경로(HF_HOME)가 다르게 잡히거나, 캐시가 아예 없는 새 컨테이너·세션에서 스크립트가 돌아가기 때문인 경우가 대부분입니다. 캐시 경로를 명시적으로 고정하고 … Read more

엔비디아 드라이버만 설치하면 Docker 컨테이너에서도 GPU가 저절로 잡힌다고 생각하는 분들이 의외로 많습니다. 실제로는 호스트 드라이버, nvidia-container-toolkit, Docker 런타임 설정이라는 세 개의 층이 각각 맞물려야 컨테이너 안에서 GPU가 인식됩니다. Docker에서 GPU가 안 잡히는 문제는 대부분 이 세 층 중 어디가 빠졌는지 순서대로 확인하면 원인을 좁힐 수 있어요. 이 글에서는 실무에서 흔히 놓치는 지점을 순서대로, 그리고 어떤 … Read more

pip이나 poetry로 프로젝트를 돌리다가 “uv로 파이썬 의존성 관리하기”가 요즘 자주 언급돼서 검색해 보셨다면, 결론부터 말씀드릴게요. uv는 pip·pip-tools·venv·pyenv·poetry가 각각 하던 일을 명령어 하나로 묶은 도구이고, 실제로 옮길 때 달라지는 건 속도보다 “파일 구조”와 “명령어 습관” 쪽입니다. requirements.txt나 poetry.lock에 익숙하다면 처음 며칠은 명령어를 새로 외워야 하지만, 프로젝트 구조 자체는 pyproject.toml 하나로 단순해집니다. 이 글은 uv를 처음 써보는 … Read more

pandas read_csv가 파일 크기의 3배씩 메모리를 먹는 이유가 궁금해서 검색하셨다면, 원인은 크게 두 가지입니다. 문자열 컬럼이 object dtype으로 저장되면서 파이썬 객체 오버헤드가 그대로 붙고, 숫자 컬럼도 실제 필요한 범위보다 훨씬 큰 int64·float64로 자동 지정되기 때문입니다. dtype을 미리 지정하고 필요하면 chunksize로 나눠 읽으면 이 부풀림을 상당 부분 줄일 수 있습니다. 이 글은 pandas 2.x, CPython 3.10 … Read more

매달 초 API 청구서를 열어보고 생각보다 커진 금액에 한숨 쉬어보신 적 있으신가요? 실시간 응답이 필요 없는 작업이라면 LLM 배치 API로 비용을 절반까지 줄이는 방법이 이미 마련돼 있습니다. 다만 모든 작업에 무작정 적용할 수 있는 건 아니어서, 어떤 작업이 되고 어떤 작업이 안 되는지부터 구분하는 게 순서입니다. 배치 API가 정확히 뭘 절반으로 깎아주는 걸까요? OpenAI와 Anthropic이 … Read more

프롬프트 엔지니어링으로 안 되면 RAG, RAG로도 안 되면 파인튜닝이라는 순서가 정답은 아닙니다. 세 가지는 애초에 해결하는 문제가 다르기 때문에, 비용과 유지보수 부담을 기준으로 먼저 갈라 보는 편이 실무에서는 더 빠릅니다. 이 글에서는 파인튜닝을 중심에 놓고 RAG, 프롬프트 엔지니어링과 어떤 지점에서 선택이 갈리는지 구체적인 조건으로 정리해 보겠습니다. 세 기술이 각각 바꾸는 대상이 다릅니다 프롬프트 엔지니어링은 모델의 … Read more

벡터 DB를 pgvector로 시작한 프로젝트라면 언젠가 이런 순간을 만납니다. CREATE INDEX 한 번에 걸리는 시간이 분 단위에서 시간 단위로 넘어가고, 쿼리 응답이 예전 같지 않다고 느껴지는 시점입니다. 이 글은 pgvector가 실제로 버틸 수 있는 규모의 조건과, 전용 벡터 DB로 옮겨야 한다는 신호를 구체적인 설정값과 함께 정리합니다. 결론부터 말하면 pgvector는 행 수보다 차원 수·인덱스 종류·쓰기 패턴 … Read more