LLM 가중치 수정
딥러닝 가중치 구조와 포맷을 처음 접하는 개발자 파인튜닝 전 단계로 모델 내부를 직접 제어해보고 싶은 연구자 LLM의 어휘 단위 의미 수정에 관심 있는 개발자 가중치 수정과 RAG의 차이를 실감하고 싶은 AI 엔지니어 1. weight_editing_tutorial.ipynb 주제: 가장 기초적인 가중치 생성 → 저장/로드 → 직접 수정(Weight E
LLM 서빙 관련 정리
📌 LLM 서빙 관련 핵심 정리 개요 LLM 서빙 도구(MLC, CTranslate2, vLLM, TensorRT-LLM 등)는 오픈소스 LLM 가중치를 GPU/CPU/모바일 등 다양한 환경에서 고성능·저지연으로 제공하기 위한 프레임워크. 폐쇄형 모델(OpenAI GPT, Claude, Gemini 등)은 가중치 비공개 → 직접 서빙 불가능, API 기
Write heavy DBMS 조사
데브시스터즈의 CockroachDB 아티클을 읽고 Write 가 정말 중요한 시스템 설계가 궁금해졌다. Claude Opus 4.1 이 출시되어 딥서치에 사용했는데 느낌상 예전보다 약간 더 표현이 몽글해진 느낌. 결론 분산 DBMS 가 최선. ScyllaDB, CockroachDB, YogabyteDB, Google Spanner Claude Opus
OpenSource Summit 2025 한국 11월 4-5일
https://register.linuxfoundation.org/nxLL1X?sms=7&cn=zGptZnxRQ4G2H2P_DyZa3A 리눅스 재단에서 주최하는 오픈소스 서밋이 11월 4-5일, 코엑스에서 다음 주제로 개최됩니다. 같은 날에 25달러를 더하면 OpenSearch 행사도 참가 할 수 있습니다. Cloud & Containers
02_모놀리스에서 MSA로 - 참조 구조
문제의식 우리 팀은 개발과 배포 속도가 매우 좋았습니다. 그래서 아키텍쳐에 대해 매우 만족하고 있었는데, 어떤 요구사항들은 현재 시스템에 구현하기 어려웠습니다. 회고해보면 그러한 요구사항에 맞는 기반이 되어 있지 않았고, 모놀리스 구조에서 너무 쉽게 다른 클래스를 참조 할 수 있다보니 참조 관계에 대해서 크게 중요하게 생각하지 않았던 것 같습니다. 특히 D
03_모놀리스에서 MSA로 - 실행전략
애자일은 작은 범위에서 시작합니다. 그렇게 하는 가장 중요한 이유는 적은 자원으로 학습, 검증, 개선 후 반복 실행 사이클을 돌기 위함 입니다. 단계별 전략이 필요 할 것이고, 단계별 실행 전략을 세워야 합니다. 또한 우리는 언제든 실행을 철회하거나 결정을 철회하고 더 나은 선택을 할 수 있음을 명심해야 합니다. 단계 전환 결정 단계 이 단계에서는 M
04_모놀리스에서 MSA로 - 준비 및 실행
MSA 에는 많은 준비물이 필요합니다. 목표하는 결과에 따라 필요한 것이 달라질 것입니다. 구성요소가 많고 이들을 연결 해야 하기 때문에 Kubernetes 는 거의 필수로 받아들여 지고 있습니다. 당연하게도 DevOps 는 필수입니다. 준비물 DevOps 인프라 관리 : 컨테이너, 오케이스트레이션, 서비스 메시, 로드밸런서, 인프라 자동화 도구 Do
01_모놀리스에서 MSA로 - 서문
서론 우리는 모노 레포지토리에 모놀리스 구조로 탄탄한 백엔드를 운영 하고 있었습니다. 백엔드, 프론트엔드, 비동기 워커도 하나의 서버에 구축 할 수 있게 한 온전한 모놀리스 서버였습니다. 아키텍쳐와 배포 전략이 잘 맞아 떨어져서 개발에서 배포까지 빠른 경험을 할 수 있었습니다. CTO 가 교체 되면서 MSA 전환 논의가 시작되었고 그로부터 경험한 것들을 정