[주간 회고] 7주차: 가상 메모리의 심장, Malloc Lab 구현과 OS의 이해

이번 7주차는 Malloc Lab 프로젝트를 통해 C언어로 직접 동적 메모리 할당기를 구현하며 시스템 프로그래밍의 깊은 곳을 탐험한 시간이었습니다. 단순히 코드를 짜는 것을 넘어, 메모리를 어떻게 하면 더 효율적으로 관리할 것인가에 대해 치열하게 고민했던 기록들을 정리합니다.

1. 힙(Heap)의 구조와 경계 처리

메모리 할당기를 구현하기 위해 가장 먼저 힙의 물리적 및 논리적 구조를 설계했습니다.

• 정렬(Alignment)과 패딩: 데이터 접근 성능 향상을 위해 8바이트 혹은 16바이트 경계를 맞추는 패딩(Padding)의 중요성을 배웠습니다.
• 프롤로그 및 에필로그: 힙의 시작과 끝을 알리는 파수꾼(Sentinel) 블록을 두어, 메모리 순회 시 발생할 수 있는 경계 오류를 방지했습니다.

2. 가용 리스트 관리 전략: Implicit vs Explicit

가용 블록(Free Block)을 어떻게 찾아낼 것인가에 따라 할당기의 성능이 극명하게 갈리는 것을 확인했습니다.

• Implicit Free List (묵시적 가용 리스트): 구현은 단순하지만 힙이 커질수록 탐색 비용이 블록 수에 비례하여 증가하는 비확장적 자료구조임을 체감했습니다.
• Explicit Free List (명시적 가용 리스트): 가용 블록 내에 next, prev 포인터를 두어 탐색 속도를 높였습니다.
  • LIFO (Last-In-First-Out): 삽입 속도가 매우 빠르지만 단편화에 취약할 수 있습니다.
  • Address-Ordered: 주소 순으로 정렬하여 병합(Coalescing) 효율을 극대화하고 단편화를 방지했습니다.

3. 더 나은 성능을 위한 고도화 기법

기본적인 할당기를 넘어 실제 시스템에서 사용되는 고도화된 전략들을 학습했습니다.

• 분리 가용 리스트(Segregated Free List): 가용 블록을 크기 구간별로 여러 리스트로 나누어 관리하여 탐색 시간을 단축했습니다.
• 버디 시스템(Buddy System): 블록 크기를 2의 거듭제곱 단위로 관리하여 빠른 병합과 분할을 가능하게 하는 구조를 이해했습니다.

4. 운영체제 핵심 개념 정리

메모리 관리의 배경이 되는 커널의 동작 원리도 함께 정리했습니다.

• System Call: sbrk나 mmap을 통해 사용자 프로세스가 커널에 메모리 자원을 요청하는 인터페이스를 학습했습니다.
• 가상 메모리(Virtual Memory): 각 프로세스가 독립적인 메모리 공간을 가진 것처럼 추상화해주는 원리와 보안 및 안정성을 위한 격리의 중요성을 배웠습니다.

Explicit Free List: Unordered vs. Address-Ordered

Implicit VS Explicit 비교

🖥️ 운영체제 및 메모리 관리 핵심 정리

1. 시스템 콜 (System Call)

개념: 사용자 프로세스가 운영체제(OS) 커널이 제공하는 서비스를 이용하기 위해 커널 함수를 호출하는 인터페이스입니다.

• 필요성: 응용 프로그램은 하드웨어(CPU, 메모리, 디스크 등)에 직접 접근할 수 없습니다. 보안과 안정성을 위해 OS가 자원을 관리하며, 응용 프로그램은 ‘요청’을 통해서만 자원을 사용할 수 있습니다.
• 작동 원리:
  1. 사용자 모드(User Mode)에서 실행 중인 프로그램이 시스템 콜을 호출합니다.
  2. 트랩(Trap)이 발생해 커널 모드(Kernel Mode)로 전환됩니다.
  3. 커널이 요청을 처리한 뒤 사용자 모드로 복귀합니다.
• 주요 예시: fork()(프로세스 생성), read()/write()(파일 I/O), exit()(종료).

2. 데이터 세그먼트 (Data Segment)

개념: 프로세스의 가상 메모리 공간 중 전역 변수와 정적 변수(static)가 저장되는 영역입니다.

• 메모리 구조 내 위치: 보통 코드(Text) 세그먼트 위에 있고, 힙(Heap) 세그먼트 아래에 위치합니다.
• 세부 분류:
  • Data 세그먼트 (Initialized): 초기화된 전역 변수 및 정적 변수가 저장됩니다. (예: int a = 10;)
  • BSS 세그먼트 (Uninitialized): 초기화되지 않은 전역 변수 및 정적 변수가 저장됩니다. 프로그램 시작 시 0으로 초기화됩니다. (예: int b;)
• 특징: 프로그램 시작 시 할당되며 종료 시 해제됩니다.

3. 메모리 단편화 (Memory Fragmentation)

개념: 메모리가 할당·해제되는 과정에서 총 메모리 공간은 충분하지만, 실제로는 할당할 수 없는 작은 조각들이 생기는 현상입니다.

① 내부 단편화 (Internal Fragmentation)

• 상황: 할당된 메모리 블록이 요청한 크기보다 클 때 발생합니다.
• 결과: 할당된 블록 내부에 남는 공간이 생겨 낭비됩니다.

② 외부 단편화 (External Fragmentation)

• 상황: 메모리 사이사이에 남은 작은 공간들의 합은 충분하지만, 연속된 공간이 아니라서 큰 프로세스를 할당하지 못하는 상태입니다.
• 해결책: 페이징(Paging), 압축(Compaction), 세그멘테이션(Segmentation).

4. sbrk와 mmap (힙 확장 방식)

메모리 할당자(malloc 등)가 커널로부터 더 많은 메모리를 확보하기 위해 사용하는 시스템 콜입니다.

① sbrk (Set Program Break)

• 방식: 데이터 세그먼트의 끝을 나타내는 ‘program break’ 주소를 위로 올리거나 아래로 내려 힙 공간을 확장·축소합니다.
• 특징: 메모리가 연속적으로 할당되며, 주로 작은 크기의 메모리 할당에 사용됩니다.

② mmap (Memory Map)

• 방식: 특정 파일이나 익명 메모리 공간(Anonymous Memory)을 프로세스의 가상 메모리 주소 공간에 직접 매핑합니다.
• 특징:
  • 힙 영역이 아닌 별도의 메모리 매핑 영역에 할당됩니다.
  • 주로 큰 크기의 메모리 할당(보통 128KB 이상)에 사용됩니다.
  • 메모리를 해제하면 즉시 커널에 반환할 수 있어 단편화 방지에 유리합니다.

💡 요약 비교표

구분 sbrk mmap

유튜브 영상 링크

🧠 동적 메모리 할당 (Dynamic Memory Allocation) 총정리

1. 개요 및 기본 개념

1.1. 동적 메모리 할당이란?

프로그램 실행 중(Runtime) 가상 메모리를 할당받는 방식입니다. 컴파일 타임에 크기를 알 수 없는 가변적인 데이터 구조를 다룰 때 필수적입니다.

• 메모리 영역 (Heap): 동적 할당은 힙(Heap) 영역에서 이루어집니다.
  • 가상 주소 공간 내에 존재하며, 스택(Stack)과 반대 방향으로 성장합니다.
  • 시스템 포인터(BRK)에 의해 경계가 정해지며, 매우 큰 공간을 가질 수 있습니다.
• 힙 내의 블록: 할당자는 힙을 가변 크기의 블록으로 관리하며, 각 블록은 할당(Allocated) 또는 자유(Free) 상태 중 하나입니다.

1.2. 할당자의 분류

구분 특징 대표 언어

1.3. C 언어 주요 함수

함수 역할 비고

1.4. 설계 가상 및 예시

• 주소 지정: 단어(Word) 단위 주소 지정 가능.
• 정렬(Alignment): 2단어(Double Word) 단위 정렬 (예시에서는 2-바이트 경계).
• 시각화 규칙:
  • 🟩 녹색: 할당된 블록 (Allocated)
  • ⬜ 무색: 자유 블록 (Free)
• 공간 낭비 예시: 정렬 경계 요구사항 때문에 할당 요청 사이에 사용하지 못하는 틈새 공간이 발생할 수 있습니다.

2. 제약 조건 및 성능 목표

2.1. 할당자의 제약 조건

할당자는 프로그램의 요청에 즉각 응답해야 하며, 메모리를 임의로 옮길 수 없습니다.

1. 요청 제어 불가: 프로그램이 어떤 순서로 할당/해제를 요청할지 알 수 없음.
2. 즉각 응답: 요청을 재정렬하거나 기다릴 수 없음.
3. 정렬 준수: 아키텍처별 정렬 요구사항을 반드시 만족해야 함.
4. 이동 불가(No Moving): 할당된 블록을 다른 위치로 옮길 수 없음 (free 시 위치를 알 수 없게 되기 때문).

2.2. 성능 목표 (Trade-off 관계)

• 처리량 (Throughput): 단위 시간당 완료된 요청 수

$$ 10,000\ operations / 10\ sec = 1,000\ ops/sec $$

• 최대 메모리 활용률 (Utilization): 힙을 얼마나 알뜰하게 사용하는가?
  • 낭비 요인: 패딩(Padding), 관리용 오버헤드(Header), 단편화.
• $$ \frac{\max(\text{Payload 합계})}{\text{Current Heap Size}} $$

3. 메모리 단편화 (Fragmentation)

3.1. 내부 단편화 (Internal Fragmentation)

• 원인: 요청한 크기보다 더 큰 블록이 할당될 때 발생 (정렬 패딩, 탐색 정책의 한계).
• 특징: 할당된 블록 내부에 존재하므로 측정이 명확함.

3.2. 외부 단편화 (External Fragmentation)

• 원인: 자유 공간의 총합은 충분하지만, 연속적이지 않고 조각나 있어 할당 요청을 수용하지 못하는 상태.
• 특징: 미래의 요청 패턴에 따라 달라지므로 예측이 어려움.

4. 할당자 구현 시 고려 사항

4.1. 정보 저장 (Header)

• free(ptr) 시 크기를 알기 위해 블록 시작점에 길이 필드(Length Field)를 저장합니다.
• 이 필드에는 (페이로드 + 헤더) 크기가 포함되며, 하위 비트(LSB)를 사용하여 할당 여부를 표시합니다 (0: Free, 1: Allocated).

4.2. 자유 블록 관리 (Free List)

1. 암시적 리스트 (Implicit List): 모든 블록(할당/자유)을 헤더 정보를 따라 순차 탐색. 구현이 간단하나 탐색이 느림(O(N)).
2. 명시적 리스트 (Explicit List): 자유 블록들만 포인터로 연결. 할당된 블록을 건너뛰어 탐색이 빠름.
3. 분리 자유 리스트 (Segregated List): 크기별로 리스트를 따로 관리하여 속도 향상.
4. 균형 트리 (Balanced Tree): 크기순으로 정렬하여 최적의 핏(Best-fit)을 빠르게 탐색.

4.3. 블록 분할 (Splitting)

자유 블록이 요청보다 클 경우, 필요한 만큼만 할당하고 남은 공간을 새로운 자유 블록으로 쪼개어 단편화를 방지합니다.

4.4. 블록 병합 (Coalescing)

해제된 블록 주위에 다른 자유 블록이 있다면 하나로 합칩니다.

• 경계 태그 (Boundary Tags): 각 블록의 끝에 푸터(Footer)를 두어 이전 블록의 정보를 즉시 확인합니다 (O(1)병합 가능).
• 4가지 경우: (앞/뒤 상태에 따라) ①둘 다 할당됨 ②뒤만 자유 ③앞만 자유 ④둘 다 자유.
• 시점: free 시 즉시 수행하거나(Immediate), 나중에 필요할 때 한꺼번에 수행(Deferred).

5. 할당 정책 요약

• 배치 정책 (Placement):
  • First Fit: 첫 번째로 맞는 블록 선택.
  • Next Fit: 이전 탐색 종료 지점부터 시작.
  • Best Fit: 크기가 가장 딱 맞는 블록 선택 (메모리 효율 최상, 탐색 속도 최저).
• 암시적 리스트의 한계: 구현은 쉬우나 할당 속도가 전체 블록 수에 비례하므로 실제 시스템에서는 다른 구조와 병행하여 사용됩니다.

📌 1. 힙 확장과 sbrk 동작 구조

핵심 개념

• sbrk(incr) = 힙의 끝(brk)을 늘림
• 반환값 = 이전 brk (새 메모리 시작 주소)

핵심 포인트

• allocator는 “새 공간 시작 주소”가 필요
• 그래서 old brk 반환

📌 2. 메모리 정렬과 패딩

핵심

👉 정렬(alignment) 때문에 필요

• 요청: 13 bytes → 실제: 16 bytes
• 남는 공간 = padding

효과

• 주소 계산 단순화
• 성능 향상

📌 3. 힙 구조 (Prologue / Epilogue)

구조

[padding][prologue][block...][epilogue]

핵심

• epilogue = 힙 끝 표시
• coalesce 오류 방지

📌 4. 가상 메모리

정의

👉 프로세스마다 독립된 주소공간처럼 보이게 하는 기술

핵심

• 실제: 물리 메모리 분산
• 보이는 것: 연속 공간

📌 5. 비확장성 구조 (Implicit Free List)

문제

• 모든 블록 순회
• O(n)

결론

👉 힙 커질수록 성능 붕괴

📌 6. 고급 할당 전략

🔹 Segregated Free List

• 크기별 리스트 분리
• 탐색 속도 ↑

🔹 Buddy System

• 2의 거듭제곱 기반
• merge 빠름

📌 7. extern

핵심

👉 다른 파일 변수 참조

extern int count;

• 메모리 생성 X
• 참조만 O

📌 전체 흐름

가상메모리
   ↓
힙
   ↓
sbrk 확장
   ↓
정렬 + 패딩
   ↓
prologue / epilogue
   ↓
implicit list (느림)
   ↓
segregated / buddy (개선)

prologue와 epliogue 왜 필요할까????

[강의 요약] C언어의 심장: 포인터와 메모리 관리 완벽 정리

안녕하세요! 오늘은 프로그래밍의 '근본'이라 불리는 C언어, 그중에서도 많은 학습자가 어려워하지만 반드시 넘어야 할 산인 메모리와 포인터에 대해 정리해 보겠습니다. 파이썬처럼 친절한 언어와 C언어는 무엇이 다른지, 왜 우리가 직접 메모리를 만져야 하는지 핵심만 짚어드릴게요.

1. C언어는 왜 '불친절'할까? (vs Python)

파이썬이 모든 것을 알아서 해주는 '자동 자가용'이라면, C언어는 운전자가 엔진 노즐 하나하나를 조절해야 하는 '수동 레이싱카'와 같습니다.

• 하드웨어 제어: CPU와 메모리를 직접 컨트롤하기 때문에 성능이 강력합니다.
• 명시적 타입: 모든 데이터의 크기를 프로그래머가 직접 결정해야 합니다.
• 불친절한 에러: 잘못된 메모리에 접근하면 친절한 설명 대신 Segmentation Fault와 함께 프로그램이 종료됩니다.

2. 변수를 바라보는 새로운 시각: 주소, 값, 그리고 크기

C언어에서 변수는 단순히 값을 담는 그릇이 아니라, 메모리 상의 특정 위치를 가리키는 별명(Symbol)입니다.

• 주소(&a): 메모리 어디에 있는가?
• 값(a): 그 위치에 무엇이 들어있는가?
• 크기(sizeof): 그 위치부터 몇 바이트를 사용하는가?

💡 중요 팁: C언어에서 데이터 타입(int, long 등)의 크기는 시스템마다 다를 수 있습니다. 따라서 이식성 있는 코드를 위해 stdint.h의 고정 너비 타입(int32_t, int64_t)을 사용하는 습관이 좋습니다.

3. 통곡의 벽, '포인터(Pointer)' 제대로 이해하기

포인터는 어렵지 않습니다. "주소를 저장하는 변수"일 뿐입니다.

• 역참조(*): 포인터가 가리키는 주소로 '직접 찾아가서' 값을 읽거나 쓰는 행위입니다.
• 포인터 타입의 비밀: int*와 char*는 주소 값 자체의 크기(64비트 기준 8바이트)는 같지만, 찾아갔을 때 몇 바이트를 읽어야 할지를 결정합니다.
• 포인터 연산: p + 1은 주소 값에 1을 더하는 게 아니라, 가리키는 타입의 크기만큼 건너뛰는 것을 의미합니다.

4. 메모리 관리의 핵심: 힙(Heap)과 동적 할당

함수가 종료되면 사라지는 지역 변수(Stack)와 달리, 프로그램 실행 중에 원하는 만큼 메모리를 쓰고 싶을 때 힙(Heap) 영역을 사용합니다.

• malloc: 메모리 빌려오기. (반환 타입이 void*이므로 적절한 형변환이 필요합니다.)
• free: 빌린 메모리 반납하기.
• 메모리 누수(Memory Leak): 빌려놓고 반납(free)하지 않으면 시스템의 메모리가 고갈됩니다. "malloc과 free는 항상 짝꿍"임을 잊지 마세요!

5. 구조체(Struct)와 메모리 정렬의 마법

서로 다른 타입을 묶는 구조체에는 숨겨진 원리가 있습니다. 바로 패딩(Padding)입니다.

CPU는 메모리 접근 효율을 위해 데이터를 특정 단위로 정렬합니다. 이 과정에서 빈 공간(Padding)이 생겨, 실제 구조체 크기가 멤버들의 합보다 커질 수 있습니다.

• 최적화 팁: 크기가 큰 타입부터 작은 타입 순서로 멤버를 선언하면 패딩을 줄여 메모리를 아낄 수 있습니다.

✅ 오늘 강의의 핵심 '코딩 습관' 5가지

1. sizeof 생활화: 타입 크기를 짐작하지 말고 항상 sizeof()로 확인하세요.
2. 포인터 초기화: 선언과 동시에 NULL이나 유효한 주소로 초기화하세요.
3. 중괄호({}) 생략 금지: if/for문 뒤에 코드가 한 줄이라도 중괄호를 쓰는 것이 안전합니다.
4. 우선순위는 괄호로: 연산자 우선순위가 헷갈릴 땐 무조건 ()를 쓰세요.
5. 문자열 끝은 \0: C언어 문자열은 마지막 널 문자를 위한 1바이트가 더 필요함을 명심하세요.

[에세이] AI 시대, 정답보다 '고민의 시간'이 더 가치 있는 이유

AI에게 물어보면 10초 만에 코드가 나오고 답이 나오는 시대입니다. 상황이 이렇다 보니, 가끔 이런 회의감이 들곤 합니다.

"어차피 AI가 다 해주는데, 굳이 내가 머리 싸매며 고통받을 필요가 있을까?"

결론부터 말씀드리면, 그 '고통스러운 과정'은 단순히 답을 찾는 시간이 아니라 당신의 뇌를 업데이트하는 필수적인 과정입니다. 왜 우리가 여전히 스스로 고민해야 하는지 그 이유를 정리해 보았습니다.

1. '도구'를 다루는 '근육'은 고통 속에서 자랍니다

AI를 사용하는 것은 마치 고성능 엑셀 프로그램을 쓰는 것과 같습니다. 하지만 수의 개념과 연산 원리를 모르는 상태에서 엑셀만 쓰면, 수치가 조금만 틀려도 왜 틀렸는지 알 수 없고 응용도 불가능합니다.

• 직접 고민하는 과정: 뇌의 뉴런이 연결되며 '문제 해결 근육'을 만드는 과정입니다.
• AI의 정답: 결과물(Output)만 얻는 과정입니다. 내 안의 근육은 생기지 않습니다.

결국 기초 체력이 없으면 AI라는 강력한 도구도 제대로 다룰 수 없게 됩니다.

2. AI의 '그럴듯한 거짓말'을 가려내는 안목

AI는 완벽하지 않습니다. 때로는 '환각(Hallucination)' 현상으로 틀린 답을 아주 당당하게 제시하곤 하죠. 스스로 깊게 고민해 본 사람은 AI가 준 답이 '왜 맞는지' 혹은 '어디가 틀렸는지'를 파악할 수 있는 눈을 갖게 됩니다.

직접 바닥까지 내려가 삽질(?)해 본 데이터가 머릿속에 쌓여 있어야만, 비로소 AI를 도구로서 부릴 수 있는 '진정한 주인'이 됩니다.

3. '학습의 구덩이(The Learning Pit)'가 주는 선물

교육학에는 '학습의 구덩이'라는 개념이 있습니다. 새로운 개념을 배울 때 우리는 반드시 혼란과 고통의 구덩이에 빠집니다. 여기서 빠져나오기 위해 애쓰는 과정에서 비로소 진정한 학습과 깊은 이해가 일어납니다.

AI로 곧장 점프하는 것은 이 구덩이를 건너뛰는 것입니다. 당장은 편하겠지만, 장기적으로는 지적 성장을 방해하는 독이 될 수 있습니다.

💡 AI 시대, 지혜롭게 '삽질'하는 법

무조건 고통받는 것만이 답은 아닙니다. 효율적인 성장을 위해 다음의 '의도적인 고군분투' 전략을 추천합니다.

1. 타임박스(Time-boxing) 설정: 문제를 마주하면 최소 30분은 AI 없이 스스로 고민해 보세요. 이때 당신의 뇌가 가장 활발하게 움직입니다.
2. 답이 아닌 '힌트' 요청하기: "정답을 알려줘" 대신 "내가 여기까지 생각했는데, 다음 단계로 가기 위한 실마리만 줘"라고 질문해 보세요.
3. 사후 복기: AI의 답을 확인했다면, "왜 나는 이 생각을 못 했을까?"를 다시 반추하며 그 로직을 내 것으로 흡수해야 합니다.

마치며

AI는 우리의 '가속기'가 되어야지, '엔진' 자체를 대체하게 두어서는 안 됩니다.

지금 문제를 붙잡고 씨름하며 느끼는 그 막막함과 고통은, 당신의 능력이 확장되고 있다는 아주 건강한 신호입니다. 정답을 빨리 찾는 것보다, '정답에 이르는 사고의 경로'를 내 것으로 만드는 데 집중해 보세요.

결국 마지막에 웃는 사람은 AI를 잘 쓰는 사람이 아니라, AI 없이도 문제를 해결할 줄 아는 능력을 갖춘 채 AI를 도구로 부리는 사람일 테니까요.

이동석코치님과 커피챗을 진행했다. 

같은 동기 한명과 진행했고, 요약해보자면

1. c언어는 portability가 약하고, 요즘은 rust를 많이 사용한다고한다. 다만 미국 이야기이고 한국은 아직이라고한다.

2. c언어는 매크로를 많이 사용하여 오픈소스 읽기가 힘들고, 여러가지 규칙이 있어서 이것을 먼저 아는 것이 이해하는데 도움이 된다고한다.

3. c언어의 성능이 느린부분을 어셈블리어로 교체하는 작업을 하는데, 함수마다 성능을 측정하는 것을 프로파일링이라고한다.

    프로파일링툴이 많으며 이것으로 성능을 측정하여 느리부분을 어셈블리어로 교체하여 성능을 개선한다.

4. 좋은 코드란 확장성과 다른사람이 읽기 쉬운 코드이다