1. 부동 소수점 방식의 소수 표현$$ (-1)^s \times 1 . f \times 2^{(e-\text { bias })} $$ s : 부호 비트 (0=+, 1=-)e : 지수 (exponent, 일정 비트 수로 저장)bias : 지수 보정값 (예: FP32는 127, FP16은 15)f : 가수부 (fraction, 맨 앞 1은 숨겨진 비트 “hidden bit”) 예시: IEEE 754 단정도 (FP32, 32비트) 32비트: 0 10000010 10010000000000000000000sign=0 → +exponent=10000010(=130) → 실제 지수 = 130 - 127 = 3fraction=1001000… → 1.1001(2) ≈ 1.5625값 = +1.5625 × 2³..

연구실에서 GPU 서버를 사용하다보면 어떤 서버가 얼마나 사용중인지 확인해야 하는 번거로움이 있다. 내가 할 것은 두가지다.1. 서버 ssh-key 접속2. .bashrc를 통한 서버 확인 1. 서버 ssh-key 접속 Local에서 ssh-keygen -t ed25519 -C "$(whoami)@$(hostname)" -f ~/.ssh/id_ed25519 ssh-copy-id -i ~/.ssh/id_ed25519.pub -p @ .ssh/config 수정Host HostName Port User IdentityFile ~/.ssh/id_ed25519 이 단계는 끝 2. .bashrc를 통한 서버 확인gedit ~/.bashrc 에 아래 코드 붙여 넣으십쇼 (HOST..

글 원문: https://seohong.me/blog/q-learning-is-not-yet-scalable/ Q-learning is not yet scalableQ-learning is not yet scalable Seohong ParkUC BerkeleyJune 2025 Does RL scale? Over the past few years, we've seen that next-token prediction scales, denoising diffusion scales, contrastive learning scales, and so on, all the way to the point where we canseohong.me 강화학습에 대한 좋은 아티클이 있어서 한국어로도 다시 정리해보면 좋을 ..

1. 스킨 편집 들어가기2. HTML 편집이런데에 꾸겨 넣으시면 됩니다. 3. Test$$ X^2 = 9 $$

강화학습의 on-policy 와 off-policy update 방식의 차이점을 생각하고 정리합니다. 먼저, 직관적인 배경 지식에 대해 먼저 알고 갑니다. on-policy와 off-policy를 나누는 기준은 무엇인가?Q-learning (off-policy)\begin{equation} Q(a, s) \leftarrow Q(a, s)+\alpha \cdot\left(r_s+\gamma \max _{a^{\prime}} Q\left(a^{\prime}, s^{\prime}\right)-Q(a, s)\right) \end{equation} Sarsa (on-policy)\begin{equation} Q(a, s) \leftarrow Q(a, s)+\alpha \cdot\left(r_s+\gamma \cd..

1. State Value Function$$ V^\pi(s)=\mathbb{E}_\pi\left[G_t \mid s_t=s\right]=\mathbb{E}\left[\sum_{i=0}^{\infty} \gamma^i r_{t+1+i} \mid s_t=s\right] $$강화 학습을 공부한다면, state value function에 대해 많이 보았을것이다. $$ \sum_{a, s^{\prime}} \pi(a \mid s) P_{s s^{\prime}}^a\left[R\left(s, a, s^{\prime}\right)+\gamma V^\pi\left(s^{\prime}\right)\right] $$결국은 Bellman equation 형태로 정리가 가능한데, 왜 가능한지에 대한 수식 전개와 그림 전개..