홈

안녕하세요? 삼각형입니다. 카카오브레인을 떠나기로 결심하고 링크드인에 새로운 기회를 찾고 있다는 글을 올렸습니다. 그 후, Nota의 CEO로부터 연락을 받았습니다. 카카오브레인에서 제가 수행했던 업무가 Nota와 결이 맞는다고 생각되어, 가볍게 대화를 나누자는 제안이었습니다. 저는 Nota가 모델 경량화와 추론 최적화에 집중하는 회사라는 것을 이미 알고 있었습니다. 저 역시 제가 Nota와 잘 맞을 것이라고 생각하여 커피챗을 수락했습니다. 커피챗을 통해 Nota의 업무에 대해 알게 되었고, 그 결과 Nota에 대해 더 깊이 있고 기술적인 정보를 알아보고 싶었습니다. 그러자 CEO는 CTO와의 커피챗을 주선해줬습...

안녕하세요? 삼각형입니다. 카카오브레인을 떠나기로 결심하고 CLO Virtual Fashion에 지원했습니다. 지원한 포지션의 채용공고는 다음과 같습니다. Research Scientist (Graphics/C,C++), R&D Responsibilities - CLO 와 MarvelousDesigner Software를 사용하는 전 세계 유저들의 요구사항을 분석하여, 그에 맞는 새로운 기능을 만들어 나갑니다. - 최첨단 의상 시뮬레이션 기술 및 모델링, 렌더링 분야에서 R&D 역량을 향상시키기 위한 최첨단 연구를 수행합니다. - 연구 내용들을 기능으로 다듬어 상용화하도록 기능 통합 및 ...

안녕하세요? 삼각형입니다. CLion 원격 개발시 Inspection이 제대로 동작하지 않는 문제가 발생할 수 있습니다. 이러한 상황에서는 No template named 'vector' in namespace 'std'와 같은 에러 메세지가 나타납니다. 이 문제는 Insepction에 필요한 헤더 파일들이 다운로드되지 않았기 때문에 발생하는 것입니다. 이를 해결하는 방법은 다음과 같습니다. CLion을 종료합니다. CLion의 캐시 폴더를 삭제합니다. rm -rf ~/Library/Caches/JetBrains/CLion 이후에 CLion을 재실행하면 Inspection이 제...

안녕하세요? 삼각형입니다. 카카오브레인을 떠나기로 결심하고 NeoPle에 지원했습니다. 지원한 포지션의 채용공고는 다음과 같습니다. [AK] 엔진 프로그래머 모집 [주요업무] - 우리는 언리얼4 활용및 튜닝으로 비주얼및 성능적으로 최고의 게임을 만들어 나가는 팀입니다. - 콘솔, PC등의 각종 플랫폼 개발을 하게되며, 논문이나 해외 발표자료를 토대로 우리 게임에 접목시킬수 있는 방법을 함께 고민하고 언리얼5 기술기반 여러 도전적인 R&D도 진행합니다. - 우리게임은 반실사 배경에 카툰 캐릭터 컨셉으로 캐주얼하지 않은 사실적 모습의 카툰을 지향하고 있습니다. [지원자격] - 경력 3년 이상 분을 찾...

이 글은 소프트웨어 개발자를 대상으로 작성되었습니다. 다른 분야의 연봉 협상과는 차이가 있을 수 있습니다. 안녕하세요 삼각형입니다. 연봉 협상에 대한 다양한 팁은 조금만 검색해보면 쉽게 찾을 수 있습니다. 하지만 대부분의 내용은 기본적인 것들로 실질적인 도움이 되는 정보는 드뭅니다. 많은 사람들이 새로운 직장에 가고 싶은 마음 때문에 제대로 연봉 협상을 하지 못하는 경우가 많습니다. 저 역시 처음 연봉 협상을 할 때 조언을 얻을 곳이 없어서, 연봉은 올랐지만 실제로 원천징수 금액은 줄어드는 비합리적인 협상을 했습니다. 이는 정보가 없고 조언을 받을 곳이 없었기 때문에 어처구니없는 계약을 했다고 생각합니다. 저...

안녕하세요? 삼각형입니다. CLion 원격 개발에서 CMake가 CUDA를 찾지 못하는 경우가 있습니다. 이 문제는 Bash가 대화형으로 실행되지 않아 환경변수 설정 전에 스크립트가 종료되기 때문에 발생합니다. 이를 해결하는 방법은 다음과 같습니다. /etc/bash.bashrc를 엽니다. sudo vi /etc/bash.bashrc Bash가 대화형이 아닌 경우에도 CUDA 환경변수를 설정할 수 있도록 해당 부분을 수정합니다. 개발 환경에 따라 이 파일의 내용은 달라질 수 있습니다. Ubuntu 22.04 # If not running inter...

안녕하세요? 삼각형입니다. 카카오브레인을 떠나기로 결심하고 NAVER Cloud에 지원했습니다. 지원한 포지션은 정규 채용이 아닌 상시 채용공고였습니다. 채용공고는 다음과 같습니다. 주요 업무 - 네이버 AI 서비스의 Bottleneck 분석 및 End-to-end 최적화 - AI 반도체를 위한 S/W Stack 설계/구현 - 효율적인 딥러닝 학습/추론 엔진의 개발/분석/개선 Ex. LLM을 위한 Megatron/FasterTransformer/DeepSpeed/vLLM/TRT-LLM 등 - Framework 관련 논문 작성 필요 조건 - LLM 및 Transformer에 대한 기초지식 - C/C++ 개발...

안녕하세요? 삼각형입니다. GPU에서 Softmax 역전파를 구현할 때, 메모리 부족으로 인해 어려움을 겪을 수 있습니다. Softmax를 \(P_i = softmax(S_i)\)로 정의했을 때, 역전파 공식은 다음과 같습니다. \[dS_i = (diag(P_i) - P_i P_i^T)dP_i\] 이 공식의 주요 문제점은 대각 행렬의 사용에 있습니다. 대각 행렬은 상당한 양의 메모리를 필요하기 때문에, GPU에서 이를 구현하는 것은 실질적으로 불가능합니다. 그러나 계산 순서를 조정함으로써 메모리 부족 문제를 해결할 수 있습니다. 메모리 사용량이 적은 Softmax 역전파 공식은 다음과 같습니다. \[dS_i...