전체 글

내 대학생활의 1년을 차지했던 뽀아즈!작년 이맘때 신입으로 지원하기 위해 계속 구글링하면서 분석 부문 합격 후기랑 서류 면접 후기를 찾아봤던 입장으로서 미래의 후배님들에게 참고용으로 도움도 될 겸, 알찼던 1년간의 활동 회고도 겸사겸사 하기 위해 작성해보아요 사실 합격하자마자 적고 싶었는데, 그래도 1년동안 활동 전부 다 해보고 적는게 더 의미있을 것 같아서 수료한 이제서야 적는...ㅎ 궁금한 점 있으면 편하게 댓글/메일 주시고, 저를 알아보신 보아즈분들은 조용히 눈치껏 넘어가주시길^^..(부끄러워요.) + 참고로 저는 보아즈와 투빅스 두 군데를 지원하여 모두 합격을 했고, 이 중에서 보아즈를 선택하여 오게되었습니다! 0. 나의 첫 연합동아리 지원 배경 사실 저는 본전공이 데이터사이언스인 반면, 새내..

대용량 데이터셋을 업로드 해야하는데 100MB 제한으로 막혀버려서 lfs(large file storage)를 설치해서 사용해보려고 한다.(우분투 24.04 기준)remote: error: GH001: Large files detected. You may want to try Git Large File Storage - https://git-lfs.github.com. 0. lfs 설치 https://git-lfs.com/ Git Large File StorageGit Large File Storage (LFS) replaces large files such as audio samples, videos, datasets, and graphics with text pointers inside Git, w..

일단 수많은 에러와 cuda version과 wheel, nvcc 버전의 충돌 오류를 마주한 저는...결국 miniforge를 아예 밀고 다시 재설치를 하였답니다 오류를 해결하다 보니 점점 라이브러리 경로랑 버전도 다 꼬여서 그냥 밀고 재설치하는 게 제일 정답이라는 팩트를 알려드리며.. 아래와 같이 명령어를 순서대로 그대로 수행하면 일단 무조건 오류없이 되는 것 같네요 (다른 컴퓨터들에서도 테스트 완료) 명령어와 함께 해당 명령어 입력 후 출력된 제 터미널 결과들도 함께 첨부하였으니 확인하면 좋을 듯 합니다.에러는 당연히 없었고 그 흔한 warning 문구도 나오지 않았어요~ (와!) 단 아래 환경은 ubuntu 24.04, cuda version==13.0 조건이니 이 조건이 아니라면 명령어 수정이 필..

우분투에 새로운 가상환경을 파서 환경설정을 하던 와중 실험에 사용할 wandb도 새로 설치하려 했는데, API key가 먹지 않아서 발생한 오류에 대한 해결 방법 기록! 우선 wandb 사이트에 회원가입을 이미 완료했다는 가정 하에 아래 작업을 진행하므로, 혹시 회원가입을 하지 않았다면 미리 가입해두고 사이트에 로그인 시켜놓도록 하자. 그 다음 터미널에서의 wandb 설치는 그냥 아래와 같이 pip로 간단하게 설치 가능# 설치pip install wandb# 로그인 wandb login 설치 완료 후 wandb login을 입력하여 첫 로그인을 시도하면 위와 같이 본인 계정의 개인 API key를 입력하라고 한다.참고로 wandb는 free plan을 대부분 사용하고 있을 텐데, 무료/유료와 관계 없이 ..

우분투 환경에서 터미널로 작업관리자를 비롯한 각종 설정 확인 작업들을 하는 방법 기록 1. 작업 관리자 열기작업 관리자 열기는 2가지 방법으로 할 수 있는데, 윈도우의 Ctrl+Alt+Del 키와 같이 창을 띄워서 직접 UI로 확인하려면 다음 명령어를 입력하면 된다.$ gnome-system-monitor 여기서 프로그램을 종료하고 싶다면 윈도우와 마찬가지로 해당 프로그램에 우클릭을 하면 바로 종료가 가능하다. 이렇게 UI로 확인하는 방법 말고 아래와 같이 top 명령어를 통해서 터미널 출력으로도 확인이 가능하다.$ top 이 경우에는 터미널 화면에 watch 커맨드처럼 2초마다 한 번씩 tracking하며 출력이 update되고, 빠져나올 때는 Ctrl+C로 나올 수 있다. 2. 리눅스 메모리 확..

1. Polars(폴라스)란?Rust로 만들어져 Python, JavaScript 등에서 사용할 수 있는 고성능 데이터프레임 라이브러리로, Pandas의 강력한 대안으로 떠오르며 특히 대용량 데이터 처리에서 뛰어난 속도를 자랑한다.또한 멀티코어 CPU를 활용한 병렬처리, 벡터화된 연산, 지연 평가(lazy evaluation) 및 효율적인 메모리 관리(zero-copy 데이터 공유)를 통해 대규모 데이터를 빠르고 효율적으로 분석하는 데 특화되어 있다. - Rust 기반 + 병렬 처리 기본 : 연산을 내부적으로 멀티스레드로 잘 돌림- Arrow 컬럼형 memory format : column 단위 연산(filter/join/etc.)이 유리- Lazy API : 여러 연산을 계획으로 묶어서 최적화한 뒤 한..