일오사 154

머신러닝으로 문제를 해결하고자 하는데 어떤 알고리즘을 써야할지 모르겠다면? Auto ML을 사용해보기! 회사에서 프로젝트를 진행하면서 머신러닝 기법으로 Binary Classification을 진행해야했는데 어떤 알고리즘을 써야할지 막막했다.. 하나하나 구현해서 다 써볼 수도 없고!! 이럴 땐 ~? Auto ML을 사용하면 편하다!! 우선 Auto ML 이란? 시간 소모적이고 반복적인 기계 학습 모델 개발 작업을 자동화하는 프로세스 이며 일일이 알고리즘 선택 및 튜닝을 진행해줘야 하는 작업들을 자동으로 해주는 것이다! 분류, 회귀, 시계열 예측 등 여러 문제 해결에 사용할 수 있다고 함 이런 이론적인 내용은 다른 분들이 자세히 적어두었을테니 찾아보시고.. 오늘은 python으로 pycaret이라는 라이브..

Implement/__Process 2023. 6. 11. 23:11

ray tune을 이용하여 하이퍼 파라미터를 튜닝하고 텐서보드를 띄우려던 중 ~~ 띠용 거부..되었다.... 그래서 물어물어보니 내 개인노트북에서 포트를 따로 열어서 원격 서버랑 연결해주고 그 포트로 접속을 해줘야하는 것 ! 간단하게 말하면 원격 서버에서는 6006 포트를 열어주었고 내 개인 노트북의 8898(예시) 포트를 원격서버의 6006과 연결해주면 내 개인 노트북의 8898포트에서 접속이 되는 것이다! 개인 노트북 8898 - 원격 서버 8898 - 원격 서버 6006 연결 해주는 느낌 맞나? 우선 터미널 창 두 개를 띄워야 한다. (하나로 계속 하다가 안 돼서 애먹음 ;) 한 쪽 창에서는 ssh에 접속해서 tensorboard --logdir=~/[경로] 를 입력한다. tensorboard --..

Implement/__Error 2022. 12. 1. 11:01

학습을 돌리다가 갑자기 용량이 부족하다며 No space left on device 가 뜨고 학습이 종료되었다.. -_- 그런데! 용량을 조금 비웠는데도 에러가 떠서 왜 그런건지 찾아봤다! df -h 로 파티션 체크를 해보고 용량에 문제가 없는 것 같은데 에러가 떴다고 생각되면 df -i 으로 inodes 값을 확인한다. 여기서 for i in /*; do echo $i; find $i |wc -l; done 를 입력해서 용량을 많이 차지하는 부분을 타고 들어가서 용량을 줄여주면 된다. 여기서 inode란 전산학에서 아이노드(inode)는 UFS와 같은 전통적인 유닉스 계통 파일 시스템에서 사용하는 자료구조이다. 아이노드는 정규 파일, 디렉터리 등 파일 시스템에 관한 정보를 가지고 있다. 파일들은 각자 ..

Implement/__Error 2022. 9. 28. 10:34

ubuntu 서버에 접속해서 opencv-python 라이브러리를 사용하려고 하니 qt.qpa.xcb: could not connect to display 어쩌고 하며 Available platform plugins are: xcb. 에러가 떴다... 구글링 해보니까 apt install 로 뭘 설치하라는데 난 root 계정이 아니라서 설치를 할 수가 없었다ㅠㅠ 그래서 opencv 버전도 바꿔봤는데 계속 같은 에러가 떠서 opencv-python-headless 를 설치하니 해결되었다!! 이제 다른 에러가 떠서 그거 해결해야지.. 정말 어렵다 어려워! __END__

Implement/__Error 2022. 8. 31. 14:47

회사에서 연구팀으로 있으면서 신경망 업무를 진행중이지만 기본적인 지식이 부족하다고 느껴서 예전에 한글판 유튜브로 살짝 맛만봤던 cs231n 강의를 드디어 영어 원본?버전으로 공부를 시작했다. 이 블로그는 미래의 나를 위해 단순 기억용으로 적는 것이며 웬만하면 본인이 직접 강의를 보는 것을 추천한다! 이 글에 첨부하는 이미지와 모든 자료들은 스탠포드의 cs231n 자료를 참조하였음. (문제될 시 댓글로 알려주시면 삭제하겠습니다!) 1강은 컴퓨터비전의 역사와 관련된 내용인데 눈으로만 훑고 정리는 스킵했다. Image classification pipeline Image Classification ? Image Classification이란 입력 이미지(귀여운 고양이)를 받아 우리가 미리 정해놓은 카테고리 집..

Implement/__Theory 2022. 4. 23. 01:06

회사 노트북이 RTX 3070인데 원격으로 접속해서 사용하려고하니 에러가 떴다! 에러 내용은 NVIDIA GeForce RTX 3070 Laptop GPU with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70. If you want to use the NVIDIA GeForce RTX 3070 Laptop GPU GPU with PyTorch, please check the instructions at https://pytorch.org/get-started/locall..

Implement/__Error 2022. 3. 29. 14:37

회사에서 amazon sagemaker를 이용해서 학습을 진행했었는데 성능 좋은 gpu 인스턴스를 빌려서 며칠동안 학습시켰더니 요금 폭탄..!! 을 맞았다!!! ㅠㅠㅠㅠㅠㅠㅠ 그래서 결국 그래픽카드를 새로 구매하고, 노트북에 달려있는 그래픽카드도 사용하기로 했다.. 우선 노트북에 달려있는 그래픽 카드를 사용하기 위해! ubuntu에 원격으로 접속을 하려고 한다 우선 나의 작업 환경은 MAC M1을 사용하고 있고 (맥북 에어) 맥 터미널을 이용하여 할 것이다 아마 윈도우도 cmd 사용해서 똑같이 하면 될 것 같음! 아! 그리고 나의 경우에는 관리자 권한 없이 진행하는 것이기 때문에 다른 사람들과 조금 다를 수 있음! 터미널 프로그램에서 ssh로 원격 접속을 하기 위해서는 서버의 아이디와 비밀번호, 접속할 ..

Implement/__Setting 2022. 3. 29. 13:08

딥러닝 SSD를 학습 후에 test 이미지로 성능 측정을 해보려고해서 테스트 후 결과를 plot 하려고 하는데 갑자기 에러가 떴다..!! 어쩌고..저쩌고.. 찾아보니 라이브러리들끼리의 충돌이 발생한 것이라고 한다. 구글링하여 여러가지 해결법을 얻었다! 소스코드 상단에 아래 줄을 추가한다. import os os.environ[‘KMP_DUPLICATE_LIB_OK’]=’True’ 혹은 nomkl을 설치한다. conda install nomkl 혹은 numpy 버전을 줄인다. pip install -U numpy==1.16.5 해결! __END__

Implement/__Error 2021. 12. 14. 11:19