Skip to content

Instantly share code, notes, and snippets.

View joyk50's full-sized avatar

JoyK joyk50

1 follower · 2 following
  • Ailys Frontier
View GitHub Profile
@joyk50
joyk50 / centos_ssh_with_SELINUX.md
Last active January 26, 2021 07:31
ssh key 파일로 접속시 password로 만 되는 현상

원인

CentOS 에서는 SELINUX라는 보안 정책이 있어서 각 사용자의 홈폴더에 접근 할수 있는 권한이 기본적으로 막혀 있음

.ssh 폴더가 각 홈폴더 안에 있기 때문에 해당 .ssh 폴더를 SELINUX 정책에서 제외시켜 줘야 함

대처

sudo chcon -R --type=ssh_home_t .ssh
@joyk50
joyk50 / nvidia_sli_conf.md
Created August 12, 2020 00:26
Linux nvidia graphic driver SLI 설정법

Linux Nvidia graphic driver SLI 설정법

  1. 그래픽카드를 메인보드에 설치, 그래픽 드라이버도 SLI 지원하는 버전으로 설치까지 완료
  2. SLI LINK cable? 브릿지? 를 그래픽드라이버에 설치
  3. 재부팅하면 바로 설정은 안됨.
sudo nvidia-xconfig -sli=auto -multigpu=auto
  1. 위까지만 설정하고 재부팅 하면 화면이 까매지며 아무것도 안뜨게 됨. 원인은 '/etc/X11/xorg.conf'의 PCI BusID 를 다 날리기 때문에
@joyk50
joyk50 / deeplearning_env.md
Created June 10, 2020 05:52
딥러닝 개발 학습 환경 관련 정리

딥러닝 개발 환경 관련 정리

  1. 리눅스 Kernel, GLIBC, GCC, Python버전이 상호 호환이 되야함
  • CentOS 에서 pyenv를 이용해 파이썬을 설치하는 경우 컨테이너 리눅스 배포판에 따라 호환이 안 될 수 있음

우분투 기본 glibc 버전(python3.7 - glibc2.26 이상, python3.8 - glibc2.27 이상)이 안맞아서 연동해서 쓰기 어려움 CentOS 의 경우 GCC 4.7 버전을 쓰기 때문에 glibc 빌드를 위해서는 gcc도 올려야함. GCC 빌드에 성공한다고 해도 glibc 가 참조하는 SSL 버전이 달라서 바로는 못돌림...

  1. CUDA 버전은 사용하려는 Tensorflow 버전에 따라 지원하는 버전을 (컨테이너 안에) 설치해야함.
  • 기본 docker 이미지(latest-gpu) 10.2, 11.0 등 최신 버전을 배포
@joyk50
joyk50 / centos7_nvidia_deeplearning.md
Last active June 9, 2020 10:07
CentOS7 Nvidia Driver, Cuda, Cudnn 설치

CentOS7 Nvidia Driver, Cuda, Cudnn 설치

Prerequisition

sudo rpm -ivh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
sudo rpm -ivh http://mirror.rackspace.com/elrepo/elrepo/el7/x86_64/RPMS/yum-plugin-nvidia-1.0.2-1.el7.elrepo.noarch.rpm
sudo yum update -y
sudo yum -y install kernel-devel kernel-headers gcc dkms acpid yum-plugin-nvidia
@joyk50
joyk50 / centos7_python_installation.md
Last active June 8, 2020 08:16
centos7 python 설정 관련

centos7 python 설정 관련

레드햇 계열에서는 파이썬 설치시 pyenv가 갑이다.

sudo yum install @development zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel openssl-devel xz xz-devel libffi-devel findutils
curl https://pyenv.run | bash
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.zshrc
echo 'export PATH="$PYENV_ROOT/shims:$PYENV_ROOT/bin:$PATH"' >> ~/.zshrc
sudo chmod -R 775 /.pyenv/shims /.pyenv/versions
@joyk50
joyk50 / gpu_testing.md
Created May 15, 2020 01:13
GPU testing for Deep Learning

GPU testing for Deep Learning

  • 사용처

    • 터미널 환경 및 Jupyter에서 Tensorflow, Keras, LightGBM 등 GPU 리소스를 사용하는 라이브러리를 사용하기 전에 GPU 자원 로드가 제대로 되는지 확인하는 방법

  • CUDA 환경변수 설정 확인

import os
print(f'PATH: {os.environ["PATH"]}')
print(f'LD_LIBRARY_PATH: {os.environ["LD_LIBRARY_PATH"]}')
@joyk50
joyk50 / NVIDIA_driver_installation_for_debian.md
Last active May 15, 2020 01:05
Debian 계열(mxlinux, elemantaryOS, LM 등)에서 NVIDIA 및 CUDA driver 최신버전 설치 하는 방법

Debian 계열(Ubuntu) 용 deb 설치 파일 이용

release=ubuntu1810
sudo apt-key adv --fetch-keys "http://developer.download.nvidia.com/compute/cuda/repos/"$release"/x86_64/7fa2af80.pub"
sudo sh -c 'echo "deb http://developer.download.nvidia.com/compute/cuda/repos/'$release'/x86_64 /" > /etc/apt/sources.list.d/nvidia-cuda.list'
sudo sh -c 'echo "deb http://developer.download.nvidia.com/compute/machine-learning/repos/'$release'/x86_64 /" > /etc/apt/sources.list.d/nvidia-machine-learning.list'
sudo apt update
sudo apt install nvidia-driver-440 (최신 드라이버 버전으로 수정) ...
@joyk50
joyk50 / nimf_installation.md
Last active May 15, 2020 00:03
Linux 에서 NIMF 설정

리눅스에서 한글 입력기 NIMF 설치 방법

개인적 의견으로 리눅스에서 쓰는 입력기 중에는 NIMF가 가장 오류가 적다고 생각됨 (vs code 및 firefox 등)

하모니카 쪽에서 NIMF 포크해서 관리중. https://github.com/hamonikr/nimf

  • 특징: 한컴은 xkb를 쓰고 하모니카 os에서 한글 입력으로 nimf 사용
  • 장점: libhangul 을 기반으로 만들어져서 끝글자 에러 문제 없고 모아쓰기 됨

설치방법

@joyk50
joyk50 / Chome_Remote_Desktop_on_Terminal.md
Last active May 15, 2020 00:16
터미널로 서버(데비안 계열)에 크롬원격데스크톱 서비스를 설정하는 방법

터미널로 서버(데비안 계열)에 크롬원격데스크톱 서비스를 설정

  1. https://remotedesktop.google.com/headless/

  2. 서비스 프로그램 다운로드 및 설치 (wget 사용)

윈도우와 데비안 계열 리눅스에 지원, 데비안 계열 리눅스의 경우 sudo dpkg -i 파일이름 으로 설치가 가능

  1. systemd 서비스 설정까지 해줌, enable로 등록만 하자
@joyk50
joyk50 / Cython_Error.md
Last active May 15, 2020 01:08
Cython 사용 파이썬 라이브러리 설치/실행 시 Cython 에러 발생

when install kss(Korean Sentence Splitter), 'Cython' error

ref: https://pypi.org/project/kss/

do sudo apt install cypython seperately

Addition

[Errno 2] No such file or directory: 'curl-config': 'curl-config'