🙋‍♀️ Linux & Docker (리눅스와 도커)

1. 질의 배경

데이터사이언스 모델 실험을 돌릴 때 구글 코랩보단 리눅스와 도커를 활용하는 것에 익숙해져야한다고 했다.

리눅스와 도커…?

리눅스와 도커는 뭘하는 거고, 어떤 점에서 리눅스와 도커를 사용하는 것이 구글 코랩을 사용하는 것보다 나은걸까?

2. 리눅스의 개념

리눅스는 Unix 기반의 운영체제다.

운영체제는 컴퓨터의 소프트웨어인데, 사용자와 컴퓨터 하드웨어의 인터페이스 역할을 한다!

그렇다면 다른 운영체제들(Windows, macOS)과 리눅스의 차이는 뭐야?

가장 핵심적인 차이는 리눅스가 다양한 소프트웨어와 함께 패키지화된 배포판 형태로 사용된다는 점이다.

이러한 배포판의 예로는 Ubuntu, Fedora, Debian 등이 있다.

3. 리눅스의 장점

1. 오픈소스

무료로 사용할 수 있고, 소스 코드가 공개되어 있어서 필요에 따라 수정하거나 재배포할 수 있다!

2. 다양한 배포판

각 리눅스 배포판은 목적에 맞게 최적화되어 있다. 목적에 맞게 사용자의 환경을 자유롭게 선택할 수 있다.

3. 보안

리눅스는 강력한 보안 체계를 가지고 있다.

4. 성능 및 안정성

높은 성능과 안정성 때문에 서버 환경에서 널리 활용된다.

5. 커맨드라인 인터페이스 (CLI)

GUI(Graphical User Interface)도 제공하지만 CLI를 통해 복잡한 작업을 빠르고 정확하게 처리할 수 있다.

🙋‍ CLI?

사용자가 텍스트 기반의 명령어를 입력하여 컴퓨터와 상호작용하는 인터페이스

🙋‍ GUI?

사용자가 그래픽 요소를 사용하여 컴퓨터와 상호작용하는 인터페이스 (마우스 클릭, 키보드 입력으로 조작)

🙋‍ CLI는 뭐가 좋아?

1. 경량성 : CLI는 GUI에 비해 더 적은 시스템 자원 소비

2. 유연성 및 자동화 가능성 : 단일 명령어로 복잡한 작업들을 수행할 수 있고, 스크립트로 여러 명령어를 연결하여 작업들을 자동화할 수 있다.

3. 원격 관리 용이 : SSH (Secure Shell) 같은 원격 접속 도구를 이용하여 네트워크 상의 다른 컴퓨터에 접속해 CLI를 이용해 작업할 수 있다.

   (그러나…GUI가 더 직관적이며 사용자 친화적일 수 있다!)
   

6. 커뮤니티 자원

전세계 방대한 커뮤니티를 통해 문제 해결 방법을 찾을 수 있다!

위와 같은 이유 때문에 서버 관리, 웹 및 애플리케이션 개발, 데이터 분석 등 다양한 분야에서 리눅스가 널리 사용된다.

4. 도커의 개념

도커는 컨테이너 기반의 오픈 소스 플랫폼이다. (도커 실행 환경 단위 = 컨테이너)

컨테이너…?
컨테이너는 애플리케이션과 이 애플리케이션에 필요한 모든 종속성을 하나의 패키지로 묶은 플랫폼이다.

이 안에는 애플리케이션의 코드 뿐만 아니라 런타임, 시스템 도구, 시스템 라이브러리 등 서버에 설치되어야 할 모든 것들을 포함한다.

따라서 도커를 사용하면 개발자가 작성한 코드가 어떤 환경에서든지 동일하게 실행될 수 있도록 보장한다!

한 마디로 “내 컴퓨터에서는 잘 작동하는데, 왜 서버에서는 잘 안될까?”의 문제를 피할 수 있단 말이다.

실제 파이썬 웹 애플리케이션을 개발한다고 생각해보자.

이 애플리케이션은 여러 개의 파이썬 라이브러리에 의존하며, PostgreSQL 데이터베이스와 함께 작동한다.

1. 개발 : 개발자가 자신의 로컬 컴퓨터에서 코드를 작성하고 실행한다! 여기서 필요한 파이썬 라이브러리들과 PostgreSQL은 개발자의 로컬 컴퓨터에 설치되어 있다.
2. 도커화 : 개발자는 애플리케이션과 모든 종속성(파이썬 라이브러리들과 PostgreSQL)을 포함하는 도커 이미지를 만든다. 이미지 생성은 Dockerfile이라는 스크립트 파일을 작성하여 진행된다. 이 파일 안에 OS 기본 설정부터 필요한 소프트웨어 설치, 코드 복사 등 모든 과정이 적혀 있다!
3. 배포 : 만들어진 도커 이미지(애플리케이션 실행 패키지)를 다른 서버나 클라우드로 전송하여 배포한다.
4. 실행 : 배치된 환경에서 도커 이미지로부터 컨테이너(실행 인스턴스)를 생성하여 애플리케이션을 실행시킨다!

이렇게 애플리케이션을 만들 때 도커 이미지를 활용하면, 언제 어디에서든 애플리케이션이 동일하게 작동하도록 만들 수 있다. (애플리케이션을 어디에서든 일관되게 실행할 수 있다!)

정리!

도커를 통해…

개발 서버 (개발자가 개발하는 서버) 환경 = 운영 서버 (사용자들이 사용하는 서버) 환경

⇒ DevOps (Development, Operations)

5. 리눅스와 도커

도커는 원래 리눅스에서만 작동하는 플랫폼이었다고 한다.

왜냐하면 도커가 리눅스 커널 기능 중 하나인 cgroups와 namespaces를 사용하여 컨테이너를 생성하기 때문이다.

그런데 현재는 Docker Desktop 솔루션을 통해 Windows나 MacOS에서도 리눅스 컨테이너를 실행할 수 있게 되었다!

6. 구글 코랩 실험 VS Linux, Docker 실험

구글 코랩을 이용하는 것보다 왜 Linux, Docker를 이용하여 모델 실험을 돌리는 것이 선호될까?

가장 큰 이유는 “재사용성”인 것 같다!

Docker를 사용하면 필요한 모든 소프트웨어와 라이브러리가 설치된 이미지를 만들어 재사용할 수 있다. 즉, 다른 사람들도 동일한 환경에서 실험을 재현할 수 있다!

그것 뿐만 아니라, 장시간 작업에도 Linux 환경에서 Docker 컨테이너를 활용하는 것이 유리하다.

Google Colab은 일정 시간 후에 연결이 끊어져서 실행 중인 작업이 중단되는 경우가 있다. 하지만 도커 컨테이너를 이용하면 연결 시간에 제한 없이 작업을 진행할 수 있다.

보안의 측면에서도 Google Colab보단 Docker를 사용하는 것이 유리하다. Docker Container는 개인 서버 혹은 로컬 시스템에서 진행되기 때문에 데이터 보안성이 향상된다. Google Colab은 공유 환경이기에 아무래도 데이터 유출의 위험이 있을 수 있다.

Linux가 강력한 CLI(Command Line Interface)를 가진다는 것도 강점이다. 이를 이용하면 복잡한 작업과 워크플로우를 자동화하여 관리하기 쉽다.

7. 출처

1. 뤼튼
2. https://velog.io/@vector13/Linux%EB%8F%84%EC%BB%A4Docker%EA%B0%9C%EB%85%90-%EC%A0%95%EB%A6%AC
3. https://m.blog.naver.com/chogar/221818865453
4. https://www.docker.com/resources/what-container/