본문 바로가기

Data Engineering4

가상머신(VMWare, Ubuntu) 기본 세팅(3) - Java, Hadoop, Spark 가상머신을 새로 팔 때마다 그때그때 필요한 혹은 해보고싶은 것들을 까는데, 보통은 spark를 이용한 데이터 처리는 거의 필수(...)여서 java, hadoop, spark는 기본 세트나 다름없이 매번 설치하고 있다. 가상머신은 로컬에서 script에 에러가 없는지 확인하는 용도로 사용하는 게 대부분이라, 빠르게 hadoop기반으로 spark를 실행할 수 있도록 하는 최소한의 세팅이다. 그리고, 개인의 선택이지만 나는 루트 디렉토리가 아니라 계정 홈에 java, hadoop, spark를 설치하였다. 1. Java 설치 Amazon Corretto Documentation https://docs.aws.amazon.com/corretto/index.html docs.aws.amazon.com Amazo.. 2022. 12. 29.
가상머신(VMWare, Ubuntu) 기본 세팅(2) - 언어 설정 Ubuntu에서 한글을 입력할 수 있도록 하려면 따로 설정을 해주어야 하는데 이게 은근히 헷갈린다. 일단 우측 상단의 아래쪽 화살표를 클릭한 후 Settings를 들어와주자. 좌측 메뉴 중에 Region & Language를 클릭하면 아래와 같은 화면을 확인할 수 있다. Input Sources에 + 를 클릭해주면 아래와 같은 언어 목록이 뜨는데 말줄임표(...)를 클릭해서 제일 아래로 내리면 Other이 있다. Other을 클릭해서 목록 중 Korean을 찾아 Add 해주자. Korean이 추가된 것이 확인되면 기존의 English(US)는 오른쪽의 휴지통 버튼을 눌러 삭제해주자. 하단의 Manage Installed Languages를 클릭하면 아래와 같은 창을 확인할 수 있다. 만약 추가 Insta.. 2022. 12. 29.
가상머신(VMWare, Ubuntu) 기본 세팅(1) Linux 환경에서 이것저것 테스트하기 위해 보통 ubuntu 가상머신을 이용하는데... 기본 설정을 잘못건드린다거나, 잘못 설치했는데 삭제가 어렵다거나, 갑자기 성능상의 이슈가 있다거나, 되돌리기보다는 그냥 싹 다 밀고 다시 까는 게 낫다거나 등등 여러가지 이유로 매일같이 가상머신을 지웠다 새로 설치하고 있다. 최소한으로 개발환경 세팅하는 방법을 (매번 내가 참고하기 위해) 간단하게 정리해두어야 겠다. 가상화 프로그램으로는 VMware Workstation, 운영체제는 Ubuntu를 사용한다. 파이썬, pip, 가상환경(venv), git, pycharm 정도를 미리 세팅하고, 더해서 java, hadoop, spark 기본 설치까지 대기시간 포함 보통 1시간 이내에 끝나는 것 같다. 1. VMWare.. 2022. 12. 29.
기본적인 리눅스 명령어 정리 0. 명령어 확인 man 명령어 : 명령어 매뉴얼 확인 가능(manual) $ man man ``` NAME pwd - print name of current/working directory SYNOPSIS pwd [OPTION]... DESCRIPTION Print the full filename of the current working directory. -L, --logical use PWD from environment, even if it contains symlinks ... ``` 1. 기본 동작 pwd : 현재 자신이 위치한 작업 디렉토리를 확인(print working directory) $ pwd /home/ubuntu cd 디렉토리명 : 디렉토리 이동(change directory) .. 2022. 11. 8.

티스토리툴바