Nellie's Blog

Kafka → Hadoop , timescaleDB, Redis, EMQX 스트리밍 부하 테스트를 하는데 유난히 timescaledb가 메모리를 많이 잡아먹었다.. 초당 1만건 전송하여 확인한 기록이다. 내가 직접 만든 Grafana로 계속 모니터링을 하는 중인데,Spark와 timescaledb에서 Ram을 많이 잡아먹고, OOM에러도 종종 일어난다. 저 RAM 부분이 노란색이 되면 뭔가 예민해진다. 저러고 OOM 터져서 죽은적이 너무 많음 ㅜㅜ  리눅스 서버에서 docker stats로 메모리 사용량도 같이 확인을 해봄. CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O..

로컬에서 VisualVM을 유용하게 사용하고 있었는데, (스레드 덤프, 힙 덤프 분석, 프로파일러 기능 등)원격 서버에서도 사용해보고 싶었다. 원격 서버에서 jar를 실행할 때 아래와 같은 명령어로 스프링부트를 실행해준다. IP와 포트를 지정해주어야 한다. java -Dcom.sun.management.jmxremote=true \\-Dcom.sun.management.jmxremote.local.only=false \\-Dcom.sun.management.jmxremote.port=9090 \\-Dcom.sun.management.jmxremote.ssl=false \\-Dcom.sun.management.jmxremote.authenticate=false \\-Djava.rmi.server.hostn..

카프카 스트림즈 애플리케이션을 이중화 하기 위해, 원래 자바 프로그램에서 빼고 따로 프로젝트를 만들어서 포트만 다르게 하여 jar 로 만들었다. 운영 시, 부하 문제로 카프카 스트림즈 애플리케이션이 죽을 수도 있을 것 같아서 따로 생성을 했다.  사전 작업으로는  8088, 8089 포트를 지정하여 jar로 만든 후, 원격 서버에 scp 명령어로 전송한 상태이다.  JSch 라이브러리를 사용하여 Java에서 SSH 연결을 설정하여 jar1을 10초에 한번씩 헬스체크하고, jar1이 죽으면 jar2를 원격 서버에서 실행하는 방법으로 코드를 구현했다. 1. 자바 코드 구현1. JSch 라이브러리 추가먼저, Maven을 사용한다면 pom.xml 파일에 JSch 라이브러리를 추가 com.jcraft ..

CentOS 에는 기본적으로 자바가 깔려있다. 하지만 개발버전이 빠져있다고 한다.java -version으로 하면 기본 jdk가 조회되지만, javac -version 명령어를 쳐보면 나오지 않는다.이제 jdk를 설치해보려고 한다. JDK 설치다운 가능한 JDK 목록 조회yum list java*jdk-devel 나는 java-1.8.0-openjdk-devel.x86_64 를 다운받으려고 한다.   jdk 다운로드 yum install java-1.8.0-openjdk-devel.x86_64 -y java -version, javac-version 으로 확인해보면 이제는 잘 조회되는 것을 확인!! 환경 변수 설정끝이 아니다. 환경변수도 설정해주어야 한다 ㅠㅠ(귀찮) 1) 자바 심볼릭 링크 경로 조회 j..

카프카를 운영할 서버 하나를 할당 받았다. 그 동안은 로컬환경에서 테스트를 했는데, 이제는 실무용 서버에 테스트를 하려고 한다. (카프카 서버가 자꾸 죽는다 ㅠㅠ)  혹시 모르니 업무용 CentOS에도 Virtual Box를 설치해서 안전하게 카프카 운영 환경을 테스트를 해보려고 한다.   1. GPG 키를 시스템에 설치sudo rpm --import https://www.virtualbox.org/download/oracle_vbox_2016.asc 이 명령어를 실행하면 VirtualBox 패키지의 GPG 키를 시스템에 추가하여 VirtualBox 패키지를 설치하거나 업데이트할 때 GPG 키 검사를 통과한다.  설치하지 않으면 GPG 키 에러~~ 하면서 에러가 뜬다. (이 것 때문에 한참 헤맸다 ㅠㅠ)..

VirtualBox에서 작업하다 보면 호스트 키, 복사/붙여넣기 등 불편한 부분이 많아서, SSH를 통해 접속 프로그램(MobaXterm 등)으로 원격 접속해서 편하게 작업하려고 한다. ​1. VM에 SSH 설정접속 프로그램인 MobaXterm 사용을 위해 로컬 CentOS 7에 SSH 설정을 하려고 한다. which sshd 명령어를 사용해 현재 로컬 Rocky Linux에 SSH가 설치되어 있는지 확인한다.   경로가 /usr/sbin/sshd 에 있다고 나타났다.  1) port 설정  port 설정을 해주어야 한다. vi /etc/ssh/sshd_config #Port 22 라고 되어있는 부분을 주석을 풀어준다. 만약 22번 말고 다른 포트번호를 사용하고 싶다면 변경해주어야 한다! 2) 로그인 제..

앞 포스팅에서 Virtual Box 설치를 해보았다. ↓ Virtual Box 설치 포스팅 https://yeees.tistory.com/453 [Virtual Box] window10에 Virtual Box 설치회사에서 신규프로젝트를 시작하는데, 백엔드와 Kafka를 담당하기로 했다. 그래서 회사 서버에 Kafka를 설치하기 전에 가상머신에 먼저 설치를 해보려고 한다. 1. Virtual Box 설치하기 https://www.virtualbyeees.tistory.com 1. Locky Linux 다운로드 이제 이 곳에 우리 회사에서 사용 중인 CentOS와 유사한 (무료인) Locky Linux를 설치해볼 예정이다. 회사 서버에 바로 하기가 겁이 나기 때문에. ...  Locky Linux는 아래 공..

회사에서 신규프로젝트를 시작하는데, 백엔드와 Kafka를 담당하기로 했다. 그래서 회사 서버에 Kafka를 설치하기 전에 가상머신에 먼저 설치를 해보려고 한다. 1. Virtual Box 설치하기 https://www.virtualbox.org/ Oracle VM VirtualBox Welcome to VirtualBox.org! News Flash Notice March 21th, 2024Change of login server. Starting today, Oracle Single Sign On will ask for your account credentials at signon.oracle.com and the username and password are now have to be entered ..

리눅스 명령어 정리 awk 텍스트 데이터를 조작하고 보고서를 생성하는데 사용되는 강력한 패턴 스캐너 및 처리기. bg 작업을 백그라운드에서 실행하도록 하는 명령어. bzip2 파일을 Bzip2 형식으로 압축하거나 해당 형식에서 압축을 해제하는데 사용되는 명령어. cat 파일의 내용을 화면에 출력하는 명령어. cd 디렉토리 변경을 위한 명령어. chgrp 파일이나 디렉토리의 소유 그룹을 변경하는 명령어. chmod 파일이나 디렉토리의 권한을 변경하는 명령어. chown 파일이나 디렉토리의 소유자나 소유 그룹을 변경하는 명령어. clock CMOS 시간을 조절하는 명령어. cp 파일을 복사하는 명령어. crontab 주기적으로 실행되는 작업을 설정하는데 사용되는 명령어. date 시스템의 현재 날짜와 시간을..

신규 프로젝트에 젠킨스를 구축해보라는 팀장님의 명이 있어서 서버에 접속을 시도했다. git bash로만 리눅스 서버를 다루다가 회사 선임님께서 좋은 툴을 알려주셨다. MobaXterm 이라는 툴인데 더 편하다고 한다. 아래 사이트에서 무료다운로드 하면 된다. https://www.softonic.kr/download/moba/windows/post-download Download MobaXterm 23.1 - free - latest version STG Cache Audit Internet Explorer 캐시에서 사이트, URL, 쿠키 및 방문 기록 목록을 쉽게 볼 수 있습니다. www.softonic.kr 다운로드가 다 되면 창을 열고, 왼쪽 상단 Session 클릭 Bookmark settings..