트랜잭션의 개요

데이터베이스의 여러 연산을 묶어 놓은 것을 사용자의 관점에서는 하나의 단위로 여겨질 수 있다. 예를 들어, 다른 계좌로 돈을 이체하는 것은 사용자의 관점에서 하나의 작업이지만, 데이터베이스 시스템 내에서는 여러 연산을 결합한 것이다. 이처럼, 하나의 논리적인 작업 단위를 위한 연산들의 모음을 트랜잭션(transaction)이라 한다.

데이터의 무결성(integrity)을 보장하려면, 데이터베이스 시스템은 트랜잭션의 다음과 같은 특성을 관리해야 한다.

• 원자성(atomicity): 트랜잭션의 모든 연산을 데이터베이스에 반영하든지, 아니면 전혀 반영하지 않아야 한다.
• 일관성(consistency): 고립 상태에 있는 트랜잭션의 실행은 데이터베이스의 일관성을 유지해야 한다. 고립 상태란 동시에 실행하는 다른 트랜잭션이 없다는 것을 의미한다.
• 고립성(isolation): 여러 개의 트랜잭션을 동시에 실행하더라도, 각 트랜잭션은 동시에 실행하고 있는 다른 트랜잭션을 인식하지 못해야 한다.
• 지속성(durability): 트랜잭션이 성공적으로 끝나면, 그 트랜잭션이 데이터베이스 시스템에 수정한 내용은 시스템 장애가 발생하더라도 영속적이어야 한다.

위의 특성 중에 격리 수준과 관련한 고립성에 대해 좀 더 알아보자.

고립성

여러 개의 트랜잭션을 동시에 실행하면 성능이 좋아진다. 그러나 여러 트랜잭션의 연산이 원하지 않는 방향으로 겹쳐 불일치 상태(inconsistent state)가 발생할 수 있다. 동시에 실행하는 트랜잭션의 문제를 해결하는 방법은 트랜잭션을 순차적으로 실행하는 것이다. 트랜잭션의 고립성(isolation)은 여러 개의 트랜잭션을 동시에 실행하여도, 이 트랜잭션들을 순차적으로 실행한 것과 같은 상태가 되도록 하는 특성이다.

이상현상

이상현상(Phenomena)은 동시 실행하는 여러 트랜잭션이 상호 작용하면서 나타날 수 있는 문제를 의미한다. 읽기 이상현상으로 dirty read, non-repeatable read, phantom read 세 가지가 있다. 쓰기 이상현상으로 lost update가 있다. 이상현상을 예제로 보이기 위해 간단한 student 테이블을 사용할 것이다.

Dirty Read

dirty read는 한 트랜잭션이 진행 중에, 다른 트랜잭션이 갱신은 하였으나 아직 commit하지 않은 데이터를 읽을 때 발생한다.

T2 트랜잭션에서 갱신은 하였으나 아직 커밋하지 않은 나이인 21을 T1 트랜잭션이 읽는다. T2에서 롤백하면 결국 T1은 이상한 값을 읽어 들인 셈이다.

Non-repeatable Read

non-repeatable read는 한 트랜잭션이 읽었던 데이터를 다시 읽을 때 데이터가 변경되는 것으로, 다시 읽기 전에 다른 트랜잭션이 데이터를 갱신하고 commit하기 때문에 발생한다. dirty read와 비슷해 보이지만 다른 트랜잭션에서 commit을 한다는 차이점이 있다.

T1 트랜잭션 내에서 age가 20과 21 두 개의 값을 갖는다. 의도하지 않은 결과가 발생할 수 있을 것이다.

Phantom Read

phantom read는 우리말로 ‘유령 읽기’ 정도로 바꿀 수 있겠다. 유령 읽기는 한 트랜잭션이 진행 중에, 다른 트랜잭션이 추가하거나 삭제한 행(row)의 데이터를 읽어 발생한다.

T1 트랜잭션에서 의도하지 않은 ‘장길산’ 이름을 가진 3번째 행이 나온다.

Lost Update(Dirty Write)

Lost Update는 ‘갱신 손실’로 대역할 수 있겠다. 갱신 손실은 한 트랜잭션이 데이터를 갱신한 후 다른 트랜잭션이 그 갱신한 값을 덮어쓸 때 발생한다. 다음의 예는 한 고객이 잔고가 1000원 계좌에서 500원을 인출하고 있는데 동업자가 400원을 동시에 출금하는 예이다.

잔고에 100원이 남아야 정상이지만 갱신 손실로 600원이 남았다. 위의 예에서 SQL 문을 사용하지 않고 수식으로 표현하였다. MariaDB, PostgreSQL에서 확인한 바로는 한 트랜잭션이 갱신을 한 상태에서 다른 트랜잭션이 동일 데이터에 갱신을 시도하면 대기를 하여야 한다. 즉, 데이터를 갱신한 트랜잭션이 commit이나 rollback을 하기 전에는 다른 트랜잭션은 동일 데이터를 갱신할 수 없다. 대부분의 DBMS 제품들은 모든 격리 수준에서 갱신 시 테이블이나 행(row)에 락(lock)을 걸어 lost update가 발생하지 않도록 하고 있다.

격리 수준(Isolation Level)

동시에 실행하는 트랜잭션들을 순차적인 실행 상태로 만드는 것은 성능에 좋지 않다. 성능과 일관성을 고려하여 트랜잭션에 격리 수준을 지정할 수 있다. SQL 표준은 네 종류의 트랜잭션 격리 수준을 정의하고 있다. 다음 항목에서 아래로 내려갈수록 일관성은 좋아지지만, 성능은 떨어진다.

• read uncommited: 다른 트랜잭션에서 commit하지 않은 데이터를 읽을 수 있다. 데이터의 정확도가 중요하지 않으면서 트랜잭션의 수행 시간이 긴 경우에 지정하여 사용할 수 있다.
• read commited: 다른 트랜잭션에서 commit한 데이터만을 읽는다.
• repeatable read: read commited와 동일하게 다른 트랜잭션에서 commit한 데이터만을 읽는다. 추가로 트랜잭션 진행 중에 읽었던 데이터를 다시 읽을 때, 그 중간에 다른 트랜잭션이 그 데이터를 갱신할 수 없다.
• serializable: 동시 진행하는 트랜잭션들이 순차적으로 실행한 것과 같은 결과가 나와야 한다. 직렬성(serializability)에 더하여 연쇄 복귀(rollback)도 없어야 한다.

SQL 표준은 serializable이 디폴트이다. 이 수준은 트랜잭션 간에 상호 작용이 전혀 없어야 하는 데 현실과는 맞지 않는다. 일반적인 데이터베이스 시스템은 read commited나 repeatable read를 디폴트로 사용한다. 또한, DBMS 제품마다 표준을 구현하는 방법은 다를 수 있다.

아래의 표는 각 격리 수준에서 발생할 수 있는 이상현상을 나타낸 것이다.

MySQL의 InnoDB엔진은 repeatable read 격리 수준에서 phantom read가 발생하지 않는다.

PostgreSQL도 마찬가지로 repeatable read 격리 수준에서 phantom read가 발생하지 않는다. 또한 트랜잭션을 read uncommitted로 설정은 할 수 있지만, dirty read는 발생하지 않는다.

참고 자료

• Database System Concepts, 3rd – Chapter 13 Transactions
• Isolation (database systems) – Wikipedia
• PostgreSQL 11.1 문서 – 13.2. 트랜잭션 격리
• MySQL :: MySQL 8.0 Reference Manual :: 15.7.2.1 Transaction Isolation Levels
• MariaDB Transactions and Isolation Levels for SQL Server Users – MariaDB Knowledge Base

The post 트랜잭션의 격리 수준 appeared first on bitneer.dev.

MariaDB 설치

MySQL Community의 MySQL 패키지를 설치했다면 완전히 삭제하는 것이 필요하다. 패키지의 의존성 문제로 삭제에 애를 먹을 수 있는데 apt-get remove –purge ‘mysql-.*’ 명령어를 사용하여 mysql 관련 패키지를 모두 제거하는 편법을 사용해야 한다. 패키지를 삭제하기 전에 mysqldump로 데이터베이스를 백업하고 /etc/mysql 디렉토리 안의 my.cnf 등 설정 파일을 백업하는 것이 좋을 것이다.

데비안 9(Stretch) 또는 10(Buster)에서 apt install mariadb-server 명령어로 MariaDB를 설치할 수 있다. 데비안 9는 MariaDB 10.1을 데비안 10은 MariaDB 10.3을 설치할 것이다.

# apt update
# apt install mariadb-server

데비안 패키지와 관련한 문서는 /usr/share/doc/<패키지 이름> 디렉토리에 위치한다. 패키지 설치 후 가장 먼저 찾아볼 문서이다. 참고로 README는 실제 제작자(upstream)의 문서이고, README.Debian은 데비안 개발자(패키지 메인테이너)가 제공하는 문서이다. MariaDB 서버와 관련하여 볼 만한 문서는 /usr/share/doc/mariadb-server-10.1 또는 /usr/share/doc/mariadb-server-10.3 디렉토리 안의 README.Debian.gz 파일이다. gzip으로 압축이 되어 있으므로 zmore나 zcat 명령어로 보거나 윈도우 운영체제에서는 7-Zip 등으로 압축을 풀어 편집 프로그램을 사용하여 본다.

# zmore /usr/share/doc/mariadb-server-10.3/README.Debian.gz
...
# zcat /usr/share/doc/mariadb-server-10.3/README.Debian.gz > ~/mariadb-server.README.Debian

systemd

MariaDB는 버전 10.1.8부터 systemd unit 파일을 제공한다. 데비안 패키지에서 /lib/systemd/system/mariadb.service 파일이 이에 해당한다. mariadb.service는 편리를 위해 mysql.service, mysqld.service 별칭을 가진다. systemctl 사용시 .service 접미사는 생략할 수 있다. 따라서 다음과 같이 systemctl 명령어를 사용하여 MariaDB 서비스의 시작, 종료 등을 할 수 있다.

# systemctl status mariadb
# systemctl status mysql.service
# systemclt status mysqld
# systemctl stop mysqld.service
# systemctl start mysql
# systemctl restart mariadb.service

mysql_secure_installation을 실행할 필요가 없음

데비안의 MariaDB 패키지는 보안을 적용한 상태이기 때문에 패키지 설치 후 mysql_secure_installation 명령어를 실행할 필요는 없다. 어떤 보안 설정들을 적용하였는지 살펴보자.

# mysql_secure_installation
...
In order to log into MariaDB to secure it, we'll need the current
password for the root user.  If you've just installed MariaDB, and
you haven't set the root password yet, the password will be blank,
so you should just press enter here.

Enter current password for root (enter for none):
...
Setting the root password ensures that nobody can log into the MariaDB
root user without the proper authorisation.

Set root password? [Y/n] n
...
Remove anonymous users? [Y/n] y
...
Disallow root login remotely? [Y/n] y
...
Remove test database and access to it? [Y/n] y
...
Reload privilege tables now? [Y/n] y
...

위의 내용은 mysql_secure_installation 실행 과정의 일부분을 발췌한 것이다. 라인 8에서 현재 root 계정의 암호를 묻고 있다. 처음 설치 시에는 MariaDB에 대한 root 계정의 암호가 없으므로 <Enter> 키를 누른다. 라인 13에서 root의 암호를 설정할 것인지를 묻는다. unix_socket을 사용하여 root 계정을 인증하기 때문에 n을 입력한다. 이후 나머지 설정에서는 모두 y를 입력한다. 라인 15는 anonymous 사용자를 삭제한다. 라인 17은 root의 원격 로그인을 허용하지 않는다. 라인 19는 test 데이터베이스를 삭제한다. 라인 21은 보안 강화를 위해 변경한 내용을 바로 적용한다.

데비안에서 MariaDB 패키지를 설치하면 이미 위와 같이 설정한 상태이다. 데비안에서 라인 13처럼 MariaDB의 root 계정에 대한 암호를 설정하지 않는 데 다음에서 이에 대해 알아볼 것이다.

Unix Socket 인증

데비안은 MariaDB에서 unix_socket 인증 플러그인을 기본적으로 사용한다. unix_socket 인증 플러그인이 나오기 전에 MySQL이나 MariaDB는 데이터베이스를 보호하기 위해 자체적인 인증을 사용하였다. 그래서 시스템에 모든 권한이 있는 root 계정이라도 MySQL 내에 암호를 별도로 가져야 했다. mysql 클라이언트 사용 시 root 계정임에도 불필요해 보이는 -u, -p 옵션을 사용해야만 했다. 데이터베이스의 백업 스크립트에서 암호를 노출해야 하는 문제도 있었다.

unix_socket 인증 플러그인은 시스템의 인증과 MariaDB의 인증을 함께 묶어 준다. 로컬 시스템으로 접속하여 mysql 클라이언트 실행 시 -u, -p 옵션을 사용하지 않을 수 있게 한다. 예제를 통해 좀 더 알아보자. 규모가 큰 조직에서 미숙한 신입 DB 관리자가 들어왔다고 가정해 보자. 시스템 전체의 권한을 주지 않으면서 데이터베이스의 관리 권한만 주고 싶다면 다음과 같이 한다.

# groupadd dbadmin
# useradd dbadmin -g dbadmin -m
# passwd dbadmin
새  암호:
새  암호 재입력:
passwd: 암호를 성공적으로 업데이트했습니다
# mysql -e "GRANT ALL ON *.* TO 'dbadmin'@'localhost' IDENTIFIED VIA unix_socket WITH GRANT OPTION"

라인 1에서 3까지 시스템에 dbadmin 계정을 만들고 암호를 설정한다. 라인 7에서 unix_socket 인증을 사용하는 dbadmin 계정에 데이터베이스의 모든 권한을 주는 SQL 문을 실행한다. 다른 ssh 세션에서 dbadmin으로 로그인하여 mysql 클라이언트를 실행해 보자.

$ mysql
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 59
Server version: 10.3.22-MariaDB-0+deb10u1 Debian 10

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]>

라인 1에서 보듯이 -u, -p 옵션을 사용하지 않았다. 로컬 시스템의 dbadmin 계정과 암호로 로그인하면 unix_socket 인증에 의해 mysql 클라이언트를 사용할 수 있는 것이다.

신입 DB 관리자가 자신의 컴퓨터에서 DBeaver, DataGrip 같은 그래픽 도구로 MariaDB 서버에 접속하여 데이터베이스를 관리하고 싶다고 해보자. 그리고 집에서도 접속하고 싶어 한다. 이럴 때는 unix_socket이 아니라 password 인증을 사용해야 한다. 다음과 같이 작업한다.

MariaDB [(none)]> USE mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
MariaDB [mysql]> GRANT ALL ON *.* TO 'dbadmin'@'192.168.10.%' IDENTIFIED BY '원하는 암호 입력' WITH GRANT OPTION;
Query OK, 0 rows affected (0.000 sec)

MariaDB [mysql]> GRANT ALL ON *.* TO 'dbadmin'@'%' IDENTIFIED BY '원하는 암호 입력' WITH GRANT OPTION;
Query OK, 0 rows affected (0.000 sec)

MariaDB [mysql]> SELECT user, host, password, plugin FROM user WHERE user='dbadmin';
+---------+--------------+-------------------------------------------+-------------+
| user    | host         | password                                  | plugin      |
+---------+--------------+-------------------------------------------+-------------+
| dbadmin | localhost    |                                           | unix_socket |
| dbadmin | 192.168.10.% | *CB04FE5BBC0DAAE405DB6DD0745827BCF1CF624D |             |
| dbadmin | %            | *CB04FE5BBC0DAAE405DB6DD0745827BCF1CF624D |             |
+---------+--------------+-------------------------------------------+-------------+
3 rows in set (0.000 sec)

MariaDB [mysql]> DROP USER 'dbadmin'@'%';
Query OK, 0 rows affected (0.000 sec)

MariaDB [mysql]>

라인 1에서 라인 12의 SELECT 문을 사용하기 쉽게 mysql 데이터베이스로 이동한다. 라인 6에서 암호 인증을 사용하는 dbadmin 계정에 데이터베이스의 모든 권한을 주었다. ‘dbadmin’@’192.168.10.%’는 dbadmin이 192.168.10의 네트워크에 있는 컴퓨터에서 접속할 수 있음을 의미한다. % 문자는 ‘모든’을 의미한다. 라인 9에서 ‘dbadmin’@’%’는 네트워크 제한을 두지 않는다. dbadmin 계정은 어떤 IP에서든 접속할 수 있다. 당연히 보안에 좋지 않다. 라인 12에서 SELECT 문을 사용하여 dbadmin 사용자의 인증 방법과 접속할 수 있는 네트워크 대역을 확인한다. 라인 22에서 DROP USER 문을 사용하여 ‘dbadmin’@’%’ 사용자를 삭제한다.

원격으로 접속하기 위해서는 추가적인 설정이 필요하다. 이에 대해서는 아래의 ‘원격 접속을 허용하기’에서 다룬다.

워드프레스의 데이터베이스 만들기

응용 프로그램을 위한 데이터베이스 생성은 기존의 방식과 동일하게 암호 인증을 사용한다. 워드프레스를 위한 데이터베이스와 사용자는 다음과 같이 만들 수 있다.

MariaDB [mysql]> CREATE DATABASE wordpress CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
Query OK, 1 row affected (0.00 sec)

MariaDB [mysql]> GRANT ALL ON wordpress.* TO 'wordpress'@'localhost' IDENTIFIED BY '원하는 암호 입력' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)

MariaDB [mysql]>

MariaDB 설정 파일의 위치

/etc/mysql/mariadb.cnf 파일을 보면 MariaDB 설정 파일은 다음과 같다.

1. /etc/mysql/mariadb.cnf
2. /etc/mysql/conf.d/*.cnf
3. /etc/mysql/mariadb.conf.d/*.cnf
4. ~/.my.cnf

위의 순서로 설정 파일을 읽기 때문에 같은 옵션이 여러 번 나타난다면 가장 마지막에 있는 설정을 적용할 것이다. MariaDB 서버와 관련한 설정은 /etc/mysql/mariadb.conf.d 디렉토리 안의 50-server.cnf 파일에서 한다.

원격 접속을 허용하기

데비안의 MariaDB는 보안을 위해 3306 포트를 루프백(loop-back) 주소인 127.0.0.1로 바인딩한다. 다음의 명령어로 확인할 수 있다.

# netstat -tlnp | grep mysql
tcp        0      0 127.0.0.1:3306          0.0.0.0:*               LISTEN      12435/mysqld

따라서 시스템 외부에서 접근할 수 없다. 시스템 외부에서 접근할 수 있도록 하려면 50-server.cnf 파일에서 bind-address를 다음과 같이 변경한다.

bind-address            = 0.0.0.0

변경한 설정을 반영하기 위해 MariaDB 서버를 다시 시작한다.

# systemctl restart mariadb

공유기(방화벽 역할)의 외부에서 오는 접근을 허용하려면 3306 포트에 대한 포트 포워딩을 해야 한다. 보안에 좋지 않기 때문에 데이터베이스 서버의 포트를 여는 경우는 거의 없을 것이다.

언어 설정

데비안의 MariaDB에서 디폴트 문자 집합(character set)은 utf8mb4이다. 디폴트 데이터 정렬(collation)은 utf8mb4_general_ci이다. 데이터 정렬을 utf8mb4_unicode_ci로 바꾸고 싶다면 50-server.cnf 파일을 다음과 같이 편집한다.

collation-server      = utf8mb4_unicode_ci
skip-character-set-client-handshake

라인 1의 collation-server의 값을 utf8mb4_general_ci에서 utf8mb4_unicode_ci로 변경한다. 라인 2의 skip-character-set-client-handshake를 추가한다.

MariaDB 서버를 다시 시작하고 MySQL 클라이언트를 다시 실행한 후 다음의 SQL 문으로 변경을 확인한다.

MariaDB [(none)]> SHOW VARIABLES LIKE 'coll%';
+----------------------+--------------------+
| Variable_name        | Value              |
+----------------------+--------------------+
| collation_connection | utf8mb4_unicode_ci |
| collation_database   | utf8mb4_unicode_ci |
| collation_server     | utf8mb4_unicode_ci |
+----------------------+--------------------+
3 rows in set (0.001 sec)

MariaDB [(none)]>

MariaDB 서버의 데이터 정렬 설정은 MySQL 클라이언트 외에 다른 응용 프로그램의 데이터 정렬을 강제하지는 않는다. 예를 들면 Adminer는 collation_connection을 utf8mb4_general_ci로 나타낸다. 워드프레스의 일부 플러그인은 utf8mb4_general_ci를 가지는 테이블을 만든다.

튜닝

데이터베이스의 데이터는 ‘하드디스크 > 메모리 > CPU의 레지스터’ 순으로 옮겨간다. 오른쪽으로 갈수록 속도가 빠른 대신 저장 비용은 비싸진다. 데이터베이스 읽기의 최적화는 디스크 입출력(I/O)을 최소화하고 메모리를 최대한 사용하는 것이다. 단순하지만 중요한 개념이다. 데이터베이스 쓰기의 최적화는 메모리의 휘발성으로 인해 간단하지 않다. 커밋(commit)한 데이터를 메모리에서 디스크로 쓰기 전에 시스템 장애가 발생한다면 데이터를 잃을 것이다. 은행이나 증권의 돈과 관련한 데이터라면 커밋 즉시 메모리에서 디스크로 써야 한다. 안정성은 증가하지만, 성능은 준다. 게시판의 글에 대한 데이터라면 메모리를 좀 더 활용하고 디스크에 쓰는 것을 늦출 수 있을 것이다. 데이터베이스 쓰기의 최적화는 데이터의 종류에 따라 안정성과 성능 사이에서 고민해야 할 문제이다.

MariaDB의 디폴트 스토리지 엔진(default_storage_engine)은 InnoDB이다. InnoDB와 관련한 디폴트 설정값은 데스크톱 시스템에 맞게 되어 있다. 데이터베이스 전용의 서버를 사용한다면 최적의 성능을 위해 설정값을 변경하여야 할 것이다. 전용의 서버가 아니더라도 약간의 설정값 변경으로 성능 향상을 꾀할 수 있다. 나는 Configuring MariaDB for Optimal Performance와 10 Database Tuning Tips for Peak Workloads 페이지를 참고하여 3가지 정도의 설정만 추가하였다.

innodb_buffer_pool_size=4096M
innodb_log_file_size=1024M
innodb_log_buffer_size=64M

위의 설정은 모두 50-server.cnf 파일에 추가한다. 라인 1의 innodb_buffer_pool_size는 성능 최적화에 가장 중요한 설정이다. 하나만 설정해야 한다면 이것을 해야 한다. 참고한 페이지에서는 innodb_buffer_pool_size를 데이터베이스 전용의 서버일 때 메모리의 80% 정도를 권장한다. Buffer Pool은 주로 데이터의 읽기와 관련한 것으로 디스크보다는 메모리를 사용하기 위해 가능한 한 크게 설정하는 것을 추천하고 있다. 데이터베이스 전용의 서버가 아니더라도 자신의 시스템 환경에 맞춰 크게 설정하는 것이 좋겠다.

InnoDB는 데이터를 디스크에 쓰기 전에 속도와 안정성을 목적으로 Redo Log를 사용한다. Redo Log는 시스템 장애 발생 시 복구를 위해 변경 기록들을 저장한다. INSERT 문과 같은 데이터 변경이 발생한다면 그 데이터는 ‘Buffer Pool(메모리) > Log Buffer(메모리) > Redo Log(ib_logfile0, ib_logfile1 파일) > 테이블(디스크)’의 순으로 이동한다. Redo Log의 파일 크기인 innodb_log_file_size는 innodb_buffer_pool_size의 1/4에서 1/2까지를 권장한다. Log Buffer의 크기인 innodb_log_buffer_size는 참고한 페이지에서 64M을 추천하고 있다.

innodb_log_file_size의 변경은 다음의 절차로 한다.

1. MariaDB 서버를 종료한다.
2. 위 라인 2처럼 50-server.cnf 파일에 innodb_log_file_size 설정을 추가한다.
3. /var/lib/mysql 디렉토리에서 ib_logfile0, ib_logfile1을 삭제하거나 다른 디렉토리로 옮긴다. (innodb_log_files_in_group의 디폴트 값이 2이기 때문에 Redo Log 파일이 2개가 있다.)
4. MariaDB 서버를 시작한다. 새로 설정한 크기의 ib_logfile0, ib_logfile1 파일을 볼 수 있을 것이다.

참고한 페이지에는 데이터 안정성과 관련한 innodb_flush_log_at_trx_commit과 sync_binlog, 동시 접속자 수에 대한 max_connections 등을 다루고 있다. 나는 위 3개의 설정을 제외하고 모두 디폴트 값을 사용할 것이어서 크게 관심을 가지지 않았지만, 여러분에게 필요한 내용이 있을지 모르겠다.

참고 자료

• Moving from MySQL to MariaDB in Debian 9
• How do I completely remove mysql-server on Debian?
• systemd
• mysql_secure_installation
• Authentication Plugin – Unix Socket
• Configuring MariaDB for Optimal Performance
• 10 Database Tuning Tips for Peak Workloads
• InnoDB System Variables
• Server System Variables

The post 데비안의 MariaDB 설치와 설정 appeared first on bitneer.dev.

단계 1. Confluence에 설치한 Atlassian Marketplace 앱의 정보를 확인하기

단계 4에서 보겠지만 기존 버전과 같은 Confluence를 새로 설치하고 앞으로 그것을 사용해야 한다. 이전의 Confluence에 있던 앱들은 다시 설치해야 한다. 단계 2에서 생성하는 XML 포맷의 백업 파일에는 앱의 환경 설정 정보들을 가지고 있다. 이 안의 동일한 버전으로 앱을 설치해야 문제가 발생하지 않을 것이다. 같은 버전으로 쉽게 설치하기 위해 앱을 미리 업데이트해 주는 것이 좋을 것이다. 업데이트 후 앱 이름, 버전, 제작자, 활성화 여부를 기록해 둔다. 나의 경우는 다음과 같다.

• Atlassian Troubleshooting and Support Tools / 1.25.0 / Atlassian / enabled
• Atlassian Universal Plugin Manager Plugin / 3.0.6 / Atlassian / enabled
• Confluence Cloud Migration Assistant / 2.6.0 / Atlassian / enabled
• Confluence Mobile Plugin / 2.2.4 / Atlassian / enabled
• Refined for Confluence / 6.1.15 / Refined / enabled
• RefinedMobile for Confluence / 3.3.2 / RefinedWiki / enabled
• Gliffy Diagrams for Confluence / 8.6.5 / Gliffy, Inc. / enabled
• LaTex Math / 3.9.13 / Bolo Software / enabled

단계 2. XML 포맷으로 데이터를 백업하기

이 단계를 진행할 때 http://192.168.1.10:8090/confluence/admin/backup.action 주소처럼 Confluence 서버에 직접 연결한다. IP 주소는 Confluence를 설치한 시스템의 주소로 여러분에게 맞는 것을 입력한다. Proxy 등과 같이 Confluence 전단의 Apache로 접속하여 작업하면 에러가 날 가능성이 크다. IP 주소로 직접 접속할 때 Confluence의 base URL을 변경하라는 메시지가 나오면 무시하고 진행해도 괜찮다. 다음과 같이 작업한다.

1. Confluence 설정으로 들어가서 ADMINISTRATION > Backup & Restore를 클릭한다.
2. Export this site에서 디폴트 선택인 Include attachments 체크를 그대로 둔 채 Export 버튼을 클릭한다. 백업할 데이터가 크다면 시간이 오래 걸린다. 인내심을 가지고 기다린다.
3. 작업이 완료되면 새로운 창에서 다음과 같이 백업 성공 메시지와 백업 파일의 저장 위치가 나온다. 그리고 24시간 안에 이 파일이 지워질 것을 알려준다. 나는 Proxy Error가 한 번 발생해서 xmlexport-20200524-215026-2.zip처럼 끝에 -2가 붙었다. 이후에 이 파일을 복원에 사용할 것이다.

   The backup was successfully created at /var/local/lib/confluence/temp/xmlexport-20200524-215026-2.zip. This file will be deleted in 24 hours.
   

attachments가 너무 크다면 Include attachments를 체크하지 않는 것이 좋을 수도 있다. 이 경우 단계 5의 다음 단계에서 이전 Confluence의 attachments를 새 Confluence로 복사해야 할 것이다. 다음의 명령어 실행으로 attachments의 크기를 알아볼 수 있다.

# du -h /var/local/lib/confluence/attachments
...
4.6G	/var/local/lib/confluence/attachments

du의 -h 옵션은 크기를 읽기 쉽게 K, M, G로 표시해 준다. 나의 경우 4.6 기가바이트가 나왔는데 attachments 디렉토리를 포함하여 XML 포맷으로 백업할 수 있었다.

단계 3. PostgreSQL의 데이터베이스 만들기

Confluence에서 사용할 PostgreSQL의 데이터베이스를 생성한다. 다음은 psql 클라이언트를 사용한 진행 과정이다.

# psql -h localhost -U postgres -d postgres
psql (9.6.17)
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
도움말을 보려면 "help"를 입력하십시오.

postgres=# CREATE ROLE confluence WITH LOGIN PASSWORD '원하는 암호 입력';
CREATE ROLE
postgres=# CREATE DATABASE confluence WITH ENCODING='UTF8' OWNER=confluence;
CREATE DATABASE
postgres=# \l
                                  데이터베이스 목록
    이름    |   소유주   | 인코딩 |   Collate   |    Ctype    |      액세스 권한
------------+------------+--------+-------------+-------------+-----------------------
 confluence | confluence | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 jira       | jira       | UTF8   | C           | C           |
 postgres   | postgres   | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 template0  | postgres   | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
            |            |        |             |             | postgres=CTc/postgres
 template1  | postgres   | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
            |            |        |             |             | postgres=CTc/postgres
(5개 행)

라인 6에서 CREATE ROLE로 confluence 사용자를 만든다. 라인 8에서 CREATE DATABASE로 confluence 데이터베이스를 생성한다. Confluence의 데이터베이스는 인코딩과 Collation은 utf8로 설정해야 한다. 라인 10에서 \l 명령어로 새로 생성한 confluence 데이터베이스를 확인한다. PostgreSQL에 기본적인 사용은 PostgreSQL의 데이터베이스와 사용자 생성, 백업 및 복구를 참고할 수 있다.

단계 4. 현재 사용하는 Confluence와 같은 버전의 Confluence를 새로 설치하기

새로 설치하는 Confluence는 현재 사용하는 Confluence와 같은 버전이어야 한다. 그러나 설치 위치와 홈 디렉토리는 달라져야 한다. 다음과 같이 작업한다.

1. 현재 사용하는 Confluence를 종료한다.

2. 마이그레이션에 실패할 시 빠르게 원래대로 복구하기 위해 기존 Confluence의 설치 파일과 홈 디렉토리의 이름을 변경해 둔다.

# mv /opt/share/confluence /opt/share/confluence-old
# mv /var/local/lib/confluence /var/local/lib/confluence-old

3. 새 Confluence를 위한 홈 디렉토리를 생성한다.

# mkdir /var/local/lib/confluence
# cd /var/local/lib
# chown confluence:confluence confluence
# chmod g-s confluence

라인 4는 스티키 비트(sticky bit)를 사용하지 않으므로 제거한 것이다. 데비안에서 /var/local 디렉토리의 그룹에 스티키 비트가 있어 /var/local/lib/confluence 디렉토리에 스티키 비트가 붙는다. 여러분이 다른 Confluence 홈 디렉토리를 사용한다면 무시하고 넘어간다.

4. 기존 Confluece와 같은 버전의 TAR.GZ 압축 파일을 /opt/share에 복사한 후 다음의 절차로 /opt/share/confluece에 위치하도록 압축을 푼다.

# cd /opt/share
# tar zxvf atlassian-confluence-6.13.8.tar.gz
# mv atlassian-confluence-6.13.8 confluence
# chown -R root:root confluence
# chown -R confluence:confluence confluence/logs
# chown -R confluence:confluence confluence/temp
# chown -R confluence:confluence confluence/work

라인 4에서 7까지 파일의 소유주와 그룹을 설정하는 이유는 보안 때문이다. Confluence 데몬이 쓰기 권한을 가져야만 하는 logs, temp, work 디렉토리 이외에는 파일을 저장할 수 없도록 한다. 데몬(서비스)의 보안에 관해서는 Confluence, Jira, Bitbucket의 systemd unit 설정에서 볼 수 있다.

5. /opt/share/confluence/confluence/WEB-INF/classes/confluence-init.properties 파일에서 다음과 같이 Confluence Home Directory를 지정한다.

confluence.home=/var/local/lib/confluence

6. (선택적) Confluence에 접속할 때 웹 브라우저에 따라 언어를 설정하지 않도록 /opt/share/confluence/bin/setenv.sh 파일에 다음의 내용을 추가한다. Confluence에서 언어를 영어로 선택하여 항상 영문 메뉴가 나오도록 하기 위한 것이다.

CATALINA_OPTS="-Dconfluence.browser.language.enabled=false ${CATALINA_OPTS}"

단계 5. Confluence Setup Wizard를 진행하여 PostgreSQL로 마이그레이션 하기

1. 새로 설치한 Confluence 서버를 시작한 후 웹 브라우저로 http://192.168.1.10:8090/에 접속하여 Confluence setup wizard를 진행한다. IP 주소는 여러분에게 맞는 것으로 변경한다.

2. Get apps에서 Production Installation을 선택하고 Next 버튼을 클릭한다. Apps extend what Confluence can do. …에서 Confluece Questions, Confluece Team Calendars를 디폴트인 선택하지 않은 상태를 그대로 둔 채 Next 버튼을 클릭한다.

3. License key에서 Confluence의 라이센스를 입력하고 Next 버튼을 클릭한다. (https://my.atlassian.com/에 접속하여 라이센스 키를 복사할 수 있다.)

4. Set up your database에서 디폴트 선택인 My own database 선택을 그대로 둔 채 Next 버튼을 클릭한다. 다음의 설정을 한 후 Test connection 버튼을 클릭한다. 데이터베이스 연결에 성공한 메시지가 나오면 Next 버튼을 클릭한다.

• Database type: 디폴트 선택인 PostgreSQL을 그대로 둔다.
• Setup type: 디폴트 선택인 Simple을 그대로 둔다.
• Hostname: PostgreSQL이 설치된 시스템의 로컬 IP 주소를 입력한다. (예: 192.168.1.10)
• Post: 5432를 입력한다.
• Database name: 위에서 생성한 데이터베이스의 이름인 confluecne를 입력한다.
• Username: 위에서 생성한 데이터베이스의 사용자 이름인 confluence를 입력한다.
• Password: 위에서 생성한 데이터베이스의 ‘암호’를 입력한다.

5. Load Content에서 Restore From Backup 버튼을 클릭한다.

6. Restore Data 화면에서 Import form the home directory로 작업한다. 복원할 xmlexport-20200524-215026-2.zip 파일의 크기가 25MB보다 크기 때문이다.

6.1. 새로 설치한 Confluence 홈 디렉토리의 restore 디렉토리로 단계 2에서 생성한 xmlexport-20200524-215026-2.zip 파일을 복사하기 위해 다음의 명령어를 실행한다.

# cp -a /var/local/lib/confluence-old/temp/xmlexport-20200524-215026-2.zip /var/local/lib/confluence/restore/

cp의 -a 옵션은 파일의 속성인 소유자, 생성 날짜 등을 유지한 채 복사하기 위한 것이다.

6.2. 복사를 완료하였으면 Import from the home directory의 Import 버튼을 클릭한다. 에러 메시지와 함께 xmlexport-20200524-215026-2.zip 파일이 보이면 선택하고 다시 한번 Import 버튼을 클릭한다.

6.3. Restore 과정이 진행된다. Restore 과정이 끝난 후 Next 버튼을 클릭한다.

7. Setup Successful 화면에서 Start 버튼을 클릭한다.

단계 6. Atlassian Marketplace 앱을 다시 설치하기

단계 1에서 메모해 두었던 앱들을 같은 버전으로 다시 설치한다. Confluence 설정으로 들어가서 ATLASSIAN MARKETPLACE > Find new apps에서 앱을 검색할 수 있다. Atlassian이 제공하는 앱은 이미 설치되어 있으므로 간단하게 Update만 한다.

단계 7. 새로 설치한 Confluence를 위한 설정을 한다.

도메인의 URL 주소로 접속하기 위해 /opt/share/confluence/conf/server.xml 파일을 수정한다. 나의 경우 Apache의 Proxy를 사용하기 때문에 다음과 같이 한다.

<Context> 지시자의 path를 /confluence로 설정한다.

<Context path="/confluence" docBase="../confluence" debug="0" reloadable="false" useHttpOnly="true">

디폴트 <Connector> 지시자는 주석 처리한다. HTTS 상의 Proxying인 <Connector> 지시자의 주석을 제거하고 proxyName을 www.bitneer.dev로 변경한다.

<Connector port="8090" connectionTimeout="20000" redirectPort="8443"
           maxThreads="48" minSpareThreads="10"
           enableLookups="false" acceptCount="10" debug="0" URIEncoding="UTF-8"
           protocol="org.apache.coyote.http11.Http11NioProtocol"
           scheme="https" secure="true" proxyName="www.bitneer.dev" proxyPort="443"/>

Confluence를 다시 시작하고 웹 브라우저로 Confluence에 접속한다. Confluence 설정에 들어가서 CONFIGURATION > General Configuration의 Server Base URL을 도메인 주소에 맞게 설정한다.

단계 8. 문제 점검 및 기존 파일 삭제하기

다음의 명령어를 실행한 후 다른 ssh 연결 세션에서 Confluence를 시작, 종료하면서 발생하는 로그를 검사한다.

# tail -100f /var/local/lib/confluence/logs/atlassian-confluence.log

위의 atlassian-confluence.log에 Error 로그가 보인다면 Confluence 설정의 ADMINISTRATION > Troubleshooting and support tools의 Log analyzer에서 문제를 해결할 수 있는지 확인한다. 해당 Error 로그를 클릭하면 해결책을 제시하는 페이지에 접속할 수 있다.

Confluence 설정의 ADMINISTRATION > Troubleshooting and support tools의 Instance heath에 문제가 있는지 확인한다. atlassian-confluence.log에 Error 로그가 나오더라도 Instance heath에서 모든 항목이 초록색으로 표시되어 있고 Log analyzer에 해당 Error 로그가 나오지 않는다면 Confluence 사용에 크게 문제를 일으키지는 않는 것으로 보인다.

MySQL에서 PostgreSQL로 마이그레이션에 성공하였다면 기존의 Confluence 관련 파일을 삭제한다.

# cd /opt/share/
# rm -rf confluence-old
# rm atlassian-confluence-6.13.8.tar.gz
# cd /var/local/lib/
# rm -rf confluence-old

관련 글

• Confluence, Jira, Bitbucket의 systemd unit 설정

참고 자료

• Supported Platforms – Confluence 6.13
• Migrating to Another Database – Confluence 6.13
• Database Setup for PostgreSQL – Confluence 6.13

The post Confluence 서버의 MySQL을 PostgreSQL로 마이그레이션 하기 appeared first on bitneer.dev.

단계 1. XML 포맷으로 Data를 백업하기

Jira 서버에서 제공하는 백업 도구를 사용하여 XML 포맷의 파일로 Data를 백업한다. 백업한 파일은 단계 4에서 PostgreSQL로 마이그레이션 하기 위해 사용할 것이다.

1. Jira의 환경 설정인 System으로 들어한다.
2. IMPORT AND EXPORT의 Backup System을 클릭한다.
3. Backup Jira data 화면에 ‘데이터베이스의 내용을 XML 포맷으로 백업할 것이고 Jira 홈 디렉토리 안의 export 디렉토리에 저장할 것’이라고 나온다. File name에 백업할 파일의 이름을 입력하고 Backup 버튼을 클릭한다. 나는 jira_backup으로 입력하였다.
4. 실행을 완료하면 자신이 입력한 파일명에 .zip 확장자를 붙여 내보냈음을 알려준다. 나의 경우 /var/local/lib/jira/export/jira_backup.zip 파일로 저장되었다.

단계 2. PostgreSQL의 데이터베이스 만들기

Jira 서버에서 사용할 PostgreSQL 데이터베이스를 만든다. 다음은 psql 클라이언트를 사용한 진행 과정이다.

# psql -h localhost -U postgres -d postgres
psql (9.6.17)
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
도움말을 보려면 "help"를 입력하십시오.

postgres=# CREATE ROLE jira WITH LOGIN PASSWORD '암호 입력';
CREATE ROLE
postgres=# CREATE DATABASE jira WITH OWNER=jira ENCODING 'UTF8' LC_COLLATE 'C' LC_CTYPE 'C' TEMPLATE template0;
CREATE DATABASE
postgres=# \l
                                 데이터베이스 목록
   이름    |  소유주  | 인코딩 |   Collate   |    Ctype    |      액세스 권한
-----------+----------+--------+-------------+-------------+-----------------------
 jira      | jira     | UTF8   | C           | C           |
 postgres  | postgres | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 template0 | postgres | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |          |        |             |             | postgres=CTc/postgres
 template1 | postgres | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |          |        |             |             | postgres=CTc/postgres
(4개 행)

라인 6에서 CREATE ROLE로 jira 사용자를 생성했다. 라인 8에서 CREATE DATABASE로 jira 데이터베이스를 만들었다. 주의해야 할 것은 Jira 서버는 LC_COLLATE와 LC_CTYPE을 ‘C’로 설정해야 한다. 새 로케일로 데이터베이스를 만들려면 template0을 사용해야 한다. 라인 10에서 \l 명령어로 새로 만든 jira 데이터베이스를 확인한다. PostgreSQL의 기본적인 사용은 PostgreSQL의 데이터베이스와 사용자 생성, 백업 및 복구를 참고할 수 있다.

단계 3. JIRA setup을 실행하기 위한 준비

Jira 서버의 설치 화면(JIRA setup)으로 진입하기 위한 작업을 한다.

1. Jira 서버를 종료한다.
2. 서버 종료 뒤가 백업의 적기이다. 현재 사용하고 있는 MySQL의 Jira 데이터베이스와 Jira 홈 디렉토리를 백업해 둔다.
3. Jira 홈 디렉토리(/var/local/lib/jira) 안의 dbconfig.xml 파일을 삭제한다. 이 파일의 삭제로 JIRA setup으로 진입하는 것이다.

단계 4. JIRA setup을 사용하여 PostgreSQL로 마이그레이션 하기

Jira 서버를 다시 시작하고 웹 브라우저로 접속하면 JIRA setup 화면이 나올 것이다. PostgreSQL로 마이그레이션 하기 위해 다음과 같이 작업한다.

1. Jira 설치 화면이 나오면 ‘직접 설정하겠습니다.‘를 선택하고 다음 버튼을 클릭한다.
2. 데이터베이스 설정 화면이 나오면 내 데이터베이스(운영 환경에 권장)을 선택하고 다음의 내용을 입력한다.
   • 데이터베이스 유형: PostgreSQL
   • 호스트 이름: PostgreSQL을 설치한 시스템의 로컬 IP 주소를 입력한다. (예: 192.168.1.20)
   • 포트: 디폴트 값인 5432를 그대로 둔다.
   • 데이터베이스: 위에서 생성한 데이터베이스의 이름인 jira를 입력한다.
   • 사용자 아이디: 위에서 생성한 데이터베이스의 사용자 이름인 jira를 입력한다.
   • 비밀번호: 위에서 생성한 데이터베이스의 ‘암호’를 입력한다.
   • 스키마: 디폴트 값인 public을 그대로 둔다.
3. 다음 버튼을 클릭한다.
4. 응용프로그램 속성을 설정하십시오. 화면에서 ‘… 데이터를 가져올 수 있습니다.‘를 클릭한다.
5. 기존 데이터 가져오기 화면의 파일 이름에 단계 1에서 생성한 /var/local/lib/jira/export/jira_backup.zip을 입력하고 가져오기 버튼을 클릭한다.

가져오기 작업이 끝나면 Jira의 Dashboards 화면이 나온다.

데이터베이스의 마이그레이션 확인하기

Jira 홈 디렉토리 안에 dbconfig.xml 파일이 새로 생성되고, PostgreSQL의 JDBC 설정을 볼 수 있다.

참고 자료

• Administering Jira Server 7.13 applications
  • Supported platforms – Jira Server 7.13
  • Switching databases
  • Backing up data
  • Connecting Jira applications to PostgreSQL
• 템플릿 데이터베이스 – PostgreSQL 9.6.2 문서 22장 데이터베이스 관리

The post Jira 서버의 MySQL을 PostgreSQL로 마이그레이션 하기 appeared first on bitneer.dev.

PostgreSQL에서 데이터베이스 만들기

Bitbucket 서버에서 사용할 PostgreSQL의 데이터베이스를 만든다. 다음은 psql 클라이언트를 사용한 진행 과정이다.

# psql -h localhost -U postgres -d postgres
psql (9.6.17)
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
도움말을 보려면 "help"를 입력하십시오.

postgres=# CREATE ROLE bitbucket WITH LOGIN PASSWORD '원하는 암호 입력';
CREATE ROLE
postgres=# CREATE DATABASE bitbucket WITH ENCODING='UTF8' OWNER=bitbucket;
CREATE DATABASE
postgres=# \l
                                  데이터베이스 목록
    이름    |   소유주   | 인코딩 |   Collate   |    Ctype    |      액세스 권한
------------+------------+--------+-------------+-------------+-----------------------
 bitbucket  | bitbucket  | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 confluence | confluence | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 jira       | jira       | UTF8   | C           | C           |
 postgres   | postgres   | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 template0  | postgres   | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
            |            |        |             |             | postgres=CTc/postgres
 template1  | postgres   | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
            |            |        |             |             | postgres=CTc/postgres
(6개 행)

postgres=#

라인 6에서 CREATE ROLE로 bitbucket 사용자를 만든다. 라인 8에서 CREATE DATABASE로 bitbucket 데이터베이스를 생성한다. Bitbucket의 데이터베이스는 UTF-8 문자 집합을 사용하도록 설정해야 한다. 라인 10에서 \l 명령어로 새로 생성한 bitbucket 데이터베이스를 확인한다. PostgreSQL의 기본적인 사용은 PostgreSQL의 데이터베이스와 사용자 생성, 백업 및 복구에서 다루었다.

Database Migration Wizard를 사용하여 데이터베이스 마이그레이션 하기

웹 브라우저로 Bitbucket 서버에 접속한다. 설정 아이콘을 클릭하여 Administration 페이지로 들어간 후 다음의 작업을 진행한다.

1. Settings > Database를 클릭한다.

2. Migrate database 버튼을 클릭한다.

3. Migrate Database에서 다음의 설정을 한다.

• Database Type: 디폴트 선택인 PostgreSQL을 그대로 둔다.
• Hostname; PostgreSQL을 설치한 시스템의 로컬 IP 주소를 입력한다. (예: 192.168.1.10)
• Port: PostgreSQL의 포트를 변경하지 않았다면 디폴트 값을 그대로 둔다.
• Database name: 위에서 생성한 데이터베이스의 이름인 bitbucket을 입력한다.
• Database username: 위에서 생성한 데이터베이스의 사용자 이름인 bitbucket을 입력한다.
• Database password: 위에서 생성한 데이터베이스의 ‘암호’를 입력한다.

설정을 마친 후 Start Migration 버튼을 클릭하면 마이그레이션을 진행한다.

4. 마이그레이션 진행을 완료하면 성공 메시지가 나온다.

데이터베이스의 마이그레이션 확인하기

PostgreSQL로 변경했는지 확인하려면 Bitbucket 홈 디렉토리의 bitbucket.properties 파일을 본다. 파일 경로는 /var/local/lib/bitbucket/shared/bitbucket.properties이다. 파일에서 MySQL의 JDBC 설정은 주석으로 처리하고 PostgreSQL을 추가한 것을 볼 수 있을 것이다.

Database Migration Wizard는 마이그레이션할 때 dump 파일을 생성한다. /var/local/lib/bitbucket/export 디렉토리 안에 .zip 확장자로 만들어지는데 삭제하여도 무방하다.

참고 자료

• Supported platforms – Bitbucket Server 7.2.x
• Connecting Bitbucket Server to PostgreSQL
• Connecting Bitbucket Server to an external database

The post Bitbucket 서버의 MySQL을 PostgreSQL로 마이그레이션 하기 appeared first on bitneer.dev.

데이터베이스와 사용자 생성

PostgreSQL은 데이터베이스와 사용자 생성을 위한 createdb, createuser 명령어를 제공한다. 여기서는 SQL문을 사용하여 데이터베이스와 사용자를 생성하는 방법을 볼 것이다. 먼저 사용자 생성을 보자. PostgreSQL은 데이터베이스에 대한 접근 권한을 롤(role) 개념으로 다룬다. 롤은 어떻게 설정하느냐에 따라 사용자 또는 사용자들의 그룹으로 생각할 수 있다. 롤은 롤들을 포함할 수 있다. 클러스터 개념과 비슷하게 대규모 조직을 위한 것이다.

사용자를 만들기 위해 선호하는 pgAdmin, DataGirp 등과 같은 PostgreSQL 클라이언트에서 다음의 SQL문을 실행한다. 예제를 쉽게 보여주고 세션의 개념을 설명하기 위해 나는 psql 클라이언트를 사용할 것이다.

# psql -h localhost -U postgres -d postgres
psql (9.6.17)
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
도움말을 보려면 "help"를 입력하십시오.

postgres=# CREATE USER mydb;
CREATE ROLE
postgres=# CREATE ROLE developer LOGIN;
CREATE ROLE
postgres=# SELECT * FROM pg_roles;
...
postgres=# DROP ROLE mydb;
DROP ROLE
postgres=# DROP ROLE developer;
DROP ROLE
postgres=# CREATE ROLE testdb_user WITH LOGIN PASSWORD '/root/.pgpass 파일에서 설정한 개발이나 응용프로그램에서 사용할 암호 입력';
CREATE ROLE

라인 8에 있는 SQL문처럼 CREATE ROLE에 LOGIIN이 들어가면 사용자를 생성한다는 의미이다. 라인 6의 CREATE USER는 디폴트로 로그인을 가정하기 때문에 LOGIN을 생략할 수 있다. 즉, 위의 라인 6과 8은 사용자를 만든다는 점에서 같은 SQL문이다. 라인 10의 SELECT * FROM pg_roles;로 롤을 확인할 수 있다. 라인 12와 14에서 DROP ROLE로 롤을 삭제한다. 라인 16의 마지막의 SQL문처럼 보통은 암호를 설정하여 사용자를 생성한다.

.pgpass 파일 설정은 데비안의 PostgreSQL 설치와 설정에서 다루었다. .pgpass 파일은 로컬시스템에서 ‘su -s /bin/bash postgres’ 명령문 없이 psql을 사용하기 위한 것이다. pgAdmin, DataGrip 등의 클라이언트를 사용하여 원격에서 접근하는 경우는 다른 암호를 사용할 수 있다.

다음으로 testdb_user 사용자가 사용할 데이터베이스를 생성해 보자.

postgres=# CREATE DATABASE testdb WITH ENCODING='UTF8' OWNER=testdb_user;
CREATE DATABASE
postgres=# \l
                                  데이터베이스 목록
   이름    |   소유주    | 인코딩 |   Collate   |    Ctype    |      액세스 권한
-----------+-------------+--------+-------------+-------------+-----------------------
 postgres  | postgres    | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 template0 | postgres    | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |             |        |             |             | postgres=CTc/postgres
 template1 | postgres    | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |             |        |             |             | postgres=CTc/postgres
 testdb    | testdb_user | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
(4개 행)

postgres=# \c testdb
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
접속정보: 데이터베이스="testdb", 사용자="postgres".
testdb=# \c testdb testdb_user
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
접속정보: 데이터베이스="testdb", 사용자="testdb_user".
testdb=>

라인 1의 첫 번째 SQL문에서 CREATE DATABASE로 testdb 데이터베이스를 생성하였다. 라인 3처럼 \l 명령어로 데이터베이스의 목록을 확인할 수 있다. psql은 역슬래시(\)를 가지는 명령문을 제공한다. \? 실행으로 명령문에 대한 도움말을 볼 수 있다. 라인 15처럼 \c 명령어로 testdb로 연결하는 세션을 만든다. PostgreSQL은 세션 연결로 데이터베이스를 이동한다. MySQL, Microsoft SQL Server에서 데이터베이스 변경에 사용하는 ‘USE database_name;’문이 없다. Oracle과 비슷하게 세션의 개념을 사용한다. 이러한 세션의 연결과 종료로 데이터베이스를 이동하려면 클라이언트에서 기능을 제공해야 하는데 psql에서는 \c 명령어이다.

라인 15의 첫 번째 \c 명령은 postgres 관리자에서 사용자 지정 없이 \c testdb 명령을 실행하였다. 라인 17의 접속정보를 보면 사용자 postgres로 접속한 상태다. 이 상태에서 테이블을 만들면 그 테이블의 소유주는 postgres이고 testdb_user 사용자는 그 테이블에 접근할 수 없다. 따라서 라인 18의 \c testdb testdb_user처럼 사용자를 지정하여 testdb_user로 세션을 연결해야 한다.

백업 및 복구 예제를 위해 testdb 데이터베이스에 테이블을 만들고 몇몇 값을 입력해 보자.

testdb=> CREATE TABLE students(id INTEGER, l_name VARCHAR(20), f_name VARCHAR(20));
CREATE TABLE
testdb=> INSERT INTO students(id, l_name, f_name) VALUES (1, '홍', '길동');
INSERT 0 1
testdb=> INSERT INTO students(id, l_name, f_name) VALUES (2, '김', '길상');
INSERT 0 1
testdb=> SELECT * FROM students;
 id | l_name | f_name
----+--------+--------
  1 | 홍     | 길동
  2 | 김     | 길상
(2개 행)

testdb=> \dt
         릴레이션(relation) 목록
 스키마 |   이름   |  종류  |   소유주
--------+----------+--------+-------------
 public | students | 테이블 | testdb_user
(1개 행)

라인 1의 첫 번째 SQL문에서 CREATE TABLE로 students 테이블을 만들었다. 라인 3과 5에서 INSERT INTO를 사용하여 students 테이블에 데이터를 넣어주었다. 라인 7에서 SELECT를 사용하여 students 테이블의 값을 출력하였다. 라인 14의 \dt 명령어는 테이블 목록을 보여준다. 라인 18에서 보듯이 testdb_user 사용자의 세션에서 students 테이블을 만들었기 때문에 소유주는 testdb_user이다.

백업 및 복구

PostgreSQL은 백업 및 복구를 위해 pg_dump와 pg_restore 명령어를 제공한다. testdb 데이터베이스를 백업하기 위해 다음의 명령어를 실행한다.

# pg_dump -Fc -h localhost -U postgres -d testdb -f /root/testdb.dump

pg_dump에서 -F 옵션은 백업 파일의 포맷을 선택하는 것으로 c(custom)를 사용해야 pg_restore 명령어로 복구할 수 있다. -Fc 옵션은 디폴트로 파일을 압축한다.

복구를 테스트하기 위해 psql에서 기존에 존재하는 testdb 데이터베이스를 삭제하고 다시 생성한다.

testdb=> \c postgres postgres
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
접속정보: 데이터베이스="postgres", 사용자="postgres".
postgres=# DROP DATABASE testdb;
DROP DATABASE
postgres=# \l
                                 데이터베이스 목록
   이름    |  소유주  | 인코딩 |   Collate   |    Ctype    |      액세스 권한
-----------+----------+--------+-------------+-------------+-----------------------
 postgres  | postgres | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 template0 | postgres | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |          |        |             |             | postgres=CTc/postgres
 template1 | postgres | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |          |        |             |             | postgres=CTc/postgres
(3개 행)

postgres=# CREATE DATABASE testdb WITH ENCODING='UTF8' OWNER=testdb_user;
CREATE DATABASE
postgres=# \l
                                  데이터베이스 목록
   이름    |   소유주    | 인코딩 |   Collate   |    Ctype    |      액세스 권한
-----------+-------------+--------+-------------+-------------+-----------------------
 postgres  | postgres    | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
 template0 | postgres    | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |             |        |             |             | postgres=CTc/postgres
 template1 | postgres    | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 | =c/postgres          +
           |             |        |             |             | postgres=CTc/postgres
 testdb    | testdb_user | UTF8   | ko_KR.UTF-8 | ko_KR.UTF-8 |
(4개 행)

postgres=# \c testdb testdb_user
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
접속정보: 데이터베이스="testdb", 사용자="testdb_user".
testdb=> \dt
릴레이션(relation) 없음.

첫 번째 줄에서 \c 명령어로 postgres 데이터베이스-postgres 사용자의 세션으로 변경하여 testdb에 대한 세션을 끊었다. 세션을 연결한 상태에서는 데이터베이스를 삭제할 수 없다. 라인 4에서 DROP DATABASE를 사용하여 testdb 데이터베이스를 삭제했다. 라인 6에서 \l 명령어로 testdb 데이터베이스를 삭제하였는지 확인하였다. 라인 17에서 CREATE DATABASE로 복구에 사용할 testdb 데이터베이스를 새로 생성하였다. 라인 31에서 \c 명령어로 testdb 데이터베이스- testdb_user 사용자의 세션으로 이동하였다. 마지막으로 라인 34에서 \dt 명령어를 사용하여 테이블이 없는 것을 확인한다.

testdb 데이터베이스를 복구하기 위해 다음의 명령어를 실행한다.

# pg_restore -v -h localhost -U postgres -d testdb /root/testdb.dump
pg_restore: 리스토어 작업을 위해 데이터베이스에 접속합니다
pg_restore: SCHEMA "public" 만드는 중
pg_restore: COMMENT "SCHEMA public" 만드는 중
pg_restore: EXTENSION "plpgsql" 만드는 중
pg_restore: COMMENT "EXTENSION plpgsql" 만드는 중
pg_restore: TABLE "public.students" 만드는 중
pg_restore: "public.students" 테이블의 자료를 처리 중

pg_restore에서 -v 옵션은 진행 상황을 보기 위한 것이다. 이제 psql에서 복구가 되었는지 확인해 보자.

testdb=> \dt
         릴레이션(relation) 목록
 스키마 |   이름   |  종류  |   소유주
--------+----------+--------+-------------
 public | students | 테이블 | testdb_user
(1개 행)

testdb=> SELECT * FROM students;
 id | l_name | f_name
----+--------+--------
  1 | 홍     | 길동
  2 | 김     | 길상
(2개 행)

라인 1과 8에서 \dt 명령어로 테이블이 존재는지와 SELECT로 students 테이블의 값을 확인하였다. 복구에 성공한 것을 볼 수 있다.

백업 및 복구는 복잡하고 어려운 주제이다. 백업한 시점 이후에 추가하거나 변경한 데이터는 복구가 힘들 수 있다. 또한, 아주 큰 데이터베이스를 복구한다면 사용자에 대한 서비스를 오랜 시간 동안 중단해야 한다. 이런 문제를 해결하려면 많은 노력을 들여야 하고 전문적인 상용 제품들도 있다. 개인적인 사용이라면 백업 주기를 짧게 하여 데이터 손실을 적게 하는 것이 차선의 선택일 것이다.

관련 글

• 데비안의 PostgreSQL 설치와 설정

참고 자료

• PostgreSQL: Manuals
• pgAdmin PostgreSQL Tools
• 기능 및 스크린샷 – DataGrip

The post PostgreSQL의 데이터베이스와 사용자 생성, 백업 및 복구 appeared first on bitneer.dev.

PostgreSQL 설치

PostgreSQL의 라이센스는 자유를 추구하는 데비안과 잘 맞는다. PostgreSQL은 데비안의 주요 패키지 중의 하나이기 때문에 다음과 같이 한 줄의 명령어로 설치한다.

# apt install postgresql postgresql-client

설치 후 PostgreSQL 관련 파일의 위치는 다음과 같다.

• 설정 파일: /etc/postgresql/[version]/[cluster]/
• 실행 파일: /usr/lib/postgresql/[version]
• 데이타 파일: /var/lib/postgresql/[version]/[cluster]
• 로그 파일: /var/log/postgresql 디렉토리 안의 postgresql-[version]-[cluster].log

내가 사용하는 데비안 9(stretch)에서 PostgreSQL 버전은 9.6이다. 앞으로 나올 파일의 경로는 9.6을 기준으로 서술한다. PostgreSQL은 클러스터로 데이터베이스를 관리한다. 간단하게 ‘클러스터 > 데이터베이스 > 테이블’의 순서로 그려볼 수 있다. 여러 개의 클러스터가 존재할 수 있고 한 클러스터 내에 여러 개의 데이터베이스를 가질 수 있다. 클러스터는 아마존 클라우드와 같이 대용량을 위한 것이다. 개인이라면 하나의 클러스터로도 충분할 것이다.

데비안은 pg_ctl을 pg_ctlcluster로 대체한다. pg_ctlcluster는 Perl 스크립트 파일이고 내부에서 pg_ctl을 사용한다. pg_ctlcluster는 PostgreSQL의 다양한 버전과 여러 클러스터를 효율적으로 관리하기 위한 것이다.

데비안에서 PostgreSQL의 init.d 시작 스크립트는 /etc/init.d/postgresql이다. 이 시작 스크립트 안에서 pg_ctlcluster를 호출한다. PostgreSQL의 시작과 종료는 systemctl을 사용하거나 다음과 같이 init.d 시작 스크립트를 실행할 수 있다.

# /etc/init.d/postgresql stop
[ ok ] Stopping postgresql (via systemctl): postgresql.service.
# /etc/init.d/postgresql start
[ ok ] Starting postgresql (via systemctl): postgresql.service.
# /etc/init.d/postgresql restart 
[ ok ] Restarting postgresql (via systemctl): postgresql.service.
/etc/init.d/postgresql reload
[ ok ] Reloading postgresql configuration (via systemctl): postgresql.service.
# /etc/init.d/postgresql status
...

사용자 접근 설정

디폴트 데이타베이스와 사용자는 postgres이다. 데이타베이스 관리는 postgres 사용자로 하여야 한다. root 계정에서 다음의 명령어로 postgres 사용자로 변경한다.

# su -s /bin/bash postgres
$ id
uid=115(postgres) gid=124(postgres) groups=124(postgres),112(ssl-cert)

id 명령어로 현재의 사용자가 postgres인지 확인할 수 있다. postgres로 사용자 변경후 psql 클라이언트 프로그램을 실행한다.

$ psql

root에서 postgres로 사용자를 전환하는 su 명령어를 사용하지 않고 psql을 직접 실행하려면 다음과 같이 하여야 한다.

# psql -h localhost -U postgres -d postgres
postgres 사용자의 암호:

postgres 사용자의 암호를 묻는 메시지가 나온다. 데비안에서는 디폴트로 postgres 사용자의 암호가 없다. <Ctrl + C> 키를 눌러 우선은 빠져나온다.

데비안의 PostgreSQL은 로컬 시스템에서 peer 인증(authentication)을 사용한다. peer 인증은 PostgreSQL 사용자와 동일한 이름을 가지는 로컬 계정으로 로컬 시스템에 로그인하면 암호 없이 데이터베이스를 사용할 수 있다. 이러한 설정은 /etc/postgresql/9.6/main/pg_hba.conf에서 확인할 수 있다.

# Database administrative login by Unix domain socket
local   all             postgres                                peer

# TYPE  DATABASE        USER            ADDRESS                 METHOD
# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
...

위 설정을 보면 로컬 시스템(127.0.0.1/32)에 로그인하지 않고(host) 접근하려면 암호를 사용해야 한다. METHOD가 md5인 경우 암호를 사용한다는 의미이다. 로컬 시스템에서 사용자가 아니라 응용프로그램이 PostgreSQL 데이터베이스에 접속할 때 적용될 것이다. 또는 위에서 보았듯 root 계정에서 PostgreSQL 사용자로 전환하는 su를 사용하지 않고 psql, pg_dump 등을 사용할 때 암호를 사용해야 한다.

PostgreSQL의 관리자 권한을 가지는 postgres 사용자에 암호를 설정하려면 psql 클라이언트에서 다음의 SQL문을 실행한다.

postgres=# ALTER USER postgres PASSWORD '원하는 암호 입력';
ALTER ROLE
postgres=# \q

SQL 실행 후 ALTER ROLE 확인 메시지가 나오면 성공한 것이다. \q 명령어를 실행하여 psql을 종료한다.

root 계정으로 다음과 같이 psql을 다시 실행하고 설정한 암호를 입력하여 접속에 성공하는지 확인해 본다.

# psql -h localhost -U postgres -d postgres
postgres 사용자의 암호: <설정한 암호 입력>
psql (9.6.17)
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
도움말을 보려면 "help"를 입력하십시오.

postgres=#

매번 암호를 입력하는 것은 귀찮은 작업이다. 특히 백업에 사용하는 pg_dump를 스크립트에서 사용할 때 암호가 노출된다. pg_dump를 한 번 실행해 보자.

# pg_dump -Fc -h localhost -U postgres -d postgres -f /root/postgres_`date +%F`.dump
암호:

스크립트에서 암호를 입력하지 않고 실행하려면 다음과 같이 해야 한다.

#!/bin/bash
export PGPASSWORD="yourpassword"
pg_dump -Fc -h localhost -U postgres -d postgres -f /root/postgres_`date +%F`.dump

이를 해결하기 위해 다음의 내용을 가지는 /root/.pgpass 파일을 생성한다.

localhost:5432:*:postgres:<관리자인 postgres의 암호를 입력>
localhost:5432:*:*:<개발이나 응용프로그램에서 사용할 암호 입력>

위의 내용은 hostname:port:database:username:password를 의미한다. 별표 문자 *는 와일드카드로 ‘모든’을 뜻한다. 마지막의 password를 제외하고 별표 문자를 사용할 수 있다. 두 번째 줄에서 개발이나 다른 응용프로그램에서 사용할 데이터베이스의 암호를 따로 설정해 주었다. 일반적으로 개발이나 응용프로그램은 설정 파일에 암호를 저장하는 경우가 빈번하기 때문에 사용하는 데이터베이스의 암호가 노출되기 쉽다. 관리자 암호와는 다른 암호를 사용하여 관리자의 암호를 보호하기 위해 두 번째 줄을 추가한 것이다. root 외 다른 사용자가 .pgpass 파일 안의 내용을 보지 못하도록 다음의 명령어를 실행한다.

# chmod 600 /root/.pgpass

다시 root 계정으로 pg_dump와 psql을 실행하면 암호를 묻지 않는 것을 확인할 수 있다.

# pg_dump -Fc -h localhost -U postgres -d postgres -f /root/postgres_`date +%F`.dump
# psql -h localhost -U postgres -d postgres
psql (9.6.17)
SSL 연결정보 (프로토콜: TLSv1.2, 암호화기법: ECDHE-RSA-AES256-GCM-SHA384, 비트: 256, 압축: off)
도움말을 보려면 "help"를 입력하십시오.

postgres=#

원격 접속을 위한 설정

시스템 외부에서 pgAdmin, DataGrip 등의 프로그램을 사용하여 원격으로 접속하려면 몇 가지 설정을 해야 한다. PostgreSQL은 기본값으로 포트 5432를 사용한다. 데비안에서 포트 5432는 디폴트로 로컬 주소(127.0.0.1)로 바인딩한다. 다음의 명령어로 확인할 수 있다.

# netstat -nlt | grep 5432
tcp        0      0 127.0.0.1:5432          0.0.0.0:*               LISTEN

따라서 시스템 외부에서 접근할 수 없다. 시스템 외부에서 접근할 수 있도록 허용하려면 /etc/postgresql/9.6/main/postgresql.conf 파일에 다음의 내용을 설정한다.

listen_addresses = '*'

로컬 네트워크에 있는 컴퓨터가 접근할 수 있도록 허용하려면 /etc/postgresql/9.6/main/pg_hba.conf에 다음의 내용을 추가한다. 로컬 네트워크 대역의 주소(192.168.1.0/24)는 여러분에게 맞는 값을 넣어준다.

host    all             all             192.168.1.0/24         md5

모든 설정을 마쳤으면 PostgreSQL을 다시 시작한다.

# /etc/init.d/postgresql restart

PostgreSQL의 기본적인 튜닝

PostgreSQL은 오래된 시스템을 지원하기 위한 설정값을 디폴트로 가진다. 전문적인 튜닝은 아니지만 약간의 설정을 변경하는 것으로도 많은 성능 향상을 가져온다. 다음의 사이트에서 설정값에 대한 힌트를 얻을 수 있다.

• PGTune
• PGConfig 2.0
• Cybertec Postgres Configurator

운영체제의 종류, 메모리 크기 등을 선택해서 나온 설정값을 종합적으로 고려하여 /etc/postgresql/9.6/main/postgresql.conf 파일을 수정하고 PostgreSQL을 다시 시작한다. 내가 설정한 내용은 다음과 같다.

shared_buffers = 1GB
work_mem = 64MB
maintenance_work_mem = 256MB
effective_io_concurrency = 2
wal_buffers = 16MB
max_wal_size = 2GB
min_wal_size = 512MB
checkpoint_completion_target = 0.7
random_page_cost = 4
effective_cache_size = 3GB
default_statistics_target = 100

관련 글

• PostgreSQL의 데이터베이스와 사용자 생성, 백업 및 복구

참고 자료

• PostgreSql – Debian Wiki
• PostgreSQL: Manuals
• PostgreSQL: Documentation: 11: 34.15. The Password File
• pgAdmin PostgreSQL Tools
• 기능 및 스크린샷 – DataGrip

The post 데비안의 PostgreSQL 설치와 설정 appeared first on bitneer.dev.