mysqladmin, mysqldump 명령 사용

mysqladmin 명령 사용하기

• MYSQL의 root 패스워드 변경하기
• MYSQL의 일반계정 사용자 패스워드 변경하기
• 새로운 데이터베이스 생성하기
• 사용중인 데이터베이스 삭제하기
• MYSQL의 현재상황 살펴보기
• MYSQL에 접속한 클라이언트(threads)리스트 확인하기
• MYSQL 캐쉬 데이터 동기화하기
• MYSQL 종료하기
• MYSQL 실행 환경변수 확인하기
• MYSQL에 접속한 사용자 접속끊기
• MYSQL의 버전 및 여러가지 실행 정보들 확인하기
• MYSQL이 정상적으로 살아있는지 죽었는지 확인하기
• 기타 MYSQL관리에 필요한 유용한 설정 및 정보확인

사용법

1
2
3
4

mysqladmin [-h서버] -u아이디 -p 데이터베이스명 <명령어>
  
  <명령어>: reload, shutdown, create, status등

- MYSQL의 root 패스워드 변경하기

- MYSQL의 일반계정 사용자 패스워드 변경하기

- 새로운 데이터베이스 생성 / 사용중인 데이터베이스 삭제하기

새로운 스키마를 생성할 때 create 명령을 사용한다.

1

mysqladmin -u root -p create 새로운데이터베이스명

기존 스키마를 삭제 할 때 drop 명령을 사용한다.

1

mysqladmin -u root -p drop  데이터베이스명

- MYSQL의 현재상황 살펴보기

status 명령으로 MySQL의 상태를 확인할 수 있다.

• MYSQL의 총 실행시간
• 현재 처리중인 스레드(Threads)수
• 오픈된 데이터베이스 및 테이블 수
• 초당 평균 처리속도
• Slow query, Flush tables등

1

mysqladmin -u root -p status

i 인자에 상태 확인 간격을 주어 계속 관찰이 가능하다.

1
2

# 5초 간격
mysqladmin -i5 status -u root -p

- MYSQL의 현재상황 자세히 살펴보기

extended-status라는 명령어는 SQL 명령의 SHOW STATUS 로 보는 시스템 상태와 거의 동일.

1

mysqladmin -u root -p extended-status

- MYSQL에 접속한 클라이언트(threads)리스트 확인하기

- MYSQL 캐쉬 데이터 동기화하기

reload, flush-privileges 를 사용해서 테이블 및 권한 테이블의 캐시를 갱신한다.

MYSQL의 모든 실제 데이터들은 각각의 데이터베이스 내에 존재하는 테이블(table)에 저장되므로 MYSQL의 테이블(table)을 reload 혹은 priviliges 테이블을 flush 해서 갱신한다.

1
2

mysqladmin -u root -p reload
mysqladmin -u root -p flush-privileges

- MYSQL 실행 환경변수 확인하기

mysql client 로 접속해 show variables; 명령을 mysqladmin 명령으로 사용이 가능하다.

1

mysqladmin -u root -p variables

- MYSQL 실행 프로세스 확인하기

mysql client 로 접속해 processlist; 로 mysqladmin 명령으로 사용이 가능하다.

1

mysqladmin -u root -p processlist

- MYSQL에 접속한 사용자 접속끊기

보통 processlist 로 실행중인 ID 를 끊을 수 있다.

1
2
3
4

+----+-----------+------------------+-----------+---------+------+----------+-----------------+----------+
| Id | User      | Host             | db        | Command | Time | State    | Info
+----+-----------+-----------------+-----------+---------+------+----------+------------------+----------+
| 31 | stockmart | 192.168.0.2:564 | fedb | Sleep   | 18   |    

processlist 의 Id컬럼에 있는 접속 Id를 끊는다.

1

mysqladmin -u root -p kill 사용자ID

- MYSQL의 버전 및 여러가지 실행 정보들 확인하기

• MYSQL의 버전

사용형식 : mysqladmin -u root -p version

12. MYSQL이 죽었는지 살았는지 확인하기

사용형식 : mysqladmin -u root -p ping

• MYSQL 소켓파일 위치정보

• MYSQL의 총 실행시간 정보

- 기타 MYSQL관리에 필요한 유용한 설정 및 정보확인

• MYSQL의 총 스레드(threads)수

• MYSQL의 오픈된 데이터베이스와 테이블 수

• MYSQL의 초당 응답완료 시간

- MYSQL 종료하기

mysqldump 명령

예: 문자셋 latin1 데이터 덤프

문자셋을 mysql> show variables like 'c%' 등으로 확인해서 적절히 덤프를 한다.

1

mysql> mysqldump -u [username] –p[password] --default-character-set=utf8 -N --routines --skip-triggers --databases [database_name] > [dump_file.sql]

덤플 사례: https://itzone.tistory.com/711

github, bitbucket 같은 클라우드 사이트에 Client 프로그램으로 SSH 접속을 위해서는 SSH 키 쌍 생성하고 클라우드 사이트에 등록해야 한다.

보통 github, bitbucket 등 같은 SSH 접근을 지원하는 사이트는 ssh-agent forwarding 방식을 사용한다.

1. 클라이언트에서 ssh 키 쌍을 생성
2. 클라이언트에 개인키를 ssh-agent 에 등록
3. 클라우드 서비스에 공개키를 등록
4. 클라이언트 프로그램에서 ssh 사용시 ssh-agent 등록한 개인키로 암호화

여기서는 github 에 ssh key 등록 과정을 요약하고 있다.

• Connect with SSH
• github을 예로 들었지만 bitbucket 도 유사한 과정을 거친다.
• bitbucket 에 SSH key 등록하기

SSH 구성과 SSH 인증

먼저 ssh host key 를 생성하고 github 과 사용할 개인 key 를 만든다. 개인키를 ssh-agent 방식으로 등록하고 공개키를 github 에 등록하면 된다.

ssh-agent 키 관리

로컬 머신에서 사용하는 SSH Key 쌍에 대한 접근을 ssh-agent 를 통해서 진행한다. managing deploy keys 에 설명되어 있다.

• 에이전트 전달은 로컬 개발 컴퓨터에서 사용하는 것과 동일한 SSH 키를 사용합니다.
• 단 사용자 클라이언트에 SSH에 있어야 합니다

SSH Client Keys

저장소에 접근하는 url은 HTTPS or SSH 에 따라 달라진다.

1. HTTPS

https://<repo_owner>@github.com/<accountname>/<reponame>.git

2. SSH

git@github.com:<repo_owner>/<reponame>.git

or

ssh://git@github.com/<repo_owner>/<reponame>.git

github은 암호 알고리즘으로 keys: Ed25519, ECDSA, RSA, and DSA 를 지원한다.

예를 들어 아래 같이 생성한 공개키를 사용할 수 있다.

1
2
3
4
5
6
7
8

#Ed25519 (ed25519) / 256
$ ssh-keygen -t ed25519 -b 256

# ECDSA (ecdsa) / 256
$ ssh-keygen -t ecdsa -b 256

# RSA (rsa) / 2048
$ ssh-keygen -t rsa -b 4096

개별키 생성

ssh 를 사용해서 github 에 접근하려면 사용하는 클라이언트에서 SSH 로 개인키와 공개키를 생성해야 한다. SSH 키를 생성하려면 아래 과정이 필요하다.

1. Open SSH 설치
2. SSH 서비스
3. SSH 키 생성

여기서 Linux/macOS 그리고 Windows 11 에서 키 쌍을 생성해서 github에 SSH Key를 등록하는 과정을 살펴보겠다.

Windows 11에서 키 생성

Windows 11 에서 Git 이 설치되어 있다고 가정.

1
2
3

> get-command git

Application     git.exe                                            2.38.1.1   C:\Program Files\Git\cmd\git.exe

Openssh 확인

1
2

> ssh -V
OpenSSH_for_Windows_8.6p1, LibreSSL 3.4.3

ssh 명령 위치 확인

1

> Get-Command ssh

결과 ssh 명령을 git config 로 ssh 명령을 지정

1

git config --global core.sshCommand C:/Windows/System32/OpenSSH/ssh.exe

SSH agent 시작

git 이 ssh 키를 사용하려면 SSH agent 가 시작되어야 한다. 보통 Git for windows 와 Windows 11 이후 Windows OpenSSH 를 사용하므로

Windows OpenSSH 사용자는 다음 같이 agent를 확인하고 시작한다.

1
2
3
4
5

> Get-Service ssh-agent

Status   Name               DisplayName
------   ----               -----------
Stopped  ssh-agent          OpenSSH Authentication Agent

ssh-agent 서비스를 시작 하려면 Windows service에서 OpenSSH Authenticate Agent 서비스를 시작해 두어야 한다.

속성에서 시작으로 한다.

서비스가 정상적으로 시작되면 아래 명령으로 시작/종료 그리고 재시작을 할 수 있다. - 시작 안되어 있으면 알수없는 에러가 난다.

1

> Start-Service ssh-agent

Git for windows 를 사용하면 Git for windows의 bash 터미널 에서 다음 같이 확인하고 시작한다.

1

$ ps -a | grep ssh-agent

ssh-agent 를 시작한다.

1

$ eval $(ssh-agent)

에이젼트가 시작되면 git client 에서 ssh 정보를 얻을 수 있다.

github에서 사용할 SSH key pair를 생성

ssh-keygen.exe로 키 쌍, 비밀키/공개키를 생성한다. 키를 생성시 bitbucket 계정의 e-mail 을 포함해 생성한다. 생성시 사용자 홈 디렉토리 .ssh 디렉토리에서 작업한다.

1

> ssh-keygen.exe -t ed25519  -b 4096 -C "EMAIL" -f "KEY_FILE"

• EMAIL: github 계정 이메일
• KEY_FILE: 파일 이름. 보통 bitbucket_work

참고: Ed25519 알고리즘을 지원하지 않는 레거시 시스템을 사용하는 경우 다음을 사용합니다.

1	>$ ssh-keygen -t rsa -b 4096 -C "EMAIL" -f "KEY_FILE"

.ssh 디렉토리에 키 쌍 KEY_FILE 과 KEY_FILE.pub 이 생성된다.

1
2
3
4
5
6
7
8
9
10

> dir .ssh

    Directory: C:\Users\daddy\.ssh

Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a---        2023-06-25  오후 6:11           3381 bitbucket_work
-a---        2023-06-25  오후 6:11            744 bitbucket_work.pub
-a---        2020-11-08 오전 12:12           1675 id_rsa
-a---        2020-11-08 오전 12:12            404 id_rsa.pub

이제 키를 SSH Agent 에 등록하자.

SSH Agent 에 키 등록

키 파일을 SSH Agent 에 등록한다. KEY_FILE 은 비밀키 파일을 지정하면 된다.

1

> ssh-add ~/.ssh/KEY_FILE

그리고 명확하게 github 에 해당 키를 사용하도록 ~/.ssh/config 에 아래 같이 등록한다.

1
2
3

Host github.com
  AddKeysToAgent yes
  IdentityFile ~/.ssh/KEY_FILE

macOS / Linux

Openssh 확인

1
2

$ ssh -V
OpenSSH_8.2p1 macOS, OpenSSL 1.1.1f  31 Mar 2020

ssh 명령이 없으면 macOS는 brew 로 설치한다.

1

$ brew install openssh

Linux 는 apt, dnf, pacman 을 사용해 설치한다.

1

$ sudo apt update && sudo apt install openssh-client

SSH agent 시작

git 에서 ssh 키를 사용하려면 SSH agent 가 시작한다. bash 터미널 에서 다음 같이 확인하고 시작한다.

1

$ ps -a | grep ssh-agent

ssh-agent 를 시작한다.

1

$ eval $(ssh-agent)

이 명령을 ~/.bashrc, ~/.zshrc, ~/.profile, 등에 등록해 둔다. 에이젼트가 시작되면 git client 에서 ssh 정보를 얻을 수 있다.

github에 사용할 SSH key pair를 생성

ssh-keygen.exe로 키 쌍, 비밀키/공개키를 생성한다.

• 키를 생성시 bitbucket 계정의 e-mail 을 포함해 생성한다.
• 사용자 홈 디렉토리 .ssh 디렉토리에서 작업한다.

1

$ ssh-keygen -t rsa -b 4096 -C "EMAIL" -f "KEY_FILE"

• EMAIL: bitbucket 계정 이메일
• KEY_FILE: 파일 이름. 보통 bitbucket_work

참고: Ed25519 알고리즘을 지원하지 않는 레거시 시스템을 사용하는 경우 다음을 사용합니다.

1	>$ ssh-keygen -t rsa -b 4096 -C "EMAIL" -f "KEY_FILE"

.ssh 디렉토리에 키 쌍 KEY_FILE 과 KEY_FILE.pub 이 생성된다.

1
2
3
4
5
6
7
8

$ ls -l .ssh

Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a---        2023-06-25  오후 6:11           3381 bitbucket_work
-a---        2023-06-25  오후 6:11            744 bitbucket_work.pub
-a---        2020-11-08 오전 12:12           1675 id_rsa
-a---        2020-11-08 오전 12:12            404 id_rsa.pub

이제 키 쌍를 SSH Agent 에 등록하자.

SSH Agent 에 키 등록

키 파일을 SSH Agent 에 등록한다. KEY_FILE 은 비밀키 파일을 지정하면 된다.

1

$ ssh-add ~/.ssh/KEY_FILE

그리고 명확하게 bitbucket 에 해당 키를 사용하도록 ~/.ssh/config 에 아래 같이 등록한다.

1
2
3

Host github.com
  AddKeysToAgent yes
  IdentityFile ~/.ssh/KEY_FILE

github 에 public key 등록하기

github 계정의 SSH and GPG keys에서 등록해 주어야 한다. 키 쌍 중 공개키 KEY_FILE.pub 내용을 등록해 준다.

1. Settings -> Personal Settings

cat 명령 등으로 내용을 복사한다. 사이트의 Add key 창에 붙여 넣는다.

클라이언트에서 github SSH 접속이 가능한지 테스트한다. 단, 모든 SSH 연결은 최초 접속시 호스트 접속시 접속 여부를 묻는 다이얼로그가 나온다.

• https://docs.github.com/ko/authentication/connecting-to-github-with-ssh/testing-your-ssh-connection

결과적으로 아래 같이 결과가 출력되면 성공한 상태다.

1
2
3

$ $ ssh -T git@github.com

Hi USER! You've successfully authenticated, but GitHub does not provide shell access.

이제 git 클라이언트에서 HTTPS, SSH 를 통해서 github 과 ssh 연결이 가능하다. git 클라이언트로 push, pull 등을 수행할 수 있다.

참고

1. Connect with SSH, github
2. SSH 연결 테스트, github
3. bitbucket 에 SSH key 등록하기

jupyterlab 의 확장 모듈을 다운받아 설치시 nodejs 실행 환경이 제공되야 한다.

jupyterlab 확장 build error

jupyterlab 의 확장 모듈을 다운받아 설치하다 보면 npm 과 연계한 프로그램이 많다. 아래 같은 nodejs 관련 에러를 발생한다.

1
2
3
4
5
6

daddy> jupyter lab build
...
...
An error occurred.
RuntimeError: npm dependencies failed to install
See the log file for details:  C:\Users\USERID\AppData\Local\Temp\jupyterlab-debug-4kr1lkn1.log

결론으로 현재 jupyterlab 을 실행하는 환경에서

1. nodejs 버전이 설치되어 있고
2. jupyterlab extensions가 활성화 되어 있다면

해당 로그 파일을 확인해 보면 대부분 nodejs 버전이 일치하지 않아서 아래 같은 로그를 기록하고 있어 보인다.

1
2

error readable-stream@4.3.0: The engine "node" is incompatible with this module. Expected version "^12.22.0 || ^14.17.0 || >=16.0.0". Got "14.15.0"
error Found incompatible module.

nodejs 버전을 업그레이드 하고 빌드를 수행하니 잘 된다.

mysql CLI 에서 MySQL/MariaDB 관리자로서 사용할 수 있는 명령을 요약한다.

• create user, grant, drop, delete, remove …

MySqLI CLI Client 로 접속하기

1

mysql [-h서버] -u아이디 -p 데이터베이스명

데이터베이스 스키마

1

mysql> SHOW DATABASES;

use 명령을 사용하여 사용할 데이터베이스/스키마를 선택

1

mysql> USE TESTDB;

선택된 데이터베이스 안의 테이블 확인

1
2

mysql> SHOW TABLES;
mysql> SHOW TABLES LIKE 't%'; # t로 시작하는 테이블

특정 스키마 혹은 테이블의 생성 쿼리를 출력

1
2

mysql> SHOW CREATE DATABSE SAKILA;
mysql> SHOW CREATE TABLE STUDENTS;

데이터베이스의 생성 및 삭제

1

mysql> CREATE DATABASE testdb CHARACTER SET utf8 COLLATE utf8_general_ci;

• utf8_general_ci 는 대소문자를 구분하지 않는다.
• 대소문자를 구분하려면 binary 타입으로 지정. 예) “utf8_bin”

캐릭터셋과 COLLATE 를 생략하면 서버 설치시 지정한 기본 값으로 설정

1

mysql> CREATE DATABASE testdb;

스키마 제거

1

mysql> DROP [SCHEMA]DATABASE testdb;

시스템 환경 확인

서버의 환경 변수

1
2

# 모든 변수
mysql> SHOW VARIABLES;

DBMS 버전

1
2
3

mysql> select @@version;       -- DBMS version

mysql> SHOW VARIABLES LIKE 'version';

1

mysql> SHOW VARIABLES LIKE 'innodb_%';

지원하는 문자세트 구성

1
2
3

mysql> SHOW CHARACTER SET;

mysql> SHOW CHARACTER SET LIKE 'utf%';

문자세트 확인

1
2

-- 환경변수에서 확인
mysql> SHOW VARIABLES LIKE 'c%';

지원하는 콜레이션

1
2
3

mysql> SHOW COLLATION;

mysql> SHOW COLLATION WHERE Charset = 'utf8mb4';

외부 파일 실행하기

첫 번째는 mysql cli 에 지정하여 실행하는 방법

1
2
3

$ mysql -u dbuser -p testdb < insert.sql

Enter password: ****

두 번째 방법을 mysql cli에서 source 명령을 사용

1

mysql> SOURCE C:\Users\USERID\insert.sql;

User & Privileges

사용자 db

mysql 스키마의 user 테이블을 사용한다.

SELECT Host,User,plugin,authentication_string FROM mysql.user;

사용자 추가

사용자를 생성시 호스트 주소에 ‘%’, ‘localhost’로 호스트 범위를 지정한다

1
2
3

mysql> CREATE USER 'USERID'@'localhost' IDENTIFIED BY 'password';
mysql> CREATE USER 'USERID'@'%' IDENTIFIED BY 'password';
mysql> FLUSH PRIVILEGES;

grant 명령: [권한 부여]

사용자가 특정 자원에 접근하기 위해서 grant 명령 사용.

1
2
3
4
5
6

GRANT ALL PRIVILEGES ON DB이름.테이블이름 TO 아이디@호스트 IDENTIFIED BY '비밀번호' with grant option;

    - ALL PRIVILEGES : 모든 권한 추가 
    - SELECT, INSERT, UPDATE, DELETE, ... : 권한을 일부분을 추가 
    - with grant option : GRANT를 사용할 수 있는 권한 추가 
    - Grant 로 주어지는 권한은 여기 [grant: privilege-levels](https://mariadb.com/kb/en/grant/#privilege-levels) 명령에서 찾을 수 있다.

아래는 userid 사용자가 특정 sampledb 에만 모든 권한을 부여하고 있다.

1
2

mysql> GRANT ALL PRIVILEGES ON sampledb.* TO 'USERID'@'localhost';
mysql> FLUSH PRIVILEGES;

다음 GRANT 명령에서 ALL PRIVILEGES ON *.* 는 모든 권한(ALL PRIVILEGES)을 모든 스카마의 모든 테이블 *.* 에 준다는 의미.

1
2

mysql> GRANT ALL PRIVILEGES ON *.* TO 'USERID'@'localhost' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;

• WITH GRANT OPTION 의 의미는 다른 사용자에게 자신이 가진 권한을 주거나 회수할 수 있다는 의미.
• ALL PRIVILEGES 부분에는 SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER 등 권한 명칭을 콤마로 분리해서 나열하는 방식으로 특정 권한만을 줄 수도 있다.

[권한 제거]

권한을 없앨때는 REVOKE 명령을 사용한다. 두가지 형식을 사용한다.

1
2
3

REVOKE priv_type ON db.tables FROM user[,user]  ...

REVOKE ALL PRIVILEGES, GRANT OPTION FROM user [, user] ...

아래 명령으로 ‘localhost’ 에서 접속가능한 ‘testdbuser’ 에게서 모든 권한을 제외한다.

1

mysql> REVOKE ALL PRIVILEGES *.* FROM 'USERID'@'localhost';

GRANT 명령과는 달리 REVOKE 명령은 모든 권한을 제거해도 mysql.user 테이블 사용자 정보는 완전히 삭제되지 않는다.

사용자 정보의 완전한 제거를 원한다면 DROP USER 명령을 사용한다.

1

mysql> DROP USER 'USERID'@'localhost';

권한 조회

사용자별 권한 확인

1

mysql> SHOW GRANTS FOR 'USERID'@'HOST';

접속된 계정 권한 확인

1

mysql> SHOW GRANTS FOR CURRENT_USER;

실행 프로세스 확인

현재 접속자를 확인하고, lock 이 걸린 프로세스를 죽이거나 하는 작업

• 프로세스 리스트보기

1
2
3
4
5
6
7
8

mysql> SHOW PROCESSLIST;
+------+-----------+----------------------+-----------+---------+------+---------------------------------+------------------------------------------------------------------------------------------------------+----------+
| Id   | User      | Host                 | db        | Command | Time | State                           | Info
                                                                    | Progress |
+------+-----------+----------------------+-----------+---------+------+---------------------------------+------------------------------------------------------------------------------------------------------+----------+
| 1371 | dbkmart | 205.22.168.143:29762 | yourdb | Sleep   | 2673 |                                 | NULL
                                                                    |    0.000 |
|

• 프로세스 죽이기(프로세스 아이디는 리스트에 나오는 Id.)

1

mysql> kill 프로세스아이디

ex: DB 생성해 사용자 추가

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

-- 1. mysql/mariadb 데이터베이스 생성
create database webdb;
	
-- 2. mysql/mariadb 계정 생성
create user 'webdb'@'192.168.1.%' identified by 'webdb';

-- 3. 권한주기
grant all privileges on webdb.* to 'webdb'@'192.168.1.%';

-- 4. flush privileges;

-- 5. 사용자 계정 삭제
drop user 'webdb'@'192.168.1.%';

-- 6. 데이터베이스 삭제
drop database webdb;

—

1. grant: privilege-levels : https://mariadb.com/kb/en/grant/#privilege-levels

크롤링, 데이터 베이스 연결등에 사용자 인증번호를 사용하는데 코드 자체에 아이디/비밀번호를 입력해서 사용하면 유출의 염려가 있으므로 이를 외부 파일에 두고 관리하고자 한다.

여러가지 방법이 있겠지만 여기서는 json 을 사용한다.

key:value 형식의 properties, 윈도우 ini 같은 형식을 지원하는 configparser 모듈도 좋은 선택 같다.

json 이용 키 관리

외부에 아래 형식의 secret 파일을 생성한다.

• 디렉토리: .api_keys/ 폴더 사용
• 파일: secret_keys.json

secret_keys.json

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

{   "naver.com" : {
        "userid": "UR_ID",
        "password" :"votmdnjem" },
    "apple.net": {
        "userid": "UR_ID",
        "password" : "votmdnjem" },
    "api.twitter.com": {
        "CONSUMER_KEY" : "unJgTOc0aZkk7NoX4LlD5g",
        "CONSUMER_SECRET":"uHdmctDcPM66s9OasrKnr2x3pu88",
        "ACCESS_TOKEN" : "98948674-J9auHiBiOGoWUJOzRafp",
        "ACCESS_TOKEN_SECRET" : "kKgT9tlSY2rCIAbWJrCEEiTsR37" },
    "my_database" : {
            "userid" : "UR_ID",
            "password" : "votmdnjem"}
}

파일 사용

json 모듈을 사용해서 해당 파일을 읽으면 키:값 형식으로 참조해서 사용할 수 있다.

1
2
3
4

import json

with open('../../.api_keys/secret_keys.json') as f:
    secrets = json.loads(f.read())

이렇게 읽어들인 json 은 dict 같이 사용할 수 있다.

1

DB_USER, DB_PW = secrets['my_database']['userid'], secrets['my_database']['password']

data 폴더 위치를 변경해 이동한다.

• 여기서는 MariaDB 를 사용하고 있다.
• rsync 를 사용해서 복사한다.

위치 이동

my.cnf 에 있는 기본 디렉토리를 /data 폴더로 변경하고 적용한다.

1. 기본 data 디레토리 확인

my.cnf 에서 datadir 로 지정된 항목을 찾아 보자.

1
2

~$ grep datadir /etc/mysql/mariadb.conf.d/*
/etc/mysql/mariadb.conf.d/50-server.cnf:#datadir                 = /var/lib/mysql

기본으로 Ubuntu 종류에서는 /var/lib/mysql 를 기본 데이터 디렉토리로 지정하고 있다.

2. data 디렉토리를 /data 로 변경한다.

my.cnf 를 수정해서 /data로 변경하자

1

~$ sudo vi /etc/mysql/mariadb.conf.d/50-server.cnf

3. data 폴더 권한

mysqld / mariadbd 데몬은 mysql 사용자, mysql 그룹으로 사용권이 실행되고 있다. 데이터베이스에서 접근하는 모든 자원(폴더, 파일, 로그 등등)은 mysql 사용자로 접근이 가는해야 한다. 그래서 /data 디렉토리 권한을 변경한다.

mysql 사용자와 그룹 확인한다.

1
2
3
4
5

$ grep mysql /etc/passwd
mysql:x:111:117:MySQL Server,,,:/nonexistent:/bin/false

$ grep mysql /etc/group
mysql:x:117:

소유권을 mysql 사용자로 변경한다.

1
2
3
4
5

$ sudo chown -R mysql:mysql /data
[sudo] 암호:
$ ls -al /data
drwxr-xr-x  3 mysql mysql  4096  5월  6 22:35 .
drwxr-xr-x 20 root  root   4096  5월  6 17:15 ..

4. data 이동

rsync 를 사용해서 /var/lib/mysql 데이터를 /data 아래로 복사한다.

1

$ sudo rsync -avzph /var/lib/mysql/ /data/

5. mysqld 데몬을 재시작하고 확인한다.

1
2
3
4

$ sudo systemctl restart mysql
$ sudo systemctl status mysql

● mariadb.service - MariaDB 10.11.2 database server

데이터베이스에 접속해 데이터를 확인해 보자. @@datadir 환경변수를 출력해서 /data 가 출력되면 my.cnf 의 설정이 잘 구성된 상태를 확인할 수 있다.

1
2
3
4
5
6
7
8

$ mysql -u root -p

> select @@datadir;
+-----------+
| @@datadir |
+-----------+
| /data/    |
+-----------+

rsync 로 복사한 실제 데이터들은 각 스키마에서 확인해 보자.

git checkout 은 보통 브랜치의 모든 구조를 가져온다. checkout 은 다음 링크 설명을 보고 이해해 보자,

• visual-git-guide:checkout

Sparse checkout 은 checkout 전체 대상중 일부 만을 checkout 할 수 있다.

git sparse checkout 기능은 Git 2.25.0 이상부터 사용이 가능하다.

Sparse checkout 이해

git 블로그 글 Bring your monorepo down to size with sparse-checkout 의 그림 설명을 빌려오자.

다음 원격 레포지토리가 있다고 가정하자

전체 디렉토리 중에서 client/android 부분만 checkout 을 하고 싶다.

다음 같이 클론을 하고 sparse-checkout 을 초기화 한 후에 대상인 client/android 디렉토리를 sparse-checkout 하면 해당 디렉토리만 다운로드한다.

1
2
3
4

git clone https://github.com/tensorflow/examples.git
cd examples
git sparse-checkout init --cone
git sparse-checkout set client/android

sparse-checkout 을 수행하면 해당 디렉토리 컨텐츠만 남게 된다.

사용 방법

사용시 몇가지 사례가 있다.

방법1

첫번째 방법으로 git 레포지토리를 pull로 clone 한 후에 sparse-checkout 대상 파일/폴더를 지정하고 sparse-checkout 을 수행한다.

1

git clone https://github.com/tensorflow/examples.git

spase-checkout 을 수행하기 위해서 초기화 하고 대상이 되는 파일/폴더를 지정한다.

1
2
3
4

cd examples
git config core.sparseCheckout true
git sparse-checkout set lite/examples/object_detection/android_play_services
git pull origin master

희소 체크아웃을 사용하도록 git 인스턴스를 구성하면 지정한 파일/폴더만 남게 된다.

저장소에서 config core.sparseCheckout true 대신 git sparse-checkout init --cone 를 이용해도 된다.

방법2

레포지토리를 클론하지 않고 클라이언트에서 초기화 후 sparse-checkout 으로 대상 디렉토리를 지정한 후에 pull 을 수행한다.

원격 레포지토리를 지정한다.

1
2
3
4

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

spase-checkout 을 수행하기 위해서 초기화 하고 대상이 되는 파일/폴더를 set 으로 지정한다. 여러 파일/디렉토리를 추가할 수 있다.

1
2

git config core.sparseCheckout true
git sparse-checkout set lite/examples/object_detection/android

pull 을 수행한다.

1
2
3
4

git pull origin master
From https://github.com/tensorflow/examples
 * branch              master     -> FETCH_HEAD
Updating files: 100% (61/61), done.

저장소에서 config core.sparseCheckout true 대신 git sparse-checkout init --cone 를 이용해도 된다.

방법3

방법2와 동일하지만 설정 파일을 통해서 수행하는 점만 다르다.

1
2
3
4

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

원격 레포지토리를 지정하고 git 설정에 추가한다.

1

git config core.sparseCheckout true

checkout 하려는 파일과 폴더를 sparse-checkout 파일에 추가한다. 여러 파일/디렉토리를 추가할 수 있다.

1
2

echo "lite/examples/object_detection/android" >> .git/info/sparse-checkout
echo "lite/examples/bert_qa/android" >> .git/info/sparse-checkout

pull 을 수행한다.

1

git pull origin master

함께 보면 유용한 git 명령

간단하게 빌드/테스트 를 하기위해 저장소의 특정 폴더만 clone 할 때 Swallow Clone 을 함께 이용해도 좋을 것 이다.

[git] Swallow clone

- 참고

• visual-git-guide: checkout
• Bring your monorepo down to size with sparse-checkout
• git-sparse-checkout
• git 사용, qkboo
• git 입문
• git 발전

회사 등에서 방화벽을 사용하는 경우 pip / conda 저장소에서 패키지 설치가 안되는 경우가 있다. 또한 방화벽 안에서 설치할 경우 SSL verification error 에러 발생으로 설치가 안되기도 한다. 이런 경우 직접 pip 혹은 conda 설치가 안되는 경우에 프락시 지정을 해서 사용이 가능하다.

conda proxy

.condarc 파일과 conda 명령 옵션으로 사용할 수 있다.

.condarc 파일

사용자 홈디렉토리 .condarc 파일에 proxy 구성을 한다.

• Using the .condarc conda configuration file

파일에 proxy_servers 구성해 사용한다.

1
2
3

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080

ssl_verify: SSL verification error

방화벽 때문에 파이썬 패키지를 설치할 때 SSL 인증 오류(SSL verification error)가 생겨 곤란할 때가 있다. 만약 프락시 인증서가 필요하면 pip 인증서를 추가하면 ssl verification 에러를 피할 수 있다.

1
2
3
4

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080
ssl_verify: %programdata%\pip\dscert.crt

conda --set 옵션 사용

설정 파일 대신 conda 명령에서 --set 옵션을 사용하면 설정 파일을 편집해서 저장이 된다.

1

conda config --set [설정내용]

다음은 ssl_verify 에 pip 인증서를 추가하거나 False 로 제외하고 사용하고 있다.

1

conda config --set ssl_verify False

명령에서 즉시 사용할 때는 --add 옵션을 사용한다.

pip proxy

pip 명령은 명려에서 옵션 pip proxy 옵션을 사용하거나 설정 파일 pip.ini 로 구성할 수 있다.

• pip Configuration

pip.ini

pip는 사용자 구성에서 아래 같이

• 윈도우: %HOMEPATH%\pip\pip.ini
• 리눅스/맥: $HOME/.pip/pip.conf

trusted-host 를 구성해 준다.

1
2
3
4
5
6

[global]
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

ssl cert

SSL 의 경우 cert 옵션을 사용할 수 있다.

1
2
3
4
5
6

[global]
cert=C:\Users\user\pip\cert.crt
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

pip 명령 사용

명령으로 직접 proxy 를 지정할 수 있다.

1

pip install --proxy https://{proxy}:{port} {BINARY}

다음 같인 trusted-host 등도 지정 할 수 있다.

1

pip install --upgrade --proxy https://IP_ADDRESS:8080 --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org matplotlib numpy openpyxl xlrd xlwt pandas

모듈 build.gradle 에서 모듈의 dependencies 의존성을 잘못 선택하면 여러 에러가 발생하는데. 이번에 최신버전 등으로 건드리면 만나는 에러중 하나가 Depllicated 같은 에러인거 같다.

원래 의존성은 아래 같다.

1
2
3
4
5
6

dependencies {
    implementation 'androidx.appcompat:appcompat:1.6.1'

    // CameraX core library
    def camerax_version = '1.2.0-alpha04'
    implementation "androidx.camera:camera-core:$camerax_version"

Android Studio의 Assistance 가 build.gradle 에서 의존성 모듈에 대한 최신버전이 제시되었다.

아래 같이 변경했다.

1
2
3
4

dependencies {
    // CameraX core library
    def camerax_version = '1.3.0-alpha03' // '1.2.0-alpha04'
    implementation "androidx.camera:camera-core:$camerax_version"

그래해 해당 모듈의 최신버전으로 선택했더니 아래같은 에러가 발생했다.

그랬더니 그림 같은 에러가 발생하게 되었다.

원래 버전 혹은 해당 Minor 최신버전으로 변경하니 문제가 사라졌다.

1
2
3

dependencies {
    def camerax_version = '1.2.1'
    implementation "androidx.camera:camera-core:$camerax_version"

모듈 들의 의존성 버전은 조심해서 건드리자…ㅎㅎ

1. Tensorflow Lite

TensorFlow Lite는 더 작고 휴대 가능하며 효율적인 기계 학습 모델 형식으로 변환되는 TensorFlow 모델을 사용합니다. Android에서 TensorFlow Lite와 함께 사전 빌드된 모델을 사용하거나 고유한 TensorFlow 모델을 빌드하고 TensorFlow Lite 형식으로 변환할 수 있습니다.

단, TensorFlow Lite 모델과 TensorFlow 모델은 형식이 다르며 상호 교환할 수 없습니다. TensorFlow 모델은 TensorFlow Lite 모델로 변환할 수 있지만 해당 프로세스는 되돌릴 수 없습니다.

- 개발 워크플로

다음 가이드는 워크플로의 각 단계를 둘러보고 다음 안내에 관한 링크를 제공합니다.

1. TensorFlow Lite 모델 생성
2. 추론 실행

1. TensorFlow Lite 모델 생성

TensorFlow Lite 모델은 FlatBuffers(.tflite 파일 확장자로 식별됨)라는 효율적으로 이동 가능한 특수 형식으로 표현된다. TensorFlow Lite 모델은 선택적으로 메타데이터를 포함할 수 있으며 이 메타데이터에는 기기 추론 중에 파이프라인 전처리와 후처리의 자동 생성을 위해 사람이 읽을 수 있는 모델 설명과 머신이 읽을 수 있는 데이터가 포함됩니다. 자세한 내용은 메타데이터 추가 를 참고하세요.

다음 방법으로 TensorFlow Lite 모델을 생성할 수 있습니다.

• 기존 TensorFlow Lite 모델 사용: 기존 모델을 선택하려면 TensorFlow Lite 예를 참고하세요. 모델은 메타데이터를 포함할 수도 있고, 포함하지 않을 수도 있습니다.

• TensorFlow Lite 모델 생성: TensorFlow Lite Model Maker를 사용하여 자체 맞춤 데이터 세트를 포함하는 모델을 만듭니다. 기본적으로 모든 모델은 메타데이터를 포함합니다.

• TensorFlow 모델을 TensorFlow Lite 모델로 변환: TensorFlow Lite 변환기를 사용하여 TensorFlow 모델을 TensorFlow Lite 모델로 변환합니다. 변환 중에 최적화(예: 양자화)를 적용하여 정확성의 손실이 없거나 최소화된 상태로 모델 크기와 지연 시간을 줄일 수 있습니다. 기본적으로 모든 모델은 메타데이터를 포함하지 않습니다.

2. 추론 실행

메타데이터가 없는 모델: TensorFlow Lite Interpreter API를 사용합니다. 다양한 플랫폼과 언어(예: 자바, Swift, C++, Objective-C, Python)에서 지원됩니다.

메타데이터가 있는 모델: TensorFlow Lite 작업 라이브러리를 사용하는 즉시 사용 가능한 API를 활용하거나 TensorFlow Lite 지원 라이브러리를 사용하는 맞춤 추론 파이프라인을 빌드할 수 있습니다. Android 기기 사용자는 Android 스튜디오 ML 모델 결합 또는 TensorFlow Lite 코드 생성기를 사용하여 자동으로 코드 래퍼를 생성할 수 있습니다. Swift(iOS)와 C++는 작업 중이며 자바(Android)에서만 지원됩니다.

2. 기계햑습 모델과 Android

Tensorflow 모델에서 생상한 추론 엔진을 Android 앱에서 사용할 수 있도록 한다.

Android 에서 Tensorflow 모델 실행

Android 앱은 TensorFlow Lite 모델을 실행하기 위해 다음 요소가 필요합니다.

1. Android App (Java, Kotlin)
2. 모델 실행을 위한 TensorFlow Lite 런타임 환경
3. 데이터를 텐서로 변환하는 모델 입력 핸들러
4. 출력 결과 텐서를 수신하고 예측 결과로 해석하는 출력 핸들러를 모델링한다.

Tensorflow Lite Runtime 환경

Android 앱에서 모델을 실행하기 위해 런타임 환경을 활성화하는 방법에는 여러 가지가 있습니다. 다음은 기본 옵션입니다.

• Google Play 서비스 런타임 환경 의 TensorFlow Lite(권장)
• 독립형 TensorFlow Lite 런타임 환경

Tensorflow Lite 변환기

https://www.tensorflow.org/lite/convert?hl=ko

TensorFlow Lite 변환기는 TensorFlow 모델을 사용하고 TensorFlow Lite 모델(.tflite 파일 확장자로 식별되는 최적화된 FlatBuffer 형식)을 생성합니다. 변환기를 사용하는 옵션에는 다음 두 가지가 있습니다.

• Python API(권장): 모델 개발 파이프라인의 일부로 모델을 더 쉽게 변환하고 최적화를 적용하며 메타데이터를 추가하는 등 다양한 기능이 많습니다.
• 명령줄: 기본 모델 변환만 지원합니다.

Tensorflow Lite 변환기 계층

Object Detection 예제

https://www.tensorflow.org/lite/android/quickstart?hl=ko

참고

Tensorflow Lite 관련:

1. https://www.tensorflow.org/lite/guide?hl=ko

Android App 관련:

1. Android용 TensorFlow Lite

2. Recognize Flowers with TensorFlow Lite on Android
   Android 에서 Tensorflow Lite 앱 이용 Codelab

모델 학습 관련:

1. Image classification with TensorFlow Lite Model Maker