data 폴더 위치를 변경해 이동한다.

• 여기서는 MariaDB 를 사용하고 있다.
• rsync 를 사용해서 복사한다.

위치 이동

my.cnf 에 있는 기본 디렉토리를 /data 폴더로 변경하고 적용한다.

1. 기본 data 디레토리 확인

my.cnf 에서 datadir 로 지정된 항목을 찾아 보자.

1
2

~$ grep datadir /etc/mysql/mariadb.conf.d/*
/etc/mysql/mariadb.conf.d/50-server.cnf:#datadir                 = /var/lib/mysql

기본으로 Ubuntu 종류에서는 /var/lib/mysql 를 기본 데이터 디렉토리로 지정하고 있다.

2. data 디렉토리를 /data 로 변경한다.

my.cnf 를 수정해서 /data로 변경하자

1

~$ sudo vi /etc/mysql/mariadb.conf.d/50-server.cnf

3. data 폴더 권한

mysqld / mariadbd 데몬은 mysql 사용자, mysql 그룹으로 사용권이 실행되고 있다. 데이터베이스에서 접근하는 모든 자원(폴더, 파일, 로그 등등)은 mysql 사용자로 접근이 가는해야 한다. 그래서 /data 디렉토리 권한을 변경한다.

mysql 사용자와 그룹 확인한다.

1
2
3
4
5

$ grep mysql /etc/passwd
mysql:x:111:117:MySQL Server,,,:/nonexistent:/bin/false

$ grep mysql /etc/group
mysql:x:117:

소유권을 mysql 사용자로 변경한다.

1
2
3
4
5

$ sudo chown -R mysql:mysql /data
[sudo] 암호:
$ ls -al /data
drwxr-xr-x  3 mysql mysql  4096  5월  6 22:35 .
drwxr-xr-x 20 root  root   4096  5월  6 17:15 ..

4. data 이동

rsync 를 사용해서 /var/lib/mysql 데이터를 /data 아래로 복사한다.

1

$ sudo rsync -avzph /var/lib/mysql/ /data/

5. mysqld 데몬을 재시작하고 확인한다.

1
2
3
4

$ sudo systemctl restart mysql
$ sudo systemctl status mysql

● mariadb.service - MariaDB 10.11.2 database server

데이터베이스에 접속해 데이터를 확인해 보자. @@datadir 환경변수를 출력해서 /data 가 출력되면 my.cnf 의 설정이 잘 구성된 상태를 확인할 수 있다.

1
2
3
4
5
6
7
8

$ mysql -u root -p

> select @@datadir;
+-----------+
| @@datadir |
+-----------+
| /data/    |
+-----------+

rsync 로 복사한 실제 데이터들은 각 스키마에서 확인해 보자.

git checkout 은 보통 브랜치의 모든 구조를 가져온다. checkout 은 다음 링크 설명을 보고 이해해 보자,

• visual-git-guide:checkout

Sparse checkout 은 checkout 전체 대상중 일부 만을 checkout 할 수 있다.

git sparse checkout 기능은 Git 2.25.0 이상부터 사용이 가능하다.

Sparse checkout 이해

git 블로그 글 Bring your monorepo down to size with sparse-checkout 의 그림 설명을 빌려오자.

다음 원격 레포지토리가 있다고 가정하자

전체 디렉토리 중에서 client/android 부분만 checkout 을 하고 싶다.

다음 같이 클론을 하고 sparse-checkout 을 초기화 한 후에 대상인 client/android 디렉토리를 sparse-checkout 하면 해당 디렉토리만 다운로드한다.

1
2
3
4

git clone https://github.com/tensorflow/examples.git
cd examples
git sparse-checkout init --cone
git sparse-checkout set client/android

sparse-checkout 을 수행하면 해당 디렉토리 컨텐츠만 남게 된다.

사용 방법

사용시 몇가지 사례가 있다.

방법1

첫번째 방법으로 git 레포지토리를 pull로 clone 한 후에 sparse-checkout 대상 파일/폴더를 지정하고 sparse-checkout 을 수행한다.

1

git clone https://github.com/tensorflow/examples.git

spase-checkout 을 수행하기 위해서 초기화 하고 대상이 되는 파일/폴더를 지정한다.

1
2
3
4

cd examples
git config core.sparseCheckout true
git sparse-checkout set lite/examples/object_detection/android_play_services
git pull origin master

희소 체크아웃을 사용하도록 git 인스턴스를 구성하면 지정한 파일/폴더만 남게 된다.

저장소에서 config core.sparseCheckout true 대신 git sparse-checkout init --cone 를 이용해도 된다.

방법2

레포지토리를 클론하지 않고 클라이언트에서 초기화 후 sparse-checkout 으로 대상 디렉토리를 지정한 후에 pull 을 수행한다.

원격 레포지토리를 지정한다.

1
2
3
4

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

spase-checkout 을 수행하기 위해서 초기화 하고 대상이 되는 파일/폴더를 set 으로 지정한다. 여러 파일/디렉토리를 추가할 수 있다.

1
2

git config core.sparseCheckout true
git sparse-checkout set lite/examples/object_detection/android

pull 을 수행한다.

1
2
3
4

git pull origin master
From https://github.com/tensorflow/examples
 * branch              master     -> FETCH_HEAD
Updating files: 100% (61/61), done.

저장소에서 config core.sparseCheckout true 대신 git sparse-checkout init --cone 를 이용해도 된다.

방법3

방법2와 동일하지만 설정 파일을 통해서 수행하는 점만 다르다.

1
2
3
4

mkdir <repo>
cd <repo>
git init
git remote add -f origin <url>

원격 레포지토리를 지정하고 git 설정에 추가한다.

1

git config core.sparseCheckout true

checkout 하려는 파일과 폴더를 sparse-checkout 파일에 추가한다. 여러 파일/디렉토리를 추가할 수 있다.

1
2

echo "lite/examples/object_detection/android" >> .git/info/sparse-checkout
echo "lite/examples/bert_qa/android" >> .git/info/sparse-checkout

pull 을 수행한다.

1

git pull origin master

함께 보면 유용한 git 명령

간단하게 빌드/테스트 를 하기위해 저장소의 특정 폴더만 clone 할 때 Swallow Clone 을 함께 이용해도 좋을 것 이다.

[git] Swallow clone

- 참고

• visual-git-guide: checkout
• Bring your monorepo down to size with sparse-checkout
• git-sparse-checkout
• git 사용, qkboo
• git 입문
• git 발전

회사 등에서 방화벽을 사용하는 경우 pip / conda 저장소에서 패키지 설치가 안되는 경우가 있다. 또한 방화벽 안에서 설치할 경우 SSL verification error 에러 발생으로 설치가 안되기도 한다. 이런 경우 직접 pip 혹은 conda 설치가 안되는 경우에 프락시 지정을 해서 사용이 가능하다.

conda proxy

.condarc 파일과 conda 명령 옵션으로 사용할 수 있다.

.condarc 파일

사용자 홈디렉토리 .condarc 파일에 proxy 구성을 한다.

• Using the .condarc conda configuration file

파일에 proxy_servers 구성해 사용한다.

1
2
3

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080

ssl_verify: SSL verification error

방화벽 때문에 파이썬 패키지를 설치할 때 SSL 인증 오류(SSL verification error)가 생겨 곤란할 때가 있다. 만약 프락시 인증서가 필요하면 pip 인증서를 추가하면 ssl verification 에러를 피할 수 있다.

1
2
3
4

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080
ssl_verify: %programdata%\pip\dscert.crt

conda --set 옵션 사용

설정 파일 대신 conda 명령에서 --set 옵션을 사용하면 설정 파일을 편집해서 저장이 된다.

1

conda config --set [설정내용]

다음은 ssl_verify 에 pip 인증서를 추가하거나 False 로 제외하고 사용하고 있다.

1

conda config --set ssl_verify False

명령에서 즉시 사용할 때는 --add 옵션을 사용한다.

pip proxy

pip 명령은 명려에서 옵션 pip proxy 옵션을 사용하거나 설정 파일 pip.ini 로 구성할 수 있다.

• pip Configuration

pip.ini

pip는 사용자 구성에서 아래 같이

• 윈도우: %HOMEPATH%\pip\pip.ini
• 리눅스/맥: $HOME/.pip/pip.conf

trusted-host 를 구성해 준다.

1
2
3
4
5
6

[global]
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

ssl cert

SSL 의 경우 cert 옵션을 사용할 수 있다.

1
2
3
4
5
6

[global]
cert=C:\Users\user\pip\cert.crt
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

pip 명령 사용

명령으로 직접 proxy 를 지정할 수 있다.

1

pip install --proxy https://{proxy}:{port} {BINARY}

다음 같인 trusted-host 등도 지정 할 수 있다.

1

pip install --upgrade --proxy https://IP_ADDRESS:8080 --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org matplotlib numpy openpyxl xlrd xlwt pandas

모듈 build.gradle 에서 모듈의 dependencies 의존성을 잘못 선택하면 여러 에러가 발생하는데. 이번에 최신버전 등으로 건드리면 만나는 에러중 하나가 Depllicated 같은 에러인거 같다.

원래 의존성은 아래 같다.

1
2
3
4
5
6

dependencies {
    implementation 'androidx.appcompat:appcompat:1.6.1'

    // CameraX core library
    def camerax_version = '1.2.0-alpha04'
    implementation "androidx.camera:camera-core:$camerax_version"

Android Studio의 Assistance 가 build.gradle 에서 의존성 모듈에 대한 최신버전이 제시되었다.

아래 같이 변경했다.

1
2
3
4

dependencies {
    // CameraX core library
    def camerax_version = '1.3.0-alpha03' // '1.2.0-alpha04'
    implementation "androidx.camera:camera-core:$camerax_version"

그래해 해당 모듈의 최신버전으로 선택했더니 아래같은 에러가 발생했다.

그랬더니 그림 같은 에러가 발생하게 되었다.

원래 버전 혹은 해당 Minor 최신버전으로 변경하니 문제가 사라졌다.

1
2
3

dependencies {
    def camerax_version = '1.2.1'
    implementation "androidx.camera:camera-core:$camerax_version"

모듈 들의 의존성 버전은 조심해서 건드리자…ㅎㅎ

R과 R Studio 를 설치하고 R 의 기본환경을 이해하기 위해 정리한다.

old version:

R 소개

R은 벨 연구소 Becker 등에 의해 개발됐던 S language를 기반으로 통계 계산, 시각화를 위한 프로그래밍 언어를 포함한 개발환경이다. S language를 이용한 Insightful사의 S+는 S 언어를 이용한 상업용 소프트웨어이고, R은 공개소프트웨어 기반의 소프트웨어 이다.

• 예) Excel, SPSS, SAS, HLM, MPlus 등 통계 프로그램

R 학습 자료

1. K-MOOC: 데이터과학을 위한 R프로그래밍, 이혜선 (포항공과대학교)
2. R프로그래밍및실습, Jinseog Kim (동국대학교)

설치

R 프로그래밍 엔진은 R 을 다운로드하고 GUI 도구로 R Studio를 사용할 수 있다.

1. CRAN mirror http://r-project.org 에서 R Download 한다.
   • http://r-project.org
2. R Studio IDE
3. Old Version RStudio 설치
   • http://www.RStudio.com Download

R 시작하기

R 은 console을 통해 프로그래밍을 하거나 외부 에디터에서 작성한 소스를 컴파일해서 실행 할 수 있다. R 엔진을 IDE 를 통해서 개발한 코드를 실행하고 테스트 할 수 있다.

macOS에서 R 시작시 다음 같은 경고를 보이면 macOS FAQ를 참고해 설정을 해주어야 한다.
> [그림. ]

R과 R Studio 화면

R prompt

R을 실행하면 명령 입력 프롬프트 > 을 볼 수 있다. 프롬프트에서 한 줄에 하나 혹은 한문장의 명령이 입력되고 실행된다.

1
2
3
4
5
6
7

> print("Hello World")
> Factorial(10)                # 계산 기능
> Rep(x="hello", times=5)
> Rep(times=5) : Error…
> Plot(10,10)
> Plot(c(5,7), c(20, 30))
> Plot(runif(100), runif(100))  # runif()는 랜덤 넘버 생성 함수

프롬프트 > 에 명령을 입력하고 엔터키를 실행이 되지만 코드 블럭 괄호((),{},[])가 닫히지 않으면 프롬프트에 + 에 연결해서 계속 입력할 수 있다.

1
2
3
4
5
6
7

[Workspace loaded from ~/work-R/R기본사용/.RData]

> print('hello r studio'
+ 'greeting me'
Error: unexpected string constant in:
"print('hello r studio'
'greeting me'"

R Studio IDE

R Studio IDE에서 작성 가능한 R 프로그래맹 편집기 종류를 살펴보면,

R Notebook 코드 작성중 package 요구

R 이용

R 사용 환경에 도움이 되는 구성을 살펴보자

한글 폰트 지정

나눔고딕코딩 폰트를 다운받아 설치한다.

R 환경설정에서 Nanum font 사용한다.

help() 사용

R에서 도움말을 통해 함수, 형식, 등의 정보를 얻을 수 있다.

1

> help(“함수명”)

패키지를 로드하지 않은 함수의 도움말 보기

1

> help.search(“함수명”)

내가 얻은 패키지는 어떤 것인가?

1

> help(package=”알고싶은 패키지명”)

주요 도움말 명령 사용

1
2
3
4
5
6
7
8
9
10

> help()                      # 도움말 창
> help(ls)                    # 함수 ls()에 대한 도움말
> ?ls                         # 도움말 단축키 ?로 help(ls) 호출
> help(">")                   # R의 예약어, 연산자 등은 ""로
> help("for")                 # 묶는다.
> #특정 패키지에 대한 도움말 요청
> help(package="datasets")
> # 일반 검색어를 이용해 도움말 검색
> help.search("Latex")
> ??"Latex"

샘플로 제공하는 예제를 사용할 수 있도록 검색을 지원한다.

1
2
3
4
5
6
7

> example("formula")

formul> class(fo <- y ~ x1*x2) # "formula"
[1] "formula"

formul> fo
y ~ x1 * x2

object

R은 동적 객체 방식을 사용한다. 아래는 hello 변수를 선언하고 값을 대입한다. 이렇게 대입되면 R에서 객체로 다뤄진다.

1
2
3

> hello <- “안녕하세요"            #유니코드 문자열
> hello
[1] “안녕하세요"

동적 객체이기 때문에 새로운 변수 값을 대입할 수 있다.

1
2
3

> hello <- 100 + 200
> hello
[1] 300

숫자형식의 데이터를 가지고 문자형으로 다시 대입할 수 있다.

1
2
3

> hello <- 'this is a text'
> hello
[1] "this is a text"

객체와 객체를 이용해서 연산도 할 수 있다.

1
2
3
4

> test1 <- 1
> test2 <- 2
> test1 + test2
[] 3

논리형식의 데이터를 이용해 참/거짓을 이용할 수 있다.

1
2

> Object1 <- TRUE               # 논리형
> Object2 <- FALSE

ls() : 객체 목록

ls()는 사용한 객체들의 목록을 반환해 준다.

1
2
3

> x <- 1
> y <- 1:10
> ls()

rm(): R 객체를 삭제

1
2
3
4

> x <- 1
> y <- 1:10
> rm(x,y)
> ls()

Workspace

R에서 작업공간(workspace)에 사용자가 R을 이용하여 수행하는 자료와 분석 프로시져 등을 포함하게 된다.

• getwd(): 현재 워크스페이스 경로
• setwd(PATH): 지정한 PATH로 현재 워크스페이스를 지정한다.
• list.files(PATH): 경로의 파일 목록을 반환

객체 저장

작업공간은 저장할 수 있다. 저장을 실행하면 작업 디렉토리에 .RData 라는 파일이 생성된다.

1
2

> help("save.image")        # 도움말을 살펴보며 진행
> save.image()

R의 종료를 위해서는 명령문 프롬프트에서 **q()**를 실행하던가 메뉴로부터 “종료”를 선택한다.
종료시 워크스페이스에 작업된 자료를 저장할 수 있다.

R패키지: R의 확장기능 이용

search()는 설치된 R패키지들을 확인하는 명령

1
2
3
4

search()
## [1] ".GlobalEnv"        "package:stats"     "package:graphics"
## [4] "package:grDevices" "package:utils"     "package:datasets"
## [7] "package:methods"   "Autoloads"         "package:base"

library(): R에 설치된 모든 패키지 및 설명

library() 명령은 라이브러리를 현재 환경에 로딩해 준다.

1
2

library()
library(package_name): 패키지를 현재 R세션으로 로딩

예를 들어 MASS 패키지를 로딩하는 명령을 보자

1

library(MASS) # MASS 패키지를 로드

새로운 패키지를 설치할 수 있다.

1

install.packages(): R에 새로운 패키지 설치

stringr 패키지를 설치한다.

1

install.packages("stringr")

R 객체 이용하기

R 객체에는 아래와 같은 종류들이 있음

• atomic(상수)
• vector(벡터)
• matrix(행렬)
• list(리스트)
• data.frame(데이터프레임)
• function(함수)
• operator(연산자) …
• 데이터 객체 (data object): R 객체 중 데이터 객체 : atomic, vector, matrix, data.frame

객체의 이름

객체명 표시방법: 알파벳문자, ’_‘,’.’, 숫자의 조합

주석

한 줄을 인터프리터가 해석하지 않고 패스하는 라인 코멘트(주석문) # 를 사용한다

1
2

a <- 1
b_1 <- 10 # <-는 left assignment

벡터

R의 최소 단위는 벡터

정수(1), 실수(5.8271), 문자(‘A’) 문자열(“hello”)는 스칼라이다.
벡터는 {1,2,3,4,5,6}과 같이 스칼라가 여러 개 모인 것이이다.

한 개의 스칼라 값을 가진 벡터를 선언한다.

1

> a <- 5

객체에 다른 객체 넣기

1
2
3
4
5
6
7

> object1 <- 1
> object2 <- 2
> object1
[1] 1
> object1 <- object2
> object1
[1] 2

객체에 다른 객체 넣기

1
2
3
4
5
6

> object1 <- 1
> object1 <- 2
> object1 <- object2
> object2 <- 100
> object1
[1] 2

함수 계산 결과를 객체에 넣기

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

> Excel1 <- read.csv(“example_student.csv”)

> Object1 <- sum(1,8,4,5,9)
Object1 : 27

> A <- c(1,3,5,6,9)        # 벡터에 대해
A : 1,3,5,6,9

> A <- 1
Is.vector(a): True

A <- c(1,2,5)
Is.vector(a): True

> A <- c(“첫번째”, “두번째”, “세번째”)
A : ???

Package 관리

외부에서 제공하는 모듈을 Install, Update, Library 명령으로 관리할 수 있다. 패키지 설치는 Install 그리고 사용할 때는 Library 명령을 사용하고 패키지 갱신에 Update 명령을 사용한다.

패키지 관리

패키지 설치과 업데이트

1
2
3
4

> install.packages("패키지명")      # 패키지 설치
> library("패키지명")               # 패키지 불러들이기 (사용)
> require("패키지명")               #
> update.packges('패키지명')        # 패키지 갱신

설치된 패키지 목록 보기

1
2
3

> Library()
> installed.packages()
> Install.packages()[, c(“Packages”, “version”, “License”)]

필수 패키지

1
2
3
4
5
6
7
8
9
10
11

Install.packages(“rgl”) # 3D 그래프 보여주는 패키지
Install.packages(“ggplot2”)
Install.packages(“ggthemes”)
Install.packages(“data.table”)
Install.packages(“devtools”)
Install.packages(“KoNLP”)
Install.packages(“dplyr”)
Install.packages(“plyr”)
Install.packages(“reshape2”)
Install.packages(“scales”)
Install.packages(“stringr”)

Github로 패키지 설치하기

개발자가 베타 버전을 github에 공개하는 경우
Knitr 패키지는 R에서 html, pdf, MS-Word 문서를 만들 수 있음고 https://github.com/yihui/knitr 에서 배포한다.

1
2
3
4

> Install.packages(“devtools”)
Library(“devtools”)

> install_github(“yihui/knitr”)

RStudio UTF8 지원

참조

• http://dev.epiloum.net/1546
• http://xmlarchive.org/hrc/wp-content/uploads/2012/12/r_book_mac_v3.pdf

pyenv-windows 와 Jupyterlab 환경

pyenv-windows 설치

파워셀에서 설치 스크립트를 실행해서 설치하는 과정으로 정리되어 있다.

• 사이트: https://github.com/pyenv-win/pyenv-win

준비

1. 테스트
   • Windows 10 Home 21H1 / 19043.928
   • Microsoft Visual C++ 2015-2019 Redistribution
   • pip version 22.1 혹은 22.0 상태
2. 주의
   Windows 최신 (Windows 11 등)

   pip 22.3 이상인 경우 Microsoft Visual C++ Build Tools 를 설치해야 한다.
   
   이어지는 Microsoft C++ Build Tools 설치 참조해 설치한다.

PowerShell 스크립트 실행 모드 확인

외부 스크립을 실행할 수 있기 위해서는 ExecutionPolicy가 unrestricted 상태여야 한다.

PowerShell을 관리자 모드로 실행해

다음과 같이 입력

1
2

> ExecutionPolicy      <-- 현재 상태 확인
Restricted              <-- 모든 스크립트 막은 상태

모드 변경을 위해 다음 명령 실행

1

> Set-ExecutionPolicy Unrestricted

모드 변경 확인

1
2

> ExecutionPolicy      <-- 현재 상태 확인
Unrestricted           <-- 모든 스크립트 허용 상태.

모드가 Unrestricted 상태에서 pyenv-win 을 설치한다.

pyenv-win 설치

pyenv-win 설치 항목에서 파워쉘을 통해 스크립트 실행을 통해 설치한다. 모든 방법들은 윈도우 홈 디렉토리의 .pyenv/ 폴더 아래에 실행 스크립을 위치한다.

인스톨러

다음 파워쉘 스크립트를 파워쉘에서 실행한다.

1
2

Invoke-WebRequest -UseBasicParsing -Uri "https://raw.githubusercontent.com/pyenv-win/pyenv-win/master/pyenv-win/install-pyenv-win.ps1" -OutFile "./install-pyenv-win.ps1"; &"./install-pyenv-win.ps1"

만약 Unauthorized Script 에러가 나면 PowerShell 스크립트 실행 모드 확인 같이 Unrestricted 모드로 설정해야 한다.

실행하면 %USERPROFILE%/.pyenv 아래에 관련 파일을 다운로드 한다.

설치 완료후 파워쉘에서 pyenv 명령을 실행하면 아래 같이 도움말 화면이 나오면 성공이다.

Microsoft C++ Build Tools 설치

pip versions 22.3 이상 업그레이드 혹은 설치를 하면 Redistribution 패키지 설치로는 해결이 안된다.

• pip v22.1 까지는 Microsoft Visual C++ 2015-2019 Redistribution 로도 충분하다.

다음 사이트에서 build tools 을 다운로드 받아 설치한다.

• https://visualstudio.microsoft.com/visual-cpp-build-tools/

설치시 아래 옵션을 선택해 설치한다.

Python 배포본 설치

이제 pyenv 를 사용해서 Python 3.10, Python 3.9 버전을 설치해 보자.

설치 가능한 버전은 pyenv install -l 명령으로 확인 가능하다. 아래 같이 파워셀에서 필요한 버전을 필터링해 확인해 보자.

1
2
3
4
5
6
7
8

PS > pyenv install -l | findstr 3.9
.
.
3.9.11
3.9.12-win32
3.9.12
3.9.13-win32
3.9.13

원하는 버전의 버전 번호를 입력해 설치한다.

윈도우 버전의 배포본이 pyenv 의 가상환경 폴더 밑에 설치 된다.

이어서 바로 Python 3.9 버전도 설치해 보자.

윈도우 버전 배포본 설치가 진행된다.

pyenv 에서 설치한 Python 3.10, Python 3.9 를 설치 확인을 해보자

Jupyter-Lab 설치

3.9 버전을 글로벌로 지정했다.

1

PS C:\Users\andro> pyenv global 3.9.12

pyenv 가능한 버전 확인

1
2
3

PS C:\Users\andro> pyenv versions
  3.10.4
 *3.9.12

현재 파워쉘의 파이썬 버전을 3.10 으로 지정했다.

1
2
3

PS C:\Users\andro> pyenv shell 3.10.4
PS C:\Users\andro> python -V
Python 3.10.4

venv 모듈로 가상환경을 생성하고 활성화 한다.

1
2
3

PS C:\Users\andro> python -m venv .venv/jupyter_p310
PS C:\Users\andro>.\.venv\jupyter_p310\Scripts\activate
(jupyter_p310) PS C:\Users\andro>

jupyter-lab 설치

1
2

(jupyter_p310) PS C:\Users\andro> pip install jupyterlab
Collecting jupyterlab

Jupyter-lab에서 사용할 notebook 공간 생성

1

(jupyter_p310) PS C:\Users\andro> mkdir jupyter-work

jupyter-lab 실행

1
2
3
4
5
6
7
8
9
10
11

(jupyter_p310) PS C:\Users\andro> jupyter-lab --no-browser .\jupyter-work\
...
[I 2022-05-24 03:27:03.847 ServerApp] Serving notebooks from local directory: C:\Users\andro\jupyter-work
[I 2022-05-24 03:27:03.847 ServerApp] Jupyter Server 1.17.0 is running at:
...
    To access the server, open this file in a browser:
        file:///C:/Users/andro/AppData/Roaming/jupyter/runtime/jpserver-4664-open.html
    Or copy and paste one of these URLs:
        http://localhost:8888/lab?token=866bdd9bed841f4dafc5c431a7ffcd4b01f516e4583f38d7
     or http://127.0.0.1:8888/lab?token=866bdd9bed841f4dafc5c431a7ffcd4b01f516e4583f38d7
[W 2022-05-24 03:28:04.189 LabApp] Could not determine jupyterlab build status without nodejs

국내 증권사들 중에서 주식거래 HTS 를 통해서 API 를 지원하고 있다. 여기서는 대신증권 CybosPlus 를 사용해보려고 한다.

1. 대신증권 CybosPlus 설치
2. 32bit Miniconda환경
3. JupyterLab 시작
4. Powershell Openssh 설치
   • 원격으로 접속시

증권 HTS API 와 Jupyter Lab 환경

HTS에서 제공하는 OpenAPI 를 사용해서 주식 정보 및 주문을 처리할 수 있다. 여기서는 Jupyter lab 으로 윈도우 머신에 설치된 Open API 를 지원하는 HTS 사용하는 과정을 정리했다.

증권사별 API 비교

사전 준비

• 대부분 윈도우용 COM API 를 지원하는 HTS 는 32bit 기반의 Python 환경.
• 32bit Miniconda2 를 설치해서 사용하겠다.

대신증권 CybosPlus 설치

대신증권의 API 서비스인 CybosPlus 를 사용한다.

1. Cybos 5 설치
2. Python2.7 32bit 환경인 Miniconda 32bit 버전 설치

Cybos 5 설치

설치를 하고 CybosPlus 로 인증서를 통해서 로그인한다.

HTS 가동과 연결

HTP 프로그램은 보통 자동으로 관리자 모드로 실행된다. 이 API를 사용하는 파이썬 프로그램도 역시 관리자 모드로 실행되야 한다.

32bit Miniconda2 환경

윈도우 머신에 Python2.7 기반 32bit 용 Miniconda 를 설치한다. 그리고 필요에 따라 64bit miniconda 를 설치한다. 설치하게 되면 32비트 버전은 Miniconda2, 64비트 버전은 miniconda3 으로 구분할수 있다.

대신증권 가상환경

관리자 권한으로 HTS 를 실행하기 때문에 Python을 통한 API 호출도 관리자 권한이 필요하다. 관리자 권한으로 miniconda 를 실행하고 대신증권 가상환경을 생성한다.

메뉴에서 miniconda 쉘을 실행하면 아래같이 나타난다.

1
2
3

(base) C:\Windows\system32>
(base) C:\Windows\system32>d:
(base) D:\> conda create -n daeshin_hts jupyter

대신증권 API를 사용하기 위해서 가상환경을 설정한다. 테스트/응용을 위해서 jupyter 환경을 구성한다.

1
2
3
4
5
6
7
8
9
10
11

(base) D:\>conda env list
# conda environments:
#
base                  *  C:\Users\daddy\miniconda2
daeshin_hts              C:\Users\daddy\miniconda2\envs\daeshin_hts
                         C:\Users\daddy\miniconda3
                         C:\Users\daddy\miniconda3\envs\deeplearning
                         C:\Users\daddy\miniconda3\envs\ml
                         C:\Users\daddy\miniconda3\envs\tf2
                         C:\Users\daddy\miniconda3\envs\tf25
                         C:\Users\daddy\miniconda3\envs\tf26

JupyterLab 시작

필요한 패키지를 설치하고 jupyterlab 을 실행한다. 먼저 가상환경을 활성화 한다.

1

(base) > conda activate daeshin_hts

패키지 설치

가상환경을 활성화 하고 jupyterlab numpy scipy matplotlib 패키지를 설치한다.

1

(daeshin_hts) > conda install jupyterlab numpy scipy matplotlib

콘다 가상환경이 생성된 후에 가상환경을 활성화 한다.

• Jupyter Lab을 시작한다.

1

(daeshin_hts) > jupyter lab WORK_FOLDER

JupyterLab Config

원격 접속등을 위해서 비밀번호를 사용한다. 그러기 위해서 구성 파일을 통해서 비밀번호, 포트 번호등을 설정해야 한다.

generate-config

Jupyter Lab 에서 설정 파일을 생성한다. 다음 명령으로 각각 $HOME/.jupyter/ 위치에 jupyter_notebook_config.py 파일이 생성된다.

1

(daeshin_hts)> jupyter lab --generate-config

jupyter_notebook_config.py 설정 파일에 비밀번호를 추가하려면 비밀번호를 생성하는데 jupyter 명령과 python 명령에서 생성하는 2가지 방법이 있다.

1) jupyter 명령으로 패스워드 생성

첫번째로 아래는 쥬피터 폴더에 있는 파일 ‘jupyter_notebook_config.json’에 패스워드를 생성해 준다.

1
2
3

(daeshin_hts)$ jupyter notebook password                                        Enter password:
Verify password:
[NotebookPasswordApp] Wrote hashed password to $HOME\.jupyter\jupyter_notebook_config.json

위 명령으로 jupyter_notebook_config.json에 암호가 생성되면 “”sha1:723c…” 로 시작하는 패스워드 해시코드를 복사한 후 jupyter_notebook_config.py 파일의 c.NotebookApp.password 항목에 입력을 한다.

2) python 명령으로 비밀번호 생성

비밀번호 설정 다른 방법으로 파이썬에서 passwd 모듈을 실행해서 비밀번호를 얻을 수 있습니다.

1
2
3
4
5
6
7

(daeshin_hts)$ python
>> from notebook.auth import passwd
>> passwd()
>> Enter password:
>> Verify password:

'sha1:********'

출력되는 sha1 암호문자열을 복사해서 사용하시면 됩니다.

1
2
3
4
5

[jupyter_notebook_config.py]

c.NotebookApp.password = 'sha1:*********'    # 외부 접속시 사용할 비밀번호
c.NotebookApp.ip = '*'                       # 어디서든 접속 가능
c.NotebookApp.port = 8888                       # 접속에 사용할 포트

Powershell Openssh 설치

윈도우에 원격 접속해서 HTS를 위한 파이썬 가상환경에서 jupyterlab을 실행할 필요가 있다. 이때 윈도우 파워쉘에서 openssh 설치하고 연결한 후에 administrator 계정으로 관리자 모드로 jupyhter 를 실행한다.

• https://docs.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_install_firstuse

윈도우즈 administrator 활성화

대신 hts 에 접속하기 위해서는 관리자 권한이 필요하다. ssh로 윈도우즈 계정 로그인은 되지만 hts 활설화를 위해서

1. administrator 게정을 활성화 한다.

2. 파웨쉘을 관리자로 실행해 다음 같이 실행한다.

1

(daeshin_hts)> net user administrator /active:yes

3. jupyter-lab을 runas 명령으로 실행한다.

1
2
3

(daeshin_hts)> runas /env /user:administrator "jupyter-lab.exe .\Jupyter-HTS\"
administrator의 암호 입력:
jupyter-lab.exe .\Jupyter-HTS"을(를) 사용자 "DESKTOP-GOYANGI\administrator"(으)로 시작하려고 합니다.

참고

1. openssh 서버 구성: https://docs.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_server_configuration
2. https://docs.microsoft.com/ko-kr/powershell/scripting/learn/remoting/ssh-remoting-in-powershell-core?view=powershell-7.1
3. 윈도우즈 서비스 만들기: https://docs.microsoft.com/ko-kr/dotnet/framework/windows-services/walkthrough-creating-a-windows-service-application-in-the-component-designer

2022/8/10: 첫번째 버전.

첫번째 스프링 부트

https://start.spring.io/ 사이트에 접속해 아래 같이 프로젝트 구성을 선택한다.

그리고 오른쪽 의존성 버튼을 눌러 Initializr 에서 의존성 플러그인을 추가한다.

Dependencies 추가

Web 관련해

보통은 Web, Dev tools 와 Lombok 플러그인을 지정한다.

Generate 로 샘플 프로젝트 다운로드

Initializr 에서 구성을 완료하고 의존성 모듈을 추가한 후에 Generate 버튼을 누르면 압축된 프로젝트가 다운로드 된다. 이 압축 파일을 풀어서 Intellij 에서 연다.

run

src/main 에서 java 파일을 열면 실행 버튼이 활성화 된다.

index.html 파일 추가하기

src/main/resources/static 폴더에 index.html 파일을 추가한다.

파일에 HTML 로 아래 같이 입력한다.

프로젝트에 컨트롤러 추가하기

Spring Web 의존성을 추가해서 라이브러리를 설치하면 웹 관련 컨트롤러를 사용하기 좋다. 다음 같인 프로젝트에 컨트롤러 패키지를 추가하고 SampleController 클래스를 추가한다.

어노테이션으로 RestController 를 지정한다.

hello 메서드를 작성한다.

Uri 연계를 위해서 Mapper 어노테이션을 지정한다.

이제 http://localhost:4000/hello 주소를 요청한다.

실행 가능한 배포본 만들기

스프링 프로젝트는 Tomcat 같은 WAS 가 필요하고 이를 배포하는 방법이 필요했다. 스프링 부트는 단독으로 실행 가능한 웹 애플리케이션을 jar 형태로 제작하고 사용하는 것이 가능하다.

Gradle 을 사용해서 몇 번의 클릭만으로 실행 가능한 웹 애플리케이션을 제작할 수 있다 물론 실행을 위해서는 Java 환경이 필요한다.

Gradle Task 사용

Gradle view 의 task 에서 bootjar 항목을 실행한다.

프로젝트의 build 폴더의 lib 폴더에 프로젝트 이름+0.01-SNAPSHOT.jar 실행 파일이 생성되어 있는 것을 확인할 수 있다.

이 jar 를 다운로드해서 java 로 실행해 보자

1

java -jar PROJECT-0.0.1-SNAPSHOT.jar

방화벽 등으로 직접 pip 혹은 conda 설치가 안되는 경우에 프락시 지정을 해서 사용이 가능하다.

Anaconda proxy

사용자 홈디렉토리 .condarc 파일에 proxy 구성을 한다. 만약 프락시 인증서가 필요하면 인증서를 추가한다.

1
2
3
4

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080
 ssl_verify: %programdata%\pip\dscert.crt

pip

pip 명령은 명려에서 옵션 pip proxy 옵션을 사용하거나 pip.ini 로 구성할 수 있다.

1

pip install --upgrade --proxy https://IP_ADDRESS:8080 --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org matplotlib numpy openpyxl xlrd xlwt pandas

사용자 정의 폴더

pip는 사용자 구성에서 아래 같이

• 폴더: ~/pip

pip.ini

1
2
3
4
5
6
7

[global]
cert=C:\Users\user\pip\cert.crt
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

PyEnv + Anaconda

pyenv 와 Anaconda 를 사용하려고 한다. pyenv로 배포본을 관리를 하고, 특정 Local 에서 Anaconda 를 사용하려고 한다.

개발환경은

• Ubuntu 16.04 or later
• Windows 7 or later
• macOS 10.12.6 (Sierra) or later (no GPU support)
• Raspbian 9.0 or later

Pyenv 로 기본 python 환경을 사용하고 더해서 Anaconda 를 설치해서 사용하려고 한다.

1. pyenv - Anaconda 설치

Pyenv로 설치 할 anaconda 버전을 확이한다.

1

$ pyenv install -l | grep anaconda

anaconda 를 설치한다

1
2

$ pyenv install anaconda3-2021.05
...

Anaconda 활성화

1
2
3
4

$ pyenv versions
  system
* 3.9.5 (set by /home/qkboo/.pyenv/version)
  anaconda3-2021.05

Local 명령을 사용해서 특정 디렉토리에서만 anaconda 환경을 쓰려고 한다.

1
2
3
4

~$ cd Jupyter-ML
~$ pyenv local anaconda3-2021.05
$ cat .python-version
anaconda3-2021.05

Anaconda init

쉘 환경에서 conda 를 사용하기 위해서 환경변수를 초기화 해야 하는데 다음 명령으로 실행한다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

$ conda init bash
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/condabin/conda
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda-env
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/activate
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/deactivate
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/profile.d/conda.sh
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/fish/conf.d/conda.fish
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/shell/condabin/Conda.psm1
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/shell/condabin/conda-hook.ps1
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/site-packages/xontrib/conda.xsh
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/profile.d/conda.csh
modified      /Users/qkboo/.bash_profile

==> For changes to take effect, close and re-open your current shell. <==

위 명령은 아래 환경 변수가 작용된다.

1
2
3
4
5

NACONDA_HOME=/Users/who/anaconda3
PATH=$PATH:$ANACONDA_HOME/bin

export ANACONDA_HOME
export PATH

쉘을 다시 열면 쉘 프롬프트가 변경된다.

1

(base) ~$

파이썬 버전 확인

다른 디렉토리에서는 글로벌 파이썬이 실행된다.

1
2

(base) qkboo@desktop-goyangi:~$ pyenv which python
/home/qkboo/.pyenv/versions/3.9.5/bin/python

Anaconda 로 지정한 로컬 디렉토리로 이동하면 해당 파이썬 환경이 사용된다.

1
2

(base) qkboo@desktop-goyangi:~/Jupyter-ML$ pyenv which python
/home/qkboo/.pyenv/versions/anaconda3-2021.05/bin/python