2023-07-10 게시 됨2023-07-13 업데이트 됨Programming / Python9분안에 읽기 (약 1294 단어)

numpy 와 pandas 에서 수를 출력할 때 형식, 크기 및 범위를 설정할 수 있다. 간단히 보면 아래 테이블 같이 형식을 바꿔준다.

column	변환	column
1e6	precision	1,000,000
1.1e-6	format	0.1

아래 요약한 옵션 방법을 사용해서 Numpy 와 Pandas에 있는 숫자를 출력할 때 표현방법, 표기법, 환률, 정밀도 등을 변경해 사용할 수 있다

numpy 출력 형식 변경

numpy 숫자 출력 형식 변경

numpy.set_printoptions 을 사용할 수 있다.

1 2	numpy.set_printoptions(precision=None, threshold=None, edgeitems=None, linewidth=None, suppress=None, nanstr=None, infstr=None, formatter=None, sign=None, floatmode=None, *, legacy=None)

현재 출력형식 확인

np.get_printoptions() 으로 현재 상태를 출력할 수 있다.

> np.get_printoptions()
{'edgeitems': 3,
 'threshold': 1000,
 'floatmode': 'maxprec',
 'precision': 8,
 'suppress': False,
 'linewidth': 75,
 'nanstr': 'nan',
 'infstr': 'inf',
 'sign': '-',
 'formatter': None,
 'legacy': False
}

Numpy 에서 실수 Float 의 출력 형식을 바꾸는 몇가지 사례를 보자

- formatter 이용

1 2	import numpy as np np.set_printoptions(formatter={'float_kind': lambda x: "{0:0.3f}".format(x)})

- precision 이용

1
2
3

> np.set_printoptions(precision=4)
> np.array([1.123456789])
[1.1235]

- threshold 이용

개수가 많은 아이템을 출력할 때 요약해 출력할 수 있다.

1
2
3

> np.set_printoptions(threshold=5)
> np.arange(10)
array([0, 1, 2, ..., 7, 8, 9])

numpy.printoptions 사용

numpy.printoptions 를 with 구문과 함께 사용해 제한된 출력 조정을 할 수 있다.

출력시 printoptions 를 with 구문과 사용할 수 있다. set_printoptions 의 인자를 동일하게 적용할 수 있다

precision, threshold, edgeitems, linewidth, suppress, nanstr, infstr, formatter, sign, floatmode

1	numpy.printoptions(args, *kwargs)[source]

소수점 출력 변경

> np.array([2.0]) / 3
array([0.66666667])


> with np.printoptions(precision=3):
>    print( np.array([2.0]) / 3 )

pandas 숫자 출력 형식 변경

pandas에서 몇 가지 옵션을 바꾸는 방법을 정리해 보자. pandas의 옵션은 pd.options 를 사용한다.

pd.options.display

출력의 형태, 표기를 변경하는 것은 pd.options.display 아래에 있다. 여기서 사용할 수 있는 옵션은 describe_option() 으로 확인할 수 있다.

> pd.describe_option()
compute.use_bottleneck : bool
    Use the bottleneck library to accelerate if it is installed,
    the default is True
    Valid values: False,True
    [default: True] [currently: True]
  ...

- row, column 출력 개수 조정

pd.options.display.max_rows : 표를 출력할 때 최대 행 수입니다.
pd.options.display.min_rows : 표를 출력할 때 최소 행 수입니다.

import pandas as pd
> pd.options.display.max_rows
60
> pd.options.display.min_rows
10

min_row, max_row에 직접 대입하면 해당 옵션의 현재 값이 변경된다.

1
2
3

> pd.options.display.min_rows=100
> pd.options.display.min_rows
100

max_rows에 값을 입력하면 테이블의 최대 행수를 바꿀 수 있다.

^{이미지 참조 1}

1
2
3

> pd.options.display.max_rows = 100
> pd.options.display.max_rows
100

- `pd.get_option()`, `pd.set_option()` 함수

pd.get_option() 함수를 이용해서 옵션인자에 대한 정보를 확인할 수 있다.

1 2	> pd.get_option('min_rows') 100

get_option은 옵션 이름의 일부만 일치해도 된다.

1 2	> pd.get_option('min_r') 100

max_rows 수를 설정한다. set_option도 일부만 일치해도 된다.

> pd.set_option('max_rows', 20)
> pd.options.display.max_rows
20
> pd.set_option('max_r', 50)
> pd.options.display.max_rows
50

- 컬럼의 폭 조정

display.max_colwidth 는 보통 50~70자 정도 정해져 있다. 컬럼에 표시되는 텍스트가 50자가 넘으면 ... 줄임 표시가 나타난다.

1 2	> pd.options.display.max_colwidth 50

- chop_threshold

chop_threshold 는 값의 크기 한계를 지정해서 이 값보다 작은 수는 모두 0으로 표시한다.

> pd.options.display.chop_threshold = 0.99
> pd.DataFrame({'x': [10, 1, 0.1]})
> print(x)
0	10.0
1	1.0
2	0.0

숫자 포매팅

다양한 사례는:

https://pandas.pydata.org/docs/user_guide/options.html#number-formatting

- float_format

float_format 는 실수 값을 출력시 소수점의 출력의 정밀도를 조정할 수 있다. 아래 람다 함수 lambda x: f'{x:.1f} 는 실수 x를 받아 소수점 첫째 자리까지 출력해 준다.

> pd.options.display.float_format = lambda x: f'{x:.1f}'
> pd.DataFrame({'x': [3.141592]})
x
0	3.1

또한 set_option 을 사용할 수 있다.

1	> pd.set_option('display.float_format', '{:.2f}'.foramt )

금액 단위에 사용하는 천단위 구분을 위해서 {:,.2f} 형식을 사용하면 화폐 단위를 추가하고 천단위 구분자를 추가해 주고 소수점 2자리수 정밀로를 지정한다.

> pd.set_option('display.float_format', '${:,.2f}'.format )
> pd.DataFrame({'x': [10000000.0, 34589234.4]})
  x
0 $10,000,000.00
1 $34,589,234.40

- precision

실수의 소수점은 precision 로 과학적 표기법으로 변환할 자릿수를 지정한다. 아래와 같이 하면 소수점 셋째 자리 밑으로는 과학적 표기법으로 표시합니다.

> pd.options.display.precision = 3
> pd.DataFrame({'x': [0.5], 'y': [0.0005]})
x	y
0	0.5	5.000e-04

과학적 표기법으로 3.000e-04는 3.000 이다. 자릿수가 아주 작거나 큰 수를 표기할 때 유용합니다.

- 설정 초기화 `reset_option()`

설정을 초기화할 때 사용한다.

# chop_threshold 옵션 초기화
pd.reset_option('display.chop_threshold')
# float_format 옵션 초기화
pd.reset_option('display.float_format')

- 옵션 설명 `describe_option()`

pd.describe_option(OPTIONS) 를 사용하면 해당 옵션에 대한 설명을 출력해 준다.

> pd.describe_option("max_rows")
display.max_rows : int
    If max_rows is exceeded, switch to truncate view. Depending on
    `large_repr`, objects are either centrally truncated or printed as
    a summary view. 'None' value means unlimited.

참고

1: Try These Pandas Display Configurations

2: Pandas options

2023-07-09 게시 됨2023-07-09 업데이트 됨Programming / Python15분안에 읽기 (약 2261 단어)

Python - 파이썬 프로젝트 패키징과 배포하기

파이썬에서 작업한 소스를 공개/비공개 배포하기 위해서 패키징을 하는 방법을 요약, 정리했다.

파이썬 모듈 배포하기

이 글은 setuptools, builds 그리고 PyPI 업로드를 위한 twine 를 사용하고 있다.

[핵심 용어]

PyPi, Python Package Index: 파이썬 사용자를 위한 오픈소스 패키지의 공개 저장소 일명 PyPi
PyPa, 파이썬 패키징 위원회: 표준 패키징 도구/메타 데이터/파일 형식 표준을 GitHub 와 Bitbucket 을 통해서 여러 패키징 도구, 문서, 이슈 추적기를 관리하고 있다.
distutils: 1998년/파이썬 표준 라이브러리 최초의 빌드 및 배포 시스템. 대부분 직접 사용이 단계적으로 폐지되고 있다.
- distutils는 파이썬 3.10부터 deprecated, 3.12에서 삭제될 예정.
setuptools : 2004 공개/ distutils 의 드롭인(drop-in) 대체품. distutils 와 큰 차이는 다른 패키지에 대한 의존성을 선언할 수 있다.
[pyproject.toml]: 2016년 setuptools의 메타 파일 setup.py 의존성을 피하고자 독립한 빌드용 선언적 메타정보 파일.
wheel: distutils/setuptools 에 bdist_wheel 명령을 추가하는 프로젝트이다. 파이썬 라이브러리를 바이너리 확장을 포함/크로스 플랫폼 바이너리 패키징 형식 지원 (“휠”,”휠 파일”, PEP 427 정의).

도구 설치

setuptools 기반 배포도구 설치

1	python -m pip install setuptools wheel twine

파이썬 패키징

https://packaging.python.org/en/latest/tutorials/packaging-projects/ 내용을 요약, 정리, 보충한다.

프로젝트 생성

패키징 수행하면 별도의 가상환경을 생성해서 진행한다.

프로젝트를 패키징하는 과정을 위해서 packaging_tutorial 폴더 아래에 같은 구조를 갖는다.

packaging_tutorial/
└── src/
    └── example_package_YOUR_USERNAME_HERE/
        ├── __init__.py
        └── example.py

example_package_YOUR_USERNAME_HERE : 프로젝트 이름이고 중복하지 않게 한다.
__init__.py : 빈 파일로 폴더를 패키지로 인식하게 한다.
example.py : 모듈.

example.py 모듈 소스.

1 2	def add_one(number): return number + 1

패키징용 파일 생성

배포를 위한 프로젝트의 구성을 위해 패키징에 필요한 파일을 추가한 구조는 아래 같다.

packaging_tutorial/
├── LICENSE
├── pyproject.toml
├── README.md
└── src/
│   └── example_package_YOUR_USERNAME_HERE/
│       ├── __init__.py
│       └── example.py
└── tests/

LICENSE : 라이센서 선언
pyproject.toml : 프로젝트 배포 프로젝트 생성에 사용하는 프론트엔드 빌드도구 pip, 백엔드 밸드도구 build
README.md
tests/ : 테스트 파일용 공간. Leave it empty for now.

패키징의 프론트엔드, 백엔드는 참조의 5번 항목을 살펴보자.

`pyproject.toml` 구성

보통 파일 내용은 아래 항목으로 구성한다. 이 파일은 TOML 형식의 구조를 따르고 있다. 여기에 대해서는 아래 참조 4번 항목 내용을 보기 바란다.

[build-system]
...

[project]
...

[project.urls]
...

빌드 도구를 명시하는 명세서 pyproject.toml에 setuptools 를 사용한 예이다.

1
2
3

[build-system]
requires = ["setuptools>=61.0"]
build-backend = "setuptools.build_meta"

requires : 빌드용 도구 지시.
build-backend : 프론트엔드 (pip)에서 빌드에 사용하는 백엔드 도구

다음은 Hatching 이란 빌드 도구를 사용한 예이다.

1
2
3

[build-system]
requires = ["hatchling"]
build-backend = "hatchling.build"

메타 정보를 포함한 간단한 pyproject.toml 구성 결과.

[build-system]
requires = ["setuptools>=61.0"]
build-backend = "setuptools.build_meta"

[project]
name = "example_package_YOUR_USERNAME_HERE"
version = "0.0.1"
authors = [
  { name="Example Author", email="author@example.com" },
]
description = "A small example package"
readme = "README.md"
requires-python = ">=3.7"
classifiers = [
    "Programming Language :: Python :: 3",
    "License :: OSI Approved :: MIT License",
    "Operating System :: OS Independent",
]

[project.urls]
"Homepage" = "https://github.com/pypa/sampleproject"
"Bug Tracker" = "https://github.com/pypa/sampleproject/issues"

자세한 메타 정보 내역은 프로젝트 메타정보 정의를 참조한다. 주요 메타 정보의 인자:

[project]:
- requires-python : 패키지가 요구하는 최소 파이썬 버전 명시
- classifiers: pip가 인지하는 패키지에 대한 정보

README.md / LICENSE 파일

README.md 파일에 패키지 모듈를 설명한다.

# Example Package

This is a simple example package. You can use
[Github-flavored Markdown](https://guides.github.com/features/mastering-markdown/)
to write your content.

LICENSE 파일에 저작권을 명시한다.

1
2
3

Copyright (c) 2018 The Python Packaging Authority

Permission is hereby granted, free of charge, to any person obtaining a copy

배포 묶음 생성하기

배포를 위한 build 도구를 설치한다.

1	python3 -m pip install --upgrade build

packaging_tutorial 폴더 아래 pyproject.toml 파일이 있는 위치에서 배포를 위한 build 명령으로 소스를 패키징을 한다.

build 를 수행하면 별도의 venv 가상환경을 생성해서 의존성에 명시된 setuptools 등을 설치하고 빌드를 진행한다.

> python3 -m build
* Creating venv isolated environment...
* Installing packages in isolated environment... (setuptools>=61.0)
...
...
removing build\bdist.win-amd64\wheel
Successfully built example_package_YOUR_USERNAME_HERE-0.0.1.tar.gz and example_package_YOUR_USERNAME_HERE-0.0.1-py3-none-any.whl

이 명령의 결과로 dist 폴더에 우리 프로젝트에 대한 배포용 패키징으로 소스 패키징 .gz 파일, built distribution 패키징 .whl 2개의 파일이 생성된다.

1
2
3

dist/
├── example_package_YOUR_USERNAME_HERE-0.0.1-py3-none-any.whl
└── example_package_YOUR_USERNAME_HERE-0.0.1.tar.gz

pip 로 wheeels 설치하기

pip 에서 built distribution 파일을 직접 설치할 수 있다. installing-from-wheels 참조.

다음은 우리 프로젝트의 wheel 패키징을 설치한다.

1	python -m pip install example_package_YOUR_USERNAME_HERE-0.0.1-py3-none-any.whl

혹은 provides_extras 메타 정보를 사용해 추가 설치를 한다면,

1	python -m pip install './somepackage-1.0-py2.py3-none-any.whl[my-extras]'

Upload

처음 PyPi 에 업로드를 하려면 아래 2가지 단계를 거쳐서 진행해 본다.

https://test.pypi.org/account/register/ 에서 등록
1. 실제 pypi 가 아닌 튜토리얼과 테스트를 위한 곳.
PyPi 업로드를 완성하려면 PyPI API token 을 발급받아야 한다.
1. https://test.pypi.org/manage/account/#api-tokens

PyPI에 업로드가 완료되면 pip 를 통해서 패키지를 설치할 수 있다. 업로드를 위해서 Twin 패키지를 설치하고 사용해야 한다.

1	python3 -m pip install --upgrade twine

twine 모듈을 사용해서 dist/ 아래의 모든 소스/휠 패키징 묶음을 업로드할 수 있다. 지금은 testpypi 에 업로드를 해보자.

1	python3 -m twine upload --repository testpypi dist/*

업로드시 username은 __token__ 사용.
패스워드는 발급받은 pypi- 으로 시작하는 token 값.

업로드 진행은 아래 같을 것이다.

Uploading distributions to https://test.pypi.org/legacy/
Enter your username: __token__
Uploading example_package_YOUR_USERNAME_HERE-0.0.1-py3-none-any.whl
100% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 8.2/8.2 kB • 00:01 • ?
Uploading example_package_YOUR_USERNAME_HERE-0.0.1.tar.gz
100% ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.8/6.8 kB • 00:00 • ?

여기서 repository로 testpypi 를 지정했으므로 업로드한 결과는 다음 같이 확인할 수 있다.

https://test.pypi.org/project/example_package_YOUR_USERNAME_HERE

저장소에서 설치하기

위에 testpypi 에 업로드한 패키지를 설치하려면 아래 같이 --index-url 로 저장소를 지정해서 사용한다.

1	python3 -m pip install --index-url https://test.pypi.org/simple/ --no-deps example-package-YOUR-USERNAME-HERE

PyPI 에 업로드

마지막으로 실제 패키지를 PyPI에 업로드하려면 https://pypi.org 등록을 하고, 등록한 사용자 아이디를 사용하고 --repository 인자를 제외하고 업로드하면 된다.

1	python3 -m twine upload dist/*

통합 메타 정보로서 `pyproject.toml` 활용

테스트, 코드 포맷팅 등에 대한 정보로 활용한다. 대표적으로는 코드 포맷팅 도구인 black, 테스트용 프레임워크인 pytest 등이 pyproject.toml에 설정 값을 저장하고 있다 - 파이썬 패키징의 역사, blog

# pyproject.toml of black
[tool.black]
line-length = 88
target-version = ['py36', 'py37', 'py38']
include = '\.pyi?$'

이후에 다른 빌드 도구들, 테스트 도구들을 다뤄보자.

poetry:
- Poetry를-사용하여-가상환경-만들기
- poetry를 사용한 파이썬 dependency관리

참고

파이썬 모듈 배포하기, python.org
Tool recommendations, python.org
1. 주요 패키징에 필요한 도구 안내
파이썬 패키징의 역사, blog
TOML의 이해와 기본 활용, itworld
Python package의 build frontend 와 backend

2023-05-14 게시 됨2023-06-20 업데이트 됨Programming / Python1분안에 읽기 (약 223 단어)

Jupyterlab 의 extension 을 설치하고 build 시 npm 에러.

jupyterlab 의 확장 모듈을 다운받아 설치시 nodejs 실행 환경이 제공되야 한다.

jupyterlab 확장 build error

jupyterlab 의 확장 모듈을 다운받아 설치하다 보면 npm 과 연계한 프로그램이 많다. 아래 같은 nodejs 관련 에러를 발생한다.

daddy> jupyter lab build
...
...
An error occurred.
RuntimeError: npm dependencies failed to install
See the log file for details:  C:\Users\USERID\AppData\Local\Temp\jupyterlab-debug-4kr1lkn1.log

결론으로 현재 jupyterlab 을 실행하는 환경에서

nodejs 버전이 설치되어 있고
jupyterlab extensions가 활성화 되어 있다면

해당 로그 파일을 확인해 보면 대부분 nodejs 버전이 일치하지 않아서 아래 같은 로그를 기록하고 있어 보인다.

1 2	error readable-stream@4.3.0: The engine "node" is incompatible with this module. Expected version "^12.22.0 \|\| ^14.17.0 \|\| >=16.0.0". Got "14.15.0" error Found incompatible module.

nodejs 버전을 업그레이드 하고 빌드를 수행하니 잘 된다.

2023-05-11 게시 됨2023-05-12 업데이트 됨Programming / Python2분안에 읽기 (약 296 단어)

Python 에서 secret 키 값 이용하기 - json

크롤링, 데이터 베이스 연결등에 사용자 인증번호를 사용하는데 코드 자체에 아이디/비밀번호를 입력해서 사용하면 유출의 염려가 있으므로 이를 외부 파일에 두고 관리하고자 한다.

여러가지 방법이 있겠지만 여기서는 json 을 사용한다.

key:value 형식의 properties, 윈도우 ini 같은 형식을 지원하는 configparser 모듈도 좋은 선택 같다.

json 이용 키 관리

외부에 아래 형식의 secret 파일을 생성한다.

디렉토리: .api_keys/ 폴더 사용
파일: secret_keys.json

secret_keys.json

{   "naver.com" : {
        "userid": "UR_ID",
        "password" :"votmdnjem" },
    "apple.net": {
        "userid": "UR_ID",
        "password" : "votmdnjem" },
    "api.twitter.com": {
        "CONSUMER_KEY" : "unJgTOc0aZkk7NoX4LlD5g",
        "CONSUMER_SECRET":"uHdmctDcPM66s9OasrKnr2x3pu88",
        "ACCESS_TOKEN" : "98948674-J9auHiBiOGoWUJOzRafp",
        "ACCESS_TOKEN_SECRET" : "kKgT9tlSY2rCIAbWJrCEEiTsR37" },
    "my_database" : {
            "userid" : "UR_ID",
            "password" : "votmdnjem"}
}

파일 사용

json 모듈을 사용해서 해당 파일을 읽으면 키:값 형식으로 참조해서 사용할 수 있다.

import json

with open('../../.api_keys/secret_keys.json') as f:
    secrets = json.loads(f.read())

이렇게 읽어들인 json 은 dict 같이 사용할 수 있다.

1	DB_USER, DB_PW = secrets['my_database']['userid'], secrets['my_database']['password']

2023-04-30 게시 됨2023-05-12 업데이트 됨Programming / Python4분안에 읽기 (약 577 단어)

pip/conda Proxy 사용하기

회사 등에서 방화벽을 사용하는 경우 pip / conda 저장소에서 패키지 설치가 안되는 경우가 있다. 또한 방화벽 안에서 설치할 경우 SSL verification error 에러 발생으로 설치가 안되기도 한다. 이런 경우 직접 pip 혹은 conda 설치가 안되는 경우에 프락시 지정을 해서 사용이 가능하다.

conda proxy

.condarc 파일과 conda 명령 옵션으로 사용할 수 있다.

`.condarc` 파일

사용자 홈디렉토리 .condarc 파일에 proxy 구성을 한다.

Using the .condarc conda configuration file

파일에 proxy_servers 구성해 사용한다.

1
2
3

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080

ssl_verify: SSL verification error

방화벽 때문에 파이썬 패키지를 설치할 때 SSL 인증 오류(SSL verification error)가 생겨 곤란할 때가 있다. 만약 프락시 인증서가 필요하면 pip 인증서를 추가하면 ssl verification 에러를 피할 수 있다.

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080
ssl_verify: %programdata%\pip\dscert.crt

`conda --set` 옵션 사용

설정 파일 대신 conda 명령에서 --set 옵션을 사용하면 설정 파일을 편집해서 저장이 된다.

1	conda config --set [설정내용]

다음은 ssl_verify 에 pip 인증서를 추가하거나 False 로 제외하고 사용하고 있다.

1	conda config --set ssl_verify False

명령에서 즉시 사용할 때는 --add 옵션을 사용한다.

pip proxy

pip 명령은 명려에서 옵션 pip proxy 옵션을 사용하거나 설정 파일 pip.ini 로 구성할 수 있다.

pip Configuration

pip.ini

pip는 사용자 구성에서 아래 같이

윈도우: %HOMEPATH%\pip\pip.ini
리눅스/맥: $HOME/.pip/pip.conf

trusted-host 를 구성해 준다.

[global]
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

ssl cert

SSL 의 경우 cert 옵션을 사용할 수 있다.

[global]
cert=C:\Users\user\pip\cert.crt
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

pip 명령 사용

명령으로 직접 proxy 를 지정할 수 있다.

1	pip install --proxy https://{proxy}:{port} {BINARY}

다음 같인 trusted-host 등도 지정 할 수 있다.

1	pip install --upgrade --proxy https://IP_ADDRESS:8080 --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org matplotlib numpy openpyxl xlrd xlwt pandas

2022-10-05 게시 됨2023-05-12 업데이트 됨Programming / Python7분안에 읽기 (약 975 단어)

Python : pyenv-windows 와 Jupyterlab 환경

pyenv-windows 와 Jupyterlab 환경

pyenv-windows 설치

파워셀에서 설치 스크립트를 실행해서 설치하는 과정으로 정리되어 있다.

사이트: https://github.com/pyenv-win/pyenv-win

준비

테스트
- Windows 10 Home 21H1 / 19043.928
- Microsoft Visual C++ 2015-2019 Redistribution
- pip version 22.1 혹은 22.0 상태
주의
Windows 최신 (Windows 11 등)

pip 22.3 이상인 경우 Microsoft Visual C++ Build Tools 를 설치해야 한다.

이어지는 Microsoft C++ Build Tools 설치 참조해 설치한다.

PowerShell 스크립트 실행 모드 확인

외부 스크립을 실행할 수 있기 위해서는 ExecutionPolicy가 unrestricted 상태여야 한다.

PowerShell을 관리자 모드로 실행해

다음과 같이 입력

1 2	> ExecutionPolicy <-- 현재 상태 확인 Restricted <-- 모든 스크립트 막은 상태

모드 변경을 위해 다음 명령 실행

1	> Set-ExecutionPolicy Unrestricted

모드 변경 확인

1 2	> ExecutionPolicy <-- 현재 상태 확인 Unrestricted <-- 모든 스크립트 허용 상태.

모드가 Unrestricted 상태에서 pyenv-win 을 설치한다.

pyenv-win 설치

pyenv-win 설치 항목에서 파워쉘을 통해 스크립트 실행을 통해 설치한다. 모든 방법들은 윈도우 홈 디렉토리의 .pyenv/ 폴더 아래에 실행 스크립을 위치한다.

인스톨러

다음 파워쉘 스크립트를 파워쉘에서 실행한다.

1 2	Invoke-WebRequest -UseBasicParsing -Uri "https://raw.githubusercontent.com/pyenv-win/pyenv-win/master/pyenv-win/install-pyenv-win.ps1" -OutFile "./install-pyenv-win.ps1"; &"./install-pyenv-win.ps1"

만약 Unauthorized Script 에러가 나면 PowerShell 스크립트 실행 모드 확인 같이 Unrestricted 모드로 설정해야 한다.

실행하면 %USERPROFILE%/.pyenv 아래에 관련 파일을 다운로드 한다.

설치 완료후 파워쉘에서 pyenv 명령을 실행하면 아래 같이 도움말 화면이 나오면 성공이다.

Microsoft C++ Build Tools 설치

pip versions 22.3 이상 업그레이드 혹은 설치를 하면 Redistribution 패키지 설치로는 해결이 안된다.

pip v22.1 까지는 Microsoft Visual C++ 2015-2019 Redistribution 로도 충분하다.

다음 사이트에서 build tools 을 다운로드 받아 설치한다.

https://visualstudio.microsoft.com/visual-cpp-build-tools/

설치시 아래 옵션을 선택해 설치한다.

Python 배포본 설치

이제 pyenv 를 사용해서 Python 3.10, Python 3.9 버전을 설치해 보자.

설치 가능한 버전은 pyenv install -l 명령으로 확인 가능하다. 아래 같이 파워셀에서 필요한 버전을 필터링해 확인해 보자.

PS > pyenv install -l | findstr 3.9
.
.
3.9.11
3.9.12-win32
3.9.12
3.9.13-win32
3.9.13

원하는 버전의 버전 번호를 입력해 설치한다.

윈도우 버전의 배포본이 pyenv 의 가상환경 폴더 밑에 설치 된다.

이어서 바로 Python 3.9 버전도 설치해 보자.

윈도우 버전 배포본 설치가 진행된다.

pyenv 에서 설치한 Python 3.10, Python 3.9 를 설치 확인을 해보자

Jupyter-Lab 설치

3.9 버전을 글로벌로 지정했다.

1	PS C:\Users\andro> pyenv global 3.9.12

pyenv 가능한 버전 확인

1
2
3

PS C:\Users\andro> pyenv versions
  3.10.4
 *3.9.12

현재 파워쉘의 파이썬 버전을 3.10 으로 지정했다.

1
2
3

PS C:\Users\andro> pyenv shell 3.10.4
PS C:\Users\andro> python -V
Python 3.10.4

venv 모듈로 가상환경을 생성하고 활성화 한다.

1
2
3

PS C:\Users\andro> python -m venv .venv/jupyter_p310
PS C:\Users\andro>.\.venv\jupyter_p310\Scripts\activate
(jupyter_p310) PS C:\Users\andro>

jupyter-lab 설치

1 2	(jupyter_p310) PS C:\Users\andro> pip install jupyterlab Collecting jupyterlab

Jupyter-lab에서 사용할 notebook 공간 생성

1	(jupyter_p310) PS C:\Users\andro> mkdir jupyter-work

jupyter-lab 실행

(jupyter_p310) PS C:\Users\andro> jupyter-lab --no-browser .\jupyter-work\
...
[I 2022-05-24 03:27:03.847 ServerApp] Serving notebooks from local directory: C:\Users\andro\jupyter-work
[I 2022-05-24 03:27:03.847 ServerApp] Jupyter Server 1.17.0 is running at:
...
    To access the server, open this file in a browser:
        file:///C:/Users/andro/AppData/Roaming/jupyter/runtime/jpserver-4664-open.html
    Or copy and paste one of these URLs:
        http://localhost:8888/lab?token=866bdd9bed841f4dafc5c431a7ffcd4b01f516e4583f38d7
     or http://127.0.0.1:8888/lab?token=866bdd9bed841f4dafc5c431a7ffcd4b01f516e4583f38d7
[W 2022-05-24 03:28:04.189 LabApp] Could not determine jupyterlab build status without nodejs

2022-10-01 게시 됨2023-05-12 업데이트 됨Programming / Python9분안에 읽기 (약 1422 단어)

[HTS API] 대신증권 CybosPlus Python API 준비

국내 증권사들 중에서 주식거래 HTS 를 통해서 API 를 지원하고 있다. 여기서는 대신증권 CybosPlus 를 사용해보려고 한다.

대신증권 CybosPlus 설치
32bit Miniconda환경
JupyterLab 시작
Powershell Openssh 설치
- 원격으로 접속시

증권 HTS API 와 Jupyter Lab 환경

HTS에서 제공하는 OpenAPI 를 사용해서 주식 정보 및 주문을 처리할 수 있다. 여기서는 Jupyter lab 으로 윈도우 머신에 설치된 Open API 를 지원하는 HTS 사용하는 과정을 정리했다.

증권사별 API 비교

“”	키움 증권	대신 증권	이베스트 증권
제공방식	OCX	COM	COM, DLL
파이썬	보통	좋음	보통
API사용성	보통	좋음	좋음
API거래 수수료	0.015% (HTS수준)	0.015% (HTS수준) 월정액 15000+0.0088%	0.015% (HTS수준)

사전 준비

대부분 윈도우용 COM API 를 지원하는 HTS 는 32bit 기반의 Python 환경.
32bit Miniconda2 를 설치해서 사용하겠다.

대신증권 CybosPlus 설치

대신증권의 API 서비스인 CybosPlus 를 사용한다.

Cybos 5 설치
Python2.7 32bit 환경인 Miniconda 32bit 버전 설치

Cybos 5 설치

설치를 하고 CybosPlus 로 인증서를 통해서 로그인한다.

HTS 가동과 연결

HTP 프로그램은 보통 자동으로 관리자 모드로 실행된다. 이 API를 사용하는 파이썬 프로그램도 역시 관리자 모드로 실행되야 한다.

32bit Miniconda2 환경

윈도우 머신에 Python2.7 기반 32bit 용 Miniconda 를 설치한다. 그리고 필요에 따라 64bit miniconda 를 설치한다. 설치하게 되면 32비트 버전은 Miniconda2, 64비트 버전은 miniconda3 으로 구분할수 있다.

대신증권 가상환경

관리자 권한으로 HTS 를 실행하기 때문에 Python을 통한 API 호출도 관리자 권한이 필요하다. 관리자 권한으로 miniconda 를 실행하고 대신증권 가상환경을 생성한다.

메뉴에서 miniconda 쉘을 실행하면 아래같이 나타난다.

1
2
3

(base) C:\Windows\system32>
(base) C:\Windows\system32>d:
(base) D:\> conda create -n daeshin_hts jupyter

대신증권 API를 사용하기 위해서 가상환경을 설정한다. 테스트/응용을 위해서 jupyter 환경을 구성한다.

(base) D:\>conda env list
# conda environments:
#
base                  *  C:\Users\daddy\miniconda2
daeshin_hts              C:\Users\daddy\miniconda2\envs\daeshin_hts
                         C:\Users\daddy\miniconda3
                         C:\Users\daddy\miniconda3\envs\deeplearning
                         C:\Users\daddy\miniconda3\envs\ml
                         C:\Users\daddy\miniconda3\envs\tf2
                         C:\Users\daddy\miniconda3\envs\tf25
                         C:\Users\daddy\miniconda3\envs\tf26

JupyterLab 시작

필요한 패키지를 설치하고 jupyterlab 을 실행한다. 먼저 가상환경을 활성화 한다.

1	(base) > conda activate daeshin_hts

패키지 설치

가상환경을 활성화 하고 jupyterlab numpy scipy matplotlib 패키지를 설치한다.

1	(daeshin_hts) > conda install jupyterlab numpy scipy matplotlib

콘다 가상환경이 생성된 후에 가상환경을 활성화 한다.

Jupyter Lab을 시작한다.

1	(daeshin_hts) > jupyter lab WORK_FOLDER

JupyterLab Config

원격 접속등을 위해서 비밀번호를 사용한다. 그러기 위해서 구성 파일을 통해서 비밀번호, 포트 번호등을 설정해야 한다.

generate-config

Jupyter Lab 에서 설정 파일을 생성한다. 다음 명령으로 각각 $HOME/.jupyter/ 위치에 jupyter_notebook_config.py 파일이 생성된다.

1	(daeshin_hts)> jupyter lab --generate-config

jupyter_notebook_config.py 설정 파일에 비밀번호를 추가하려면 비밀번호를 생성하는데 jupyter 명령과 python 명령에서 생성하는 2가지 방법이 있다.

1) jupyter 명령으로 패스워드 생성

첫번째로 아래는 쥬피터 폴더에 있는 파일 ‘jupyter_notebook_config.json’에 패스워드를 생성해 준다.

1
2
3

(daeshin_hts)$ jupyter notebook password                                        Enter password:
Verify password:
[NotebookPasswordApp] Wrote hashed password to $HOME\.jupyter\jupyter_notebook_config.json

위 명령으로 jupyter_notebook_config.json에 암호가 생성되면 “”sha1:723c…” 로 시작하는 패스워드 해시코드를 복사한 후 jupyter_notebook_config.py 파일의 c.NotebookApp.password 항목에 입력을 한다.

2) python 명령으로 비밀번호 생성

비밀번호 설정 다른 방법으로 파이썬에서 passwd 모듈을 실행해서 비밀번호를 얻을 수 있습니다.

(daeshin_hts)$ python
>> from notebook.auth import passwd
>> passwd()
>> Enter password:
>> Verify password:

'sha1:********'

출력되는 sha1 암호문자열을 복사해서 사용하시면 됩니다.

[jupyter_notebook_config.py]

c.NotebookApp.password = 'sha1:*********'    # 외부 접속시 사용할 비밀번호
c.NotebookApp.ip = '*'                       # 어디서든 접속 가능
c.NotebookApp.port = 8888                       # 접속에 사용할 포트

Powershell Openssh 설치

윈도우에 원격 접속해서 HTS를 위한 파이썬 가상환경에서 jupyterlab을 실행할 필요가 있다. 이때 윈도우 파워쉘에서 openssh 설치하고 연결한 후에 administrator 계정으로 관리자 모드로 jupyhter 를 실행한다.

https://docs.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_install_firstuse

윈도우즈 administrator 활성화

대신 hts 에 접속하기 위해서는 관리자 권한이 필요하다. ssh로 윈도우즈 계정 로그인은 되지만 hts 활설화를 위해서

administrator 게정을 활성화 한다.
파웨쉘을 관리자로 실행해 다음 같이 실행한다.

1	(daeshin_hts)> net user administrator /active:yes

jupyter-lab을 runas 명령으로 실행한다.

1
2
3

(daeshin_hts)> runas /env /user:administrator "jupyter-lab.exe .\Jupyter-HTS\"
administrator의 암호 입력:
jupyter-lab.exe .\Jupyter-HTS"을(를) 사용자 "DESKTOP-GOYANGI\administrator"(으)로 시작하려고 합니다.

참고

2022-08-05 게시 됨2023-05-12 업데이트 됨Programming / Python1분안에 읽기 (약 198 단어)

Python : pip 명령 proxy 지정

방화벽 등으로 직접 pip 혹은 conda 설치가 안되는 경우에 프락시 지정을 해서 사용이 가능하다.

Anaconda proxy

사용자 홈디렉토리 .condarc 파일에 proxy 구성을 한다. 만약 프락시 인증서가 필요하면 인증서를 추가한다.

proxy_servers:
     http: http://IP_ADDRESS:8080
     https: https://IP_ADDRESS:8080
 ssl_verify: %programdata%\pip\dscert.crt

pip

pip 명령은 명려에서 옵션 pip proxy 옵션을 사용하거나 pip.ini 로 구성할 수 있다.

1	pip install --upgrade --proxy https://IP_ADDRESS:8080 --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host files.pythonhosted.org matplotlib numpy openpyxl xlrd xlwt pandas

사용자 정의 폴더

pip는 사용자 구성에서 아래 같이

폴더: ~/pip

pip.ini

[global]
cert=C:\Users\user\pip\cert.crt
proxy=http://IP_ADDRESS:8080
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

2021-09-15 게시 됨2023-05-12 업데이트 됨Programming / Python3분안에 읽기 (약 483 단어)

pyenv 기반 Anaconda 사용하기

PyEnv + Anaconda

pyenv 와 Anaconda 를 사용하려고 한다. pyenv로 배포본을 관리를 하고, 특정 Local 에서 Anaconda 를 사용하려고 한다.

개발환경은

Ubuntu 16.04 or later
Windows 7 or later
macOS 10.12.6 (Sierra) or later (no GPU support)
Raspbian 9.0 or later

Pyenv 로 기본 python 환경을 사용하고 더해서 Anaconda 를 설치해서 사용하려고 한다.

1. pyenv - Anaconda 설치

Pyenv로 설치 할 anaconda 버전을 확이한다.

1	$ pyenv install -l \| grep anaconda

anaconda 를 설치한다

1 2	$ pyenv install anaconda3-2021.05 ...

Anaconda 활성화

$ pyenv versions
  system
* 3.9.5 (set by /home/qkboo/.pyenv/version)
  anaconda3-2021.05

Local 명령을 사용해서 특정 디렉토리에서만 anaconda 환경을 쓰려고 한다.

~$ cd Jupyter-ML
~$ pyenv local anaconda3-2021.05
$ cat .python-version
anaconda3-2021.05

Anaconda init

쉘 환경에서 conda 를 사용하기 위해서 환경변수를 초기화 해야 하는데 다음 명령으로 실행한다.

$ conda init bash
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/condabin/conda
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda-env
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/activate
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/deactivate
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/profile.d/conda.sh
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/fish/conf.d/conda.fish
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/shell/condabin/Conda.psm1
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/shell/condabin/conda-hook.ps1
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/site-packages/xontrib/conda.xsh
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/profile.d/conda.csh
modified      /Users/qkboo/.bash_profile

==> For changes to take effect, close and re-open your current shell. <==

위 명령은 아래 환경 변수가 작용된다.

NACONDA_HOME=/Users/who/anaconda3
PATH=$PATH:$ANACONDA_HOME/bin

export ANACONDA_HOME
export PATH

쉘을 다시 열면 쉘 프롬프트가 변경된다.

(base) ~$

파이썬 버전 확인

다른 디렉토리에서는 글로벌 파이썬이 실행된다.

1 2	(base) qkboo@desktop-goyangi:~$ pyenv which python /home/qkboo/.pyenv/versions/3.9.5/bin/python

Anaconda 로 지정한 로컬 디렉토리로 이동하면 해당 파이썬 환경이 사용된다.

1 2	(base) qkboo@desktop-goyangi:~/Jupyter-ML$ pyenv which python /home/qkboo/.pyenv/versions/anaconda3-2021.05/bin/python

2021-09-07 게시 됨2023-05-12 업데이트 됨Programming / Python11분안에 읽기 (약 1684 단어)

pyenv 와 Anaconda 병행 사용

PyEnv + Anaconda

개발환경은

Ubuntu 16.04 or later
Windows 7 or later
macOS 10.12.6 (Sierra) or later (no GPU support)
Raspbian 9.0 or later

pyenv 와 pyenv-virtualenv 기반으로 Anaconda 를 사용하려고 한다. pyenv로 배포본을 관리를 하고, pyenv-virtualenv와 conda 환경의 가상환경을 이용한다.

pyenv-Anaconda 환경

ananconda 와 miniconda

anaconda & miniconda 복합환경

1. pyenv - Anaconda 설치

설치할 anaconda 버전을 확이한다.

1	$ pyenv install -l \|grep anaconda

anaconda 를 설치한다 - 시간이 많이 걸린다.

$ pyenv install anaconda3-5.3.1
Downloading Anaconda3-5.3.1-MacOSX-x86_64.sh.sh...
-> https://repo.continuum.io/archive/Anaconda3-5.3.1-MacOSX-x86_64.sh
...

anaconda3-5.3.1 버전을 전역에서 사용하도록 한다.

1	$ pyenv global anaconda3-5.3.1

global로 지정하고 버전을 확인해 보면

$ pyenv versions
  system
  3.8.1
* anaconda3-5.3.1 (set by /Users/qkboo/.pyenv/version)

일반적으로 Anaconda 만을 사용한다면 설치후 사용자 쉘 환경에서 conda 를 사용하기 위해서 환경변수를 초기화 해야 하는데 다음 명령으로 실행한다.

$ conda init bash
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/condabin/conda
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda-env
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/activate
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/deactivate
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/profile.d/conda.sh
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/fish/conf.d/conda.fish
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/shell/condabin/Conda.psm1
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/shell/condabin/conda-hook.ps1
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/lib/python3.7/site-packages/xontrib/conda.xsh
no change     /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/etc/profile.d/conda.csh
modified      /Users/qkboo/.bash_profile

==> For changes to take effect, close and re-open your current shell. <==

위 명령은 아래 환경 변수가 작용해서 conda 의 가상환경을 다루는 쉘 스크립을 실행해 준다.

NACONDA_HOME=/Users/who/anaconda3
PATH=$PATH:$ANACONDA_HOME/bin

export ANACONDA_HOME
export PATH

쉘을 다시 열면 쉘 프롬프트가 변경된다.

1	(base) qkboo@ ~$

pyenv 기반 Anaconda 사용

그런데 pyenv 에서 다른 배포본과 Ananconda 를 같이 사용한다면 conda 초기 환경이 아주 불편할 수 있어서 아래 같이 conda 가상환경 시작을 불가능하게 해야 한다.

init conda, the following command write scripts into your shell init file automatically

conda init

# disable init of env "base"
conda config --set auto_activate_base false

보통 conda init 를 해주면 쉘 스크립의 마지막 위치에 삽입된다. 그러므로 .bash_profile 에 있는 pyenv 초기화가 항상 마지막에 실행되도록 하자.

pyenv 와 anaconda 환경의 전환 정리

Examples of managing virtual environments.

# virtual environments from pyenv
pyenv install 3.6.9
pyenv virtualenv 3.6.9 new-env
pyenv activate new-env
pyenv deactive
# You can also use `pyenv local`

# virtual environments from conda
conda create -n new-env python=3.6
conda env list
conda activate new-env
conda deactivate

anaconda 패키지와 환경관리를 할 수 있는 conda 명령어 몇가지를 소개

// 아나콘다의 버전 확인
conda --version

// 아나콘다 버전 업데이트
conda update conda

// 설치된 패키지 리스트
conda list

// conda 통해 설치 가능한 패키지 검색
conda search "tensorflow"

conda에서 개발 준비하기

Anaconda 설치가 완료되면 conda 명령으로 TensorFlow를 사용할 환경을 구성하고 사용해 보자.

가상환경 생성

$ conda create -n tensorflow_env

...

The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    pip-20.0.2                 |           py37_1         1.9 MB
    tensorboard-2.0.0          |     pyhb38c66f_1         3.3 MB
    ...

The following NEW packages will be INSTALLED:

    _tflow_select:        2.3.0-mkl
    ...

Proceed ([y]/n)?

또한 python= 인자로 파이썬 버전을 지정할 수 있다.

1	$ conda create -n tensorflow python=3.8

현재 생성한 가상환경을 확인해 보자,

(base)$ conda env list
# conda environments:
#
base                  *  /Users/qkboo/.pyenv/versions/anaconda3-5.3.1
deep-learning            /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/envs/deep-learning

새로만든 conda 가상환경을 활성화 한다.

1 2	$ conda activate tensorflow_env (tensorflow_env) qkboo@ ~$

가상환경에서 Jupyter Notebook 을 설치한다.

jupyter notebook 설치

활성화한 가상환경에서 Jupyter Notebook 을 설치한다.

1	(tensorflow_env)$ conda install jupyter notebook

필요시 nb-extension 설치

(tensorflow_env)$ conda install -c anaconda-nb-extensions nb_conda
Collecting package metadata (repodata.json): done
Solving environment: done

## Package Plan ##

  environment location: /Users/qkboo/.pyenv/versions/anaconda3-5.3.1/envs/deep_learning

  added / updated specs:
    - nb_conda

2. anaconda & miniconda 복합환경

현재 시스템에 pyenv로 파이썬 환경이 anaconda, miniconda 그리고 python 3.9 등이 중복되어 설치되어 있다. pyenv 가 중심이 되어 conda 를 다루기 위해서 miniconda 를 우선으로 구성되어 있다. shell 스크립트 부분이다.

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/Users/qkboo/.pyenv/versions/miniconda3-latest/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/Users/qkboo/.pyenv/versions/miniconda3-latest/etc/profile.d/conda.sh" ]; then
        . "/Users/qkboo/.pyenv/versions/miniconda3-latest/etc/profile.d/conda.sh"
    else
        export PATH="/Users/qkboo/.pyenv/versions/miniconda3-latest/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

# Pyenv
export PYENV_ROOT="$HOME/.pyenv"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init -)"

현재 pyenv 로 설치한 파이썬 환경을 살펴보면,

qkboo@ ~$ pyenv versions
  system
  3.8.1
* 3.8.7 (set by /Users/qkboo/.pyenv/version)
  3.8.7/envs/opencv4
  3.8.7/envs/tf2_build
  3.9.1
  anaconda3-5.3.1
  anaconda3-5.3.1/envs/opencv3
  anaconda3-5.3.1/envs/opencv4
  anaconda3-5.3.1/envs/py27
  miniconda3-latest
  miniconda3-latest/envs/deep_learning
  miniconda3-latest/envs/django3
  miniconda3-latest/envs/tf24_cpu
  miniconda3-latest/envs/tf2_p37
  miniconda3-latest/envs/tkinter
  opencv4
  tf2_build

conda 툴을 사용하는 anaconda, miniconda 가 혼재된 환경에서 pyenv로 가상환경을 즉시 활성화 시키면 conda 명령 실행에 혼선을 일으킨다. 예를 들어 위의 가상환경 anaconda3-5.3.1/envs/opencv4 을 pyenv로 활성화 하고 python, conda 명령을 실행해 보면

~$ pyenv shell opencv4
~$ pyenv version
opencv4 (set by PYENV_VERSION environment variable)
~$ which python
/Users/qkboo/.pyenv/shims/python

가상환경의 python 위치를 확인해 보고, conda 명령을 찾아 보자,

~$ pyenv which python
/Users/qkboo/.pyenv/versions/opencv4/bin/python

$ pyenv which conda
pyenv: conda: command not found

The `conda' command exists in these Python versions:
  anaconda3-5.3.1
  miniconda3-latest

pyenv 환경 아래 2개의 conda 때문에 혼선이 나타난다.

예를 들어 현재 쉘 환경에서 파이썬 환경 ananconda3-5.3.1 을 사용하도록 하고, conda 를 확인해 보면 명확하게 해당 파이썬 환경의 anaconda 의 가상환경을 가르키지만! conda env 명령의 결과는 다르게 나타낸다.
anaconda 뒤에 minicond를 설치해서 miniconda 가상환경이 우선으로 나타난다.

~$ pyenv shell anaconda3-5.3.1
~$ pyenv which conda
/Users/qkboo/.pyenv/versions/anaconda3-5.3.1/bin/conda
~$ conda env list
# conda environments:
#
base                  *  /Users/qkboo/.pyenv/versions/miniconda3-latest
deep_learning            /Users/qkboo/.pyenv/versions/miniconda3-latest/envs/deep_learning
django3                  /Users/qkboo/.pyenv/versions/miniconda3-latest/envs/django3
tf24_cpu                 /Users/qkboo/.pyenv/versions/miniconda3-latest/envs/tf24_cpu
tf2_p37                  /Users/qkboo/.pyenv/versions/miniconda3-latest/envs/tf2_p37
tkinter                  /Users/qkboo/.pyenv/versions/miniconda3-latest/envs/tkinter

그래서 가상환경 활성화시 가상환경 디렉토리를 지정해서 사용하자!

그래서 anaconda 와 miniconda 환경을 활성화 시키려면 shell, local, system 명령을 통해 설치된 파이썬 환경을 활성화 하고, 해당 파이썬 환경에서 가상환경을 다루는 것이 좋다.

예를 들어 현재 쉘 환경에서 파이썬 환경 ananconda3-5.3.1 을 사용하도록 실제 가상환경 위치를 지정해서 활성화 한다.

1 2	~$ conda activate .pyenv/versions/anaconda3-5.3.1/envs/opencv4/ (opencv4) ~$

numpy 출력 형식 변경

numpy 숫자 출력 형식 변경

현재 출력형식 확인

- formatter 이용

- precision 이용

- threshold 이용

numpy.printoptions 사용

pandas 숫자 출력 형식 변경

pd.options.display

- row, column 출력 개수 조정

- pd.get_option(), pd.set_option() 함수

- 컬럼의 폭 조정

- chop_threshold

숫자 포매팅

- float_format

- precision

- 설정 초기화 reset_option()

- 옵션 설명 describe_option()

참고

파이썬 모듈 배포하기

[핵심 용어]

도구 설치

파이썬 패키징

프로젝트 생성

패키징용 파일 생성

pyproject.toml 구성

README.md / LICENSE 파일

배포 묶음 생성하기

pip 로 wheeels 설치하기

Upload

저장소에서 설치하기

PyPI 에 업로드

통합 메타 정보로서 pyproject.toml 활용

다음

참고

jupyterlab 확장 build error

json 이용 키 관리

secret_keys.json

파일 사용

conda proxy

.condarc 파일

ssl_verify: SSL verification error

conda --set 옵션 사용

pip proxy

pip.ini

ssl cert

pip 명령 사용

pyenv-windows 와 Jupyterlab 환경

pyenv-windows 설치

준비

PowerShell 스크립트 실행 모드 확인

pyenv-win 설치

인스톨러

Microsoft C++ Build Tools 설치

Python 배포본 설치

Jupyter-Lab 설치

증권 HTS API 와 Jupyter Lab 환경

사전 준비

대신증권 CybosPlus 설치

Cybos 5 설치

HTS 가동과 연결

32bit Miniconda2 환경

대신증권 가상환경

JupyterLab 시작

패키지 설치

JupyterLab Config

generate-config

1) jupyter 명령으로 패스워드 생성

2) python 명령으로 비밀번호 생성

Powershell Openssh 설치

윈도우즈 administrator 활성화

참고

Anaconda proxy

pip

사용자 정의 폴더

pip.ini

PyEnv + Anaconda

1. pyenv - Anaconda 설치

Anaconda 활성화

Anaconda init

- `pd.get_option()`, `pd.set_option()` 함수

- 설정 초기화 `reset_option()`

- 옵션 설명 `describe_option()`

`pyproject.toml` 구성

통합 메타 정보로서 `pyproject.toml` 활용

`.condarc` 파일

`conda --set` 옵션 사용