RTX 3080TI 를 사용해서 LLM 모델 llama-bench 로 벤치마크 테스트를 수행했다.

1. llama-3-korean-bllossom-8B
2. llama-3.1-korean-reasoning-8B
3. UNIVA-Deepseek-llama3.1-Bllossom-8B
4. Deepseek-r1-distill-llama-8B
5. DeepSeek-R1-Distill-Qwen-14B
6. DeepSeek-R1-Distill-Qwen-32B

벤치마크 결과는 아래 테이블 같이 나온다.

컬럼의 의미는 다음 같다.

• Prompt processing (pp): processing a prompt in batches (-p)
• Text generation (tg) :
• n-gpu-layers (ngl) : GPU offload layers

llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

8B 파라미터 크기를 가진 Llama3 fintuned 모델

• MLP-KTLim/llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

ngl 을 변경하며 벤치마킹,

1

llama-bench -m llama-3-Korean-Bllossom-8B-Q4_K_M.gguf -ngl 10,20,30,40,50 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

정리:

• RTX3080TI 에서 ngl=40 개 정도에서 꽤, 쓸만하게 반응한다. (시간적으로)

lemon-mint/LLaMa-3.1-Korean-Reasoning-8B-Instruct-Q8

llama3.1-8B 는 32 layers 를 가진 모델이다.

• https://huggingface.co/lemon-mint/LLaMa-3.1-Korean-Reasoning-8B-Instruct
• https://huggingface.co/lemon-mint/LLaMa-3.1-Korean-Reasoning-8B-Instruct-Q8_0-GGUF

여기서는 lemon-mint/llama-3.1-korean-reasoning-8b-instruct-q8_0.gguf 모델을 사용ㅇ했다.

1

llama-bench -m Bllossom/lemon-mint/llama-3.1-korean-reasoning-8b-instruct-q8_0.gguf -ngl 25,30,35,40,45

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

정리

• RTX3080TI 는 8B 모델들은 적당히 잘 돌아 간다.
• bllossom 8B 와 비슷하게 ngl=40 가 적당하다.

UNIVA-Deepseek-llama3.1-Bllossom-8B

DeepSeek-Bllossom Series는 기존 DeepSeek-R1-Distill Series 모델의 language mixing, 다국어 성능 저하 문제를 해결하기 위해 추가로 학습된 모델입니다.

DeepSeek-llama3.1-Bllossom-8B는 DeepSeek-R1-distill-Llama-8B 모델을 베이스로 구축된 모델로, 한국어 환경에서의 추론 성능 향상을 목표로 개발되었습니다.

• mradermacher/DeepSeek-R1-Distill-Llama-8B_korean_reasoning-GGUF

6Bit

1

llama-bench -m UNIVA-DeepSeek-llama3.1-Bllossom-8B-Q6_K.gguf -ngl 20,23,25,27,30 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

1

(Deepseek_R1) qkboo:~$ llama-bench -m /mnt/e/LLM_Run/UNIVA-DeepSeek-llama3.1-Bllossom-8B-Q6_K.gguf -ngl 30,33,35,37,40 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

8bit

1

$ llama-bench -m UNIVA-DeepSeek-llama3.1-Bllossom-8B-Q8_0.gguf -ngl 17,23,27,30,33 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

1

$ llama-bench -m /mnt/e/LLM_Run/UNIVA-DeepSeek-llama3.1-Bllossom-8B-Q8_0.gguf -ngl 47,53,57,60,65 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

DeepSeek-R1-Distill-Llama-8B-Q8_0.gguf

그 유명한 deepseek r1 으로 unsloth 의 distill 버전을 사용했다.

• unsloth.ai/blog/deepseek-r1
• https://unsloth.ai/blog/deepseekr1-dynamic
• https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF

deepseek r1 은 61 layers 를 사용한다.

1
2

$ llama-bench -m DeepSeek-R1-Distill-Llama-8B-GGUF/DeepSeek-R1-Distill-Llama-8B-Q8_0.gguf -ngl 10,20,30
,40,50 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

정리

• RTX3080TI 에서 ngl=40 에서 잘 반응한다.
• 역시 8B 파라미터라서 앞의 llama 3- bllossom, llama-3.1 8B 모델과 비슷하다.

DeepSeek-R1-Distill-Llama-8B_korean_reasoning

https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Llama-8B_korean_reasoning-GGUF

6bit

1

$ llama-bench -m DeepSeek_R1_Distill/Llama-8B/DeepSeek-R1-Distill-Llama-8B_korean_reasoning.Q6_K.gguf -ngl 17,25,30,35,40,45 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

RTX3080ti 에서

• pp 는 bllossom 버전보다 꽤 빠르다고 생각된다
• tg 는 유사하다.
• ngl은 40 정도가 적당할 듯.

8bit

l$ llama-bench -m DeepSeek_R1_Distill/Llama-8B/DeepSeek-R1-Distill-Llama-8B_korean_reasoning.Q8_0.gguf -ngl 25,29,35,39,42 -n 1000
ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 CUDA devices:
Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

RTX3080ti 에서

DeepSeek-R1-Distill-Qwen-14B

8bit Quantitization

1

$ llama-bench -m DeepSeek_R1_Distill/unsloth/DeepSeek-R1-Distill-Qwen-14B-Q8_0.gguf -ngl 25,28,30,33,35 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

6bit Quantitization

1

$ llama-bench -m DeepSeek_R1_Distill/unsloth/DeepSeek-R1-Distill-Qwen-14B-Q6_K.gguf -ngl 15,18,20,25,30 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

$ llama-bench -m DeepSeek_R1_Distill/unsloth/DeepSeek-R1-Distill-Qwen-14B-Q5_K_M.gguf -ngl 20,25
,30,35 -n 1000
ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no
ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no
ggml_cuda_init: found 1 CUDA devices:
Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

DeepSeek-R1-Distill-Qwen-32B

320만개 파라미터를 가진 Deepssek 와 Qwen-32B 를 distill 한 버전이다.

• unsloth/DeepSeek-R1-Distill-Qwen-32B-Q3
• unsloth/DeepSeek-R1-Distill-Qwen-32B-Q2

DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf

1

$ llama-bench -m unsloth/DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf -ngl 27,30,33,35 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

정리

• 8B 모델 대비 확실히 1/10로 반응시간이 느려졌다. 그래서 실행해서 프롬프트 테스트하기 버겁다.
• ngl 당 걸린 시간이 너무 오래 걸린다. 측정을 못했지만 20분 이상 걸리는 것 같다.

DeepSeek-R1-Distill-Qwen-32B-Q2_K.gguf

1

$ llama-bench -m DeepSeek_R1_Distill/unsloth/DeepSeek-R1-Distill-Qwen-32B-Q2_K.gguf -ngl 25,28,30,33,35 -n 1000

Device 0: NVIDIA GeForce RTX 3080 Ti, compute capability 8.6, VMM: yes

정리

1. 320만개 파라미터는 RTX3080TI 에서 무리이다.
2. 80만개 파라미터를 가진 모델은 돌릴만 하다.

RTX 3080Ti 에서 적절한 ngl 표.

RTX 3080TI 를 사용해서 LLM 모델을 Local 로 돌려보고 있다.

wikidoc 의 https://wikidocs.net/226033 질문지와 2~3개 질문을 추가해서 진행했다.

시스템 사양

• AMD Ryzen 7 5800X3D
• RAM 64GB
• RTX 3080 TI

Llama-3.3-70B-Instruct-Q6_K_L

https://huggingface.co/bartowski/Llama-3.3-70B-Instruct-GGUF

로딩에 약 1:20 분 소요되어 보인다.

누구?

질문:

1

누구냐 너

답:

1

처리:

1

질문:

1

니가 이해할 수 있는 언어는 어떠 언어들이야?

답:

1

처리:

1

질문:

1

너는 한국어 이해하니?

답:

1

처리:

1

데이터

질문:

1

언제까지의 데이터를 학습했지?

답:

처리:

1

창조능력

질문:

1

'고구마'로 삼행시를 지어줘

답:

1

끝말잇기

질문:

1
2
3

끝말잇기를 하자. 내가 먼저 할게.

기차

답:

1
2
3

끝말잇기를 하자. 내가 먼저 할게.

기차

처리:

1
2
3
4
5
6
7
8
9
10

```




### 문제 만들기1


질문: 

초등 국어 문제 3개 만들어줘, 힌트 정답 해설 포함

1
2
3
4
5
6
7
8
9
10

답:




처리:

```Log

문제만들기2

질문:

1

고등학교 지구과학 문제 3개를 만들어져, 힌트, 정답과 해설을 포함해줘

답:

처리:

1

판단

질문:

1

철수는 하루에 치킨 100마리를 튀기고 민수는 하루에 치킨 60마리를 튀긴다. 누가 더 일을 잘하지?

답:

처리:

1

문장 교정

질문:

1
2
3

다음 텍스트를 자연스럽게 교정해 줘.

이번 장에서 여러분은 커널을 디버깅을 하는 데 있어 여러 가지 접근 방법이 있다는 것을 배웠다. 우리는 어떤 상황에서 어떤 접근 방법을 사용해야 할지 빠르게 결정할 수 있도록 그런 접근 방법들을 분류도 해봤다. 모든 도구 혹은 기법이 모든 시나리오 혹은 상황에 도움이 되지 않는다는 것이 핵심 포인트 중 하나다. 예를 들어서 KASAN 같은 강력한 메모리 체커는 개발 단계 및 유닛 테스트 단계에서는 정말 유용하지만 시스템 테스트나 제품화 단계에서는 일반적으로 사용이 불가능 하다 (다(프로덕션 커널은 디버그 커널과 달리 KASAN 사용이 비활성화 되도록 환경 설정이 되기 때문이다.)

답:

처리:

1

영문 번역

질문:

1
2
3

We both worked with young moms who go completely dark for a few hours in the evening, when they are with their families and putting their kids to bed.

위 문장을 한국어로 번역해

답:

처리:

1

명령 에러 처리

질문:

1

crontab -e 명령 실행 시에만 E319: Sorry, the command is not available in this version 메시지가 나온다.

답:

처리:

1

지명과 특산물

질문:

다음 지문을 읽고 문제에 답하시오.

1950년 7월, 한국 전쟁 초기에 이승만 대통령은 맥아더 장군에게 유격대원들을 북한군의 후방에 침투시키는 방안을 제안했다. 이후, 육군본부는 육본직할 유격대와 육본 독립 유격대를 편성했다. 국군은 포항과 인접한 장사동 지역에 상륙작전을 수행할 부대로 독립 제1유격대대를 선정했다. 육군본부는 독립 제1유격대대에 동해안의 장사동 해안에 상륙작전을 감행하여 북한군 제2군단의 보급로를 차단하고 국군 제1군단의 작전을 유리하게 하기 위한 작전명령(육본 작명 제174호)을 하달했다. 9월 14일, 독립 제1유격대대는 부산에서 LST 문산호에 승선하여 영덕군의 장사동으로 출항했다.

1950년 9월 15일, 독립 제1유격대대는 장사동 해안에 상륙을 시도하였으나 태풍 케지아로 인한 높은 파도와 안개로 인해 어려움을 겪었다. LST 문산호는 북한군의 사격과 파도로 인해 좌초되었고, 상륙부대는 09:00시경에 전원이 상륙을 완료하였다. 그 후, 15:00시경에 200고지를 점령하였고, 다양한 무기와 장비를 노획하였다. 9월 16일과 17일에는 독립 제1유격대대가 여러 위치에서 북한군과의 전투를 벌였으며, 미 구축함과의 연락 두절로 인해 추가적인 어려움을 겪었다.

장사동에서 위급한 상황에 처한 독립 제1유격대대를 구출하기 위해 해군본부는 LT-1(인왕호)를 급파했으나, LST 문산호의 구출에 실패했다. 해군본부는 상륙부대의 철수를 지원하기 위해 LST 조치원호를 현지로 보냈다. 9월 18일, 이명흠 부대장은 유엔 해군과의 협력 하에 부족한 식량과 탄약 지원을 받았다. 9월 19일, 유엔군의 함포지원과 함께 LST 조치원호가 도착하여 철수 작전을 시작했다. 스피어 소령은 직접 해안에 상륙하여 구조작전을 지시하였다. 9월 20일, 725명이 부산항으로 복귀했으나, 32명이 장사동 해안에 남아 북한군의 포로가 되었거나 탈출하여 국군에 합류하였다.

장사리 전투가 인천 상륙작전의 양동작전으로 알려졌으나, 이 전투가 드라마틱한 요소로 인해 과장되었으며, 실제로는 인천 상륙작전과 큰 관련이 없다. 또한, 북한이나 중국의 군사적 상황을 고려할 때, 장사리에서의 전투가 낙동강 전선에 영향을 끼칠 가능성은 낮다.

문제

1. 지문에 나오는 지명을 모두 쓰시오.
2. 그중 대게로 유명한 곳은?

답:

처리:

1

강수량과 그 영향

질문:

1

겨울철 강수량이 그 다음 해의 농수산물 수확량에 미치는 영향은?

답:

처리:

1

라니냐 발생 가능성

질문:

1

2024년 겨울에 라니냐가 발생할 수 있을것 같아?

답:

처리:

1

경제 이론

질문:

1

현대 화폐 이론에 대해서 설명해줘

답:

처리:

1
2
3
4
5
6
7
8
9

```



### 크롤링


질문:

have you got any crawling ability from some url?

1
2
3
4
5
6
7
8
9
10

답:



처리:

```Log

외부 파일 처리 여부

질문:

1

너는 외부 텍스트 파일을 읽고 질문에 답해 줄 수 있어?

답:

처리:

1
2
3
4
5
6
7

```




질문:

너는 pdf 파일을 읽고 질문에 답해 줄 수 있어?

1
2
3
4
5
6
7
8
9
10

답:




처리:

```Log

마무리

• 하나
• 둘