Local LLM 실험: DeepSeek-R1-Distill-Llama-8B, RTX 3080 TI
RTX 3080TI 를 사용해서 LLM 모델을 Local 로 돌려보고 있다.
wikidoc 의 https://wikidocs.net/226033 질문지와 2~3개 질문을 추가해서 진행했다.
시스템 사양
- AMD Ryzen 7 5800X3D
- RAM 64GB
- RTX 3080 TI
DeepSeek-R1-Distill-Llama-8B-F16.gguf
https://huggingface.co/unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF
로딩에 약20분 소요되어 보인다.
누구?
질문:
1 | 누구냐 너 |
1 | 네, 네가 말하는 "누구냐 너"은 "누구냐? 네"라는 문구를 질문하는 것이다. 이는“你是谁呢？”或者“你是谁？”라고翻译할 수 있다. |
처리:
1 | slot update_slots: id 0 | task 0 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 13 |
질문:
1 | 니가 이해할 수 있는 언어는 어떠 언어들이야? |
답:
1 | 니가 이해할 수 있는 언어는 영어, 한국어, 중국어, 일본어, 그리고 여러 가지 다른 언어와方言을 이해할 수 있습니다. 무슨 언어로 도와드리겠습니다か이겠어요? 😊 |
처리:
1 | slot update_slots: id 0 | task 92 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 116 |
질문:
1 | 너는 한국어 이해하니? |
답:
1 | 네, 한국어를 이해하고 있습니다! 😊 |
처리:
1 | slot update_slots: id 0 | task 1200 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 466 |
데이터
질문:
1 | 언제까지의 데이터를 학습했지? |
답:
1 | The AI, in this case, appears to be capable of understanding and responding in multiple languages, including Korean, English, Chinese, and Japanese, among others. It can also handle various dialects and slang, which suggests it has been trained on a significant dataset covering these languages and their variations. However, the exact number of languages it can process and the size of the dataset are not explicitly stated. |
처리:
1 | slot update_slots: id 0 | task 348 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 177 |
창조능력
질문:
1 | '고구마'로 삼행시를 지어줘 |
1 | 고구마로 삼행시를 지어주는 데 도와드리겠습니다! 😊 |
1 | slot update_slots: id 0 | task 925 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 421 |
끝말잇기
질문:
1 | 끝말잇기를 하자. 내가 먼저 할게. |
답:
1 | 끝말잇기를 하자. 내가 먼저 할게. |
처리:
1 | slot update_slots: id 0 | task 1469 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 512 |
문제 만들기1
질문:
1 | 초등 국어 문제 3개 만들어줘, 힌트 정답 해설 포함 |
답:
Elementary Korean Questions with Hints and Answers
How many apples can you count?
- Hint: Count the apples one by one and put each one on the other side of the table.
- Answer: There are 5 apples.
What color is the cat?
- Hint: Look at the cat sitting on the chair in the living room. The color of its fur will help you.
- Answer: The cat is brown.
What is the name of the dog?
- Hint: Notice what kind of animal the dog is and what it’s doing. The name of the dog will help you find the answer.
- Answer: The dog is called Max.
These questions are designed to assess basic comprehension and vocabulary skills in Korean, suitable for elementary-level students. Each question includes a hint to guide students toward the correct answer, ensuring a clear and structured learning experience.
처리:
1 | slot update_slots: id 0 | task 1743 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 551 |
문제만들기2
질문:
1 | 고등학교 지구과학 문제 3개를 만들어져, 힌트, 정답과 해설을 포함해줘 |
답:
고등학교 지구과학 문제 3개
역사적河流
- 힌트: 가장 긴河 流이 한 강으로,黄海로 흐르는 강입니다.
- 정답: 한 강
- 해설: 한 강은 한국에서 가장 긴河流로,黃海에 흐르는重要河 流입니다.
기후帯
- 힌트: 아마존 기름림은 적도 주변에 있습니다.
- 정답: 열대 기후帯
- 해설: 아마존 기름림은 열대 기후帯에 속한 지역으로, 강렬한 비雨과热帯적인气候를 특징으로 합니다.
州 수도
- 힌트: 콜로라도 주의 남중부에 위치한 도시입니다.
- 정답: 덴버
- 해설: 덴버는 콜로라도 주의 수도이며, 고산 지대로서 높은 해拔을 가지고 있습니다.
이 세 문제는 고등학교 지구과학 학생들을 위한适合한 문제입니다.各문제는 지리적 특征과 학생들의지식 수준에 맞춘内容로,힌트와 해설을 통해 문제 해결을 안내합니다.
처리:
1 | slot launch_slot_: id 0 | task 2676 | processing task |
판단
질문:
1 | 철수는 하루에 치킨 100마리를 튀기고 민수는 하루에 치킨 60마리를 튀긴다. 누가 더 일을 잘하지? |
답:
철수는 하루에 치킨 100마리를 튀기고 민수는 하루에 치킨 60마리를 튀기고 있습니다. 철수는 더 많은 마리를 튀기고 있습니다. 따라서 철수는 민수보다 더 많은 일을 하거나 더 나은 효율을 가지고 있습니다.
철수는 더 많은 일을 하고 있습니다.
처리:
1 | slot update_slots: id 0 | task 3534 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 1108 |
문장 교정
질문:
1 | 다음 텍스트를 자연스럽게 교정해 줘. |
답:
In this chapter, you’ve learned about various methods for debugging the kernel. We classified these methods to help you quickly decide which method to use in different situations. One key point is that not all tools or techniques are useful in every scenario. For example, a strong memory checker like KASAN is very useful in the development phase and unit test phase, but is generally not used in the system test or product phase. This is because, unlike debug kernels, in production kernels, KASAN is disabled due to environment settings.
처리:
1 | slot update_slots: id 0 | task 3907 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 1383 |
영문 번역
질문:
1 | We both worked with young moms who go completely dark for a few hours in the evening, when they are with their families and putting their kids to bed. |
답:
We both worked with young moms who go completely dark for a few hours in the evening, when they are with their families and putting their kids to bed.
처리:
1 | slot update_slots: id 0 | task 5100 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 1532 |
명령 에러 처리
질문:
1 | crontab -e 명령 실행 시에만 E319: Sorry, the command is not available in this version 메시지가 나온다. |
답:
To address the issue of the crontab -e command not working, follow these steps:
Identify the Cron Version: Determine which cron implementation you are using by typing
crontab -Vorman cron. This will inform you if you’re usingGNU cronor another implementation.Check for
-eOption Support: If the-eoption isn’t available, note that different cron versions may support different commands or have variations in their syntax.Use an Alternative Text Editor:
- Open the crontab file with a text editor like
vim. - Ensure you have the necessary permissions to edit the file. If not, use
sudoto gain root privileges.
- Open the crontab file with a text editor like
Modify the Cron File Directly:
- Edit the crontab file located at
/etc/crontabor/usr/etc/crontab. - Make the desired changes and save the file.
- Edit the crontab file located at
Alternative Commands:
- Use the
atcommand with specific intervals, such as@hourly, to schedule tasks ifcrontab -eisn’t available. - Explore graphical tools like
crontab-guifor an easier interface to manage cron schedules.
- Use the
Verify Cron Implementation:
- If you’re using
dcron, note that its behavior and commands may differ fromcrontab.
- If you’re using
Manual Editing as a Last Resort:
- Back up the crontab file.
- Remove the existing file and recreate it with the necessary entries, ensuring the correct format.
By following these steps, you can effectively edit your cron table even if the crontab -e command isn’t available.
처리:
1 | slot update_slots: id 0 | task 5506 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 1597 |
지명과 특산물
질문:
1 | 다음 지문을 읽고 문제에 답하시오. |
답:
Question 1: List of Places Mentioned
- 포항 (Pohang)
- 장사동 (Jinseong-dong)
- 영덕군 (Yangju-gun)
- 북한군 제2군단 (North Korean 2nd Corps)
- 미 구축함 (U.S. military vessels)
- 해군본부 (Naval Headquarters)
- 스피어 소령 (Spear Colonel)
- 부산항 (Busan Port)
- 낙동강 (Nakdong River)
- 인천 상륙작전 (Incheon Landing Operation)
Question 2: Notable Place
The most notable place mentioned, considering the broader context of the Korean War, is 인천 상륙작전 (Incheon Landing Operation). This operation is globally recognized as a significant turning point in the war. However, if focusing specifically on the Jinseong-dong operations detailed in the text, 장사동 (Jinseong-dong) would be the main location of discussion.
처리:
1 | slot update_slots: id 0 | task 6530 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 2739 |
강수량과 그 영향
질문:
1 | 겨울철 강수량이 그 다음 해의 농수산물 수확량에 미치는 영향은? |
답:
겨울철 강수량이 그 다음 해의 농수산물 수확량에 미치는 영향은, 여러 가지因素에 따라 달리ます. 특히, 강수량의 양과 타이밍, 특정 작物에 대한 민감도, 지역 간 차이, 농업 기법, 정부 정책,以及 長期 기후 추이 등이 중요한要素입니다.
강수양과 타이밍:
- 过量 강수는-waterlogging-을 일으켜 작물에 손상을 주거나, 전기 재배에 도움이 되지 않아 다음 해의 수확량을 감소할 수 있습니다.
- 조금 강수는, 토양으로부터 물을 공급해 작물을 도와줍니다.
- 이른 강수는, 작물을 심은 전에 발생해, 다음 해의 재배에 영향을 미칠 수 있습니다.
작물 특성:
- 대규모 작물如 쌀은, 강수량에 매우 민감합니다. 강수가 과도한 경우, 쌀의 수확을 크게 감소할 수 있습니다.
- 작물에 따른 차이는, 강수에 대한 민감도가 차이가 있습니다. 보리,맥아 등은 강수에 상대적으로 강해, 수확량을 덜 영향을 받을 수 있습니다.
지역 간 차이:
- 북부 지역에서, 강설은 특히 많이 내려, 작물에 무게가 되거나, 기근으로 작물 성장에 어려움을 주는 데 기여할 수 있습니다.
- 남부 지역에서는, 강수량이 적을 수 있습니다.
농업 기법:
- 조도 기법과 ** 灌漑 기법**은, 강수를 관리하는 데 도움을 줄 수 있습니다.
- 기술적 도움은, 강수에 대한適応을 이끌어 내는 데 기여할 수 있습니다.
정부 정책:
- 정부는, 농업을 지지하는 정책을 통해, 강수에 대한 영향을 완화하는 데 도움을 줄 수 있습니다.
- 예를 들어,农장지대와水리 기관을 개선하는 정책은, 강수에 대한 내성을 높일 수 있습니다.
長期 기후 추이:
- 기후 변화로 인해, 강수 양과 패턴이 바뀌고 있습니다. 이는, 농업에 대한 영향도 변해나갈 수 있습니다.
역사적 연구와 통계자료:
- 역사적 데이터나 연구를 통해, 강수량과 수확량의 관계를 분석할 수 있습니다. 이는,具体한 지역이나 작물에 대한详细한 통찰을 제공할 수 있습니다.
기술적 도움:
- 현대 농업 기법, 예를 들어滴灌과정밀 농업은, 강수에 대한适응을 도와주며, 수확량을 향상시킬 수 있습니다.
결론:
겨울철 강수량이 다음 해의 농수산물 수확량에 미치는 영향은, 강수양, 타이밍, 작물 특性, 지역 간 차이, 농업 기법, 정부 정책,以及 기후 변화에 의해 다양하게 나타납니다. 이를 이해하기 위해,역사적 데이터,政府 보고서, 농업 통계자료 등을 통해,详细한 분석을 진행할 필요があります.
처리:
1 | slot update_slots: id 0 | task 7619 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 3011 |
라니냐 발생 가능성
질문:
1 | 2024년 겨울에 라니냐가 발생할 수 있을것 같아? |
답:
2024년 겨울에 라니냐(La Niña)가 발생할 수 있는 가능성은 현재의 기후モデル이나 기후 예보에 따라 달러요ন기법을 통해 예측되고 있습니다. 라니냐는 태평양 해표면 온도that cools the sea surfaces in the Pacific, which can lead to global cooling, and it’s a periodic climate phenomenon.
지구 기후는 자연적 변동을 통해 La Niña와 El Niño가 交替하게 나타납니다. 2024년에도 La Niña의 가능성은 모델에 따라 예상됩니다. 그러나 기후 예보는 중도보다는 불확실한 성질을 가지고 있습니다.
결론적으로, 2024년 겨울에 La Niña가 발생할 수 있는 가능성이 있습니다, but it’s not certain.
지구 기후는 매우复杂한 시스템이고 예상치도 중도보다는 불확실합니다. 2024년 La Niña가 실제로 발생할지 모르겠습니다.
처리:
1 | slot update_slots: id 0 | task 9109 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 3802 |
경제 이론
질문:
1 | 현대 화폐 이론에 대해서 설명해줘 |
답:
Modern currency theory encompasses a range of concepts and principles that explain the functioning and role of money in modern economies. Here’s a structured and organized summary of the key points:
Evolution of Money:
- Abstract Nature: Money has evolved beyond physical coins and paper to include abstract forms like fiat currency, which is not backed by a physical commodity.
- Trust and Confidence: The foundation of modern money is the trust and confidence that a currency will be accepted in the future, ensuring its value remains stable over time.
Functions of Money:
- Medium of Exchange: facilitates the buying and selling of goods and services.
- Unit of Account: standardizes the measurement of value across economies.
- Store of Value: allows for saving and investment, maintaining purchasing power over time.
Central Banks and Monetary Policy:
- Role in Regulation: Central banks influence money supply and interest rates, using tools like interest rate adjustments to manage inflation and economic growth.
- Monetary Policy Tools: Open market operations, where central banks buy or sell government securities, affect the money supply and interest rates.
Fractional Reserve Banking:
- Reserve Requirements: Banks keep a fraction of their deposits as reserves, lending the rest. This practice can expand the money supply through the multiplier effect.
Modern Monetary Theory (MMT):
- Key Idea: Countries controlling their currency can spend freely, potentially without worrying about running out of money, as long as inflation is controlled.
- Practical Implications: MMT suggests that governments can finance public spending through currency creation, but it emphasizes the need to maintain price stability.
Globalization and Currency Management:
- Exchange Rates: The interconnected global economy requires countries to manage their currencies in a way that aligns with global markets.
- Impact of Monetary Policy: Central banks must consider how their policies affect global exchange rates and trade balances.
Technological Influences:
- Digital Money: Innovations like cryptocurrencies and central bank digital currencies (CBDCs) challenge traditional views of money and its management.
- Technological Disruptions: These innovations can affect financial stability and the traditional role of central banks.
Inflation and Deflation Management:
- Central Bank Tools: Central banks use interest rates and other tools to control inflation and deflation, aiming to maintain economic stability.
- Economic Scenarios: Different economic conditions may require varied approaches to monetary policy.
Interconnected Concepts:
- Key Principles: Trust, confidence, and the dual role of central banks in providing liquidity and controlling inflation are central to modern currency theories.
- Interconnections: Understanding how these elements relate is crucial for grasping the overall framework of modern currency theories.
In summary, modern currency theories provide a comprehensive framework for understanding the role and functioning of money in contemporary economies, incorporating elements of trust, technological innovation, and global interconnectedness.
처리:
1 | slot update_slots: id 0 | task 9530 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 4037 |
크롤링
질문:
1 | have you got any crawling ability from some url? |
답:
Final Answer:
In the context of modern currency theories, “crawling ability” is likely a metaphorical term that describes the dynamic and adaptive nature of money within the modern economy. It suggests that money is not static but is constantly in motion and undergoing transformations, such as moving between different forms (physical, digital), being exchanged across borders, and adapting to technological advancements. This ability reflects the interconnectedness and fluidity of modern financial systems, where money circulates efficiently and changes in response to economic shifts and technological innovations.
처리:
1 | slot update_slots: id 0 | task 10913 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 4675 |
외부 파일 처리 여부
질문:
1 | 너는 외부 텍스트 파일을 읽고 질문에 답해 줄 수 있어? |
답:
겨울철 강수량이 그 다음 해의 농수산물 수확량에 미치는 영향은, 복잡한 다섯 가지 요소에 의해 다양한 결과를 나타내줄 수 있습니다. 이 요소들은 다음과 같습니다:
땀의 상태:
- 이루는 강수: 토양을潤하고, 다음 해의 성장에 도움을 줄 수 있습니다.
- 너무한 강수: 수해로 인해 작물에 손상을 입거나, 성장을妨げ줄 수 있습니다.
강수의 타이밍:
- 이른 강수: 심은 전에 일어나는ため, 다음 해의 재배에 영향을 미칠 수 있습니다.
- 지연된 강수: 성장 단계기에 발생해, 작물에 무게를 주는 데 기여할 수 있습니다.
작물의 유형:
- 민감한 작물: 쌀 등은 강수에 특히 민감하며, 수확량을 크게 감소할 수 있습니다.
- 민감도不同的 작물: 보리, 맥아 등은 강수에 상대적으로 강해, 수확량의 영향을 덜 받을 수 있습니다.
지역의 기후:
- 북부 지역: 강설이 많이 내려, 작물 성장에 어려움을 주는 데 기여할 수 있습니다.
- 남부 지역: 강수량이 적을 수 있습니다.
농업 기법:
- 조도 기법: 강수를 관리하는 데 도움을 줄 수 있습니다.
- 灌漑 기법: 토양에 적절한 수분을 유지하는 데 도움을 줄 수 있습니다.
정부 정책:
- 농업 지원 정책: 농업을 지지하는 정책을 통해 강수에 대한 영향을 완화하는 데 도움을 줄 수 있습니다.
** 长期 기후 변화**:
- 기후 변화로 인해 강수 양과 패턴이 바뀌고 있습니다. 이는, 농업에 대한 영향도 변해나갈 수 있습니다.
역사적 데이터와 통계 자료:
- 역사적 데이터나 연구를 통해, 강수량과 수확량의 관계를 분석할 수 있습니다.
경제적 영향:
- 작물 손실로 인해 식량 가격과 공급망에 영향을 미칠 수 있습니다. Farmers might need insurance to cover their losses, and governments might offer aid to support affected areas.
결론:
겨울철 강수량이 다음 해의 농수산물 수확량에 미치는 영향은, 복잡한 요소들의 상互작을 통해 다양한 결과를 나타내줄 수 있습니다. 이 요소들을 이해하고, 각自変연락된 영향을 고려하여, 농업을 계획할 때 중요한 정보를 활용할 수 있습니다.
메모리 부족인가, 엉뚱한 답을 내놓았다.
처리:
1 | slot update_slots: id 0 | task 11742 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 4803 |
질문:
1 | 너는 pdf 파일을 읽고 질문에 답해 줄 수 있어? |
답:
네, 너와 같이 PDF 파일을 읽고 질문에 답변할 수 있는 기능을 가지고 있습니다.ただし, PDF 파일의 텍스트를 읽을 때는, 때로는 이미지를 사용한 텍스트나 보호된 콘텐츠로 인해,directly PDF를 읽을 수 없습니다. 그러나, PDF내의 텍스트를 이미지로 저장해 오른다면, 그 이미지를 분석하고 텍스트를 추출해 질문에 답변할 수 있습니다.
또한, PDF 파일을 직접 읽는 대신, PDF내의 텍스트를 복사하고貼어오면, 그 텍스트를 가지고 답변을 제공할 수 있습니다.
즉, PDF 파일을 통해 정보를 취득하고 답변할 수 있습니다, 단, PDF의 구조나 보호된 콘텐츠가 아닌普通な 텍스트일 때는 가능합니다.
처리:
1 | slot update_slots: id 0 | task 13124 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 5456 |
마무리
- 한글에 대한 이해가 부족하다
- 한글 질문에 영문 답변이 꽤 있을 듯 하다.
- 각 질문에 대한 응답이 느리다.
- https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/
- A Survey of Decision Fusion and Feature Fusion Strategies for Pattern Classification
- https://bioimagebook.github.io/chapters/2-processing/3-thresholding/thresholding.html
- A Low-Light Image Enhancement Method Based on Image Degradation Model and Pure Pixel Ratio Prior
그림 - google ai blog
그림 - google ai blog: https://ai.googleblog.com/2020/02/open-images-v6-now-featuring-localized.html
그림 - https://paperswithcode.com/paper/visual-genome-connecting-language-and-vision/
그림 - https://www.microsoft.com/en-us/research/blog/godel-combining-goal-oriented-dialog-with-real-world-conversations/
{: width=”650”}