This study systematically investigates how quantization affects the safety of large language models (LLMs), with a particular focus on jailbreaking vulnerabilities in multilingual and tense-shifted scenarios. Using Llama3-8B-Instruct as a representative open-source model, we evaluate 23 quantization levels across two languages (English/Korean) and three tenses (present/past/future). Our results reveal a non-linear relationship between quantization and safety: 4-bit quantization emerges as a practical "sweet spot," maintaining near-baseline performance while significantly reducing computational costs. However, substantial vulnerabilities persist—Korean prompts exhibit attack success rates 25.5 percentage points higher than their English counterparts, and past-tense transformations increase vulnerability by 39.3 percentage points. These findings highlight that current LLM safety mechanisms are often biased toward English and present-tense prompts, underscoring the need for new evaluation frameworks that account for linguistic and temporal diversity in quantized LLM deployment. Although this study has limitations, including its reliance on a single model, a single dataset, and automated evaluation method, it provides the first quantitative analysis of quantization-induced vulnerabilities in multilingual and tense-varied contexts.
31 December 2021 in Journal of Korea Technology Innovation Society
최근 전 세계적으로 주목받고 있는 기술금융 지원정책은 저성장 기조의 경제 현황을 극복하기 위한 정부 부처 및 유관기관의 기업혁신 지원전략으로 부상하고 있다. 이에 힘입어 최근에는 기술가치 평가체계의 한계(장기간 · 고비용)를 개선한 웹 기반 지능형 평가시스템이 일부 평가기관을 중심으로 제공 중에 있으나, 여전히 사용자에게 전문적인 평가 지식을 요구한다는 점에서 한계가 존재한다. 본 논문에서는 기존 시스템의 정성평가 항목에 딥러닝 기반 추정을 적용, 현금흐름 산출로직에 연계하는 방안을 제시한다. 이는 일반적으로 준용되는 기술가치평가 방법론을 기반으로 이론적 타당성은 유지하되, 전문적 지식을 요구하는 세부지표점수들을 딥러닝 기반 추정을 적용함으로써 비전문가 수준에서도 손쉽게 보유 기술의 가치를 확인할 수 있는 수요자 편의성을 제공한다. 최종적으로 본 논문에서는 제안하는 인공신경망 기반 알고리즘을 통해 기업이 보유하고 있는 특허 또는 기술에 대해 객관적이고 신속한 평가를 수행할 수 있도록 하며, 기존 방법론이 내포하고 있던 장시간 · 고비용의 한계를 최소화하고 적시에 기술 기반 금융 활동에 대한 의사 결정을 지원할 수 있다는 점에서 그 활용성이 기대된다.
31 August 2024 in The Journal of Korean Association of Computer Education