달력

52024  이전 다음

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

'그외 주제들/한글처리'에 해당되는 글 9건

  1. 2013.09.30 참고 자료..
  2. 2013.09.30 다양한 환경에서의 언어 설정
  3. 2013.09.30 자바에서 String 처리
  4. 2013.09.30 Response 구간 정리
  5. 2013.09.30 Request 구간 정리
  6. 2013.09.30 JSP,Servlet에서 한글 문제를 피하려면..
  7. 2013.09.30 Unicode ( 유니코드 )
  8. 2013.09.30 문자셋과 인코딩
  9. 2013.09.30 Character-Set & Encoding이란?

'그외 주제들 > 한글처리' 카테고리의 다른 글

다양한 환경에서의 언어 설정  (0) 2013.09.30
자바에서 String 처리  (0) 2013.09.30
Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Posted by 행복한삶~!!
|

 q시스템 기본 인코딩
¤Windows 시스템의 경우.
¤제어판의 국가 및 언어 옵션에서 선택할 수 있음 ( 영어:CP1252, 한국어:MS949 )
¤Unix 시스템의 경우
LANG 환경 변수에서 플랫폼이 지원하는 locale 을 지정 합니다.
현재 설정된 locale 값은 “locale”을 통해서 확인가능.
사용 가능한 locale은 “locale –a”를 통해 확인가능.
¤참고자료
¡http://develop.sunshiny.co.kr/398
¡http://blog.naver.com/PostView.nhn?blogId=paro01&logNo=100050474751&widgetTypeCall=true
   qJVM 설정
¤file.encoding
java의 기본 encoding type을 지정해준다.  String.getBytes( ) 함수호출시 파라미터가 없을때 file.encoding으로 동작한다file.encoding 을 특별히 지정하지 않았을 경우, shell 환경변수인 LANG 및 LC_ALL값에의해 결정됩니다.
¤client.encoding.override
Request객체에 저장되는 Form 데이타의 인코딩 type이 결정된다. Form데이타는 request.getParameter를 통해서 얻어오는데, client.encoding.override에 따라서 인코딩된 값이 리턴된다. Request 과정분석에서 상세내용을 정리하였다. 
    q web.xml
¤JSP 파일 Encoding Type 한꺼번에 지정 및 locale과 Encoding Type을 지정
각 개별 JSP 파일 및 Response 객체의 설정값이 web.xml 값보다 우선한다.
	
		
			*.jsp
			EUC-KR
		
	

	
		
			ja
			Shift_JIS
		
	


    q 브라우저
¤1.    "도구 -> 인터넷 옵션 -> 언어" 메뉴를 선택한다.
¤2.   영어[en]와 한국어[ko]를 추가하고 원하는 언어를 가장 상단에 위치한다.
 qHTML 설정
¤<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
 qXML 설정
¤<?xml version="1.0" encoding="UTF-8" ?>
 qJSP 설정
¤<%@ page pageEncoding="UTF-8" %>
¤<%@ page contentType="text/html;charset=UTF-8" %>
¤charset=euc-kr 일때 확장 한글이 제대로 표현되지 않는다.
¤charset=ms949 일때는 확장 한글이 정상적으로 표현된다.
 qServlet 설정
¤HTTP 요청의 인코딩 지정
¤request.setCharacterEncoding("UTF-8");
¤HTTP 응답의 인코딩 지정
¤response.setContentType("text/html; charset=UTF-8");
¤response.setCharacterEncoding("utf-8");
        qOcacle 설정
¤설정된 Encoding 모드 조회방법
¤select * from nls_database_parameters where parameter like '%CHARACTERSET%';
¤Oracle Database 문자 셋 변경 방법
¤ 환경 변수 또는 %ORACLE_HOME%/dbs/init[SID].ora 설정
  NLS_LANG='American_America.Ko16ksc5601‘
  ORA_NLS33='$ORACLE_HOME/ocommon/nls/admin/data‘
  NLS_DATE_FORMAT='YYYY-MM-DD‘

     DriverManager에서 문자셋 설정 방법
  java.util.Properties props = new java.util.Properties();
  props.put("charSet", "KSC5601" );
  DriverManager.getConnection(dbUrl, props);

'그외 주제들 > 한글처리' 카테고리의 다른 글

참고 자료..  (0) 2013.09.30
자바에서 String 처리  (0) 2013.09.30
Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Posted by 행복한삶~!!
|

getBytes 이해하

JAVA에서는 전세계 모든 언어를 지원하기 위해서 문자열을 Unicode로 저장한다.

하지만 아직 다양한 환경에서 UNICODE가 아니 전통적인 인코딩 방식이 사용되고 있는데,
String.getBytes() 함수를 통해서 간편하게 다른 Encoding Type으로 변환을 지원한다.

예를 들어 TCP/IP 통신 및 File I/O 등을 통해서 ISO-8859-1으로 인코딩된 문자열을 수신했을 때 적절하게 변환하여야 정상적으로 한글 출력이 된다.

사용방법 참조 http://docs.oracle.com/javase/7/docs/api/java/lang/String.html#getBytes()

1               String chkStr2 = 1”;

2  byte [] bytes = chkStr2.getBytes( “ksc5601” );

3

4  for ( byte b : bytes )     

5  {

6      out.print(String.format("0x%02X ", b));

7  }

세부 진행 순서는 다음과 같다..
1번 라인에서 1”UTF-16BE 형식으로 아래와 같이 저장된다.
0xD55C
0x0020 0xB620 0x0020 0xD3B2 0x0031

2 라인에서는 UTF-16BEKSC5601 코드값으로 변환한다.
’ 0xD55C è 0xC7D1

‘ ‘ (공백) 0x0020 è 0x20

0xB620 è 0x3F (‘?’),  KSC5601에 포함되지 않는 확장 한글이라 ? 로 대체된다. 펲도 동일함

‘1’ 0x0031 è 0x31

따라서 출력결과는 다음과 같다. 0xC7 0xD1 0x20 0x3F 0x20 0x3F 0x20 0x31

2번라인 getBytes()에서 파라미터를 변경해서 다양한 인코딩 결과를 출력해보면 아래와 같다.

Default : 0xC7 0xD1 0x20 0x8C 0x63 0x20 0xBC 0x84 0x20 0x31   è file.encoding = ms949일때 예임. 파라미터 없이 getBytes() 호출하면 file.encoding값에 따라서 동작함
ISO-8859-1 : 0x3F 0x20 0x3F 0x20 0x3F 0x20 0x31   è 한글 코드인 0xD55C 0xB620 0xD3B2 모두 ? 변환된다. 모르는 코드들이니깐..
EUC-KR : 0xC7 0xD1 0x20 0x3F 0x20 0x3F 0x20 0x31    è KSC5601와 결과가 동일하다.
UTF-8 : 0xED 0x95 0x9C 0x20 0xEB 0x98 0xA0 0x20 0xED 0x8E 0xB2 0x20 0x31 è UTF-16에서 UTF-8변환된값..
ms949 : 0xC7 0xD1 0x20 0x8C 0x63 0x20 0xBC 0x84 0x20 0x31 è ,펲도 정상적으로 변환된다


한글<->8859변환

아래 코드는 유명한 한글과 8859_1간의 상호 변환 코드이다.

1      strTemp = 1”;

2      // Unicode 한글을 (ms949를 거쳐서)  8859-1로 변환..

3      strTemp = new String(strTemp.getBytes(“ms949"),"8859_1");

4       // 8859-1 String(ms949를 거쳐서) unicode로변환

5       strTemp = new String(strTemp.getBytes("8859_1")," ms949 ");  

예를 들어 외부 시스템과 I/O시에 해당 시스템이 ISO_8859_1 방식만을 지원한다면 한글 문자열은 변환과정을 거쳐서 저장하고 읽어와야 한다.

그 이유는 JAVA StringUTF-16을 지원하고, 외부 시스템은 ISO-8859-1만을 지원하므로 적절한 변환이 필요하다.

인터넷에 검색을 해보면 예제들은 99% “ms949” 대신 “ksc5601”를 사용하고 있다. 대부분 그 차이를 모르기 때문인 것 같다.

앞 페이지의 예제를 보듯이 KSC5601는 확장한글( ‘’,’8800여자)를 지원하지 못하기 때문에 ms949사용해야 한글 손실이 없다.

8859_1변환 ( 3번라인 )
     
strTemp = new String(strTemp.getBytes(“ms949"),"8859_1");

UTF-16 è ms949 è 8859-1 로 변환해야 한다.

ms949로 중간변환 없이 바로 strTemp.getBytes(8859_1”)로 한글을 바로 읽어오면.. 앞장에서와 같이 한글은 모두 ? 로 변경되어 버린다.

strTemp.getBytes(“ms949")를 수행하면.. 0xC7 0xD1 0x20 0x8C 0x63 0x20 0xBC 0x84 0x20 0x31 형태로 byte 배열형태로 읽어오고..

이를 8859_1로 변환해도..완전 동일한 0xC7 0xD1 0x20 0x8C 0x63 0x20 0xBC 0x84 0x20 0x31 값이 된다. ( 8859_10~0xFF까지 범위임)

최종적으로 strTemp에는 0x00C7 0x00D1 0x0020 0x008C 0x0063 0x0020 0x00BC 0x0084 0x0020 0x0031 형태 값이 된다.

ms949재변환  (5번 라인)
     
strTemp = new String(strTemp.getBytes("8859_1")," ms949 ");

8859-1 è ms949 è UTF-16 순서로 변환해야 한다.

외부 I/O를 통해서 받아온 데이터가 ISO-8859-1Encoding되어 String 변수에 0x00C7 0x00D1 0x0020 0x008C 0x0063 0x0020 0x00BC 0x0084 0x0020 0x0031 와 같은 형태로 저장되어 있을때..

이를 getBytes(“8859-1 “) 를 하면.. 0xC7 0xD1 0x20 0x8C 0x63 0x20 0xBC 0x84 0x20 0x31 값을 그대로 얻어오고..

“ms949” 파라미터에 의해.. 0xC7D1 0x20 0x8C63 0x20 0xBC84 0x20 0x31 같은 형태로 ms949 code값으로 묶어지고..
다시 해당 글씨들의 UNICODE값 치환된 UTF-16 형태인 0xD55C 0x0020 0xB620 0x0020 0xD3B2 0x0031 로 변환되어  strTemp로 최종적으로 저장된다.


인터넷에서 자료를 찾다보면 대부분 ms949 대신 euc-kr을 사용하고 있다. 하지만 java에서 ms949를 공식적으로 지원하고 있으므로 ms949를 사용하는게 바람직하다. 드믄경우지만 이름에 확장한글인 '믜'자을 사용하는 사람도 있으니..당연히 현대한글 11,172자를 표현가능한 ms949를 사용하는게 맞다.

'그외 주제들 > 한글처리' 카테고리의 다른 글

참고 자료..  (0) 2013.09.30
다양한 환경에서의 언어 설정  (0) 2013.09.30
Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Posted by 행복한삶~!!
|

Response객체는 브라우저에 전달되는 HTML 결과 생성할 때 사용된다. Response객체의 Encoding CharterSet에 따라서 브라우저에서 출력되는 한글이 깨져보일수 있으므로 주위를 해야 한다. 하지만 걱정할 필요는 없다.
아래 제시되는 3가지 방법중 한 가지만 제대로 해도 한글 출력에 문제가 없다.
 

q
Response Charset에 따라서 출력되는 HTML Bodycharset에 영향을 미치게 된다.
qCharter set을 명시적으로 지정하라.
¤대략 3가지 방법으로 설정 가능하며 같은 효과가 있다.
1.Page 설정 통해서 설정
¡<%@ page pageEncoding="UTF-8" contentType="text/html;charset=UTF-8" %>
¡pageEncoding 생략시 charset에 따라서 Page Encoding
2.함수 호출 1
Response.setCharacterEncoding(“UTF-8”);
Response.setContentType("text/html");
3.함수 호출 2
Response.setContentType("text/html;charset=UTF-8");
¤방법 1,2,3 중복해서 호출될 경우, 마지막 호출된 값이 유효하다.
¤하지만 PrintWriter pw = response.getWriter(); 함수 호출 이후에는 setCharacterEncoding(), setContentType() 함수가 호출되어도 무시된다.  
q명시적으로 Charset을 설정하지 않았다면 아래 단계로 디폴트 값 설정 됨
1.HTTP RequestContent-Language 참조
2.<locale-encoding-mapping-list> 정보를 web.xml에서 찾는다.
3.ISO-8859-1 을 사용한다.

qSRV.5.4 Response data Encoding ( servlet-2_5-mrel2-spec.pdf 에서 발췌 )

Servlets should set the locale and the character encoding of a response. The locale is set using the ServletResponse.setLocale method. The method can be called repeatedly; but calls made after the response is committed have no effect. If the servlet does not set the locale before the page is committed, the container’s default locale is used to determine the response’s locale, but no specification is made for the communication with a client, such as Content-Language header in the case of HTTP.

<locale-encoding-mapping-list>

<locale-encoding-mapping>

<locale>ja</locale>

<encoding>Shift_JIS</encoding>

</locale-encoding-mapping>

</locale-encoding-mapping-list>

If the element does not exist or does not provide a mapping, setLocale uses a container dependent mapping. The setCharacterEncoding, setContentType, and setLocale methods can be called repeatedly to change the character encoding.

Calls made after the servlet response’s getWriter method has been called or after the response is committed have no effect on the character encoding. Calls to setContentType set the character encoding only if the given content type string

provides a value for the charset attribute. Calls to setLocale set the character encoding only if neither setCharacterEncoding nor setContentType has set the character encoding before.

If the servlet does not specify a character encoding before the getWriter method of the ServletResponse interface is called or the response is committed, the default ISO-8859-1 is used.

Containers must communicate the locale and the character encoding used for the servlet response’s writer to the client if the protocol in use provides a way for doing so. In the case of HTTP, the locale is communicated via the Content-Language header, the character encoding as part of the Content-Type header for text media types. Note that the character encoding cannot be communicated via

HTTP headers if the servlet does not specify a content type; however, it is still

used to encode text written via the servlet response’s writer.

'그외 주제들 > 한글처리' 카테고리의 다른 글

다양한 환경에서의 언어 설정  (0) 2013.09.30
자바에서 String 처리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Unicode ( 유니코드 )  (0) 2013.09.30
Posted by 행복한삶~!!
|

     브라우저에서 Form Post/Get할때 è WAS è JSP/Servlet Source 코드Request.getParameter(“ID”) 까지 과정에서 영향을 미치는 환경설정값과 동작을 설명하고자 한다.

q브라우저에서 Static Page 호출
¤<a Href=“targetpage.jsp”..> link </a> 형태로 jsp / Servlet / html 호출시에는 http get 으로 link를 호출하게 된다.  경우 브라우저에서 WAS로 전달되는 데이터가 없으므로 Request 과정에는 별다르게 고려할 사항이 없다.
q브라우저에서 Form Post/Get할때 è WAS è Source 코드- Request.getParameter(“ID”) 까지 과정
1.브라우저에서 Form 데이터  Encoding (Form Data) 하는 단계
1.기본적으로 뒤에 따로 정리된 Form 인코딩 방법에 따라서 Form Encoding을 수행하지만, 브라우저 특성에 따라서 약간씩 다르게 Encoding 한다.
2.WAS에서 Form 데이터를 Request 객체에 반영하는 단계
1.WAS에서는 client.encoding.override에 따라서 인코딩하여 값을 Request에 반영한다.
2.client.encoding.override 값이 없다면 ISO-8859-1인코딩 하어 Request 객체에 Form 데이터를 반영한다.
3.소스코드에서 Request Encoding Type 재 변경하는 단계
1.doGet(),doPost() or JSP에서 Request 객체의 Encoding type을 강제로 변경하고 싶다면  Request.setCharacterEncoding( “EncodingType“)을 호출하면 된다. client.encoding.override 가 적절하게 설정되어 있다면 굳이 호출할 필요가 없다.

1. 브라우저에서 Form 데이터  Encoding
¤Chrome IE Form Encoding 비교
¤IE8 Encoding Data ( CustomerID=한글똠펲123 )
¡http://localhost:9080/HelloJSP/FirstServlet?CustomerID=%C7%D1%B1%DB%26%2346624%3B%26%2354194%3B123
¡확장한글 변환 방식
¡확장한글은 Numeric character reference 방식의 유니코드로 변환된다.
http://en.wikipedia.org/wiki/Numeric_character_reference
¡=0xB620=46624 è %26%2346624%3B = &#46624;
¡유니코드 표기 형태로 변환되기 때문에 서버에서 어떻게 Encoding과정을 거치더라도IE에서는 확장한글이 정상적으로 표기된다.
¤Chrome Encoding Data ( CustomerID=한글똠펲123 )
¡http://localhost:9080/HelloJSP/getform.jsp?CustomerID=%C7%D1%B1%DB%8Cc%BC%84123

¡한글은 MS949코드값으로 Encoding된다.  

¤EUC-KR에 포함되지 않는 확장 한글이 서로 다르게 Encoding 처리한다.
¡ChromeW3의 가이드대로 Encoding 하지만, IE는 고유의 방식으로 인코딩한다.
¤Form Encoding 데이터가 다르기 때문에 JSP/Servlet에서 어떻게 처리해주는지에 따라서 브라우저마다 확장한글의 출력 결과가 다르게 나타날 수 있다.

                 (2013-10-22  추가) Form이 있는 JSP 파일의 Page encoding-type에 따라서 Form data encoding이 달라진다.. -_-; 
           위의 예는 <%@ page contentType="text/html; charset=euc-kr"%>형태로 euc-kr로 저장된 경우이고, 
           charset=ISO-8859-1이거나 따로 지정하지 않아서 default로 ISO-8859-1된는 경우의 파라미터 인코딩은 아래와 같다.
           동일하게  CustomerID=한글똠펲123을 form encoding한 결과는
         CustomerID
=%26%2354620%3B%26%2344544%3B%26%2346624%3B%26%2354194%3B123+
           와 같다 모든 한글이 Numeric character reference 로 표현된다. IE 및 Chrome모두 동일한 결과이다. 
           참 이해가 안가는 동작이다.. -_-; form jsp파일 page encoding이 왜 영향을 미치는 것일까?
           WAS에서 생성된 html파일은 결국 같고 브라우저 단에서 form encoding이 발생되는데..
           왜 html을 생성하는 jsp 파일의 page encoding이 form encoding에까지 영향을 미치는지 신기하기만 하다.. -_-;
           html 파일 자체 및 header viewer로 header를 비교해봐도 차이점이 없는데..어떤값에 영향을 받는지..
           좀 더 탐구가 필요하다..

                 모든 한글은 numeric character reference로 표현되므로, action jsp 나 servlet에서 request.getParameter("ID")를
           하면 한글깨지는 현상없이 그냥 잘 얻어온다. 심지어 request.setCharacterEncoding("euc-kr") 를 호출할 필요도
           없고, 어떤 encoding type에서도 한글은 정상적으로 얻어올 수 있다.


2. WAS단에서는 Form 데이터를 Request 객체에 반영
¤client.encoding.override 값에 따라서 Encoding된 결과가 Request객체에 반영됨.
¤Form Test 문자열 한글똠펲123”
 

client.encoding.overide
 
설정 값

Request.getParameter(“ID”) 결과

IE

비고

Chrome

비고

EUC-KR

한글똠펲123

한글??123

확장한글은 깨짐

ms949

한글똠펲123

한글똠펲123

모두 정상 출력됨

ISO-8859-1 or

미설정

??똠펲123

Encoding변환으로 

정상출력 가능함.

????123

Encoding변환으로 

정상출력 가능함.

UTF-8

한글똠펲123

JSP파일은
1.
<%@ page pageEncoding="UTF-8" contentType="text/html;charset=UTF-8" %> 로 지정
2. ISO-8859-1로 지정
3. pageEncoding 및 Charset을 지정하지 않아 Default로 ISO-8859-1로 지정 되도록.

한글똠펲123

1.의 경우 form jsp 및 action jsp파일모두 utf-8로 일치해야 함

2,3의 경우 form jsp에서  form data encoding시에 Numeric character reference으로 한글이 encoding된다. 

¤client.encoding.overide 값이 없으면 ISO-8859-1 값이 Default 이다.
¤"ISO-8859-1 or 미설정"의 경우 아래와 같은 인코딩 변환으로 정상 출력이 가능하다.
¤Request.setCharacterEncoding(“ms949”) 호출 또는 String Encoding 변환.
String parameter = new String(
Resquest.getParameter(“ID”).getBytes(ISO-8859-1), “ms949”);

3. 소스코드에서 Request Encoding Type 변경
¤client.encoding.override 값이 잘 설정되어 있다면 JSP Servlet에서 굳이 Request.setCharacterEncoding을 호출할 필요가 없다.
¤예를 들어 client.encoding.override=ms949 이고 Request.setCharacterEncoding(“euc-kr”)을 호출한다면. 똠펲등의 확장한글은 모두 ?으로 변환된다. 그래서 Request.setCharacterEncoding를 호출할 때는 동작을 명확히 이해하고 호출해야 한다.
¤client.encoding.override 값이 미설정 상태라면 defaultISO-8859-1이 된다.
정상적으로 한글을 출력하기 위해서는 Request.setCharacterEncoding(“ms949”)getParameter하기전에 호출해야 한다.  또는 String parameter = new String( Resquest.getParameter(“ID”).getBytes(ISO-8859-1), “ms949”); 코드로 변환하여도 정상적으로 한글 출력을 할수 있다. 하지만 개별 문자열을 변환하기 보다는 Request.setCharacterEncoding(“ms949”)를 호출하는것이 더 적절한 문자열 처리 방식이다.
¤당연히 client.encoding.override=ms949설정 했을때도 동일하다.

qForm 인코딩 방법, application/x-www-form-urlencoded  
¤This is the default content type. Forms submitted with this content type must be encoded as follows:
¤Control names and values are escaped. Space characters are replaced by `+', and then reserved characters are escaped as described in [RFC1738], section 2.2: Non-alphanumeric characters are replaced by `%HH', a percent sign and two hexadecimal digits representing the ASCII code of the character. Line breaks are represented as "CR LF" pairs (i.e., `%0D%0A').
¤The control names/values are listed in the order they appear in the document. The name is separated from the value by `=' and name/value pairs are separated from each other by `&'.
q Request data encoding ( servlet-2_5-mrel2-spec.pdf 에서 발췌)

Currently, many browsers do not send a char encoding qualifier with the Content-

Type header, leaving open the determination of the character encoding for reading

HTTP requests. The default encoding of a request the container uses to create the

request reader and parse POST data must be “ISO-8859-1” if none has been

specified by the client request. However, in order to indicate to the developer in this

case the failure of the client to send a character encoding, the container returns null

from the getCharacterEncoding method.

If the client hasn’t set character encoding and the request data is encoded with

a different encoding than the default as described above, breakage can occur. To

remedy this situation, a new method setCharacterEncoding(String enc) has

been added to the ServletRequest interface. Developers can override the

character encoding supplied by the container by calling this method. It must be

called prior to parsing any post data or reading any input from the request. Calling

this method once data has been read will not affect the encoding.


'그외 주제들 > 한글처리' 카테고리의 다른 글

자바에서 String 처리  (0) 2013.09.30
Response 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Unicode ( 유니코드 )  (0) 2013.09.30
문자셋과 인코딩  (0) 2013.09.30
Posted by 행복한삶~!!
|

한글 처리에 영향을 주는 곳

10여군대 이상의 곳에서 Encoding 관련 정보들이 있고, 한글 처리에 영향을 미칠수 있다. 
client 부터 WAS까지, WAS에서 DB 및 외부 I/O처리, 다시 WAS에서 Client까지 전 구간을 완벽하게 이해하는것은 어려운 일일수 있지만 몇가지만 정확하게 알고 있으면 한글 깨지는 문제는 피 할수 있다.
특별히 빨간색으로 표기된 부분의 환경설정이 중요하다.

한글 문제를 피하려면?

q몇 가지 환경설정만 잘하면된다.
¤전체 브라우징 과정을 살펴보면 많은 과정을 거치면서 10여군대 이상의 encoding관련 설정에 영향을 받는다. 모든 과정을 완벽히 이해하는것은 힘들지만 몇 가지 환경설정 및 핵심 구간의 동작을 이해하면 한글 문제를 할 수 있다.
¤필수 환경 설정
¤WAS JVM 설정
¤HTML Meta Tag
¤JSP 페이 설정
¤Servlet Response/Request 설정
¤DB 언어 설정
¤3가지 구간의 세부 동작을 이해하자!
¤브라우저부터 Request 객체까지
¡Static Page 호출 Form 데이터 수신 과정 이해
¤Java 언어에서의 Encoding 이해 및 외부 I/OEncoding 이해
¤Response 객체에서 Encoding 이해
q언어 처리는 크게 2가지 상황이 있다.
¤한글과 영어만 제대로 나오면 되는 경우 ( 다국어 처리를 고려하지 않음 )
¤한국어,중국어,일본어, 힌두어 등 다국어를 동시에 처리해야 하는 경우.

    한글과 영어만 고려한 환경설정 ( 다국어 처리를 고려하지 않음 )

qWAS JVM 설정
¤file.encoding=ms949, client.encoding.override=ms949
qHTML Meta Tag설정
¤<meta http-equiv="Content-Type" content="text/html; charset=euc-kr">
qJSP 페이지 설정
¤<%@ page pageEncoding=“ms949contentType="text/html;charset=ms949" %>
pageEncoding 생략시 charset 값으로 pageEncoding )
qServlet Response/Request 설정
¤HTTP 요청의 인코딩 지정 ( client.encoding.override가 정의되어 있다면 생략해도 됨 )
¤request.setCharacterEncoding(“ms949”);
¤HTTP 응답의 인코딩 지정
¤response.setContentType("text/html; charset=ms949"); or
response.setCharacterEncoding(“ms949");
q빨간색으로 표기된 ms949대신 euc-kr을 사용하면 euc-kr의 문제인 현대한글 중 2350자만 표현 가능한 문제가 발생한다. (,펲등의 한글이 깨짐) 그래서 euc-kr 대신 ms949를 사용하는것이 바람직하다. 
ms949가 비록 ms에서 만든 환영받지못한 Charter Set이지만, 오라클 DB, JAVA, 많은 WAS에서 대부분 지원하고 있는 표준의 역할을 하고 있다. ( 물론 unicode를 사용하지 않는 경우에 한해겠지만.. )
¤오라클도 ms949를 지원하므로 ms949 로 설정해야 현대한글이 모두 표현된다.
¤Html의 경우 charset=euc-kr로 을 줘도 브라우저에서 현대한글이 정상적으로 출력된다.
 
    다국어를 지원해야 하는 경우의 환경설정
q하나의 페이지에서 다국어를 입력,출력해야 한다면 모든 설정을 UTF-8로 통일시켜야 한다.
qWAS JVM 설정
¤file.encoding=UTF-8, client.encoding.override=UTF-8
qHTML 설정
¤<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
qJSP 페이지
¤<%@ page pageEncoding=“UTF-8" %> ( 생략가능, 생략시 charset 값으로 pageEncoding )
¤<%@ page contentType="text/html;charset=UTF-8" %>
qServlet 설정
¤HTTP 요청의 인코딩 지정
¤request.setCharacterEncoding(“UTF-8”);
¤HTTP 응답의 인코딩 지정
¤response.setContentType("text/html; charset=UTF-8"); or
response.setCharacterEncoding(“UTF-8");
qDBMS
¤DBMS 설정값도 UTF-8로 설정해야 한다

'그외 주제들 > 한글처리' 카테고리의 다른 글

Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
Unicode ( 유니코드 )  (0) 2013.09.30
문자셋과 인코딩  (0) 2013.09.30
Character-Set & Encoding이란?  (0) 2013.09.30
Posted by 행복한삶~!!
|
q유니코드는 전 세계의 모든 글자를 하나로 표현하려는 체계이다.
qISO 10646로 정의됨
¤유니코드 1.0.019918월 최초제정
¤유니코드 2.0.0에 한글 11,172자가 모두 포함됨
¤최신 버전은 2012927일 제정된 6.2
q개별적으로 정의되던 문자셋을 통합한 궁극의 문자셋
¤한글뿐 아니라 일본어와 중국어에도 컴퓨터에서 해당 언어를 표현할 수 있는 독자적인 문자 집합이 있다(KPS-9566, EUC-CN, EUC-TW, EUC-JP, Shift JIS, Big5, GB, HZ ). 문제는 '어떻게 동시에 한국어, 중국어, 일본어를 표현하느냐'이다. 하나의 문자 집합을 사용하는 문서에서는 이를 동시에 표현할 수 없다(escape sequence를 이용하여 여러 문자 집합을 표현할 수 있으나 이는 널리 쓰이지 않았다).
이런 문제는 유럽어의 문자 집합에도 있었다. 유로화를 나타내는 '€' 기호에는 ISO 8859-15(Latin 9)의 코드 값 중 0xA4이 할당되었으나 ISO 8859-1(Latin 1)0xA4 코드에 할당된 문자는 '¤'. 이 문제를 해결하기 위해 전 세계적으로 사용되는 모든 문자 집합을 하나로 모아 탄생시킨 것이 유니코드이다.
q한글지원
¤현대 한글 11,172자 모두 지원함
¤옛 한글을 조합형 방식으로 모두 지원함

      Unicode 인코딩 방식
qUnicode 인코딩 방식은 UCS-2, UCS-4, UTF-7, UTF-8, UTF-16, UTF-32등 다양하지만 가장 대표적으로 UTF-8 UTF-16이 많이 사용된다.

코드 범위

UTF-16BE 표현

UTF-8 표현

000000-00007F

00000000 0xxxxxxx

0xxxxxxx

000080-0007FF

00000xxx xxxxxxxx

110xxxxx 10xxxxxx

000800-00FFFF

xxxxxxxx xxxxxxxx

1110xxxx 10xxxxxx 10xxxxxx

010000-10FFFF

110110yy yyxxxxxx 110111xx xxxxxxxx

11110zzz 10zzxxxx 10xxxxxx 10xxxxxx


qUTF-8

¤ASCII 영역 ( ~127)1byte로 표현되고, 한글은 모두 3 byte로 표현된다.
¤예를 들어 Unicode 값은 0xD55C, 11010101 01011100 이다
¤변환룰을 적용하면..
11101101 10010101 10011100 이 되고 이를 hex변환하면 0xED 95 9C 가 된다.
qUTF-16
¤BMP영역 ( ~ 0xFFFF)을 모두 2 Byte로 표현하고, 그 이상의 영역은 4 Byte로 표현된다.
¤한글 및 Ascii영역등은 Unicode 값 그대로 저장되어 2 Byte 씩으로 표현된다.

      기타 용어
qBMP ( Basic multilingual plane, 기본 다국어 평면 )
¤유니코드의 첫째(0번) 평면으로, U+0000부터 U+FFFF까지의 영역을 차지한다. BMP에는 거의 모든 근대 문자와 특수 문자가 포함되어 있으며, 그 중 대부분은 한글한중일 통합 한자들로 이루어져 있다.
qBOM ( Byte Order Mark )
¤Encoding Unicode값이 Big Endian 인지 Little Endian인지 구분하는 파일 서두에 표기되는 문자열.
¤윈도우의 메모장이나 울트라에디터에서 텍스트 편집 후 저장할 때 인코딩 Type에 따라 BOM붙는것을 확인 할 수 있다. 하지만 OS에 따라서는 BOM을 사용하지 않는 경우도 있다. 그래서 BOM때문에 오히려 호환성 문제가 발생하기도 한다

Encoding

Representation

UTF-8

EF BB BF

UTF-16 빅 엔디안

FE FF

UTF-16 리틀 엔디안

FF FE

UTF-32 빅 엔디안

00 00 FE FF

UTF-32 리틀 엔디안

FF FE 00 00

SCSU

0E FE FF

UTF-EBCDIC

DD 73 66 73

BOCU-1

FB EE 28 

 

'그외 주제들 > 한글처리' 카테고리의 다른 글

Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
문자셋과 인코딩  (0) 2013.09.30
Character-Set & Encoding이란?  (0) 2013.09.30
Posted by 행복한삶~!!
|
영어권 문자셋과 인코딩
qASCII
¤1967년에 미국에서 제정됨 (1986년에 마지막 개정)
¤ASCII0x00부터 0x7F까지의 총 127개 문자(제어 문자, 특수 문자, 숫자, 알파벳 등)로 이루어져 있다.
qISO-8859
¤ASCII는 미국에서 제정된 표준이니 영어 알파벳을 표현하기에는 큰 문제가 없었겠지만, ß(독일어), ñ(에스파냐어), å(스웨덴어와 북유럽 언어)와 같은 문자를 표현할 수 없어 유럽어에는 사용할 수 없었다.
¤이러한 문제를 해결하기 위해 확장 ASCII(Extended ASCII)를 제정하여 기존의 ASCII로 정의하지 못했던 128번부터 255번까지의 새로운 문자를 정의할 수 있게 되었다. , 새로 추가된 128개의 코드(0x80 ~ 0xFF)로 프랑스어, 독일어 등의 유럽어를 표현할 수 있게 된 것이다. 이와 같이 다양한 유럽어를 표현할 수 있는 확장 ASCIIISO-8859 유럽 통일 표준안으로 제정되었다.
¤ISO 8859-1은 서유럽 언어를, ISO 8859-2는 동유럽 언어를 위한 표준이며
ISO 8859-16
까지 다양한 버전이 있음.
q참고자료

      한글 문자셋과 인코딩
q80년대부터 한글을 처리하기 위한 다양한 방법들이 발전해 왔음
q현재는 KSC5601, EUC-KR, MS949, UNICODE 정도만 사용됨
qKSC5601 (정식명칭 : KS X 1001 )
¤1987년에 표준안 채택, 대표적인 한글완성형 코드
¤0xA1A1부터 0xFEFE까지의 영역(94x94, 8,836글자할당)
¤한글 2,350, 한자 4,888
¤부호 외국문자(일본, 러시아, 그리스어등)1,598
¤,,, 등 많은 현대 한글을 표현하지 못하는 문제가 있다.
¤1992년에 이러한 문제를 해결하기 위해서 조합형을 지원하게 개정되었으나 거의 사용되지 않는다.
qEUC-KR
¤KS X 1001 KS X 1003 규격으로 구성됨
¤128보다 작은 바이트에 KS X 1003을 배당한다.
¡영문 및 특수문자 지원 ( ASCII 표준에서 역슬래시(0x5C) 대신에 ‘\’를 지원 )
¤128보다 크거나 같은 두 바이트에 KS X 1001을 배당한다.
¡한글 지원 ( KSC 5601 )
q참고자료
qMS949, CP949 ( MS 확장완성형 한글)
¤MicroSoft에서 제정, Windows95부터 지원하며 한글 Windows의 기본 인코딩
¤EUC-KR의 확장이며, 하위호환성이 있음
¤128보다 작은 바이트에 KS X 1003을 배당한다.
¤128보다 크거나 같은 두 바이트에 KS X 1001을 배당한다.
¤KS X 1001(KSC5601)의 미흡한 한글지원 문제를 해결함
¤현대 한글 11,172자를 모두 지원함
¡기존 2,350글자에서 추가로 8,822 글자를 지원.
¡,,, KSC5601에서 미지원하는 글자를 모두 지원함
¤MS에서 임의로 제정한 문자셋이기 때문에 많은 반대와 비난이 있었지만 현재는 Oracle DB,JAVA등 많은 환경에서 지원하고 있다.
발표당시에는 유니코드가 없을때고 KSC5601 완성형의 문제를 근본적으로 해결하는 조합형에 대한 열망이 클때라 MS에서 조합형을 지원해주기를 바라는 목소리가 많았다. 하지만 이미  KSC5601 완성형으로 작성된 수많은 문서들의 하위호환성 때문에 MS에서는 비난을 감수하고 확장완성형으로 KSC5601의 취약점을 보완하는 방향을 선택하였다.
¤CP949와 MS949는 완전히 동일한 것이나자바에서는 서로 다르게 구분해서 사용되므로 주의를 요한CP949IBM에서 처음 지정한 코드 페이지(sun.nio.cs.ext.IBM949)가 기준이고 Microsoft가 제정한 확장 완성형은 MS949(sun.nio.cs.ext.MS949)를 기준이다. 대부분의 환경에서는 구분없이 사용되나 Java에서는 서로 다르게 구분되므로 주의를 요한다.
Java에서는 CP949EUC-KR 같이 취급되며, 확장 완성형을 사용하기 위해서는 MS949로 지정해야 한다.
¤ms949는 추가되는 8822글자에 대한 코드값을 사용하지 않는 영역을 임의로 할당하였기 때문에 글자 코드값이 정렬되지 않는 문제가 있다. 예를 들어 '가'의 코드값은 '간'보다 작기때문에 코드값 비교를 통해서 간단히 문자열 정렬을 할수가 있지만, 추가된 확장한글은 단순비교를 하면 뒤죽박죽이 되어 버린다. 이러한 문제를 피하려면 조합형이나 유니코드값 변환테이블을 사용해서 정렬을해야 한다. 
¤마이크로소프트에서는 CP949/MS949ks_c_5601-1987이라고도 부른다.  
IE
브라우저에서 EUC_KR 페이지를 다른 이름으로 저장하면 charset=ks_c_5601-1987 으로 저장된다.  KSC5601 의 역사를 고려하면 참 생뚱맞은 이름이다.
q참고자료

      Unicode ( 유니코드 )
q유니코드는 전 세계의 모든 글자를 하나로 표현하려는 체계임. Unicode 페이지에서 더 상세 설명.

'그외 주제들 > 한글처리' 카테고리의 다른 글

Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Unicode ( 유니코드 )  (0) 2013.09.30
Character-Set & Encoding이란?  (0) 2013.09.30
Posted by 행복한삶~!!
|
한글 처리관련 내용을 업데이트 하며... 
      오랫동안 한글 처리에 관련해서 관심이 많았는데, 우연한 기회에 한글처리 관련해서 정리할 기회가 되서.. 
      열심히 구글링 및 테스트한 결과를 정리하게 되어 기쁘게 생각한다.. 많은사람들에께.. 부디 도움 되길... ^^; 

q문자셋 ( Character Set)
¤하나의 언어권에서 사용하는 언어를 표현하기 위한 모든 문자(활자)의 모임을 문자셋이라고 한다. 영어라면 'A', 'B', 'C'에서 'Z'까지(소문자 a에서 z), 한글이라면 ''에서 ''까지다. 물론 숫자나 특수 문자뿐만 아니라 인쇄와 통신을 제어하기 위한 제어 문자도 문자셋에 포함되어야 한다. 중국어,일본어, 힌두어, 아랍어등 각각 문자셋은 고유 언어의 특징을 반영하는 문자들이 포함된다.
q인코딩 ( Encoding )
¤문자 집합을 코드 형태(일반적으로 행렬)로 표기한 것을 코드화된 문자 집합(CCS, coded character set)이라고 한다. 예를 들어 ''에는 10001, ''에는 10002와 같이 코드를 할당하는 방식 말이다. 그리고 문자 집합을 컴퓨터에 저장하기 위해서 옥텟(octet, 8비트 단위) 형태로 표현한 것을 인코딩 방식(CES, character encoding scheme)이라고 한다.
q문자셋과 인코딩은 동일하지 않지만, 실제적으로는 많 혼용해서 사용하고 있다.
¤한글 : KSC5601, EUC-KR, MS949
¤일본어 : Shift-JIS, EUC-JP
¤영문 서구권 : US-ASCII, ISO-8859-1
¤유니코드 : ISO-10646

'그외 주제들 > 한글처리' 카테고리의 다른 글

Response 구간 정리  (0) 2013.09.30
Request 구간 정리  (0) 2013.09.30
JSP,Servlet에서 한글 문제를 피하려면..  (0) 2013.09.30
Unicode ( 유니코드 )  (0) 2013.09.30
문자셋과 인코딩  (0) 2013.09.30
Posted by 행복한삶~!!
|