V2Ray TLS 핸드셰이크 실패와 인증서 오류: 시스템 시간, SNI, allowInsecure 완벽 가이드

TLS 핸드셰이크 실패의 흔한 오류와 점검 순서

TLS 핸드셰이크는 V2Ray 연결의 첫 단계입니다. 클라이언트가 서버로 ClientHello를 보내면 서버는 인증서 체인을 반환하고, 로컬 코어가 인증서 유효 기간·도메인 일치·발급 체인을 순서대로 검증합니다. 어느 하나라도 실패하면 연결은 핸드셰이크 단계에서 끊기며 '연결됐지만 즉시 끊김' 현상이나 코어 로그의 인증서 오류로 나타납니다. v2rayN과 v2rayNG는 동일한 Xray 코어를 사용하므로 오류 형식도 같습니다.

점검 순서는 고정하는 것이 좋습니다. 먼저 오류 메시지를 읽고, 다음으로 시스템 시간을 확인하고, 그다음 도메인과 SNI를 대조한 뒤, 마지막으로 인증서 체인을 검사합니다. 순서를 뒤섞으면 노드만 계속 바꾸게 되고 실제 문제는 그대로 남는 경우가 가장 많습니다.

세 가지 오류는 각각 독립적인 점검 항목에 대응합니다. 이후 장에서는 이 순서대로 설명하며, 각 절 마지막에 v2rayN과 v2rayNG의 구체적인 설정 경로를 제시합니다.

시스템 시간 오차: expired와 not yet valid의 첫 번째 원인

인증서 검증은 기기 로컬 시간을 기준으로 합니다. 인증서에는 NotBefore와 NotAfter 두 시간 경계가 포함되어 있으며, 로컬 시간이 이 경계를 벗어나면 '만료됨' 또는 '아직 유효하지 않음' 오류가 발생합니다. v2rayN의 코어 로그 패널에는 매 핸드셰이크의 로컬 타임스탬프가 출력되므로, 로그 시간과 실제 시간을 먼저 비교해 보고 몇 분 이상 차이가 나면 시간 문제로 판단하면 됩니다.

시간 동기화는 두 단계면 충분합니다. 자동 시간을 켠 뒤 '지금 동기화'를 한 번 눌러주세요. 가상 머신이나 듀얼 부팅 사용자는 게스트 OS 시간이 재개 후 갱신됐는지 추가로 확인해야 합니다. 일시 중단 상태에서는 시간이 멈춰 있기 때문입니다.

Windows와 Android의 시간 동기화 경로

• Windows 11 / 10: 설정 → 시간 및 언어 → 날짜 및 시간에서 '자동으로 시간 설정'을 켜고 '지금 동기화'를 클릭하세요.
• Android: 설정 → 시스템 → 날짜 및 시간에서 '자동으로 시간 및 날짜 사용'을 켜세요. 일부 기종은 '추가 설정' 아래에 있습니다.
• 가상 머신과 듀얼 부팅: 재개 후 한 번 수동으로 시간을 동기화해 일시 중단이나 절전으로 인한 시간 정지를 방지하세요.

동기화가 끝나면 코어를 재시작한 뒤 다시 시도하세요. v2rayN은 '코어' → '코어 재시작'으로, v2rayNG는 연결 스위치를 껐다 켜면 됩니다. 오류가 사라졌다면 원인은 시간 오차였던 것입니다.

SNI와 도메인 일치: 인증서 이름 불일치 오류 찾기

도메인 일치는 인증서 검증의 두 번째 단계입니다. 클라이언트는 '서버 주소' 또는 별도의 SNI 필드로 인증서의 CN과 SAN 목록을 비교합니다. 주소에 IP를 입력했는데 인증서가 도메인에만 발급된 경우 로그에 valid for xxx, not yyy 오류가 나타납니다. Xray 코어에서 이 필드는 serverName이며, GUI에서는 SNI로 표시됩니다.

{
  "streamSettings": {
    "network": "tcp",
    "security": "tls",
    "tlsSettings": {
      "allowInsecure": false,
      "serverName": "v2.example.com"
    }
  }
}

해결 방법은 두 가지뿐입니다. 주소를 도메인으로 되돌리거나, IP 주소를 유지한 채 SNI 필드에 인증서 도메인을 입력하는 것입니다. 전자는 도메인 해석이 가능한 경우에, 후자는 도메인이 오염되어 IP 직결이 필요한 경우에 적합합니다. v2rayN에서 SNI는 서버 편집 창의 TLS 그룹에 있고, v2rayNG는 서버 편집 페이지의 TLS 관련 설정에서 입력합니다.

인증서 체인 누락과 allowInsecure의 올바른 사용법

인증서 체인은 리프 인증서, 중간 인증서, 루트 인증서로 구성됩니다. 서버는 리프와 중간 인증서를 내려줘야 하며, 루트 인증서는 클라이언트 시스템 신뢰 저장소에서 제공됩니다. 중간 인증서가 없으면 클라이언트가 신뢰 체인을 구성하지 못해 unknown authority 오류가 발생합니다. 이는 서버 설정 문제로, 배포 파일에 리프 인증서만 넣은 경우에 흔합니다.

allowInsecure는 인증서 검증 체인 전체를 건너뛰는 역할을 합니다. 유효 기간, 도메인, 발급자 검증을 모두 생략하며 인증서 자체의 문제를 고치지 않고 핸드셰이크만 통과시킵니다. 임시로 켠 뒤 연결이 성공하면 문제가 실제로 인증서 쪽에 있다는 뜻이므로, 이후에는 서버 측에서 인증서를 수리해야지 이 옵션을 계속 켜 두면 안 됩니다.

v2rayN에서 allowInsecure는 서버 편집 창의 TLS 그룹에 있으며, 체크 후 코어를 재시작해야 적용됩니다. v2rayNG는 서버 편집 페이지의 allowInsecure 스위치로, 전환 후 연결을 끊었다 다시 연결해야 합니다. 데이터는 여전히 TLS로 암호화되지만 인증서 신원은 더 이상 검증되지 않으므로 중간자(MITM)가 인증서를 교체할 수 있습니다.

v2rayN과 v2rayNG의 TLS 설정 비교

아래 표는 두 클라이언트에서 네 가지 점검 항목의 설정 위치를 정리한 것입니다. 이 순서대로 진행하면 대부분의 인증서 오류를 해결할 수 있습니다.