/ 3분 / ANDROID · PARSING · PRIVACY

코퍼스가 개인정보일 때 파서 정확도를 재는 법

문자 3,931건에 파서를 대봤다. 정확도는 남기고 원문은 안 남기는 게 요구사항이었다.

파싱분 필드 정확도 746건 중 불량 0

문자로 오는 결제 알림을 구조화하는 파서를 만들었다. 금액과 일시를 뽑아내는, 정규식 몇 개짜리 흔한 물건이다.

문제는 검증이었다. 정확도를 재려면 실제 문자가 필요한데, 실제 문자가 개인 거래내역이다. 테스트 픽스처로 레포에 넣을 수가 없다.

남길 것과 안 남길 것을 먼저 가른다

결론부터 쓰면 이렇게 갈랐다.

  • 레포에 남긴다 — 프로파일(정규식 규칙), 검증 방법, 집계 수치
  • 레포에 안 남긴다 — 문자 원문, 표본 하나하나의 판정 결과

검증은 로컬에서 실기 수신함을 통째로 읽어 돌리고, 커밋되는 건 표 하나다. 누가 나중에 재현하려면 자기 수신함으로 돌리면 된다. 내 수신함이 필요한 게 아니라 내 방법이 필요한 것이기 때문이다.

이게 되려면 검증기가 코퍼스를 인자로 받아야 한다. 코퍼스 경로를 코드에 박아두면 그 코드는 나만 돌릴 수 있는 코드가 된다.

한 숫자로 뭉치면 안 보이는 것

수신함 3,931건 중 금융 발신번호에 해당하는 게 983건이었다. 파서를 통과시킨 결과:

분류건수
파싱됨746
의도적 배제(deny)207
미파싱 잔여30
파싱분 필드 불량0

여기서 “정확도 76%“라고 쓰면 틀린 보고다. 746/983은 파싱률이지 정확도가 아니다.

배제된 207건은 실패가 아니다. 인증번호 안내, 적금 만기, 배송 알림 같은 비거래 문자를 파서가 걸러낸 것이다. 걸러내라고 만든 규칙이 걸러낸 걸 실패로 세면, 규칙을 느슨하게 만들수록 점수가 올라간다.

그래서 두 숫자를 따로 재야 한다.

  • 파싱률 — 거래 문자 중 몇 개를 잡았나 (놓친 것의 척도)
  • 필드 정확도 — 잡은 것 중 금액·일시가 몇 개나 맞나 (틀린 것의 척도)

놓치는 건 다음 판에 규칙을 추가하면 된다. 틀리는 건 조용히 잘못된 데이터를 쌓는다. 그래서 완료 게이트는 필드 정확도에 걸었다. 파싱률이 아니라.

오탐의 주범은 결제 문자가 아니었다

제일 많이 속인 건 이런 형태였다.

승인번호 입력시 000,000원 결제됩니다

“원”과 “결제”가 다 있고 숫자도 있다. 결제 완료 문자와 토큰 수준에서 구별이 안 된다. 차이는 시제 하나다 — 됐다가 아니라 될 것이다.

이런 건 금액 정규식을 아무리 정교하게 다듬어도 안 잡힌다. 잡으려면 문장 전체를 봐야 하고, 그러면 그 문장만을 위한 규칙이 하나 생긴다. 결국 배제 목록에 넣었다. 정교한 일반 규칙보다 명시적인 예외 하나가 나은 자리가 있다.

한쪽 형식은 아예 문자로 안 온다

프로파일을 여덟 개 짰는데, 그중 두 곳은 검증을 못 했다. 문자를 아예 안 보내기 때문이다. 앱 푸시 알림으로만 온다.

여기서 파서가 두 갈래로 갈린다.

  • 문자는 본문 하나가 전부다. 정규식 하나면 된다.
  • 알림은 title과 text가 따로다. 어떤 곳은 금액을 text에, 어떤 곳은 title에 넣는다. 본문만 보는 파서는 후자를 통째로 못 읽는다.

수신함 코퍼스로는 이걸 검증할 방법이 없다. 알림 표본은 따로 떠서 소수로 확인했고, 그래서 이 두 프로파일의 신뢰도는 나머지 여섯 개와 같지 않다. 표에 같이 넣지 않았다.

구현이 둘이면 규칙도 둘이 된다

검증기는 파이썬으로 짜고 앱은 자바다. 정규식을 양쪽에 적으면 반드시 갈라진다. 그래서 규칙을 JSON 한 장에 넣고 양쪽이 그걸 읽게 했다.

그래도 완전히 같지는 않다. 파이썬 re.S와 자바 Pattern.DOTALL이 같은 뜻이긴 하지만, 문자클래스나 lookbehind에서 문법이 갈리는 지점이 있다. 그래서 양쪽에서 확실히 같은 문법만 쓰기로 범위를 좁혔다. 교대, 그룹, \d, \n, 문자클래스까지. lookbehind는 안 쓴다.

표현력을 줄여서 동치성을 샀다. 파서 하나에 규칙 언어까지 얹는 것보다 이게 싸다.

아직 안 한 것

실기에서 온디바이스 파싱을 한 번도 안 돌려봤다. 빌드가 되고 APK 안에 프로파일과 클래스가 들어간 건 확인했지만, 실제 문자가 들어와서 자바 파서를 타는 경로는 미검증이다. 검증기가 100%라는 건 검증기가 100%라는 뜻이지 앱이 100%라는 뜻이 아니다.

이 둘을 같은 문장으로 보고하면 그때부터 계측이 거짓말을 시작한다.