customs-notification-analysis-and-monitoring-system

글로벌 공급망 위기 대처를 위한, 세관 고시 분석 및 모니터링 시스템

Notice

본 프로젝트는 Kotra 내부 서비스 적용을 위해 현재 계약을 진행하였고, 
코드를 포함한 최종 결과물의 사용 권한을 Kotra에 이관하였음을 알립니다.
그렇기에, 해당 repository에서는 샘플 데이터, 회의록 등의 일부 자료만 확인 가능합니다.

기술 스택

Collaborative organization

,

1. Kotra (대한무역투자진흥공사) - 프로젝트 멘토링, 고도화 진행
2. BigLeader (빅리더) - 프로젝트 주관, 협조 진행

개발 멤버

• Team Leader
  • KwanJung98 (82KJ) - FE / BE / Design Auto Scraper / NLP Model Selection & Application
• Team Member
  • JangHyun Noh (NohJangHyun) - Scraping (Japan, Australia) / Data Preprocessing / Testing & Results Analysis
  • Yoona PARK (gyunnas) - Scraping (America, Australia) / Data Preprocessing / BE
  • JinSeo_Han (jinseoyaaa) - Scraping (Vietnam, China) / Data Preprocessing / Testing & Results Analysis

개요

본 시스템은 2021년 10월경 발생한 요소수 대란과 같은 글로벌 공급망 불안 사태를 예방하기 위해 고안되었다.
해외 관세청 세관고시를 신속하게 파악하여 산업 관계자에게 제공하는 것을 목표로 한다. 이를 위해, Kotra(대한무역투자진흥공사)와 연계하여 각종 해결책 및 시스템 구성 방식을 구상하였다.

• 해외 관세청에 올라오는 세관 고시의 신속한 파악 --> 매일 고시를 크롤링하여 DB에 저장하는 자동화 시스템 구축
• 각 세관 고지가 어떠한 품목과 관련되어 있는지 분석 --> NLP 모델을 이용한 문서 키워드 추출 방식 적용
• 각 세관 고지가 대한민국에 어떻게 영향을 줄 수 있는지 --> 자체 선정 모니터링 품목 매칭 및 산업군 매칭표 제공
• 다양한 산업 관계자를 대상으로하는 서비스 제공 --> 사용자 친화적이고 직관적인 웹 서비스 구현

Data Set

1. 5개국 세관고지 데이터

각 나라별 관세청 사이트의 업로드된 세관고시 수집 진행 (날짜, 제목, 링크, 내용, 영어 번역본, 한국어 번역본)

국가	기간	개수
중국	1999.11.02~2022.07.25	2191개
미국	2003.06.18~2022.07.26	937개
일본	2019.05.29~2022.08.01	500개
호주	2018.12.10~2022.08.23	1620개
베트남	2010.08.10~2022.07.01	1000개

2. 모니터링 품목 데이터

대한민국과 각 나라별 교역 품목 기준으로 모니터링 품목 선정 및 수집 진행 (MTI, HSCODE, KSIC)

국가	대분류	소분류
중국	100개	330개
미국	100개	282개
일본	100개	274개
호주	100개	211개
베트남	100개	301개

NLP 모델 선정

Sentence BERT - (all-mpnet-base-v2)

2018년 구글에서 공개한 Pretrained Model인 BERT를 미세 조정하여 Sentence Embedding의 성능을 극대화한 모델
다양한 SBERT 모델 중, Sentence Embeddings과 Sematic Search의 평균 성능이 가장 뛰어난 all-mpnet-base-v2 선정
미세 조정을 위해, 10억개의 문장 쌍 데이터로 contrastive learning을 진행

Name	Avg Performance	Encoding Speed (sentences/sec)	Size (MB)
all-mpnet-base-v2	63.30	2800	420

Output View

1. Dashboard Page

• L0 : Scraping Progress Time - 자동화 시스템 동작으로 DB 갱신 시각    
• L1 : Search Keyword - 키워드 검색 및 국가별 최신 키워드 출력   
• L2 : Keyword Bar Chart - 국가별 키워드 비중 막대 그래프   
• L3 : Keyword Table - 키워드 관련 코드표   
• L4 : Key Customs Notice - 키워드 관련 국가별 세관 고시   
• L5 : New Customs Notice - DB 갱신 직후, 최신 세관 고시   

2. Customs Notice Page - Australia

• L1 : Key Customs Notice - 모니터링 품목과 매칭된 핵심 세관고시 리스트 (Date, Title, Keyword, Link)   
• L2 : New Customs Notice - 최신 세관고시 리스트 (Date, Title, Tag, Link)   

• L1 : Matching Table - 고시 키워드와 국가별 모니터링 품목 매칭표 (Keyword, MTI4, MTI6, HSCODE, Industry, More)   

• L1 : MORE INFO MODAL - 모니터링 품목 관련 추가적인 HSCODE, KSIC 리스트    

3. Customs Notice Page - China, America, Japan, Vietnam

시연 영상 링크
https://www.youtube.com/watch?app=desktop&v=89itkBMtdCQ&feature=youtu.be

Contacts

프로젝트 관련 문의는 다음의 이메일을 이용해 주시기 바랍니다.
E-mail : [email protected]