object-detection : 시각장애인을 위한 AI 제품인식 멀티 디바이스

❓Problem : 다수의 시각장애인들은 본인이 섭취하는 음식의 유통기한을 알지 못하는 불편함을 드러냄, 더 나아가 알약과 같은 의약품의 경우 생김새가 비슷한 경우가 많아 촉감으로는 구별하기 어렵다.😮

👍Idea : AI기술인 객체인식을 이용해 사용자가 원하는 정보(상품명, 유통기한, 복용법)을 음성으로 알려주는 기기는 어떨까? 🤔
💯 Solution : YOLOv5, OCR, dectron2을 이용해 사용자가 원하는 정보를 알려주자.😁

구현 영상

중간 발표 시연영상 보러가기

최종 발표 시연영상 보러가기

주요 기능과 로직

1. 유통기한

   : 유통기한 위치를 AI 기술로 인식하여 전처리 및 후처리를 거쳐 자세한 정보를 알려준다.

2. 제품명

   : 바코드의 위치를 AI 기술로 인식하여 OCR을 통해 바코드 정보를 불러와 제품명을 알려준다.

3. 의약품 정보

   : 의약품명, 복용법의 자세한 정보를 알려준다.

메인 로직 :

서비스 구조 :

기술 스택

• 언어 : Python
• 딥러닝 모델 : Yolov5, detectron2, OCR, google cloud flatform stt/tts, Pyzbar
• 의약품 정보 데이터: 식약처 데이터(OpenApi)

개발 기간

• 2022년 9월 ~ 2023년 6월
  

기획 & 설계