문제의 발단
나는 약 6개월 전부터 서울이나 경기도권으로 행복주택을 알아보고 있다.
사용하면서, 현재의 행복주택 신청 서비스는 매우 불편하다는 것을 느꼈다. 가장 불편하게 느낀 점은 매 공고마다 공고문 PDF파일을 열고 한줄, 한줄 읽으면서 분석하면서 다시 내가 정리해야 한다는 점이다. 내가 지원을 할 수는 있는지, 내가 몇 순위로 지원을 할 수 있는 곳인지. 한눈에 알고 싶었다.
현재의 기술로 해결할 수 있을까?
일단, 공공 API는 지원하고 있는지, 지원하고 있다면 얼마나 지원하고 있는지를 파악해야 한다.
파악해 본 결과, 다행히 LH, SH, GH 공고문의 정보들을 모은 마이홈포털의 공공 API를 찾을 수 있었다. 바로 취득 권한 신청을 했고, 즉시 사용할 수 있어서 테스트를 진행했다. 데이터를 잘 받을 수 있었다.
하지만, 문제는 이 공공 API의 정보에는 각 공고문의 대략적인 정보들만 가지고 있다는 점이다.
공공 API를 통해, 세부 페이지의 주소를 획득했다. 세부 페이지 안에 PDF가 있다.
이 순간부터 일반적인 프론트엔드 범주는 벗어난다. 새로운 도전이다. 세부적인 정보들을 어떻게 사전에 파악하고, 정리해서 사용자들에게 제공해줄 수 있을지를 생각해봤다.
- 크롤러를 만들어서, 주기적으로 마이홈포털 API로 공고 리스트를 불러온다.
- 각 공고의 세부 페이지에 접속하여 PDF를 추출하고, 분석한다.
- 분석된 내용을 가공하여 DB에 저장한다.
- 각 공고별 세부 페이지로 진입하지 않고도 확인할 수 있다.
세부 페이지에서 PDF를 클릭하고, 접속하는 단계까지 Browser-use를 사용하는 방법도 검토해 볼 예정이다. Browser-use는 AI를 이용해 특정 페이지에 접속해서, 행동을 할 수 있는 라이브러리로 기술적인 검토를 해 볼 가치가 충분히 있다. 지인으로부터 소개 받았는데, 정말 신기해서 관심있다면 한번 검색해보는 것도 추천한다.
PDF를 추출하고 분석하는 것은 저번에 지인과 프로젝트를 하면서 PDF 내부의 Block들을 나누고 AI에게 학습시키는 부분에 대한 얘기를 나눈 적이 있는데, 그 때의 지식을 이용해서 한번 시도해 볼 예정이다. 이 부분이 정말 많은 시행착오가 필요할 것 같다.
이 기술로 사용자에게 어떤 이점을 줄 수 있는가?
이 부분이 핵심이다. 사용자에게 어떤 가치를 줄 수 있는가? 사용자에게 유용하지 않는 서비스는 아무 의미 없다. 무엇보다, 페르소나를 잘 설정하는 것이 중요하다.
이 서비스를 만든다면 아래와 같은 기능들을 제공할 수 있을 것이다.
- 나의 주소, 청약 통장 기간, 근무지 등을 입력해놓으면 공고마다 내가 지원할 자격이 있는지, 지원할 수 있는 자격이 있다면 몇 순위로 신청할 수 있는지, 몇월 몇일에 신청할 수 있는지를 공고 리스트에서 한눈에 파악할 수 있다.
- 세부적인 정보가 궁금할 수 있다. RAG를 접목시켜서, 분석된 PDF정보를 바탕으로 질문만 하면 신뢰성있는 답변을 받아 볼 수 있게 만들 수 있다.
- 현재 SH에서 행복주택이나, 임대주택을 지도로도 확인할 수 있는데 너무 가독성이 떨어지는 부분이 있는데 지도에 필터 기능을 접목시켜서 원하는 주택들을 빠르게 찾아볼 수 있게 만들 수 있다.
잠깐만 생각해봤는데도, 많은 이점들이 떠오른다. PDF 파싱에만 성공한다면 개발하면서 더욱 유용한 정보들을 제공할 수 있을 것 같다.
후기
잘 개발만 되면 청약 관련 서비스에도 적용할 수 있을 것 같다. 청약도 굉장히 복잡하고, 어떤 사유로 인해 제한 조치를 받게 되면 각 공고마다 제한 여부가 굉장히 달라서 파악하기가 정말 어렵다. (나의 얘기다. 하하.)
그런데, 이쯤에서 생각되는 포인트가 있다. 이렇게 좋은 기능들을 제공해 줄 수 있는 서비스가 이미 시장에 왜 없을까?
개인적인 생각으로는 수익이 되지 않을 가능성이 높기 때문으로 추측된다. 이미 마이홈서비스에서 SH, GH, LH공고들을 모아서 리스트 형식으로 보여주는 것만으로도 만족하고 있는 사용자도 많을 것이고, 몇 년 동안 행복주택을 넣어온 사람들한테는 공고문 PDF를 보고 분석하는 것이 익숙할 것이다. 또, 이런 서비스를 만든다고 한들, 신뢰도가 떨어져서 이용하지 않을 가능성이 높다. 그래서, 만든다고 한들 사용자가 없을 가능성이 높아서 이런 서비스가 없지 않을까 하는 생각이 든다.
그래도 난 분명 어려움을 느꼈고, 주위 회사 사람들도 행복주택이라고 하면 넣어보고는 싶지만 당첨은 다른 나라 사람 얘기 같아서, 대부분 월세나 전세로 알아보고는 한다.
어디선가, 이런 도움이 간절한 사람이 있을 것이다. 바쁜 생업 속에서, 행복주택이나 공공 임대주택이라도 들어가서 혜택을 받아야 할 사람이지만 알아볼 시간이 부족하여 포기해버리는 사람이 있을 것이다. 그런 사람이 있다면 그 1명을 위해서라도 서비스를 만들고 싶다.
하지만, 현실적으로 서버비나 AI를 이용해서 파싱하는 토큰 비용에 사용하려면 광고 수익 정도는 있어야 할텐데, 비용문제부터 고려하는 것은 서순에 맞지 않다. 비용적인 부분은 일단 개발하고 나서 생각해보자.