ride dev

공공 데이터와 Selenium한국석유공사-오피넷(외부 api)로부터 전국 유가 평균, 지역별 저렴 주유소 등의 json data를 DB에 삽입합니다.그리고 셀레니움을 활용하여 한국석유공사-오피넷에서 전체 주유소 정보 및 주유소 가격을 csv파일로 받아서 DB에 삽입합니다. 셀레니움을 사용한 이유는, 한국석유공사-오피넷 api에서 제공하는 json data의 범위가 제한적이며,한국석유공사-오피넷 웹 사이트에서 직접 데이터를 다운로드하여 얻을 수 있는 data가 필요하기 때문입니다.jsoup이 아닌  selenium을 사용한 이유는,jsoup은 정적인 페이지에 사용하지만 selenium은 동적인 페이지에 사용할 수 있기 때문입니다. 크롤링에는 chrome과 chrome-driver가 필요합니다.절대 경로를 ..

한국석유공사-오피넷(외부 api)로부터 전국 유가 평균, 지역별 저렴 주유소 등의 json data와,한국석유공사-오피넷에서 전체 주유소 정보 및 주유소 가격을 csv파일로 받아서 DB에 삽입하기 위해,Spring Batch을 구현했습니다.다중 데이터 소스프로젝트에 다중 데이터 소스를 사용한 이유는 다음과 같습니다.Batch Job을 진행하는 동안 DB에 부하가 가해질 수 있으며,부하가 조회 성능을 저하시킬 우려가 있었습니다.따라서,데이터 입력에는 MariaDB를 사용하였고,데이터 조회에는 Redis를 사용하여 성능을 높였습니다. 인메모리형 데이터 스토리지인 Redis를 캐시 스토리지로 사용한 이유는 Redis가 2ms 미만의 조회 성능을 지녔고,다양한 자료형을 다룰 수 있으며, NoSQL로 확장성 및 ..

Docker Docker는 애플리케이션을 컨테이너라는 격리된 환경에서 실행하기 위한 오픈 소스 플랫폼입니다. 컨테이너는 가벼운, 실행 가능한 소프트웨어 패키지로, 애플리케이션이 실행되는데 필요한 코드, 런타임, 시스템 도구, 시스템 라이브러리, 설정 등 모든 것을 포함합니다. Docker의 핵심 개념 이미지(Image) Docker 이미지는 애플리케이션과 그 종속성을 포함하는 경량의, 독립적인, 실행 가능한 소프트웨어 패키지입니다. 이미지는 애플리케이션을 실행하는데 필요한 모든 것을 포함하고 있으며, 컨테이너를 생성하는 데 사용됩니다. 컨테이너(Container) Docker 컨테이너는 Docker 이미지의 실행 인스턴스입니다. 이미지를 실행하면, 이미지의 스냅샷인 컨테이너가 메모리에서 실행됩니다. 각 ..

1. 오류원인 이 오류는 Docker가 지원하지 않는 API버전을 요청하거나, Docker 서버와의 통신 문제로 발생할 수 있습니다. 2. 오류내용 Window 11 cmd에서 도커 명령어를 입력했을 때, 아래와 같은 오류를 맞닥뜨렸습니다. docker: request returned Internal Server Error for API route and version http://%2F%2F.%2Fpipe%2Fdocker_engine/v1.24/containers/create?name=mysql, check if the server supports the requested API version. 3. 해결책 0. Docker를 재부팅합니다. 재부팅은 언제나 가장 쉽고, 간편하게 시도해볼 수 있는 해결책..