Skip to content

소설 관련 정보를 크롤링하여 브라우저에 테이블로 표시, 클릭하면 상세 정보를 볼 수 있는 애플리케이션. Handlerbars, Node.js, Express, Pupeteer

Notifications You must be signed in to change notification settings

bya2/simple-crawling

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

95 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

소설 리뷰 & 플랫폼 정보 스크랩퍼

설명

Blog

고려 사항

스코프 범위를 고려해서 코드 작성하기,

데이터 베이스 동작 최소화,

코드는 최대한 간결하게,

기능 별로 함수로 분리,

개발 계획

1. AWS, Docker를 이용해서 크롤링 자동화

2. 1번이 안될 시 REST API로 대처

(완료) Express 라우트 (최신 리뷰, 아이디 별 작품, 그에 대한 플랫폼정보)  

(완료) .hbs (product.hbs) 작성

(완료) MongoDB 중첩된 객체 스키마 사용 여부 결정  

진행 상황

화면

Browser

localhost:3000/
Screenshot (7)

localhost:3000/
ss1

localhost:3000/96275
Screenshot (8)

localhost:3000/96275
Screenshot (10)

localhost:3000/96275
ss2-2

localhost:3000/bc/96275
ss3

MongoDB Compass

image

Comments

Products

실행

애플리케이션 실행

- Command

$ npm run start

- Files & Functions

./public/
./views/
./db.js
./models/
./routes/
./app.js (main)

- Result

위 브라우저 화면

모든 페이지 스크랩

- Command

$ npm run scrap

- Files & Functions

./db.js
./models/
./controller/selectors.js
./controller/apiController.js
./scrap/index.js (main)

- Result1↓, Result2↓

./TEST/temp/tmpCObjs.json 
./TEST/temp/tmpPObjs.json

최신 리뷰 페이지

- Files & Function

./controller/apiController.funcCommentsPage
./scrap/index.js (실행)

- Result1↓, Result2↓

1. ./TEST/temp/each/cObjs.json
2. ./TEST/temp/each/pObjs.json

해당 작품 페이지

- Files & Function

./controller/apiController.funcProductPage
./scrap/index.js (실행)

- Result1↓, Result2↓

1. ./TEST/temp/each/bcObjs.json
2. ./TEST/temp/each/pfArrs.json

각 플랫폼 페이지

- Files & Function

./controller/apiController.funcPlatformPage
./scrap/index.js (실행)

- Result↓

./TEST/temp/each/pfArrs1.json

About

소설 관련 정보를 크롤링하여 브라우저에 테이블로 표시, 클릭하면 상세 정보를 볼 수 있는 애플리케이션. Handlerbars, Node.js, Express, Pupeteer

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published