프로그래밍

내부망 웹 페이지 크롤링 하는법 없을까

포트가 막힌건지 파워쉘이든 파이썬이든 원격 접속 조차 안되네

 

텍스트만이라도 긁어오고 싶은데 좋은방법 없을까

 

16개의 댓글

2024.04.02

개발자도구로 querySelectorAll 써서 innerText나 innerHtml로 값 가져오면 되지않음?

 

아님 iframe써서 DOM API 먹히는지 시도해봐도 될듯?

0
@최수연

헐 ㄱㅅㄱㅅ 뭔가 될거같음 낼 시도해봐야지

0

selenium

0
@드립커피더블샷

그없...

0
2024.04.02

내부망? 그럼 방화벽 문제겄지

웹페이지 서버의 혹은 메인 라우터 방화벽 체크해야 될 것 같은데?

0
@너가전부옳아

거 방화벽 건드릴 권한이 나한테 없어가꼬... 댓글 ㄱㅅㄱㅅ

0
2024.04.02
@모르가나vs아나까나

그냥 브라우져에서 http 접속은 문제 없고?

0
@너가전부옳아

으잉... 근데 내부에서만 쓰는거라 사설ip 서버만 접속가능함

0
2024.04.02
@모르가나vs아나까나

"내부망 웹페이지" 얘기하는거 보니까

회사컴으로 브라우저에 http://아이피주소 이런식으로 들어가질 거 아녀

80이나 443포트로 기본적인 접근이 가능하다는거 아님?

그럼 그냥 파이썬으로 크롤링 될텐데

0
@너가전부옳아

사실 파이썬은 라이브러리가 없는거였음 ㅈㅅ...

0
2024.04.02
@모르가나vs아나까나

아 기초가 없구나.. 왜 ㅈㅅ함?

 

별거 없음

크롤링 라이브러리 대부분 쉬우니까

인터넷에서 보고 파이팅 해봐바

정 모르겠으면 기본적인거라도 질문하삼

 

할 수 있어 파이팅

1
2024.04.02

브라우저 접속은 됨? 그럼 막힌건 없는거임

개발자도구 네트워크탭에서 페이지요청이 어떻게 갔는지 잘 봐봐

혹은 user agent 어떻게 되어있나 체크해보고

 

셀레니움 설치는 pip download -d 옵션으로 다운받으면 의존성패키지까지 다 파일로 다운됨. 그거 내부망으로 옮기고 설치하면 됨.

https://spectrum20.tistory.com/entry/python-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%ED%8C%A8%ED%82%A4%EC%A7%80-Offline-%EC%84%A4%EC%B9%98-%EC%88%98%EB%8F%99-%EC%84%A4%EC%B9%98

0
2024.04.02
@남궁천마

아니면 anaconda로 파이썬 써봐 크롤링관련 패키지도 많이 포함되어있어서 써봄직함

0
@남궁천마

보안이 빡세서 밖에서 뭘 들이는건 빼박으로 안되구... 네트워크탭 한번 확인해볼게 고마우이

0
2024.04.02

크롤링 자주 해야되면 innerText 긁는 확장프로그램 만들어서 쓰셈 js 니까 메모장으로도 코딩가능

0
@짤랑이짤랑

고마우이 ㅎㅎㅎ

0
무분별한 사용은 차단될 수 있습니다.
번호 제목 글쓴이 추천 수 날짜 조회 수
180602 [모바일] 아니 s21이 169g이고 s24u가 233g인데 말이되나 6 마법부오러사무국장 0 5 시간 전 127
180601 [잡담] 드디어 cpu 배송시작한다 2 차원에서사는인간 0 8 시간 전 173
180600 [컴퓨터] 다빈치 리졸브 쓰는분있나여 3 afterschool 0 10 시간 전 119
180599 [모바일] 아이패드 저장공간 질문 6 가나가다라 0 10 시간 전 120
180598 [컴퓨터] 150~200 4K 게이밍 견적 부탁 드려봅니다 10 라면死리 0 11 시간 전 132
180597 [잡담] sn850x 1tb 방열판 없어도 괜찮죠?? 10 김빵순 0 12 시간 전 99
180596 [컴퓨터] Am5 메인보드 asrock b650m pg lightning vs gigabite b650m-k 8 죽업 0 14 시간 전 90
180595 [모바일] s21 3년째쓰다가 s24 울트라로바꾸고 느낀점 5 마법부오러사무국장 0 19 시간 전 553
180594 [견적] 중고 노트북 한번바조요 5 쯔네이 0 21 시간 전 148
180593 [컴퓨터] 간헐적 모니터 화면 깜빡거림은 왜생기는걸까요? 20 파라다이스 0 22 시간 전 171
180592 [모바일] 태블릿사서 사용용도 11 오브 0 1 일 전 316
180591 [컴퓨터] 배그 멈춤현상 도와주세요(내용수정하였습니다,) 12 크크르삥뽕 0 1 일 전 129
180590 [컴퓨터] 드디어 컴퓨터 다 샀다ㅜㅜㅜ 24 뽀삐뽀삐 0 1 일 전 340
180589 [견적] 9700k 쓰고 있는데 컴퓨터 업글하려면 라이젠 뭐 사는게 좋음? 11 쪄까튼쎼쌍 0 1 일 전 202
180588 [컴퓨터] jpg 열화 막는법? 7 정병장기입원 0 1 일 전 274
180587 [모바일] 윈도우pc와 아이폰 사진연동 안되나? 5 cw 7 0 1 일 전 129
180586 [견적] 개붕이 견적 도와죠요 3 가기그게그거 0 1 일 전 88
180585 [모바일] 이거 삼전케어플러스로 넘어가야할정도임? 2 마법부오러사무국장 0 1 일 전 258
180584 [컴퓨터] 모니터 이상함 1 띵똥이 0 1 일 전 92
180583 [모바일] A25가 그렇게 별로임?? 7 울그락푸르락 0 1 일 전 183