컴퓨터 / IT 판

즐겨찾기
최근
전체
최근 방문 게시판
프로그래밍

내부망 웹 페이지 크롤링 하는법 없을까

모르가나vs아나까나 27 일 전 302
https://www.dogdrip.net/548531566

포트가 막힌건지 파워쉘이든 파이썬이든 원격 접속 조차 안되네

 

텍스트만이라도 긁어오고 싶은데 좋은방법 없을까

 

16개의 댓글

최수연
27 일 전

개발자도구로 querySelectorAll 써서 innerText나 innerHtml로 값 가져오면 되지않음?

 

아님 iframe써서 DOM API 먹히는지 시도해봐도 될듯?

0
모르가나vs아나까나
27 일 전
@최수연

헐 ㄱㅅㄱㅅ 뭔가 될거같음 낼 시도해봐야지

0
드립커피더블샷
27 일 전

selenium

0
모르가나vs아나까나
27 일 전
@드립커피더블샷

그없...

0
너가전부옳아
27 일 전

내부망? 그럼 방화벽 문제겄지

웹페이지 서버의 혹은 메인 라우터 방화벽 체크해야 될 것 같은데?

0
모르가나vs아나까나
27 일 전
@너가전부옳아

거 방화벽 건드릴 권한이 나한테 없어가꼬... 댓글 ㄱㅅㄱㅅ

0
너가전부옳아
27 일 전
@모르가나vs아나까나

그냥 브라우져에서 http 접속은 문제 없고?

0
모르가나vs아나까나
27 일 전
@너가전부옳아

으잉... 근데 내부에서만 쓰는거라 사설ip 서버만 접속가능함

0
너가전부옳아
27 일 전
@모르가나vs아나까나

"내부망 웹페이지" 얘기하는거 보니까

회사컴으로 브라우저에 http://아이피주소 이런식으로 들어가질 거 아녀

80이나 443포트로 기본적인 접근이 가능하다는거 아님?

그럼 그냥 파이썬으로 크롤링 될텐데

0
모르가나vs아나까나
27 일 전
@너가전부옳아

사실 파이썬은 라이브러리가 없는거였음 ㅈㅅ...

0
너가전부옳아
27 일 전
@모르가나vs아나까나

아 기초가 없구나.. 왜 ㅈㅅ함?

 

별거 없음

크롤링 라이브러리 대부분 쉬우니까

인터넷에서 보고 파이팅 해봐바

정 모르겠으면 기본적인거라도 질문하삼

 

할 수 있어 파이팅

1
남궁천마
27 일 전

브라우저 접속은 됨? 그럼 막힌건 없는거임

개발자도구 네트워크탭에서 페이지요청이 어떻게 갔는지 잘 봐봐

혹은 user agent 어떻게 되어있나 체크해보고

 

셀레니움 설치는 pip download -d 옵션으로 다운받으면 의존성패키지까지 다 파일로 다운됨. 그거 내부망으로 옮기고 설치하면 됨.

https://spectrum20.tistory.com/entry/python-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%ED%8C%A8%ED%82%A4%EC%A7%80-Offline-%EC%84%A4%EC%B9%98-%EC%88%98%EB%8F%99-%EC%84%A4%EC%B9%98

0
남궁천마
27 일 전
@남궁천마

아니면 anaconda로 파이썬 써봐 크롤링관련 패키지도 많이 포함되어있어서 써봄직함

0
모르가나vs아나까나
27 일 전
@남궁천마

보안이 빡세서 밖에서 뭘 들이는건 빼박으로 안되구... 네트워크탭 한번 확인해볼게 고마우이

0
짤랑이짤랑
27 일 전

크롤링 자주 해야되면 innerText 긁는 확장프로그램 만들어서 쓰셈 js 니까 메모장으로도 코딩가능

0
모르가나vs아나까나
27 일 전
@짤랑이짤랑

고마우이 ㅎㅎㅎ

0
무분별한 사용은 차단될 수 있습니다.

컴퓨터 / IT 판

인기글
번호 제목 글쓴이 추천 수 날짜 조회 수
5684 [프로그래밍] 의사는 뽑는 인원 제한하는데 부캠은 왜 제한 안 할까 5 조강현 0 1 일 전 286
5683 [프로그래밍] 그 혹시 게임쪽 종사자 있음? 17 god79ii 0 5 일 전 581
5682 [프로그래밍] 코린이 ㅅㅂ 뭐가 문젠지 모르겠어요 8 집에가게해줘 0 5 일 전 402
5681 [프로그래밍] Dear Imgui 라고 아시나요? 2 년째모쏠 0 5 일 전 224
5680 [프로그래밍] 현업개발자분들 주말엔 편하게 쉴수있나요? 10 키로 0 6 일 전 793
5679 [프로그래밍] 무엇이든 물어보세요. 28 변현제 0 8 일 전 375
5678 [프로그래밍] 개발자보단 엔지니어가 취업이 잘됨 5 iillillill 2 9 일 전 671
5677 [프로그래밍] 프론트엔드 개발자 연봉 1억 넘는 사람 있어? 13 잠적자 0 9 일 전 586
5676 [프로그래밍] Exiftool 이거 일본어 못 읽는데 13 부터시작하는이세... 0 11 일 전 221
5675 [프로그래밍] 반응형 웹페이지가 내가상상한거랑 좀 다르네 4 평택국 0 12 일 전 429
5674 [프로그래밍] 고졸 FE개발자 연봉, 상황에 조언좀.. 19 쾅꿍꿍 0 12 일 전 574
5673 [프로그래밍] 물경력들 보면 책임을 이해못하는것같음 5 mils 1 13 일 전 395
5672 [프로그래밍] GPT가 코딩 다해주네 3 겜신병자 0 13 일 전 715
5671 [프로그래밍] 크로스플랫폼의 욕심은 끝이없다 4 ye 0 16 일 전 385
5670 [프로그래밍] 월루중에 백준 풀어보고 있는데, 6 오뜨 0 17 일 전 659
5669 [프로그래밍] 같이 일했던 시니어급 개발자 아예 직무 바꿨네.. 15 흐린눈 2 18 일 전 687
5668 [프로그래밍] 안드로이드 스튜디오가 이상해요... 2 집에가게해줘 0 20 일 전 388
5667 [프로그래밍] 양심고백 5 너가전부옳아 0 20 일 전 378
5666 [프로그래밍] 멀티겜만드는거 첨인데 빡시네 4 아님나 0 21 일 전 423
5665 [프로그래밍] vscode에 이런 설정도 있나? 17 너가전부옳아 0 21 일 전 289
인기글

컴퓨터 / IT 판 인기글

Copyright (c) DogDrip.net All rights reserved.
Contact us, dogdripper at gmail dot com