day04(크롤링_pandas,BeautifulSoup) 복습.ipynb

{"cells":[{"cell_type":"code","execution_count":140,"metadata":{},"outputs":[],"source":["import warnings\n","warnings.filterwarnings('ignore')"]},{"cell_type":"markdown","metadata":{"id":"JM5N_uD9lmAY"},"source":["# 4.Crawling\n","\n","스크레이핑(Scraping)이라고도 하며 웹 페이지 내의 데이터를 추출하는 것을 의미 <br>\n","데이터를 수집하기 위한 방법으로 많이 사용 <br>\n","크게 두 가지의 방법이 존재\n","1. 정적크롤링 <br>\n","정적 데이터를 수집하는 방법 <br>\n","정적 데이터란 페이지 내에 원하는 정보가 모두 들어남\n","\n","2. 동적크롤링 <br>\n","동적 데이터를 수집하는 방법 <br>\n","동적 데이터란 클릭, 로그인 등의 행위를 통해 원하는 데이터에 접근 가능 <br>\n","\n","\n","|    |정적 크롤링|동적 크롤링|\n","|----|--------|--------|\n","|방법 |주소 사용  |브라우저 사용|\n","|수집 범위|제한적  |제한 없음|\n","|속도|매우 빠름|매우 \n","<br>\n","\n","크롤링 시 사이트에서 크롤링을 허용하는지를 반드시 확인해야 함 <br>\n","robots.txt를 뒤에 붙여 확인 가능 <br>\n","강제는 아니나 이를 무시하면 추후 법률적 문제가 생길 수 있음\n","```\n","www.daum.net/robots.txt\n","User-agent: *\n","Disallow: /\n","```\n","*: All <br>\n","/: All Directories\n"]},{"cell_type":"markdown","metadata":{"id":"4JLYuAdAtoTc"},"source":["## 4.1 HTTP\n","\n","WWW(World Wide Web, W3) 상에서 정보를 주고받을 수 있는 프로토콜 <br>\n","클라이언트와 서버 사이에 이루어지는 요청/응답 프로토콜"]},{"cell_type":"markdown","metadata":{"id":"VFv-YAqLvQ4j"},"source":["### API\n","API(Application Programming Interface) <br>\n","- Application: 고유한 기능을 가진 모든 소프트웨어\n","- Interface: 두 애플리케이션 간의 규약 <br>\n","이 계약은 요청과 응답을 사용하여 두 애플리케이션이 서로 통신하는 방법을 정의합니다."]},{"cell_type":"markdown","metadata":{"id":"8MhlEUlxuRTs"},"source":["### REST\n","REST(Representational State Transfer): 자원을 이름으로 구분하여 해당 자원의 상태를 주고받는 것 <br>\n","\n","REST 구성\n","1. 자원(Resource): HTTP URI\n","2. 자원에 대한 행위(Verb): HTTP Method\n","3. 자원에 대한 행위의 내용(Representations): HTTP Message Pay Load\n","\n","\n","- HTTP URI(Uniform Resource Identifier)를 통해 자원(Resource)을 명시\n","- HTTP Method(POST, GET, PUT, DELETE)를 사용하여 URI에 대한 CRUD Operation을 적용 <br>\n","<br>\n","\n","HTTP Methods\n","- GET: 자원 검색\n","- POST: 자원 작성\n","- PUT: 자원 업데이트\n","- DELETE: 데이터 삭제\n","- HEAD: 자원 검색 (GET과 유사하나 상태 줄과 헤더만 반환)\n","- OPTIONS: 자원이 지원하고 있는 메소드의 취득\n","- PATCH: 자원 일부 수정 (PUT과 유사하나 일부만 수정)\n","- CONNECT: 자원의 터널 접속을 변경\n","- TRACE: 리소스에 대한 경로를 따라 메시지 루프백 테스트를 수행\n","<br>\n","\n","HTTP Status\n","1. 1xx(Informational): 요청 처리중\n","2. 2xx(Successful): 요청 정상 처리 <br>\n","200: 요청 성공\n","3. 3xx(Redirection): 요청을 완료하려면 추가 행동이 필요\n","4. 4xx(Client Error): 클라이언트 오류, 잘못된 문법등으로 요청을 수행할 수 없음 <br>\n","400: Bad Request, 클라이언트의 잘못된 요청으로 서버가 요청을 처리할 수 없음 <br>\n","401: Unauthorized, 해당 리소스에 대한 인증이 필요함 <br>\n","403: Forbidden, 서버가 요청을 이해했지만 승인을 거부함 <br>\n","404: Not Found, 리소스를 찾을 수 없음 <br>\n","5. 5xx(Server Error): 서버 오류"]},{"cell_type":"markdown","metadata":{"id":"QtWV6XNfwm65"},"source":["### REST API\n","REST의 원리를 따르는 API <br>\n","※ RESTful: REST의 원리를 따르는 시스템"]},{"cell_type":"markdown","metadata":{"id":"gIr-wYY_-L_r"},"source":["## 4.2 HTML\n","HTML(HyperText Markup Language)은 웹 페이지 표시를 위해 개발된 지배적인 마크업 언어 <br>\n","HTML은 웹 페이지 콘텐츠 안의 꺾쇠 괄호에 둘러싸인 \"태그\"로 되어있는 HTML 요소 형태로 작성 <br>\n","HTML은 웹 브라우저와 같은 HTML 처리 장치의 행동에 영향을 주는 자바스크립트, 본문과 그 밖의 항목의 외관과 배치를 정의하는 CSS 같은 스크립트를 포함하거나 불러올 수 있음 <br>\n","<br>\n","HTML 선택자: HTML에서는 다수의 동일한 태그가 존재하는데 각 태그를 구별할 수 있도록 선택자를 이용\n","```html\n","<div> \n","\t<div> \n","      <a> c </a> \n","      <span> c++ </span> \n","    </div> \n","    \n","    <div> \n","      <a> java </a> \n","      <span> python </span> \n","    </div> \n","</div>\n","```\n","\n","```html\n","<div id=\"contents\"> \n","\t<div class=\"data1\"> \n","      <span class=\"language\"> c++ </span> \n","      <span class=\"language\"> java </span> \n","      <span class=\"language\"> python </span> \n","  </div> \n","    \n","  <div class=\"data2\"> \n","      <a class=\"framework\"> tensorflow </a> \n","      <a class=\"framework\"> pytorch </a> \n","      <a class=\"framework\"> spring </a> \n","  </div> \n","</div>\n","```"]},{"cell_type":"markdown","metadata":{"id":"l5jkE-4Bltzz"},"source":["## 4.3 정적크롤링"]},{"cell_type":"markdown","metadata":{"id":"D3On4hA8-WD7"},"source":["#### 4.3.1 라이브러리"]},{"cell_type":"markdown","metadata":{"id":"d6joc_SRs3Lc"},"source":["##### 4.3.1.1 requests\n","\n","requests: 파이썬용 http 라이브러리 <br>\n","reference: https://requests.readthedocs.io/en/latest/\n","\n","메소드별 사용법\n","```python\n","GET: requests.get()\n","POST: requests.post()\n","PUT: requests.put()\n","DELETE: requests.delete()\n","```\n","\n","```python\n","import requests\n","\n","requests.get(\"https://jsonplaceholder.typicode.com/users/1\")\n","```"]},{"cell_type":"markdown","metadata":{"id":"KWYAKeA21UYG"},"source":["###### Response Body\n","\n","요청이 정상적으로 처리가 되면, response body에 요청한 데이터가 담겨져 옴. <br>\n","response body 크게 3가지 방식으로 읽을 수 있음 <br>\n","1. content: binary 원문을 읽음\n","```python\n","response.content\n","```\n","2. text: utf-8로 인코딩 된 문자열로 읽음\n","```python\n","response.text\n","```\n","3. json: 응답이 json이면 dict로 읽음\n","```python\n","response.json()\n","```\n","\n"]},{"cell_type":"markdown","metadata":{"id":"rTdgFrTr25Mq"},"source":["###### Request\n","\n","param: 주소에 포함된 변수를 담음<br>\n","ex) https://www.naver.com/post/12345 <br>\n","-> 12345 <br>\n","query: 주소 바깥? 이후의 주소를 담음<br>\n","ex) https://www.naver.com/post/post_id=12345&id=1 <br>\n","-> 12345, 1\n","body: XML, JSON 등의 데이터를 담음, 주소에서는 확인 불가<br>\n","<br>\n","\n","requests에서는 아래와 같이 사용\n","- get\n","```python\n","response = requests.get(\"https://naver.com/post\", params={\"post_id\": \"12345\", \"id\": \"1\"})\n","```\n","\n","- post, put: HTML 데이터 전송\n","```python\n","response = requests.get(\"https://naver.com/post\", data={\"post_id\": \"12345\", \"id\": \"1\"})\n","```\n","json 형태로도 요청 가능\n","```python\n","response = requests.get(\"https://naver.com/post\", json={\"post_id\": \"12345\", \"id\": \"1\"})\n","```"]},{"cell_type":"markdown","metadata":{"id":"NHAgX_3A5zg9"},"source":["###### headers\n","\n","일부 웹 사이트는 bot agent를 차단 <br>\n","이 경우 header의 user-agent를 아래와 같이 넘기면 해결 <br>\n","```python\n","requests.get(\"https://naver.com/post\", headers={'User-Agent': 'Mozilla 5.0'})\n","```"]},{"cell_type":"markdown","metadata":{"id":"wPAvkXkMtOfV"},"source":["##### 4.3.1.2 BeautifulSoup\n","\n","BeautifulSoup: html, xml 등으로부터 원하는 정보를 가지고 올 수 있도록 하는 라이브러리 <br>\n","reference: https://www.crummy.com/software/BeautifulSoup/bs4/doc/\n","\n","```python\n","import requests\n","from bs4 import BeautifulSoup\n","\n","response = requests.get(url)\n","bs = BeautifulSoup(response.text, 'lxml')\n","```"]},{"cell_type":"markdown","metadata":{"id":"ZFgq8Bon82_j"},"source":["###### Parser\n","\n","|parser|특징|설치|속도|사용방법|\n","|------|---|---|---|------|\n","|html.parser||기본|보통|BeautifulSoup(html_doc, 'html.parser')|\n","|lxml|xml 지원|lxml 필요|빠름|BeautifulSoup(html_doc, 'lxml')|\n","|xml|xml 지원|lxml 필요|빠름|BeautifulSoup(html_doc, 'xml')|\n","|html5lib|브라우저와 동일|html5lib 필요|느림|BeautifulSoup(html_doc, 'html5lib')|"]},{"cell_type":"markdown","metadata":{"id":"OBuY_GBRAb8t"},"source":["###### find\n","속성과 값을 이용하여 원하는 값을 찾음\n","\n","find: 매칭되는 값 중 상위 1개 반환\n","find_all: 매칭되는 전체 반환\n","\n","특정 태그 추출\n","```python\n","soup.find_all('p') # p 태그 추출\n","```\n","<br>\n","\n","특정 클래스 추출\n","```python\n","soup.find_all(class_='a') # a 클래스 추출\n","```\n","<br>\n","\n","특정 태그와 class 추출\n","```python\n","soup.find_all('p', attrs={'class': 'a'}) # p 태그와 a 클래스 모두를 갖는 값 추출\n","```\n","<br>\n","\n","특정 id 추출\n","```python\n","soup.find_all(id='b') # b id를 갖는 값 추출\n","```\n","<br>"]},{"cell_type":"markdown","metadata":{"id":"uP7Vzn9uAcB2"},"source":["###### select\n","CSS Selector로 태그를 찾아 반환 <br>\n","CSS에서 HTML을 태깅하는 방법을 활용 <br>\n","<br>\n","select_one: 매칭되는 값 중 상위 1개 반환 <br>\n","select: 매칭되는 전체 반환 <br>\n","<br>\n","\n","특정 태그 추출\n","```python\n","soup.select('p') # p 태그 추출\n","```\n","<br>\n","\n","특정 클래스 추출\n","```python\n","soup.select('.a') # a 클래스 추출\n","```\n","<br>\n","\n","특정 태그와 class 추출\n","```python\n","soup.select('p.a') # p 태그와 a 클래스 모두를 갖는 값 추출\n","```\n","<br>\n","\n","특정 id 추출\n","```python\n","soup.select('#b') # b id를 갖는 값 추출\n","```\n","<br>\n","\n","특정 태그와 id 추출\n","```python\n","soup.select('p#b') # p 태그와 b id 모두를 갖는 값 추출\n","```\n","<br>\n","\n","특정 태그와 class, id 모두 추출\n","```python\n","soup.select('p.a#b') # p 태그와 a 클래스 b id 모두 갖는 값 추출\n","```\n","<br>\n","\n","특정 태그 아래에 있는 태그 찾기\n","```python\n","soup.select('div p') # div 아래 p태그가 있는 값 추출\n","soup.select('div > p') # div 바로 아래 p태그가 있는 값 추출\n","soup.select(\"div > #link\") # div 바로 아래 link id가 있는 값 추출\n","```\n","<br>\n","\n","형제 태그 찾기\n","```python\n","soup.select(\"#link + .sister\") # link 태그와 형제 태그 중 바로 직후 1개\n","soup.select(\"#link ~ .sister\") # link 태그와 형제 태그 중 뒤에 태그 전부\n","```\n","<br>\n","\n","여러 태그 중 i번째 태그 추출\n","```python\n","soup.select('a:nth-of-type(i)') # 추출된 a태그 중 i번째 값 반환\n","```\n","<br>\n","<br>\n","\n","정규표현식 활용 <br>\n","```python\n","soup.select('[class~=a]') # class 속성 중 a를 포함하는 태그\n","soup.select('a[href]') # a 태그 중 href 속성이 존재하는 태그\n","soup.select('a[href=\"https://www.naver.com\"]') # a 태그 중 href 속성이 https://www.naver.com과 매칭되는 태그\n","soup.select('a[href^=\"https://\"]') # a 태그 중 href 속성이 https://로 시작하는 태그\n","soup.select('a[href$=\"ac.kr\"]') # a 태그 중 href 속성이 ac.kr로 끝나는 태그\n","soup.select('a[href*=\"naver\"]') # a 태그 중 href 속성 중 naver를 가지는 태그\n","```\n","\n","<br>\n","<br>\n","\n","출력\n","```python\n","soup.strings # 값 반환\n","soup.stripped_strings # 공백을 제거한 값 반환\n","```"]},{"cell_type":"markdown","metadata":{"id":"9Mbvujsc7lcB"},"source":["### 4.3.2 실습"]},{"cell_type":"markdown","metadata":{"id":"H-PeuwJaMk7r"},"source":["##### 예제\n","\n","```html\n","<div id=\"contents\"> \n","    <div class=\"data1\"> \n","      <span class=\"language\"> c++ </span> \n","      <span class=\"language\"> java </span> \n","      <span class=\"language\"> python </span> \n","  </div> \n","\n","  <div class=\"data2\"> \n","      <a class=\"framework\"> tensorflow </a> \n","      <a class=\"framework\"> pytorch </a> \n","      <a class=\"framework\"> spring </a> \n","  </div> \n","</div>\n","```"]},{"cell_type":"code","execution_count":141,"metadata":{},"outputs":[],"source":["import pandas as pd\n","import requests\n","from bs4 import BeautifulSoup\n","from tqdm import tqdm"]},{"cell_type":"markdown","metadata":{"id":"KfuXXlLV7nSV"},"source":["#### 네이버 뉴스"]},{"cell_type":"code","execution_count":160,"metadata":{},"outputs":[],"source":["response = requests.get(\n","    'https://news.naver.com/main/list.naver?mode=LPOD&mid=sec&oid=023&date=20221126',\n","    headers={\n","        'User-Agent': 'Mozilla 5.0'\n","    }\n","    )\n","bs = BeautifulSoup(response.text, 'lxml')    "]},{"cell_type":"code","execution_count":163,"metadata":{},"outputs":[{"data":{"text/plain":["<a class=\"nclicks(cnt_papaerart)\" href=\"https://n.news.naver.com/mnews/article/023/0003730936\">[NOW] 시의원에 ‘사과문 모욕’ 준 민노총</a>"]},"execution_count":163,"metadata":{},"output_type":"execute_result"}],"source":["bs.select('dt > a')[0]"]},{"cell_type":"code","execution_count":164,"metadata":{},"outputs":[],"source":["# slicing odd index\n","titles_and_content_links = bs.select('dt > a')[1::2]"]},{"cell_type":"code","execution_count":165,"metadata":{},"outputs":[{"data":{"text/plain":["'코인의 배신… 한국산 ‘위믹스’ 98% 폭락'"]},"execution_count":165,"metadata":{},"output_type":"execute_result"}],"source":["# title\n","titles_and_content_links[0].text.strip()"]},{"cell_type":"code","execution_count":166,"metadata":{},"outputs":[],"source":["# content link\n","content_link = titles_and_content_links[0].get('href')"]},{"cell_type":"code","execution_count":167,"metadata":{},"outputs":[{"data":{"text/plain":["'한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대출받아 사업확장… 사전공지 없이 팔아 신뢰추락\\t\\t\\t\\t\\t\\t\\t한때 시가총액 4조원에 달했던 가상 화폐 위믹스가 지난 24일 업비트·빗썸 등 국내 주요 거래소에서 상장폐지 결정이 나면서, 가상 화폐 업계가 또 한번 후폭풍에 휩싸이게 됐다. 상장폐지 발표 전 2100원대에 거래되던 위믹스는 25일 500원대로 폭락했다. 지난해 11월 고점(2만8906원) 대비 98%가 하락한 것이다. 같은 날 발행사인 게임업체 위메이드와 계열사 주가는 일제히 가격 제한 폭(30%)까지 떨어졌다.\\n\\n\\n\\n게임업체 위메이드가 자체 발행 암호화폐(위믹스)를 예고 없이 대량 매도한 사실이 밝혀져 논란이 일고 있다. 위믹스는 게임 내에서 번 돈을 현금화하기 위한 암호화폐로 위메이드가 대량 매도하면서 가치가 큰폭으로 하락했다. 사진은 12일 경기도 성남시 위메이드 본사 모습. 2022.1.22 /뉴스1\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t위믹스 투자자 대부분이 국내 거래소를 이용하는 만큼 국내 투자자들의 피해가 불가피한 상황이다. 국내 투자자들은 내달 8일 상장폐지 전까지 위믹스를 매도하거나 해외 거래소로 옮겨야 한다. 특히 지난 5월 세계 시가총액 10위권에서 하루아침에 휴지 조각이 된 ‘한국산 코인’ 테라·루나 사태와 지난달 세계 3위 가상 화폐 거래소 FTX 파산보호 신청에 이어 상장사 위메이드가 발행한 위믹스까지 불투명한 운영을 이유로 상장폐지라는 결말을 맞게 되면서 ‘가상 화폐 경제’에 대한 근본적인 의문이 제기되고 있다. 가상 화폐 업계 관계자는 “한때 가상화폐가 금 대체재로 부각되기도 했지만 연이은 악재로 추락한 신뢰를 회복하려면 상당한 시간이 필요할 것”이라고 했다.지난 24일 업비트·빗썸 등 국내 가상 화폐 거래소 5곳의 연합체인 닥사(DAXA)는 “유통량 공시에 중대한 오류가 있었고 소명도 불충분했다”며 위믹스의 상장폐지를 결정했다. 한마디로 시가총액을 속였다는 것이다. 거래소들이 대마불사의 예상을 뒤엎고 상장폐지라는 초강수를 둔 것은 가상화폐의 신뢰성 하락을 더 이상 방치할 수 없다는 위기의식도 작용한 것으로 보인다. 이에 대해 위메이드는 25일 기자회견을 열고 “지난 한 달간 충분히 소명했고, 재발 방지 대책도 제시했다”며 “가처분 신청 등 할 수 있는 모든 조치를 하겠다”고 반발했다.국내 5대 가상 화폐 거래소(업비트·빗썸·코인원·코빗·고팍스) 연합체인 닥사(DAXA)가 24일 위믹스 상장폐지 이유로 밝힌 것은 유통량 불일치와 잘못된 정보 제공, 소명이 미흡해 신뢰를 훼손했다는 게 핵심 내용이었다. 이번 사태는 위메이드가 사전에 밝힌 위믹스 유통량보다 30%가량 많은 양을 유통하고 있다는 사실이 알려진 게 발단이었다. 위메이드는 “담보 대출용과 기업 인수 및 투자 용도로 예치해 놓은 위믹스가 유통량으로 잡혔다”고 해명했지만, 상장폐지를 막지는 못했다. 위믹스를 거래하는 업비트·빗썸·코인원·코빗은 내달 8일 오후 3시에 위믹스를 상장폐지할 예정이다.위믹스 상장폐지 후폭풍\\t\\t\\t\\t\\t\\t\\t위믹스는 국내 중견 게임업체 위메이드가 2020년 자체 발행한 가상 화폐다. 위메이드는 이를 자사 모바일 롤플레잉 게임 ‘미르4′에 결합해 아이템, 캐릭터를 사고팔도록 하고, 다른 게임들도 합류시켜 위믹스를 게임 화폐처럼 사용하는 연합체를 구축해 왔다.\\n\\n\\n\\n \\n\\n\\n\\n\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t지난해 가상 화폐 열풍에 ‘돈 버는 게임(P2E·Play to earn)’이 게임업계 화두로 급부상하면서, 위메이드의 사세도 급격히 커졌다. 지난해 초 1만9000원대에 불과하던 주가는 같은 해 11월 장중 24만5700원까지 치솟았다. 위믹스 시세도 덩달아 2만8000원까지 오르며, 한때 시가총액 4조원(코인마켓캡 기준)을 기록하기도 했다. 위메이드는 발행한 위믹스를 매각해 기업을 인수하거나, 이를 담보로 대출을 받아 사업을 확장해왔다. 이를 진두지휘한 장현국 대표는 투자자들 사이에서 ‘한국의 일론 머스크(테슬라 CEO)’로 불리기도 했다.하지만 올해 들어 위메이드의 ‘돈 버는 게임’ 전략은 곳곳에서 파열음을 내기 시작했다. 지난 1월 위메이드가 위믹스 2550억원어치를 매각한 사실이 밝혀지며 논란이 일었다. 위메이드는 자사가 발행한 가상 화폐를 아무런 사전 공지 없이 매각했을뿐더러, 이를 4분기 매출로 반영한 것이다. 전례가 없던 일에 주식시장과 투자자들은 혼란을 겪었고, 위메이드는 “앞으로 분기마다 가상 화폐 발행 및 사용처를 공시하겠다”고 약속했다. 그럼에도 이번 유통량 논란 사태에서 공시가 미흡했던 점이 드러나 결국 상장폐지라는 결말을 맞이하게 된 것이다.\\n\\n\\n\\n위메이드 대표 “거래소의 수퍼갑질” 반발 - 25일 장현국 위메이드 대표는 온라인 기자회견을 열고 “위믹스 상장폐지 결정은 업비트의 수퍼 갑질”이라고 했다. /유튜브\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t위메이드는 “전례도, 기준도 없는 시장에서 우리만큼 성실히 공시해온 곳도 없다”며 억울하다는 입장이다. 장현국 대표는 25일 온라인 기자간담회를 열고 “기준이 없는데 무엇을 못 맞췄다는지 설명도 안 해주면서 일방적으로 상장폐지 통보를 한 것은 거래소의 갑질”이라며 “업비트에 유통 계획조차 없는 코인이 부지기수인데 도대체 왜 위믹스만 상장폐지냐”고 말했다.P2E 게임사들도 주가 하락\\t\\t\\t\\t\\t\\t\\t최근 세계 3위 가상 화폐 거래소 FTX의 파산 보호 신청 이후 위믹스 상장폐지까지 겹치며 국내 가상 화폐 시장은 다시 신뢰 위기를 맞게 됐다. 그동안 위메이드를 비롯한 많은 게임업체들이 가상 화폐 프로젝트를 적극적으로 키워왔는데, 대장 격이었던 위메이드가 발목이 잡히면서 다른 프로젝트들에도 악영향이 미칠 것이란 분석이 나온다.위메이드뿐 아니라 현재 시장에는 네오위즈 ‘네오핀’, 컴투스 ‘C2X’, 카카오게임즈 ‘보라’, 넷마블 ‘MBX’ 등 주요 게임업체들이 발행한 다양한 가상 화폐가 유통 중이다. 게임사들은 규제가 없는 해외 시장을 중심으로 돈 버는 게임 사업을 확장한다는 계획이지만, 이번 사태로 미래가 불투명해진 것이다. 25일 위메이드와 비슷한 가상 화폐 사업을 하는 넷마블, 카카오게임즈, 컴투스홀딩스의 주가는 전일 대비 3~6%가량 하락했다.'"]},"execution_count":167,"metadata":{},"output_type":"execute_result"}],"source":["# content\n","response = requests.get(content_link, headers={'User-Agent': 'Mozilla 5.0'})\n","bs = BeautifulSoup(response.text, 'lxml')\n","bs.select('#dic_area')[0].text.strip()"]},{"cell_type":"code","execution_count":168,"metadata":{},"outputs":[{"data":{"text/html":["<div>\n","<style scoped>\n","    .dataframe tbody tr th:only-of-type {\n","        vertical-align: middle;\n","    }\n","\n","    .dataframe tbody tr th {\n","        vertical-align: top;\n","    }\n","\n","    .dataframe thead th {\n","        text-align: right;\n","    }\n","</style>\n","<table border=\"1\" class=\"dataframe\">\n","  <thead>\n","    <tr style=\"text-align: right;\">\n","      <th></th>\n","      <th>date</th>\n","      <th>press_name</th>\n","      <th>title</th>\n","      <th>content</th>\n","      <th>content_link</th>\n","    </tr>\n","  </thead>\n","  <tbody>\n","    <tr>\n","      <th>0</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>코인의 배신… 한국산 ‘위믹스’ 98% 폭락</td>\n","      <td>한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","  </tbody>\n","</table>\n","</div>"],"text/plain":["       date press_name                     title  \\\n","0  20221126       조선일보  코인의 배신… 한국산 ‘위믹스’ 98% 폭락   \n","\n","                                             content  \\\n","0  한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대...   \n","\n","                                        content_link  \n","0  https://n.news.naver.com/mnews/article/023/000...  "]},"execution_count":168,"metadata":{},"output_type":"execute_result"}],"source":["# the only one article\n","pd.DataFrame({\n","    'date': '20221126',\n","    'press_name': '조선일보',\n","    'title': titles_and_content_links[0].text.strip(),\n","    'content': bs.select('#dic_area')[0].text.strip(),\n","    'content_link': content_link\n","}, index=[0])"]},{"cell_type":"code","execution_count":169,"metadata":{},"outputs":[],"source":["# titles\n","titles = [title_and_content_link.text.strip() for title_and_content_link in titles_and_content_links]\n","\n","# urls\n","urls = [title_and_content_link.get('href') for title_and_content_link in titles_and_content_links]"]},{"cell_type":"code","execution_count":170,"metadata":{},"outputs":[{"name":"stderr","output_type":"stream","text":["100%|██████████| 22/22 [00:02<00:00, 10.73it/s]\n"]}],"source":["# list comprehension 없이 본문 추출\n","contents = []\n","for url in tqdm(urls):\n","    response = requests.get(url, headers={'User-Agent': 'Mozilla 5.0'})\n","    bs = BeautifulSoup(response.text, 'lxml')\n","    content = bs.select('#dic_area')[0].text.strip()\n","\n","    contents.append(content)"]},{"cell_type":"code","execution_count":171,"metadata":{},"outputs":[],"source":["# 함수화\n","def bs_object_from_url(url):\n","    response = requests.get(url, headers={'User-Agent': 'Mozilla 5.0'})\n","    bs = BeautifulSoup(response.text, 'lxml')\n","\n","    return bs"]},{"cell_type":"code","execution_count":172,"metadata":{},"outputs":[{"name":"stderr","output_type":"stream","text":["100%|██████████| 22/22 [00:02<00:00,  9.22it/s]\n"]}],"source":["# list comprehension으로 본문 추출\n","contents = [bs_object_from_url(url).select('#dic_area')[0].text.strip() for url in tqdm(urls)]"]},{"cell_type":"code","execution_count":173,"metadata":{},"outputs":[],"source":["chosun = pd.DataFrame({\n","    'date': '20221126',\n","    'press_name': '조선일보',\n","    'title': titles,\n","    'content': contents,\n","    'content_url': urls\n","})"]},{"cell_type":"code","execution_count":174,"metadata":{},"outputs":[{"data":{"text/html":["<div>\n","<style scoped>\n","    .dataframe tbody tr th:only-of-type {\n","        vertical-align: middle;\n","    }\n","\n","    .dataframe tbody tr th {\n","        vertical-align: top;\n","    }\n","\n","    .dataframe thead th {\n","        text-align: right;\n","    }\n","</style>\n","<table border=\"1\" class=\"dataframe\">\n","  <thead>\n","    <tr style=\"text-align: right;\">\n","      <th></th>\n","      <th>date</th>\n","      <th>press_name</th>\n","      <th>title</th>\n","      <th>content</th>\n","      <th>content_url</th>\n","    </tr>\n","  </thead>\n","  <tbody>\n","    <tr>\n","      <th>0</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>코인의 배신… 한국산 ‘위믹스’ 98% 폭락</td>\n","      <td>한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>1</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>화물연대 운송 거부 지속땐... 대통령실 “29일 업무개시명령 검토”</td>\n","      <td>민노총 화물연대 총파업 돌입시멘트·정유 화물차 조합원들 운송 거부땐 화물면허 취소돼...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>2</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>손흥민·호날두 괴롭힌 헐거운 완장, ‘싸구려’ 논란에 결국…</td>\n","      <td>지난 24일 한국과 우루과이의 2022 카타르 월드컵 조별리그 H조 1차전에서 손흥...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>3</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>“이란 선수들, 월드컵 후 처형당할 수도” 외신 보도, 왜?</td>\n","      <td>지난 21일 이란과 잉글랜드 경기가 시작되기 전 이란 선수들이 국가 제창을 거부하고...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>4</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>광화문에선 ‘태극기 모자’ 남대문에선 ‘LED 촛불’… 1.5km 사이 열린 진보·...</td>\n","      <td>토요일인 11월 26일 서울 세종대로에서 열린 보수단체 집회(왼쪽)와 서울 태평로 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>5</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>연극서도 사라진 오영수… 외신 “‘오징어게임’ 스타 강제추행 혐의”</td>\n","      <td>배우 오영수. /뉴스1\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t강제추행 혐의로 기소된 배...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>6</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>“주말마다 이러니 살 수가 없다” 계속되는 도심집회에 시민 분통</td>\n","      <td>26일 오후 서울 태평로 숭례문 일대에서 촛불전환행동 주최로 윤석열 정부를 규탄하는...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>7</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>호주 해변서 알몸으로 드러누운 2500명… 무슨 사연이길래</td>\n","      <td>호주 시드니의 본다이 해변에서 옷을 벗은 2500명의 남녀가 어깨동무를 하고 있는 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>8</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>‘우리 황소 달립니다’... 황희찬 가나전은 출격 확정?</td>\n","      <td>/대한축구협회\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t대한축구협회가 26일 공식 소셜미디...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>9</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>“윤·한이 때려죽어도 싫으신 분” 더탐사가 내건 채용 조건 보니</td>\n","      <td>유튜브 매체 '더탐사' 진행자들. /유튜브\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t거짓으...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>10</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>“금리 오를 만큼 올랐다” 아는 사람은 채권 ETF에 몰려가고 있다</td>\n","      <td>올해 새내기 ETF의 23%가 채권 ETF  [왕개미연구소] #내돈부탁해\\t\\t\\t...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>11</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>“불법촬영이 콘셉트?”…코스모폴리탄 화보 ‘범죄 미화’ 논란되자 사과</td>\n","      <td>코스모폴리탄이 25일 공개한 화보/온라인커뮤니티\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>12</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>히잡 시위 함께한 이란 관중들…국가 흘러나오자 눈물 쏟았다</td>\n","      <td>한 이란 여성이 마흐사 아미니의 이름이 적힌 옷을 들고 있다./AFP연합뉴스\\t\\t...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>13</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>광주군공항이전, 특별법 통해 전기 마련하나</td>\n","      <td>강기정 광주광역시장(오른쪽)이 25일 광주시청에서 홍준표 대구광역시장과 공동협력키로...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>14</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>서울 도심 곳곳 대규모 집회...세종대로 일대 교통 혼잡 예상</td>\n","      <td>전광훈 목사가 이끄는 자유통일당 등 보수단체 관계자들이 19일 오후 서울 종로구 세...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>15</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>인천서 형제 숨지고, 부모는 뇌사</td>\n","      <td>인천 서부경찰서./조선일보 DB\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t인천에 있는 빌라...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>16</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>장난할 게 따로있지…美공항서 “가방에 폭탄있다” 농담한 여행객의 최후</td>\n","      <td>미국 시카고 오헤어 국제공항을 찾은 여행객들의 모습./AFP연합뉴스\\t\\t\\t\\t\\...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>17</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>전익수 준장 대령으로 강등… 12·12 이후 장군은 처음</td>\n","      <td>공군 고(故) 이예람 중사 사건의 부실 수사에 연루됐다는 비판을 받아온 전익수 공군...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>18</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>전북 완주에서 산불, 헬기 6대 투입해 진화중</td>\n","      <td>25일 오후 7시 전북 완주군 운주면에서 발생한 산불. 소방청은 26일 헬기 6대를...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>19</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>올해 속 썩은 개미들 세금이나마 적게 냈을까</td>\n","      <td>올 들어 증시 약세로 투자 심리가 위축되면서 증권거래세 세수도 작년에 비해 크게 줄...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>20</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>김치 이어 피라미드도 중국 것? 中 공무원의 황당 주장</td>\n","      <td>이집트 피라미드. /AFP 연합뉴스\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t중국 허베이성...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>21</th>\n","      <td>20221126</td>\n","      <td>조선일보</td>\n","      <td>“아파트  40% 폭락, 7년간은 집 사지 마라”</td>\n","      <td>&lt;차학봉기자의 부동산 봉다방&gt;이현철 아파트 사이클 연구소장 인터뷰-상  폭등후폭락 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","  </tbody>\n","</table>\n","</div>"],"text/plain":["        date press_name                                              title  \\\n","0   20221126       조선일보                           코인의 배신… 한국산 ‘위믹스’ 98% 폭락   \n","1   20221126       조선일보             화물연대 운송 거부 지속땐... 대통령실 “29일 업무개시명령 검토”   \n","2   20221126       조선일보                  손흥민·호날두 괴롭힌 헐거운 완장, ‘싸구려’ 논란에 결국…   \n","3   20221126       조선일보                  “이란 선수들, 월드컵 후 처형당할 수도” 외신 보도, 왜?   \n","4   20221126       조선일보  광화문에선 ‘태극기 모자’ 남대문에선 ‘LED 촛불’… 1.5km 사이 열린 진보·...   \n","5   20221126       조선일보              연극서도 사라진 오영수… 외신 “‘오징어게임’ 스타 강제추행 혐의”   \n","6   20221126       조선일보                “주말마다 이러니 살 수가 없다” 계속되는 도심집회에 시민 분통   \n","7   20221126       조선일보                   호주 해변서 알몸으로 드러누운 2500명… 무슨 사연이길래   \n","8   20221126       조선일보                    ‘우리 황소 달립니다’... 황희찬 가나전은 출격 확정?   \n","9   20221126       조선일보                “윤·한이 때려죽어도 싫으신 분” 더탐사가 내건 채용 조건 보니   \n","10  20221126       조선일보              “금리 오를 만큼 올랐다” 아는 사람은 채권 ETF에 몰려가고 있다   \n","11  20221126       조선일보             “불법촬영이 콘셉트?”…코스모폴리탄 화보 ‘범죄 미화’ 논란되자 사과   \n","12  20221126       조선일보                   히잡 시위 함께한 이란 관중들…국가 흘러나오자 눈물 쏟았다   \n","13  20221126       조선일보                            광주군공항이전, 특별법 통해 전기 마련하나   \n","14  20221126       조선일보                 서울 도심 곳곳 대규모 집회...세종대로 일대 교통 혼잡 예상   \n","15  20221126       조선일보                                 인천서 형제 숨지고, 부모는 뇌사   \n","16  20221126       조선일보             장난할 게 따로있지…美공항서 “가방에 폭탄있다” 농담한 여행객의 최후   \n","17  20221126       조선일보                    전익수 준장 대령으로 강등… 12·12 이후 장군은 처음   \n","18  20221126       조선일보                          전북 완주에서 산불, 헬기 6대 투입해 진화중   \n","19  20221126       조선일보                           올해 속 썩은 개미들 세금이나마 적게 냈을까   \n","20  20221126       조선일보                     김치 이어 피라미드도 중국 것? 中 공무원의 황당 주장   \n","21  20221126       조선일보                        “아파트  40% 폭락, 7년간은 집 사지 마라”   \n","\n","                                              content  \\\n","0   한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대...   \n","1   민노총 화물연대 총파업 돌입시멘트·정유 화물차 조합원들 운송 거부땐 화물면허 취소돼...   \n","2   지난 24일 한국과 우루과이의 2022 카타르 월드컵 조별리그 H조 1차전에서 손흥...   \n","3   지난 21일 이란과 잉글랜드 경기가 시작되기 전 이란 선수들이 국가 제창을 거부하고...   \n","4   토요일인 11월 26일 서울 세종대로에서 열린 보수단체 집회(왼쪽)와 서울 태평로 ...   \n","5   배우 오영수. /뉴스1\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t강제추행 혐의로 기소된 배...   \n","6   26일 오후 서울 태평로 숭례문 일대에서 촛불전환행동 주최로 윤석열 정부를 규탄하는...   \n","7   호주 시드니의 본다이 해변에서 옷을 벗은 2500명의 남녀가 어깨동무를 하고 있는 ...   \n","8   /대한축구협회\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t대한축구협회가 26일 공식 소셜미디...   \n","9   유튜브 매체 '더탐사' 진행자들. /유튜브\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t거짓으...   \n","10  올해 새내기 ETF의 23%가 채권 ETF  [왕개미연구소] #내돈부탁해\\t\\t\\t...   \n","11  코스모폴리탄이 25일 공개한 화보/온라인커뮤니티\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t...   \n","12  한 이란 여성이 마흐사 아미니의 이름이 적힌 옷을 들고 있다./AFP연합뉴스\\t\\t...   \n","13  강기정 광주광역시장(오른쪽)이 25일 광주시청에서 홍준표 대구광역시장과 공동협력키로...   \n","14  전광훈 목사가 이끄는 자유통일당 등 보수단체 관계자들이 19일 오후 서울 종로구 세...   \n","15  인천 서부경찰서./조선일보 DB\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t인천에 있는 빌라...   \n","16  미국 시카고 오헤어 국제공항을 찾은 여행객들의 모습./AFP연합뉴스\\t\\t\\t\\t\\...   \n","17  공군 고(故) 이예람 중사 사건의 부실 수사에 연루됐다는 비판을 받아온 전익수 공군...   \n","18  25일 오후 7시 전북 완주군 운주면에서 발생한 산불. 소방청은 26일 헬기 6대를...   \n","19  올 들어 증시 약세로 투자 심리가 위축되면서 증권거래세 세수도 작년에 비해 크게 줄...   \n","20  이집트 피라미드. /AFP 연합뉴스\\t\\t\\t\\t\\t\\t\\t\\t\\t\\t중국 허베이성...   \n","21  <차학봉기자의 부동산 봉다방>이현철 아파트 사이클 연구소장 인터뷰-상  폭등후폭락 ...   \n","\n","                                          content_url  \n","0   https://n.news.naver.com/mnews/article/023/000...  \n","1   https://n.news.naver.com/mnews/article/023/000...  \n","2   https://n.news.naver.com/mnews/article/023/000...  \n","3   https://n.news.naver.com/mnews/article/023/000...  \n","4   https://n.news.naver.com/mnews/article/023/000...  \n","5   https://n.news.naver.com/mnews/article/023/000...  \n","6   https://n.news.naver.com/mnews/article/023/000...  \n","7   https://n.news.naver.com/mnews/article/023/000...  \n","8   https://n.news.naver.com/mnews/article/023/000...  \n","9   https://n.news.naver.com/mnews/article/023/000...  \n","10  https://n.news.naver.com/mnews/article/023/000...  \n","11  https://n.news.naver.com/mnews/article/023/000...  \n","12  https://n.news.naver.com/mnews/article/023/000...  \n","13  https://n.news.naver.com/mnews/article/023/000...  \n","14  https://n.news.naver.com/mnews/article/023/000...  \n","15  https://n.news.naver.com/mnews/article/023/000...  \n","16  https://n.news.naver.com/mnews/article/023/000...  \n","17  https://n.news.naver.com/mnews/article/023/000...  \n","18  https://n.news.naver.com/mnews/article/023/000...  \n","19  https://n.news.naver.com/mnews/article/023/000...  \n","20  https://n.news.naver.com/mnews/article/023/000...  \n","21  https://n.news.naver.com/mnews/article/023/000...  "]},"execution_count":174,"metadata":{},"output_type":"execute_result"}],"source":["chosun"]},{"cell_type":"code","execution_count":177,"metadata":{},"outputs":[{"name":"stderr","output_type":"stream","text":["100%|██████████| 6/6 [00:11<00:00,  1.97s/it]\n"]}],"source":["# 해당 날짜 모든 데이터 크롤링\n","url = 'https://news.naver.com/main/list.naver?mode=LPOD&mid=sec&oid=023&date=20221126&page=100000'\n","bs = bs_object_from_url(url)\n","# get last page num\n","last_page_num = int(bs.select('div.paging > strong')[0].text.strip())\n","\n","chosun = pd.DataFrame()\n","for page in tqdm(range(1, last_page_num + 1)):\n","    url = f'https://news.naver.com/main/list.naver?mode=LPOD&mid=sec&oid=023&date=20221126&page={page}'\n","    bs_page = bs_object_from_url(url)\n","\n","    title_and_content_links = bs_page.select('dt > a')[1::2]\n","    titles =  [title_and_content_link.text.strip() for title_and_content_link in title_and_content_links]\n","    content_urls = [title_and_content_link.get('href') for title_and_content_link in title_and_content_links]\n","    contents = [bs_object_from_url(url).select('#dic_area')[0].text.strip() for url in content_urls]\n","\n","    temp = pd.DataFrame({\n","        'date': '20221126',\n","        'press_name': '조선일보',\n","        'title': titles,\n","        'content': contents,\n","        'content_url': content_urls\n","    })\n","\n","    chosun = chosun.append(temp)"]},{"cell_type":"code","execution_count":179,"metadata":{},"outputs":[],"source":["# 본문 태그 변화를 처리하기 위한 함수\n","def get_contents_from_rul(url):\n","    bs = bs_object_from_url(url)\n","\n","    if bs.select('#contents'):\n","        return bs_object_from_url(url).select('#contents')[0].text.strip()\n","\n","    if bs.select('.content'):\n","        return bs_object_from_url(url).select('.content')[0].text.strip()\n","\n","    return -1"]},{"cell_type":"code","execution_count":180,"metadata":{},"outputs":[{"name":"stderr","output_type":"stream","text":["100%|██████████| 3/3 [02:09<00:00, 43.06s/it]\n"]}],"source":["# 주어진 날짜의 조선일보 데이터 수집\n","chosun = pd.DataFrame()\n","for date in tqdm(pd.date_range('20221125', '20221127')):\n","    date = date.strftime(\"%Y%m%d\")\n","\n","    for page in range(1, last_page_num + 1):\n","        url = f'https://news.naver.com/main/list.naver?mode=LPOD&mid=sec&oid=023&date={date}&page={page}'\n","        bs_page = bs_object_from_url(url)\n","\n","        title_and_content_links = bs_page.select('dt > a')[1::2]\n","        titles =  [title_and_content_link.text.strip() for title_and_content_link in title_and_content_links]\n","        content_urls = [title_and_content_link.get('href') for title_and_content_link in title_and_content_links]\n","        contents = [get_contents_from_rul(url) for url in content_urls]\n","\n","        temp = pd.DataFrame({\n","            'date': date,\n","            'press_name': '조선일보',\n","            'title': titles,\n","            'content': contents,\n","            'content_url': content_urls\n","        })\n","\n","        chosun = chosun.append(temp)"]},{"cell_type":"code","execution_count":181,"metadata":{},"outputs":[{"data":{"text/html":["<div>\n","<style scoped>\n","    .dataframe tbody tr th:only-of-type {\n","        vertical-align: middle;\n","    }\n","\n","    .dataframe tbody tr th {\n","        vertical-align: top;\n","    }\n","\n","    .dataframe thead th {\n","        text-align: right;\n","    }\n","</style>\n","<table border=\"1\" class=\"dataframe\">\n","  <thead>\n","    <tr style=\"text-align: right;\">\n","      <th></th>\n","      <th>date</th>\n","      <th>press_name</th>\n","      <th>title</th>\n","      <th>content</th>\n","      <th>content_url</th>\n","    </tr>\n","  </thead>\n","  <tbody>\n","    <tr>\n","      <th>0</th>\n","      <td>20221125</td>\n","      <td>조선일보</td>\n","      <td>잘싸웠다, 뭉클했다</td>\n","      <td>투혼의 대표팀, 1차전 0대0… 강호 우루과이 상대로 대등한 경기명승부 펼치며 승점...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>1</th>\n","      <td>20221125</td>\n","      <td>조선일보</td>\n","      <td>한은, 금리 0.25%p 인상… 내년 성장률 1.7%로 하향</td>\n","      <td>사상 첫 6연속 올려 3.25%로… 빅스텝 피하며 긴축 속도조절\\n\\n\\n\\n이창용...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>2</th>\n","      <td>20221125</td>\n","      <td>조선일보</td>\n","      <td>“개인정보 유출 우려”... 英, 정부기관에 중국산 CCTV 금지</td>\n","      <td>작년 장관·보좌관 불륜 노출\\n\\n\\n\\n작년 12월 중국 베이징에 설치된 하이크비...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>3</th>\n","      <td>20221125</td>\n","      <td>조선일보</td>\n","      <td>한국팀을 ‘한개팀’으로…북한 매체, 국명 언급도 피해</td>\n","      <td>북한 조선중앙TV가 25일 밤 카타르 월드컵 한국이 속한 조별리그 H조의 포르투갈 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>4</th>\n","      <td>20221125</td>\n","      <td>조선일보</td>\n","      <td>尹대통령·與지도부 3시간 20분 만찬... “집권당 책임 다하자”</td>\n","      <td>정진석 비대위 출범후 첫 상견례참석자 “월드컵 얘기로 화기애애”이상민 장관 거취는 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>...</th>\n","      <td>...</td>\n","      <td>...</td>\n","      <td>...</td>\n","      <td>...</td>\n","      <td>...</td>\n","    </tr>\n","    <tr>\n","      <th>2</th>\n","      <td>20221127</td>\n","      <td>조선일보</td>\n","      <td>‘페임’과 ‘플래시댄스’의 스타 아이린 카라, 63세로 별세</td>\n","      <td>아역스타 출신으로 80년대를 풍미한 아이돌서울올림픽 앞두고 서울서 공연도\\n\\n\\n...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>3</th>\n","      <td>20221127</td>\n","      <td>조선일보</td>\n","      <td>‘수비 중심’ 김민재, 종아리 통증으로 이틀 연속 훈련 불참</td>\n","      <td>24일 오후 카타르 알라이얀 에듀케이션 시티 스타디움에서 열린 2022 카타르 월드...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>4</th>\n","      <td>20221127</td>\n","      <td>조선일보</td>\n","      <td>득점기계 레반도프스키, 첫 골에 눈물 터뜨려</td>\n","      <td>폴란드, 돌풍의 사우디 아라비아 상대 2대0 완승\\t\\t\\t\\t\\t\\t\\t‘바르샤바...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>5</th>\n","      <td>20221127</td>\n","      <td>조선일보</td>\n","      <td>레반도프스키, 월드컵 데뷔골로 사우디 돌풍 잠재워</td>\n","      <td>26일 월드컵 데뷔골을 넣고 기뻐하는 로베르트 레반도프스키. /EPA 연합뉴스\\t\\...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>6</th>\n","      <td>20221127</td>\n","      <td>조선일보</td>\n","      <td>브라질 학교 활보한 16살 연쇄 총격범… 현직 경찰 아들이었다</td>\n","      <td>학생·교사 3명 사망, 10여명 부상용의자, 범행 당시 나치문양 옷 입어\\n\\n\\n...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","  </tbody>\n","</table>\n","<p>288 rows × 5 columns</p>\n","</div>"],"text/plain":["        date press_name                                 title  \\\n","0   20221125       조선일보                            잘싸웠다, 뭉클했다   \n","1   20221125       조선일보     한은, 금리 0.25%p 인상… 내년 성장률 1.7%로 하향   \n","2   20221125       조선일보  “개인정보 유출 우려”... 英, 정부기관에 중국산 CCTV 금지   \n","3   20221125       조선일보         한국팀을 ‘한개팀’으로…북한 매체, 국명 언급도 피해   \n","4   20221125       조선일보  尹대통령·與지도부 3시간 20분 만찬... “집권당 책임 다하자”   \n","..       ...        ...                                   ...   \n","2   20221127       조선일보     ‘페임’과 ‘플래시댄스’의 스타 아이린 카라, 63세로 별세   \n","3   20221127       조선일보     ‘수비 중심’ 김민재, 종아리 통증으로 이틀 연속 훈련 불참   \n","4   20221127       조선일보              득점기계 레반도프스키, 첫 골에 눈물 터뜨려   \n","5   20221127       조선일보           레반도프스키, 월드컵 데뷔골로 사우디 돌풍 잠재워   \n","6   20221127       조선일보    브라질 학교 활보한 16살 연쇄 총격범… 현직 경찰 아들이었다   \n","\n","                                              content  \\\n","0   투혼의 대표팀, 1차전 0대0… 강호 우루과이 상대로 대등한 경기명승부 펼치며 승점...   \n","1   사상 첫 6연속 올려 3.25%로… 빅스텝 피하며 긴축 속도조절\\n\\n\\n\\n이창용...   \n","2   작년 장관·보좌관 불륜 노출\\n\\n\\n\\n작년 12월 중국 베이징에 설치된 하이크비...   \n","3   북한 조선중앙TV가 25일 밤 카타르 월드컵 한국이 속한 조별리그 H조의 포르투갈 ...   \n","4   정진석 비대위 출범후 첫 상견례참석자 “월드컵 얘기로 화기애애”이상민 장관 거취는 ...   \n","..                                                ...   \n","2   아역스타 출신으로 80년대를 풍미한 아이돌서울올림픽 앞두고 서울서 공연도\\n\\n\\n...   \n","3   24일 오후 카타르 알라이얀 에듀케이션 시티 스타디움에서 열린 2022 카타르 월드...   \n","4   폴란드, 돌풍의 사우디 아라비아 상대 2대0 완승\\t\\t\\t\\t\\t\\t\\t‘바르샤바...   \n","5   26일 월드컵 데뷔골을 넣고 기뻐하는 로베르트 레반도프스키. /EPA 연합뉴스\\t\\...   \n","6   학생·교사 3명 사망, 10여명 부상용의자, 범행 당시 나치문양 옷 입어\\n\\n\\n...   \n","\n","                                          content_url  \n","0   https://n.news.naver.com/mnews/article/023/000...  \n","1   https://n.news.naver.com/mnews/article/023/000...  \n","2   https://n.news.naver.com/mnews/article/023/000...  \n","3   https://n.news.naver.com/mnews/article/023/000...  \n","4   https://n.news.naver.com/mnews/article/023/000...  \n","..                                                ...  \n","2   https://n.news.naver.com/mnews/article/023/000...  \n","3   https://n.news.naver.com/mnews/article/023/000...  \n","4   https://n.news.naver.com/mnews/article/023/000...  \n","5   https://n.news.naver.com/mnews/article/023/000...  \n","6   https://n.news.naver.com/mnews/article/023/000...  \n","\n","[288 rows x 5 columns]"]},"execution_count":181,"metadata":{},"output_type":"execute_result"}],"source":["chosun"]},{"cell_type":"code","execution_count":182,"metadata":{},"outputs":[],"source":["# 날짜, 신문사, 페이지 정보를 입력하여 해당 주소의 값 반환\n","def crawl_news(date, oid, page):\n","    url = f'https://news.naver.com/main/list.naver?mode=LPOD&mid=sec&oid={oid}&date={date}&page={page}'\n","    bs_page = bs_object_from_url(url)\n","\n","    title_and_content_links = bs_page.select('dt > a')[1::2]\n","    titles =  [title_and_content_link.text.strip() for title_and_content_link in title_and_content_links]\n","    content_urls = [title_and_content_link.get('href') for title_and_content_link in title_and_content_links]\n","    contents = [get_contents_from_rul(url) for url in content_urls]\n","\n","    temp = pd.DataFrame({\n","        'date': date,\n","        'press_name': oid,\n","        'title': titles,\n","        'content': contents,\n","        'content_url': content_urls\n","    })\n","\n","    return temp"]},{"cell_type":"code","execution_count":183,"metadata":{},"outputs":[],"source":["# 11.26 ~ 11.27일 조선일보, 한국경제 뉴스 크롤링\n","news = pd.DataFrame()\n","for oid in ('023', '015'):    \n","    for date in pd.date_range('20221126', '20221127'):\n","        date = date.strftime(\"%Y%m%d\")\n","        \n","        url = f'https://news.naver.com/main/list.naver?mode=LPOD&mid=sec&oid={oid}&date={date}&page=100000'\n","        bs = bs_object_from_url(url)\n","        last_page_num = int(bs.select('div.paging > strong')[0].text.strip())\n","\n","        for page in range(1, last_page_num + 1):\n","            temp = crawl_news(date, oid, page)\n","\n","            news = news.append(temp)"]},{"cell_type":"code","execution_count":184,"metadata":{},"outputs":[{"data":{"text/html":["<div>\n","<style scoped>\n","    .dataframe tbody tr th:only-of-type {\n","        vertical-align: middle;\n","    }\n","\n","    .dataframe tbody tr th {\n","        vertical-align: top;\n","    }\n","\n","    .dataframe thead th {\n","        text-align: right;\n","    }\n","</style>\n","<table border=\"1\" class=\"dataframe\">\n","  <thead>\n","    <tr style=\"text-align: right;\">\n","      <th></th>\n","      <th>date</th>\n","      <th>press_name</th>\n","      <th>title</th>\n","      <th>content</th>\n","      <th>content_url</th>\n","    </tr>\n","  </thead>\n","  <tbody>\n","    <tr>\n","      <th>0</th>\n","      <td>20221126</td>\n","      <td>023</td>\n","      <td>코인의 배신… 한국산 ‘위믹스’ 98% 폭락</td>\n","      <td>한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>1</th>\n","      <td>20221126</td>\n","      <td>023</td>\n","      <td>화물연대 운송 거부 지속땐... 대통령실 “29일 업무개시명령 검토”</td>\n","      <td>민노총 화물연대 총파업 돌입시멘트·정유 화물차 조합원들 운송 거부땐 화물면허 취소돼...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>2</th>\n","      <td>20221126</td>\n","      <td>023</td>\n","      <td>손흥민·호날두 괴롭힌 헐거운 완장, ‘싸구려’ 논란에 결국…</td>\n","      <td>지난 24일 한국과 우루과이의 2022 카타르 월드컵 조별리그 H조 1차전에서 손흥...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>3</th>\n","      <td>20221126</td>\n","      <td>023</td>\n","      <td>“이란 선수들, 월드컵 후 처형당할 수도” 외신 보도, 왜?</td>\n","      <td>지난 21일 이란과 잉글랜드 경기가 시작되기 전 이란 선수들이 국가 제창을 거부하고...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>4</th>\n","      <td>20221126</td>\n","      <td>023</td>\n","      <td>광화문에선 ‘태극기 모자’ 남대문에선 ‘LED 촛불’… 1.5km 사이 열린 진보·...</td>\n","      <td>토요일인 11월 26일 서울 세종대로에서 열린 보수단체 집회(왼쪽)와 서울 태평로 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/023/000...</td>\n","    </tr>\n","    <tr>\n","      <th>...</th>\n","      <td>...</td>\n","      <td>...</td>\n","      <td>...</td>\n","      <td>...</td>\n","      <td>...</td>\n","    </tr>\n","    <tr>\n","      <th>15</th>\n","      <td>20221126</td>\n","      <td>015</td>\n","      <td>삼남매 증여세, 9년 전에 냈는데…상속세 또 내라고? [더 머니이스트-도정환의 상속대전]</td>\n","      <td>한경닷컴 더 머니이스트사망일 이전 10년 내에 증여한 재산상속세 계산 시 합산해 과...</td>\n","      <td>https://n.news.naver.com/mnews/article/015/000...</td>\n","    </tr>\n","    <tr>\n","      <th>16</th>\n","      <td>20221126</td>\n","      <td>015</td>\n","      <td>시진핑, 김정은에 \"북중관계 고도로 중시\" 답전</td>\n","      <td>사진=연합뉴스시진핑 중국 국가주석이 자신의 3연임을 축하한 김정은 북한 국무위원장의...</td>\n","      <td>https://n.news.naver.com/mnews/article/015/000...</td>\n","    </tr>\n","    <tr>\n","      <th>17</th>\n","      <td>20221126</td>\n","      <td>015</td>\n","      <td>네덜란드·에콰도르 1대1 무승부…A조 공동 선두 [카타르 월드컵]</td>\n","      <td>사이좋게 승점 1점 나눠 가지며 16강 진출 유리한 고지\\n\\n\\n\\n2022 카타...</td>\n","      <td>https://n.news.naver.com/mnews/article/015/000...</td>\n","    </tr>\n","    <tr>\n","      <th>18</th>\n","      <td>20221126</td>\n","      <td>015</td>\n","      <td>초유의 징계…전익수 공군 법무실장, 준장서 대령으로 강등</td>\n","      <td>12·12 이후 장군 강등은 처음\\n\\n\\n\\n전익수 공군 법무실장.(사진=뉴스1)...</td>\n","      <td>https://n.news.naver.com/mnews/article/015/000...</td>\n","    </tr>\n","    <tr>\n","      <th>19</th>\n","      <td>20221126</td>\n","      <td>015</td>\n","      <td>\"코로나 약발 끝이요?…10조 기업 기대하세요\" [신현아의 IPO 그후]</td>\n","      <td>'1호 바이오벤처' 바이오니아 박한오 대표 인터뷰\"코로나 특수 끝났지만, 연구성과 ...</td>\n","      <td>https://n.news.naver.com/mnews/article/015/000...</td>\n","    </tr>\n","  </tbody>\n","</table>\n","<p>361 rows × 5 columns</p>\n","</div>"],"text/plain":["        date press_name                                              title  \\\n","0   20221126        023                           코인의 배신… 한국산 ‘위믹스’ 98% 폭락   \n","1   20221126        023             화물연대 운송 거부 지속땐... 대통령실 “29일 업무개시명령 검토”   \n","2   20221126        023                  손흥민·호날두 괴롭힌 헐거운 완장, ‘싸구려’ 논란에 결국…   \n","3   20221126        023                  “이란 선수들, 월드컵 후 처형당할 수도” 외신 보도, 왜?   \n","4   20221126        023  광화문에선 ‘태극기 모자’ 남대문에선 ‘LED 촛불’… 1.5km 사이 열린 진보·...   \n","..       ...        ...                                                ...   \n","15  20221126        015  삼남매 증여세, 9년 전에 냈는데…상속세 또 내라고? [더 머니이스트-도정환의 상속대전]   \n","16  20221126        015                         시진핑, 김정은에 \"북중관계 고도로 중시\" 답전   \n","17  20221126        015               네덜란드·에콰도르 1대1 무승부…A조 공동 선두 [카타르 월드컵]   \n","18  20221126        015                    초유의 징계…전익수 공군 법무실장, 준장서 대령으로 강등   \n","19  20221126        015           \"코로나 약발 끝이요?…10조 기업 기대하세요\" [신현아의 IPO 그후]   \n","\n","                                              content  \\\n","0   한때 시총 4조, 거래소 상장폐지… 불투명 운용, 가상화폐 신뢰 추락코인 담보로 대...   \n","1   민노총 화물연대 총파업 돌입시멘트·정유 화물차 조합원들 운송 거부땐 화물면허 취소돼...   \n","2   지난 24일 한국과 우루과이의 2022 카타르 월드컵 조별리그 H조 1차전에서 손흥...   \n","3   지난 21일 이란과 잉글랜드 경기가 시작되기 전 이란 선수들이 국가 제창을 거부하고...   \n","4   토요일인 11월 26일 서울 세종대로에서 열린 보수단체 집회(왼쪽)와 서울 태평로 ...   \n","..                                                ...   \n","15  한경닷컴 더 머니이스트사망일 이전 10년 내에 증여한 재산상속세 계산 시 합산해 과...   \n","16  사진=연합뉴스시진핑 중국 국가주석이 자신의 3연임을 축하한 김정은 북한 국무위원장의...   \n","17  사이좋게 승점 1점 나눠 가지며 16강 진출 유리한 고지\\n\\n\\n\\n2022 카타...   \n","18  12·12 이후 장군 강등은 처음\\n\\n\\n\\n전익수 공군 법무실장.(사진=뉴스1)...   \n","19  '1호 바이오벤처' 바이오니아 박한오 대표 인터뷰\"코로나 특수 끝났지만, 연구성과 ...   \n","\n","                                          content_url  \n","0   https://n.news.naver.com/mnews/article/023/000...  \n","1   https://n.news.naver.com/mnews/article/023/000...  \n","2   https://n.news.naver.com/mnews/article/023/000...  \n","3   https://n.news.naver.com/mnews/article/023/000...  \n","4   https://n.news.naver.com/mnews/article/023/000...  \n","..                                                ...  \n","15  https://n.news.naver.com/mnews/article/015/000...  \n","16  https://n.news.naver.com/mnews/article/015/000...  \n","17  https://n.news.naver.com/mnews/article/015/000...  \n","18  https://n.news.naver.com/mnews/article/015/000...  \n","19  https://n.news.naver.com/mnews/article/015/000...  \n","\n","[361 rows x 5 columns]"]},"execution_count":184,"metadata":{},"output_type":"execute_result"}],"source":["news"]},{"cell_type":"code","execution_count":null,"metadata":{},"outputs":[],"source":["# 숙제\n","#   - 뉴스 크롤링\n","# news (2021년 네이버 언론사 모바일 랭킹뉴스 매체별 점유율, 기자협회보)\n","# 2022-10-01 ~ 2022-11-30\n","# 중앙일보, 한국경제, 조선일보, 매일경제, 머니투데이"]},{"cell_type":"markdown","metadata":{"id":"P4-hafLg7ogb"},"source":["#### 네이버 증권"]},{"cell_type":"markdown","metadata":{"id":"RtbLMtDR7qoS"},"source":["#### 다음 증권"]}],"metadata":{"colab":{"authorship_tag":"ABX9TyMeRRyztVQSgdQa1bKIvPQO","provenance":[],"toc_visible":true},"kernelspec":{"display_name":"Python 3.9.12 ('base')","language":"python","name":"python3"},"language_info":{"codemirror_mode":{"name":"ipython","version":3},"file_extension":".py","mimetype":"text/x-python","name":"python","nbconvert_exporter":"python","pygments_lexer":"ipython3","version":"3.9.12"},"vscode":{"interpreter":{"hash":"ad2bdc8ecc057115af97d19610ffacc2b4e99fae6737bb82f5d7fb13d2f2c186"}}},"nbformat":4,"nbformat_minor":0}