기술 트렌드 분석 자동화 (챗GPT, 네이버 오픈API, 구글 코랩, 구글시트, 앱스스크립트)

# 네이버 검색 API 예제 - 블로그 검색 import os import sys import urllib.request client_id = "YOUR_CLIENT_ID" client_secret = "YOUR_CLIENT_SECRET" encText = urllib.parse.quote("검색할 단어") url = "https://openapi.naver.com/v1/search/blog?query=" + encText # JSON 결과 # url = "https://openapi.naver.com/v1/search/blog.xml?query=" + encText # XML 결과 request = urllib.request.Request(url) request.add_header("X-Naver-Client-Id",client_id) request.add_header("X-Naver-Client-Secret",client_secret) response = urllib.request.urlopen(request) rescode = response.getcode() if(rescode==200): response_body = response.read() print(response_body.decode('utf-8')) else: print("Error Code:" + rescode)

import os import sys import urllib.request # 네이버 API 정보 client_id = "YOUR_CLIENT_ID" client_secret = "YOUR_CLIENT_SECRET" # 사용자로부터 검색어 입력 받기 search_query = input("검색어를 입력하세요: ") encText = urllib.parse.quote(search_query) # API 요청 보내기 (한 번에 최대 100개의 결과) total_news = [] for start in range(1, 1001, 100): # 1부터 1000까지 100 단위로 증가 url = f"https://openapi.naver.com/v1/search/news.json?query={encText}&display=100&start={start}" # JSON 결과 request = urllib.request.Request(url) request.add_header("X-Naver-Client-Id",client_id) request.add_header("X-Naver-Client-Secret",client_secret) response = urllib.request.urlopen(request) rescode = response.getcode() # 응답 처리 if rescode == 200: response_body = response.read() total_news.append(response_body.decode('utf-8')) else: print("Error Code:", rescode) sys.exit(1) # 전체 뉴스 결과 출력 for news in total_news: print(news)

import requests from bs4 import BeautifulSoup # 네이버 뉴스 기사 URL url = 'https://n.news.naver.com/mnews/article/366/0001009910' # HTTP 요청 헤더 설정 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'} # 요청 보내기 response = requests.get(url, headers=headers) # 응답이 성공적이면 if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 기사 본문 추출 article_body = soup.find('div', {'id': 'newsct_article'}) if article_body: # 본문 텍스트 추출 및 출력 text = article_body.get_text(strip=True) print(text) else: print("기사 본문을 찾을 수 없습니다.") else: print(f"요청 실패: {response.status_code}")

import urllib.request import json import pandas as pd import requests from bs4 import BeautifulSoup # 네이버 API 키 설정 client_id = "YOUR_CLIENT_ID" client_secret = "YOUR_CLIENT_SECRET" # 검색할 단어 입력받기 search_term = input("검색어를 입력하세요: ") encText = urllib.parse.quote(search_term) # 전체 결과를 저장할 리스트 all_results = [] # 1000개의 결과를 가져오기 위한 반복 for start in range(1, 1001, 100): # 뉴스 검색을 위한 API URL (start 인덱스와 100개씩 가져오기 설정) url = f"https://openapi.naver.com/v1/search/news?query={encText}&display=100&start={start}" # 요청 객체 생성 request = urllib.request.Request(url) # 헤더에 클라이언트 ID와 시크릿 추가 request.add_header("X-Naver-Client-Id", client_id) request.add_header("X-Naver-Client-Secret", client_secret) # 요청 보내고 응답 받기 response = urllib.request.urlopen(request) rescode = response.getcode() # 응답 결과 확인 if rescode == 200: response_body = response.read() results = json.loads(response_body.decode('utf-8')) # UTF-8로 디코딩 all_results.extend(results['items']) # 결과 아이템 추가 else: print("Error Code:" + str(rescode)) # 'link' 필드에 'n.news.naver.com'이 포함된 데이터만 필터링 filtered_results = [item for item in all_results if 'n.news.naver.com' in item['link']] # 필터링된 결과를 데이터프레임으로 저장 df_filtered = pd.DataFrame(filtered_results) # 데이터프레임을 CSV 파일로 저장 (utf-8-sig 인코딩) df_filtered.to_csv('naver_news_results.csv', index=False, encoding='utf-8-sig') # 각 링크에 대한 기사 본문 크롤링 for link in df_filtered['link']: # HTTP 요청 헤더 설정 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'} # 요청 보내기 response = requests.get(link, headers=headers) # 응답이 성공적이면 if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 기사 본문 추출 article_body = soup.find('div', {'id': 'newsct_article'}) if article_body: # 본문 텍스트 추출 및 출력 text = article_body.get_text(strip=True) print(f"URL: {link}") print(f"본문: {text}\n") else: print(f"기사 본문을 찾을 수 없습니다: {link}") else: print(f"요청 실패: {response.status_code} for URL: {link}")