뉴스 크롤링 사이트 제작 by Codex
Gemini API를 활용하여 뉴스 사이트들에서 기사를 크롤링 해서 요약 보여주는 웹 사이트입니다.
목차
Gemini API를 활용, AI · 보안 뉴스 크롤링 프로젝트
작동원리
Gemini API를 활용하여 기사들의 내용을 3.5-flash-lite 모델을 사용하여 요약하고,
3.8 Flash 모델을 이용해 “HOT 10"을 임의로 선정.
Output과 기사 내용들을 더해 최종 보고서를 작성합니다.
최종 보고서는 보고서 목록 페이지
https://kiukmaster.github.io/kiuk_news
호스팅 및 실행주기
Github Pages와 Actions를 활용하여 매일 06시 13시 19시에 한번씩 기사를 크롤링·Gemini API를 호출합니다.
크롤링 할 때 마다 새로운 보고서를 생성하지 않고 당일 날짜에 생성된 보고서가 있으면 해당 보고서에 추가로 기사가 삽입됩니다.
기사를 가져온 사이트는 아래 표를 참고해주세요.
| 분야 | 사이트 |
|---|---|
| AI | AI타임스 ↗ |
| AI | OpenAI ↗ |
| AI | Google AI ↗ |
| AI | Hugging Face ↗ |
| 보안 | 데일리시큐 ↗ |
| 보안 | 보안뉴스 ↗ |
| 보안 | The Hacker News ↗ |
| 보안 | BleepingComputer ↗ |
| 보안 | SecurityWeek ↗ |
| 보안 | Krebs on Security ↗ |
| 신기술·논문 | 전자신문 ↗ |
| 신기술·논문 | GeekNews ↗ |
| 신기술·논문 | arXiv AI ↗ |
| 신기술·논문 | arXiv 보안 ↗ |
| 인기 | GitHub Trending ↗ |
| CVE | NVD ↗ |
| CVE | 공식 CVE List ↗ |