대부분의 애플리케이션은 주로 엔진을 검색하고 매일 웹 사이트를 크롤링하여 최신 데이터를 찾습니다..
대부분의 웹 크롤러는 방문한 페이지의 복사본을 저장하여 나중에 쉽게 색인을 생성 할 수 있고 나머지는 페이지 검색을 위해 페이지를 크롤링합니다 (예 : 스팸의 경우 전자 메일 검색).
어떻게 작동하나요??
크롤러는 웹 주소, URL 등의 시작점이 필요합니다..
인터넷을 탐색하기 위해 우리는 HTTP 네트워크 프로토콜을 사용하여 웹 서버와 대화하고 데이터를 다운로드하거나 업로드 할 수 있습니다..
Google 검색은 어떻게 작동합니까??
크롤러는이 URL을 탐색 한 다음 하이퍼 링크를 찾습니다 (HTML 언어의 태그).
그런 다음 크롤러는 해당 링크를 탐색하고 같은 방식으로 이동합니다..
여기까지 그것은 기본적인 생각이었습니다. 자, 우리가 그것을 어떻게 완전하게 움직이는가는 소프트웨어 자체의 목적에 달려 있습니다..
전자 메일 만 가져 오려면 각 웹 페이지의 텍스트 (하이퍼 링크 포함)를 검색하고 전자 메일 주소를 찾습니다. 이것은 개발할 수있는 가장 쉬운 유형의 소프트웨어입니다..
검색 엔진은 개발하기가 훨씬 어렵습니다..
검색 엔진을 만들 때 우리는 몇 가지 다른 것들을 돌볼 필요가 있습니다..
1. 크기 - 일부 웹 사이트는 매우 크고 많은 디렉토리와 파일을 포함합니다. 모든 데이터를 수집하는 데 많은 시간을 소비 할 수 있습니다..
2. 빈도 변경 - 웹 사이트는 하루에도 몇 번씩 자주 변경 될 수 있습니다. 매일 페이지를 삭제하고 추가 할 수 있습니다. 각 사이트와 사이트 당 각 페이지를 언제 다시 방문해야하는지 결정해야합니다..
3. HTML 출력을 어떻게 처리합니까? 검색 엔진을 만들면 텍스트를 평범한 텍스트로 취급하는 것이 아니라 텍스트를 이해하기를 원할 것입니다. 우리는 캡션과 간단한 문장의 차이점을 말해야합니다. 굵게 또는 기울임 꼴 텍스트, 글꼴 색, 글꼴 크기, 단락 및 표를 찾아야합니다. 이것은 우리가 HTML을 매우 잘 알아야한다는 것을 의미하며 먼저 구문 분석해야합니다. 이 작업을 위해 필요한 것은 :HTML to XML Converters:라는 도구입니다. 하나는 내 웹 사이트에서 찾을 수 있습니다. 리소스 상자에서 찾을 수도 있고 Noviway 웹 사이트에서 찾을 수도 있습니다 : www.Noviway.com.
그게 지금이야. 너 뭔가 배웠 으면 좋겠다..