인덱싱 현황 체크 : 인덱싱을 위한 site:url 활용, 키워드 배치편

검색엔진에 제대로 인덱스 되도록 체크 및 대처방법

인덱스가 되어야 검색이 된다.
자신의 사이트 혹은 경쟁사의 사이트가 인덱스 되었는지 확인하는 현황파악은 중요하다. 물론 인덱스 되었다고 다 검색이 잘 되는 것은 아니지만, 인덱스가 되지 않으면 검색이 안되기 때문에 일단 현황파악을 한후 향후 대책을 세워야 한다.

1.인덱스 현황 확인 site:url

자사 사이트의 인덱싱 확인인은 site:www.abcd.com 등과 같이 입력해 보면 된다.

site: 활용한 인덱싱 확인

입력창에 내용 확인
입력창 밑에 [검색결과 약 **개(0.11초)] => 이 사이트의 하부에 **개의 컨텐츠가 색인되어있다는 의미
(즉, 색인된 페이지수로 보면 된다.)
사이트 => 그리고 구체적으로 색인된 페이지의 내용을 확인 할 수 있다.

인덱싱 내용 분석

인덱싱 내용을 확인해 보자 

해외SEO마케팅정보 - 웹사이트검색최적화,엑세스 증가대책정보(국내 ...  =>title

ryuhyonhee.blogspot.com/ => URL

3일 전 – 검색 엔진의 기본 구조. SEO(검색엔진최적화)를 위해서는, 검색 엔진 의 기본 구조를 이해할 필요가 있습니다. 검색 엔진의 기본적인 구조는 하기와 ...   =>meta description

의 내용을 확인 할 수 있다.

2.인덱스가 안된 경우 site:url

색인이 안된 경우

상기와 같이, 샘플의 경우의 URL이 실재 존재한다고 할때 이미지처럼 이런 화면이 나온다면 상당히 심각한 경우이다. 인덱싱이 되어있지 않으므로, 검색될 일이 없다. 고객이 접근 할 수 있는 경로는 URL을 알고 있거나, 혹은 블로그등 관련 컨텐츠를 통해서만 접근이 가능하다. 그 이외에는 어떤 방법으로도 접근이 될 수 없을 것이다.

이런 경우 사이트의 제작시 문제가 있을 가능성이 가장 크다. 이런경우 보통 플레쉬, 이미지 기반의 사이트 혹은 frameset기반의 사이트 제작이 된 경우가 흔히 볼 수 있는 예이다. (국내의 경우 CPC광고 를 많이 사용하므로 크게 문제는 없다.  해외 마케팅의 경우, 이런 결과가 나오는 사이트는 구글에서 검색이 안되므로 심각하게 대처해야 한다. - 해외에서도 CPC광고를 진행할 경우 노출에는 문제가 없다. 단, 자연검색에서는 검색될 일이 없다는 것이다.)

하지만, 그 이전에 site:url명령어를 제대로 사용했는지 다시한번 확인해 볼 필요가 있다. 

3.인덱스가 되더라도 검색이 안되는 경우

ㄱ) 상기의 이미지처럼 인덱싱이 완전하게 안된경우(10,000 페이지중 100페이지 혹은 , 1페이지만 됨) 

  -> 이 경우 검색의 찬스로스가 무척 심하다. 결국 유저 빌리티의 악화로 연결된다. 고객은 그 회사의 페이지를 검색하지만, 결국 찾을 수 없는 결과를 가져오게 된다. 

ㄴ) 인덱싱이 되었지만, 제대로된 키워드로 색인되지않는경우

  -> 전페이지 동일한 타이틀로 색인된 경우, 색인이 전페이지(ex: 10,000페이지 색인됨)색인 되었더라도 제대로된 검색결과를 유저에게 표시 할 수 없다.

ㄷ) 웹페이지의 첨부 파일등의 색인이, 키워드와 관련 없이 [날짜][기호,부호]및 기타 파일의 내용을 충분히 표현하지 않은 제목으로 된 경우.

ㄹ) 사이트의 제작시 이미지및 플레쉬로 제작된 경우, 웹페이지는 색인이 안되고 플레쉬의 내용만 색인이 되어 site:url로 보면 색인된 숫자는 카운트 되어있으나, 실제적으로 웹문서의 색인은 거의 없는 경우

기타

인덱싱의 경우, 사이트의 제작 환경이 천차만별이라, 케이스바이케이스의 경우가 상당히 많을것 같다. 하지만, 상기의 경우가 대표적인 부분 나타나는 증상으로 생각해도 크게 벗어나지 않을것 같다. 

site:url은 활용하기에 따라 상당히 가치있는 명령어 이다.

본인의 기본 지식 + 활용능력까지 ㄱ, 웹마케팅에 있어 상당히 고도의 마케팅을 할 수 있을것이다. 인덱싱에 대한 내용 확인 이상의 내용도 활용에 따라 가능하기 때문에 site:url을 사용하는 것을 익히고 응용단계까지 활용해 보기 바란다.

Ryuhyonhee

검색엔진의 구조 - SEO를 이해하기위한 핵심요소!! 인덱스!!

검색엔진의 구조

검색 -> 결과 출력(X)

검색 -> 인덱서 -> 결과 출력(O)

1.검색엔진의 구조   

검색의 구조

검색엔진은 유저와 사이트의 가교 역할을 한다. 고객은 어떤 정보를 찾기위해 검색하게 되고, 검색엔진은 관련 검색에 해당하는 내용을 출력하게 된다. 여기서 입력 -> 출력의 단순한 기능이 아닌, 인덱싱이라는 검색엔진의 핵심이 백그라운드에 있는것이다.

검색엔진의 핵심은 인덱서에 있다. 즉, 유저의 요청에 응답하는 검색결과를 출력하는 과정에서 순위를 결정하여 화면에 표시해주는 부분에서 인덱서의 역할이다. 

2. 크롤링 - 인덱싱   

인덱서는 인덱싱을 해두는 서버이다. 인덱스는 크롤러라고 하는 로봇이 전세계 웹사이트를 순회하면서 찾아낸 정보를 키워드에 따라 분류해 놓은 곳이라고 이해하면 좋을것 같다. 포인트는 [키워드]이다. 검색할 때 키워드를 인풋하면, 인덱서에서 그 키워드에 맞는 인덱싱 값을 출력한다. 출력시 순위를 정하여 출력하는것이다.

그럼 결론은 검색결과에 나올려면 일단 인덱싱이 되어야 한다는 것이다. 인덱싱이 잘 되려면, 크롤러가(웹상의 프로그램) 사이트를 잘 인식할 수 있도록 제작하고, 키워드를 잘 배치해야 하겠다.

이것을 크롤러 빌리티라고 한다. 보통 크롤러 빌리티는 사이트의 제작시에 결정되는 경우가 대부분이다. (한국의 사이트 제작 현황상 한번 잘못 만들면, 사후 수정이 어려워진다.  해외의 경우 사후 수정이 가능한  경우가상대적으로 많다.) 


우선 인덱싱이 검색의 가부를 결정하기 때문에 인덱싱에 대한 부분에 대하여 간단히 언급해 보고자 한다.
하기의 이미지를 보면, 인덱싱에 관련된 site:이나 키워드, 메타테그,사이트맵 등이 간단히 인덱싱에 관련된 부분이 아닐까 생각한다.

인덱싱과 관련된 부분

이 부분은 다음편에 기술하고자 한다.

 Ryuhyonhee   

검색엔진의 구조를 이해하는것이 검색최적화를 위한 첫걸음

검색 엔진의 기본 구조

SEO(검색엔진최적화)를 위해서는, 검색 엔진 의 기본 구조를 이해할 필요가 있습니다.
검색 엔진의 기본적인 구조는 하기와 같으며, 각각 분업하여 작업을 실시하고 있습니다.


1) 크롤링
2) 인덱스
3) 검색  (인풋 -> 아웃풋)

1.  탐색 (페이지 정보 수집)

 1.  탐색 (페이지 정보 수집) 

  크롤러(로봇,스파이더) 라는 프로그램이 인터넷 사이트를 순회 하고 각 사이트의 페이지 정보를 수집합니다. 수집한 페이지 정보는 임시 저장소 데이터베이스(인덱서)에 등록됩니다. 인터넷에 엄청난 양의 페이지가 존재합니다. 검색결과 정보로 다양성 과 신선함(완전성 및 최신성)을 유지하기 위해서는 다량의 크롤이 필요하고 효율적으로 크롤링 하는 기술이 각 검색 엔진의 중요한 노하우 중 하나입니다.  완전성 및 최신성을 얻기 위해 유용한 사이트는 자주 순회 를 할 필요가 있습니다. 그러나 사이트의 부하를 고려한 적절한 액세스 제어가 필요합니다. 단일 서버에서 여러 사이트가 운용되고있는 것도 많아, 액세스 제어 사이트 ( 도메인 ) 단위가 아닌 서버 ( IP 주소 ) 단위로 이루어집니다 것이 바람직합니다.

 2. 인덱스 (데이터 베이스화)  

  인덱서 라는 프로그램이 임시 저장소 데이터베이스를 참조하여 해당 페이지의 각종 정보 ( URL 중요한 키워드 , 링크 , 크기, 날짜 등)를 정리하여 색인 데이터베이스라는 검색할 때 참조하는 데이터베이스에 등록합니다. 그 때, 페이지 정보는 캐시 데이터베이스에 등록됩니다. 인덱스 데이터베이스는 데이터베이스 유지 관리 프로그램이 정상적으로 유사한 페이지를 삭제하거나 저장된에서 시간 경과에 따라 변화하는 정보 업데이트, 기타 유지 관리 작업을 수행합니다. 검색 처리 즉시 검색 결과 를 표시하기 위해 실제 검색 시에 실시 스코어링 작업 (순위)는 최소가되도록 설계되었습니다. 그래서 중요한 것이 인덱스의 정보 정리(이 부분이 검색엔진의 핵심)입니다. 이 배열 방법이 각 검색 엔진 의 중요한 노하우입니다.

 3. 검색 (검색 요청-input-에 대한 대응-output)   

    검색 화면에서 사용자가 원하는 키워드로 검색했을 때, 인덱스 데이터베이스를 참조하여 검색어 를 전제로 하여 채점한 후 그 점수 순서대로 페이지 정보를 나열합니다. 그때, 그 페이지에 해당하는 캐시의 URL 을 부기함으로써 캐시 데이터베이스를 볼 수있는 구조로 되어 있습니다.
    *** 색인과 검색의 양쪽에서 행하는 스코어링에 관한 구조를 따라 알고리즘 이라고합니다. 알고리즘은 검색어 에 해당하는 페이지 목록의 순서를 결정합니다. 알고리즘의 품질이 나쁘면 목록 결과를 이용자의 요구에 부합하지 않는 것이되어, 검색 정확도가 나쁜 검색 엔진으로 등급이 떨어지게 됩니다. 알고리즘(순위결정알고리즘)은 검색 엔진 에서 가장 중요한 사양입니다.


알아본 바와 같이 검색엔진은 검색결과를 내보내기위해 상기와 같은 방법으로 크롤링-인덱싱-검색출력 의 영역으로 나위어 일을 하고 있다.
크롤링은 링크를 타고 다는다는 부분이 핵심이며
인덱싱은 키워드로 인덱싱 된다는 부분이 핵심 입니다.
검색에서 출력되기 위해서는 먼저, 자사의 사이트가 잘 크롤링 되어 인덱싱 되어 있어야 비로소 검색이 됩니다.


이 부분에 있어 근본적으로 사이트 제작이 잘 되어야 크롤링이 잘 되는 것도 참고로 알아두면 유익할 것입니다.

Ryuhyonhee

검색의 필수조건 인덱싱 - 필살기 7가지 테크닉!!

작성일 : 2012.06.19 인덱싱>SEO

인덱스 대책 - 검색의 필수 조건

인덱스에 대하여

인덱스란 페이지가 검색 엔진에 수집되어 인식되는 것이며, 인덱스 대책이란 사이트 페이지의 퀄리티 향상 (내부 구조 미비 등 개선) 및 검색 엔진 측에서 인식률 향상(구글에 인식되기 쉬운 사이트 구조)을 할 수 있습니다.

정말 놀라울 정도로 우수한 사이트와 페이지를 준비하더라도 검색 엔진에 인식되지 않으면 검색 결과에 표시되지 않습니다. 또한 사이트 내부의 다른 페이지에서 링크로 연결되는 것도, 검색 엔진은 페이지의 유용성(가치)을 평가하는 항목의 일부로 사용하므로, 가능한한 많은 사이트내의 페이지가 검색 엔진에 수집되어 인식되도록하는 것은 매우 중요한 것입니다.

또한 검색 엔진이 페이지를 인덱스하기 위해 각 사이트를 순회하는 프로그램을 크롤러, 순회 프로그램, 로봇, 스파이더 등이라고합니다.

인덱스가 잘 되려면

인덱스가 잘 되려면, 사이트의 제작부터 잘되어야 한다.

한국의 대부분의 사이트는(기업 홈페이지) 이미지와 프레임셋 구조로 혹은 플레쉬 구조로 만들어져 있기 때문에 실제로 구글의 크롤러가 인식할 수 없는 구조로 되어있다. 운좋게 인식이 되더라도, 사이트 내부에 텍스트가 거의 없기 때문에 어떤 문서인지를 알 수 있는 길이 없다. 

인덱스가 잘 되려면

1) 기업 사이트의 경우, 텍스트기반으로 사이트를 만든다.

     특히 최근에 많은 관심을 받고있는 WORDPRESS, 또는 기타 설치형 블로그 타입으로 제작한다면(삼성투마로http://www.samsungtomorrow.com/)등과 같은 텍스트 기반으로 제작하는 것이 중요

2) 파워 블로거의 경우, 기본적으로 텍스트 베이스이므로 큰 상관은 없으나 키워드를 의식한 타이틀 작성이 필요

3) 네비게이션의 구조를 플레쉬및 이미지가 아닌, 쇼하이드 레이어(SHOW HIDE LAYER)로 작성한다.

     구글은 플레쉬 및 이미지 및 스크립트 언어를 이해하지 못하므로, 그것을 배제한 텍스트로 작성된 링크가 유효하다고 할 수 있다. 따라서 네비게이션의 구조는 텍스트 기반으로 작성을 추천한다. 단, 스크립트를 활용한 텍스트 기반의 홈페이지라면 역시 구글은 인식하지 못하게 된다.

4) 그 페이지의 핵심 키워드를 맨 앞으로 배치(title테그 내)

    구글에게 인덱싱을 유도하기 위해서는 타이틀 테그의 앞쪽에 키워드를 배치함으로써 구글이 자연스럽게 저자가 원하는 키워드로 인덱스 할 수 있도록 유도하는 것은 인덱싱 방법으로 추천할만 하다.

5) 각 페이지의 고유한 타이틀 테그를 작성

    각 페이지의 고유한 타이틀 테그를 작성하는 것은 구글과의 원활한 커뮤니케이션을 위해 꼭 필요하다. 고유한 타이틀을 기재하되, 상기의 사항들을 적용한다. 이것또한 한국 홈페이지에 있어 많이 놓치고 있는 부분이기도하다. 

6) 페이지 랭크가 높은 사이트로부터 링크를 받는다.

    페이지 랭크가 높은 사이트의 경우, 상대적으로 크롤러의 방문빈도가 높다.(절대적인 부분은 아님) 따라서 상대방의 페이지에서 자신의 사이트에 크롤러가 상대적으로 자주 방문 하게 함으로써 업데이트 및 변경된 컨텐츠를 인덱스하게 하는 것은 중요하다.

7) 사이내의 컨텐츠를 자주 업데이트   

    사이트내의 컨텐츠가 자주 업데이트 되면, 크롤러는 자주 방문하게 된다. 크롤러가 자주 방문하게 되면 상기의 예처럼 작성된 홈페이지라면 자주 방문한 크롤러에게 새로운 컨텐츠가 인덱싱 되게되고, 그것이 바로 검색에 반영되므로 인덱싱에 효과적이다.

이상 간단히 생각나는 부분을 적어보았다. 이것 이외에도 많은 방법이 있지만, 상기의 내용만으로도 충분한 대책이 되리라 생각합니다.

Ryuhyonhee

검색엔진 인덱싱에 관하여 - 인덱싱 되지 않으면 검색결과에 나올려고 꿈도꾸지마시요~

게제일 : 2012.06.16 인덱싱>SEO

인덱싱에 대한 개념은 상당히 중요하다!!

인덱싱에 대한 개념

• 인덱싱에 대한 정의  (JAPAN-WIKI インデックス)

인덱싱은 검색 엔진의 운영 과정에서 "정보 작성" "등록"의 역할을 하는 작업입니다. 검색 엔진은 크롤러가 수집하여온 Web 페이지의 정보를 미리 중간 처리하여, 검색 알고리즘이 사용하기 쉬운 데이터 형태로 변환한 상태로 인덱스 (데이터베이스)에 저장합니다. 따라서 인덱싱에 있어서 개별 작업 내용은 검색 엔진 데이터베이스의 특징을 결정하는 중요한 요소가되고 있습니다.

이해가 잘 안되실 수도 있다는 생각이 듭니다.

인덱싱이라는 단어를 처음 접하는 분들도 있을텐테, 먼저 검색엔진에 대한 이해를 하고난 후, 인덱싱이라는 부분에 대한 이해가 진행되어야 하지 않을까 싶습니다. 

자신의 사이트가 인덱싱 되어야 검색이 됩니다. 인덱싱 되지 않았다면, 자사의 사이트는 URL을 입력하지 않으면 유저는 절대 접근 할 수 없는 사이트가 되는 것입니다. 국내 기업의 해외 홈페이지가 이런 패턴이 많은 것이 현실입니다.

실전에서의 인덱싱 활용

1) 홈페이지를 만들었는데 검색이 되는지 확인하기 위해

홈페이지를 제작했습니다. 과연 해외 검색엔진에서 검색이 되는지 확인해 볼까요?

검색이 되기 위해서는 우선 인덱싱이 되어야 합니다. 이전 검색엔진에 대한 이해 부분에서 다룬 내용입니다만, 「site:URL」이라는 검색어를 입력하면, 그 사이트의 인덱싱된 내용이 구글에 나오게 됩니다. 일단 인덱싱 되어있다면 검색은 됩니다.

하기는 당 사이트의 인덱싱 내용입니다. 총 4건의 문서가 검색되고 있습니다.

구글에서 site: 을 활용한 인덱싱 현황 파악

2)인덱싱 되었는데 사이트가 제대로 검색이 안되요~~

그렇습니다. 인덱싱 되었다고 다 검새이 되는것은 아닙니다.

하기의 경우 한국의 95%이상의 기업에서 나타나는 문제 입니다. 

인덱싱은 되는데, 검색이 안되는 경우입니다. 구글은 아주 스마트한 검색엔진이면서 최고의 검색품질을 자랑하지만 웹페이지가 제대로 인덱싱 안되게 만들어진 경우 검색은 제대로 되지 않습니다.

빨간색 : 웹페이지의 타이틀

보라색 : 웹페이지의 URL

파랑색 : 웹페이지의 디스크립션

인덱싱 되었으나, 검색이 안되는 경우의 사례

상기의 이미지처럼 모든 웹페이지가 동일한 제목이 될 경우 검색이 잘 안되는 패턴중의 한가지 입니다.

검색이 안되는 이유

1)타이틀이 동일하다.

2)타이틀에 키워드가 없다.

3)타이틀과 인덱싱에 대한 개념에 대해 이해 부족, 검색엔진에 대한 이해 부족

모든 웹페이지는 각자 페이지의 고유 URL이 있습니다. 즉 주민등록 번호를 가지고 있는것이죠.

그런데, 주민등록번호(보라색)은 같은데, 거기에 들어있는 내용이(사람 이름이 모두 동일 합니다.)
<한 아파트(홈페이지)안에 각기 다른 호수의 집들(웹페이지)가 있는데, 거기 살고있는 사람이 모두 똑같은 이름을 가지고 있는것이죠? > 상기의 이미지의 내용을 비유하자면 이런 격입니다. 각 페이지마다 상품이 다르고, 내용도 다른데, 제목이 모두 똑같습니다. 상식적이지 않죠!!! 제작자가 이 페이지는 이렇다 라고 타이틀에 선언해 버렸기 때문에 구글도 타이틀에 없는 웹문서 내용을 제대로 검색해 주지 못하게 됩니다.

A-사이트에 (콜라,사이다,환타,소다,맥주,......)의 페이지가 있다고하더라도, 상기처럼 모두 [콜라]라는 제목으로 되어있다면,

  검색시 [콜라]라고 입력하면 어떤 웹문서를 올려줄까요? 모두가 다 콜라인데.... 운좋게 콜라페이지가 노출되면 좋겠지만, 사이다 페이지가 나온다면 유저가 들어가보고 만족 할까요?  그리고, 이런 사이트는 구글의 웹검색 품질을 심각하게 저하할 우려가 있으므로 상위 노출자체를 꺼리지 않을까요?

  검색시 [콜라]라고 입력했는데 -> 검색엔진이 알아서 [사이다]페이지를 올려줄 일도 없습니다.

그러면 상기 사이트의 경우 근본적으로 무엇이 문제일까요??


검색의 기본은 [텍스트 일치]라는 부분을 인식해야 합니다.
그리고 그 검색에서의 [텍스트 일치]는 타이틀이라는 부분에서 일어납니다.

즉 인덱싱을 타이틀에 있는 키워드로 한다고 단순히 생각하셔도 좋을것 같습니다.


검색이 되려면, 인덱싱 되어야하고, 인덱싱은 키워드로 되기 때문에 타이틀에 키워드를 제대로 넣어야 한다.

검색엔진 입장에서 판단할때, 전 페이지의 내용이 동일할 경우 검색엔진 측에서는 그 페이지의 내용이 아무리 뛰어나다해도 구분 할 수 있는 능력이 없기 때문에, 결국 그 페이지는 평가절하 되어버립니다.

따라서 중요한 것은 각 페이지에 그 페이지에 해당하는 타이틀을 적어줘야 하지요. 이부분은 소스상의 타이틀을 말씀드리는 겁니다. <title>  고유한 웹페이지 제목 </title> . 이렇게 제목을 구분해 주는 것만으로도 검색엔진에게는 많은 도움이 됩니다.

※참고 - 최근에 검색 알고리즘 변동으로 구글에서 어떤 웹사이트의 전 페이지가 동일 타이틀일 경우 각페이지에 맞게 타이틀을 변경하는 방향으로 알고리즘이 변화되고 있음(구글의 타이틀 변경에 관한 컨텐츠)

Ryuhyonhee