저자 : 토비 세가란
발행일 : 2008/04/30 ISBN : 978-89-7914-562-5 93000
파이썬 프로그램을 하게 해준 책이며, 이론을 설명한 후에 짤막짤막한 소스들(파이썬)로 설명한 기능을 완성시켜 가보는 재미가 담겨있는 책입니다.
제목 그대로 집단지성을 프로그램 하기 위하여 Open API를 통한 대형 사이트(?) 의 정보를 접근하여 다양한 분석을 할 수 있는 책자입니다.
쉽게 관련된 유사한 Open API를 찾고자 여기에 정리 합니다. 세부 구현사항은 책자를 참조하시기를….
[목차]
1. 집단지성 소개
2. 추천 시스템 만들기
3. 군집발견
4. 검색과랭킹
5. 최적화
6. 문서필터링
- 활용예 : 스팸필터링 등
- 분석기 (단어별 통계)
- 분류기 (웹기반 서비스의 일부)
- 피셔방식 (Fisher method)
- 학습정보의 저장과 복원 (python SQLite)
- 블로그 피드( http://feedparser.org ) 필터링
- akismet (www.skismet.com)
- workdpress.com 에서 사용중 (http://kemayo.wordpress.com/)에서 akismet.py 필요
7.의사결정트리
- 트리학습 (CART 알고리즘 사용)
- 재귀적 트리 구현
- 트리의 출력
- 주택가격 모델링 : http://www.zillow.com/ –> 지역별 부동산 매물정보 , 실내사진이 비교적 잘 정리되어 있는
- 인기도 모델링 : http://dev.hotornot.com/ –> 헐벗은(?) 총각/처녀들이 점수 딸려구 사진 올리는…
8. 가격모델링
- 오홋 경매물건의 최종 경매가격을 예측하는 시스템?
- kNN (k-nearest neighbors) : 가장 비슷한 몇개의 가격을 기반으로 대충 같을거야 라고 가정
- 물품별 유사도의 계산
- 물품별 가중치 적용
- 교차검증 : 학습세트(95%)와 테스트세트(5%)로 구성
- 이베이 : http://developer.ebay.com/quickstartguide : 이런 정도의 데이터는 써줘야…
9.고급분류기법 : 커널 기법과 SVM (Support Vector Machine)
- 두사람의 정보가 있다면 우리는 둘이 어울릴지 예측할 수 있을까?
- 오호 Yahoo Geocoding API로 주소로 상호간 거리를 계산
- 지지(?)벡터머신 : LIBSVM (http://www.csie.ntu.edu.tw/~cjlin/libsvm/) Version 3.11 released on 2011-11-05
- 페이스북 매칭 : http://developers.facebook.com/ (이건 한번더 디벼보기)
10.독립특성발견
- 다양한 뉴스 기사에서 독립적인 특성 찾기
- 핵심 주제를 파악하여 한개 이상의 주제를 갖는 기사, 또는 여러 기사에 적용된 주제 추출
- 으으 행렬의 곱과 전치행렬이…
- 야후 금융에서 미국 주식시장의 거래량 분석
11. 진화지성
- 유전자 프로그래밍 (generic programming)
- 축적된 데이터를 교배, 돌연변이 등등을 가미하여 발전시키기
- 인공지능형 게임 프로그램 만들기
12. 알고리즘 요약
부록 이거 중요하군요..
- 파이썬 외부 라이브러리 소개, 다운로드, 설치
- feedparser : http://code.google.com/p/feedparser/
- Imaging Library : http://www.pythonware.com/products/pil/
- beautiful soup : http://www.crummy.com/software/BeautifulSoup/ (XML 파서)
- pysqlite : http://pypi.python.org/pypi/pysqlite/
- numpy : http://numpy.scipy.org/ (수학 라이브러리) : 배열객체, 선형대수함수, 푸리에변환 등
- mapplotlib : http://sourceforge.net/projects/matplotlib/
- pydelicious : http://code.google.com/p/pydelicious/ 소셜 북마크 사이트 OpenAPI용 라이브러리