Forum Posts

Cw Shek
Dec 10, 2019
In PYWS201902 - Web Scraping
記得課堂有一個練習,先把要input 的資料,放在一個config file. 然後,在module 開始,"from config import *" 但我自己試做做一個config file時,import 時,出error"no module called config".請問做config 時,是否save as "a new notebook" , 要否save 在同一directory?
0
0
6
Cw Shek
Oct 09, 2019
In PYWS201902 - Web Scraping
在網上見到用類似"context click... key(Arrow_Down)",但我試過用這句code只能right click, 未能成功click“save as"
0
3
20
Cw Shek
Sep 18, 2019
In PYWS201902 - Web Scraping
例如抄下pdf的table,變成csv?
0
1
18
Cw Shek
Sep 10, 2019
In PYWS201902 - Web Scraping
我想做一個for loop, 在date selector順序揀一日,抄下當天的table,儲在一個dataframe. 如此類推再揀第二天再抄。問題是怎樣把第二天的table 累積在第一天之後? 是否用df.append?但好像df.append 不是用來combine dataframe。完成後,我想儲存為csv檔案,免得下次要重新抄一次
Dataframe append content media
0
0
4
Cw Shek
Sep 07, 2019
In PYWS201902 - Web Scraping
如題目,抄TABLE 時遇到問題。我想用以下方法,把TABLE抄下, 然後再分類4行,但因為TABLE 內有空格,就不能成功分類4行 (會調轉位置)。如果用把TABLE 內逐個ELEMENT抄下的方法,電腦會太慢。 我不確定每天都是同一位置出現空格,請問如何處理這個問題? body = driver.find_element_by_xpath('//*[@id="mutualmarket-result"]/tbody') rows = body.text.split("\n") data = [] for row in rows: data.append(row) df = pd.DataFrame(data) a = np.array(df.values, order='C') df = pd.DataFrame(a,columns = ["Code","Name","#shares","%shares"])
想把網頁整個table抄下,但table里有某些格是空 content media
0
8
29
Cw Shek
Aug 07, 2019
In PYWS201902 - Web Scraping
昨晚課堂中,抄yahoo網站的table資料時,用了Text.split(" ")[:3], 去攞日期(eg. 31 Dec 2018), 頭3個text. 請問如果去基金網站抄table資料,例如其中一個column 的資料是Fund name, text 的長度不一,有時係xx xxx fund,有時係 xx fund,不似date每次都係3個字。如何用Text.split 抄資料? 可以利用每行都以"fund"結尾的邏輯去做?
0
2
10
Cw Shek
Jul 29, 2019
In PYWS201902 - Web Scraping
網上參考別人的python code ,但run 唔到 。希望有機會在課堂,略為指導如何用python 在港交所自動下載資料。 https://thestandnews.com/technology/python%E5%AF%A6%E6%88%B0%E7%AF%87-%E7%94%A8flask%E8%A3%BD%E4%BD%9C%E6%B8%AF%E8%82%A1%E9%80%9A%E5%8C%97%E6%B0%B4%E8%BF%BD%E8%B9%A4%E5%99%A8/
0
7
36
Cw Shek
Jul 27, 2019
In PYWS201902 - Web Scraping
.header和.content, soup.findAll('h1'), soup.findAll('h1')[0],大概是什麼意思?
請問課堂上beautifulsoup例子中, .header和.content的意思? content media
0
1
14
Cw Shek
Jul 25, 2019
In PYWS201902 - Web Scraping
裝好了Anaconda distribution 後,download左 chrome webdriver. 唔記得點裝 chrome webdriver?
1
4
14
Cw Shek
More actions