ÈÈÆÀÎÄÕÂ
½ÒÃØÐÂÃÅÄÚ²¿×ÊÁÏ×î¿ì¸üÐÂʱ¼ä£º¶À¼Òʵ²Ù°ì·¨Óë¸ßЧʹÓÃÖ¸ÄÏ
½ÒÃØÐÂÃÅÄÚ²¿×ÊÁÏ×î¿ì¸üÐÂʱ¼ä£º¶À¼Òʵ²Ù°ì·¨Óë¸ßЧʹÓÃÖ¸ÄÏ
ÔÚÐÅÏ¢Çý¶¯µÄÉÌÒµÓëÊÖÒÕÁìÓò£¬ÕÆÎÕ½¹µãÄÚ²¿×ÊÁϵĸüж¯Ì¬£¬ÍùÍùÒâζ×ÅÇÀÕ¼ÏÈ»ú¡¢¹æ±ÜΣº¦»òÓÅ»¯¾öÒé¡£¹ØÓÚÖÚ¶àÒÀÀµ¡°ÐÂÃÅ¡±Æ½Ì¨»ñȡҪº¦Ç鱨µÄÓû§¶øÑÔ£¬Ò»¸ö½¹µãÍ´µãʼÖÕÝÓÈÆÐÄÍ·£ºÔõÑùÄÜÔÚµÚһʱ¼ä»ñÈ¡µ½×îиüеÄÄÚ²¿×ÊÁÏ£¿ÍøÂçÉÏÈö²¥µÄÒªÁìÁãÐÇÇÒÖͺó£¬ÕæÕý¸ßЧ¡¢¿É¿¿µÄʵ²Ù¼Æ»®ÓÌÈç·ïë÷ë½Ç¡£½ñÌ죬ÎÒÃǽ«ÉîÈëÆÊÎö£¬ÎªÄú·ºÆðÒ»Ì×¾ÓÉÑéÖ¤µÄ¶À¼Òʵ²Ù°ì·¨ÓëÈ«·½Î»Ê¹ÓÃÖ¸ÄÏ£¬ÖúÄú½«ÐÅÏ¢»ñȡЧÂÊÌáÉýÖÁȫи߶ȡ£
Ã÷È·½¹µã£ºÐÂÃÅ×ÊÁϸüеĵײãÂß¼Óë¼à²âÄѵã
ÔÚ̽ÌÖ¡°ÔõÑù¸ü¿ì¡±Ö®Ç°£¬ÎÒÃDZØÐèÏÈÃ÷È·¡°ËüΪºÎ¸üС±¡£ÐÂÃÅÆ½Ì¨ÄÚ²¿×ÊÁϵĸüв¢·ÇÍêÈ«Ëæ»ú£¬Æä±³ºóͨ³£×ñÕÕÒ»¶¨µÄÏîÄ¿ÖÜÆÚ¡¢¹æÔò±ä»»½Úµã¡¢ÊÖÒÕµü´ú½×¶Î»òÊг¡Õ½ÂÔµ÷½â¡£ÕâЩ¸üпÉÄÜÉæ¼°ÊÖÒհׯ¤Êé¡¢API½Ó¿ÚÎĵµ¡¢ºÏ¹æÕþ²ßÁÐ±í¡¢ÄÚ²¿ÅàѵÖÊÁÏ»òÊг¡ÆÊÎö±¨¸æµÈ¡£ÄѵãÔÚÓÚ£¬Æ½Ì¨ÍùÍù²»»áÌṩÏÔʽµÄ¶©ÔÄ֪ͨ£¨ÓÈÆäÊǷǹûÕæ»ò°ë¹ûÕæ×ÊÁÏ£©£¬Æä¸üÐÂÍÆËͱ£´æÑÓ³Ù£¬ÇÒ×ÊÁÏ¿â½á¹¹Öش󣬹ŰåµÄÊÖ¶¯Ë¢Ð·½·¨ÓÌÈç´óº£ÀÌÕë¡£
Ðí¶àÓû§ÒÀÀµµÄ¡°Êղؼа´ÆÚÉó²é¡±»ò¡°ÎÞÒâµÇ¼·¢Ã÷¡±£¬Ð§Âʼ«µÍ¡£¸üÒªº¦µÄÊÇ£¬²î±ðÀà±ðµÄ×ÊÁÏ£¬Æä¸üÐÂÆµÂʺʹ¥·¢»úÖÆÒ²²î±ð¡£ÀýÈ磬ÊÖÒÕÎĵµ¿ÉÄÜËæ°æ±¾Ðû²¼¶ø¼¯ÖиüУ¬¶øÕþ²ß¹æÔòÔò¿ÉÄÜÒòî¿ÏµÒªÇó¶øÍ»È»µ÷½â¡£Òò´Ë£¬Ò»Ì×ϵͳÐԵļà²âÕ½ÂÔ£¬±ØÐèÊ×ÏȶÔÄúËù¹Ø×¢×ÊÁϵÄÀàÐ;ÙÐлÏñÆÊÎö£¬Ã÷È·Æä¿ÉÄܵĸüÐÂÇý¶¯ÒòËØ¡£
¶À¼Òʵ²Ù°ì·¨£º¹¹½¨ÄúµÄ×Ô¶¯»¯¼à²âϵͳ
ÒÔϰ취½«Ö¸µ¼Äú´Ó±»¶¯ÆÚ´ýתÏò×Ô¶¯²¶»ñ£¬¹¹½¨Ò»¸ö½üºõʵʱµÄ¸üиÐÖªÍøÂç¡£
µÚÒ»²½£º¾«×¼¶¨Î»ÓëURL½á¹¹ÆÊÎö
²»ÒªÖ»Í£ÁôÔÚÃÅ»§Ê×Ò³¡£ÉîÈëÍÚ¾ò£¬ÕÒµ½ÄúËùÐè×ÊÁϼòÖ±ÇÐÄ¿Â¼Ò³Ãæ»òÎĵµ¼¯Ò³Ãæ¡£×ÐϸÊÓ²ìÆäURLģʽ¡£ÀýÈ磬Ëü¿ÉÄܰüÀ¨ÈÕÆÚÐòÁУ¨Èç /2023/10/£©¡¢°æ±¾ºÅ£¨Èç /v2.1/£©»òΨһµÄÏîÄ¿ID¡£Ê¹ÓÃä¯ÀÀÆ÷µÄ¿ª·¢Õß¹¤¾ß£¨F12£©£¬ÊÓ²ìÒ³Ãæ¼ÓÔØÊ±µÄÍøÂçÇëÇó£¬ÌØÊâ×¢ÖØXHR»òFetchÇëÇó£¬ÕâЩAPI½Ó¿Ú·µ»ØµÄÊý¾ÝÍùÍù±ÈÒ³Ãæ×Ô¼º¸üÔç¸üС£¼Í¼ÏÂÕâЩҪº¦Ò³Ãæ»ò½Ó¿ÚµÄÎȹÌURL£¬ËüÃÇÊǼà²âµÄ»ùʯ¡£
µÚ¶þ²½£ºÊ¹Óòî±ð»¯ÄÚÈݱÈÕÕÊÖÒÕ
´¿´â¼à²âÒ³Ãæ¡°ÊÇ·ñ±ä»»¡±¿ÉÄÜÒòÍøÕ¾ÎÞ¹ØÔªËØ£¨Èç¹ã¸æ¡¢¼ÆÊýÆ÷£©±¬·¢Î󱨡£½¹µãÊǼà²â¡°Òªº¦ÄÚÈÝÇøÓò¡±µÄ±ä»»¡£Äú¿ÉÒÔ£º
1. ¹þÏ£Öµ±È¶Ô£º ¶ÔÄú¶¨Î»µ½µÄÒªº¦ÄÚÈÝÇøÓò£¨ÈçIDΪ`#content`µÄdiv£©µÄHTML´úÂë»òÎı¾ÄÚÈÝÌìÉúÒ»¸ö¹þÏ£Öµ£¨ÈçMD5£©¡£°´ÆÚ»ñÈ¡Í³Ò»ÇøÓòµÄйþÏ£Öµ¾ÙÐбȶԣ¬ÈκÎϸ΢¸Ä¶¯¶¼»áµ¼Ö¹þϣֵת±ä£¬ÕâÊÇ×îѸËÙµÄÒªÁìÖ®Ò»¡£
2. Òªº¦´Ê´¥·¢¼à¿Ø£º ÈôÊÇÄúÔ¤ÆÚ¸üлáÉæ¼°Ìض¨´Ê»ã£¨Èç¡°ÐÞ¶©¡±¡¢¡°ÐÂÔö¡±¡¢¡°V3.0¡±¡¢¡°ÉúЧ¡±µÈ£©£¬¿ÉÒÔÉèÖÃÕë¶ÔÕâЩҪº¦´ÊµÄ¼à¿Ø¡£µ±Ò³ÃæÄÚÈÝÖзºÆðÕâЩдÊʱ£¬Á¬Ã¦´¥·¢¾¯±¨¡£
µÚÈý²½£º°²ÅÅ×Ô¶¯»¯¼à²â¹¤¾ß£¨·Ç±à³ÌÓë±à³Ì¼Æ»®£©
¼Æ»®A£ºµÍ´úÂë/ÎÞ´úÂë¼Æ»®£º ¹ØÓÚ·ÇÊÖÒÕÓû§£¬¿ÉÒÔ½èÖúһЩ¸ß¼¶µÄÍøÕ¾¼à¿Ø¹¤¾ß£¨ÈçVisualping¡¢Distill.io¡¢ChangeTowerµÈ£©¡£ÕâЩ¹¤¾ßÔÊÐíÄúÖ±½ÓÔÚä¯ÀÀÆ÷ÖÐÑ¡È¡ÍøÒ³ÉÏÐèÒª¼à¿ØµÄÌØ¶¨ÇøÓò£¬É趨¼ì²éƵÂÊ£¨¿É¶ÌÖÁÿ¼¸·ÖÖÓÒ»´Î£©£¬²¢Í¨¹ýÓʼþ¡¢¶ÌÐÅ»ò¼´Ê±Í¨Ñ¶Èí¼þ·¢Ëͱ任֪ͨ¡£Ç뽫µÚÒ»²½ÖÐÆÊÎö³öµÄÒªº¦Ò³ÃæURLºÍÄÚÈÝÇøÓòÉèÖõ½ÕâЩ¹¤¾ßÖС£
¼Æ»®B£º±à³ÌʵÏּƻ®£¨¸üǿʢ¡¢¸üÎÞа£©£º ¹ØÓÚÓÐÊÖÒÕÄÜÁ¦µÄÓû§£¬×ÔÐбàд¾ç±¾ÊÇ×îÖÕ½â¾ö¼Æ»®¡£Ê¹ÓÃPython£¨´îÅäRequests¡¢BeautifulSoup¡¢Selenium¿â£©»òNode.js£¬±àдһ¸ö׼ʱʹÃü¾ç±¾¡£¸Ã¾ç±¾µÄ½¹µãÂß¼ÊÇ£º°´ÆÚ»á¼ûÄ¿µÄURL -> ÌáȡԤÉèÄÚÈÝÇøÓò -> ÅÌËã¹þÏ£Öµ»òÆÊÎöÌØ¶¨ÐÅÏ¢ -> ÓëÉÏÒ»´ÎЧ¹û±ÈÕÕ -> ÈôÊÇ·¢Ã÷ת±ä£¬Ôòͨ¹ýTelegram Bot¡¢Æóҵ΢ÐÅ¡¢¶¤¶¤Webhook»òÓʼþ·¢ËÍÏêϸ±ä»»±¨¸æ£¬ÉõÖÁ×Ô¶¯×¥È¡ÐÂ×ÊÁÏ´æµµ¡£Äú¿ÉÒÔ½«´Ë¾ç±¾°²ÅÅÔÚÔÆ·þÎñÆ÷»ò·þÎñÆ÷lessº¯Êý£¨ÈçAWS Lambda¡¢ÌÚÑ¶ÔÆSCF£©ÉÏ£¬ÊµÏÖ24СʱÎÞÈËÖµÊØ¼à¿Ø¡£
µÚËIJ½£º½¨É踨ÖúÐÅÏ¢À×´ïÍøÂç
ÄÚ²¿×ÊÁϵĸüУ¬ÍùÍùÔÚ¹ÙÆÓֱʽÎĵµÐû²¼Ç°£¬»áÔÚÆäËû¹ØÁªÇþµÀ¶³öüĿ¡£½¨ÉèÒ»¸ö¶àά¶ÈµÄÐÅÏ¢À״ÄÜΪÄúÌṩԤ¾¯£º
? ¹Ù·½ÉçÇøÓëÂÛ̳¼à¿Ø£º ¿ª·¢ÕßµÄÌáÎÊ¡¢°æÖ÷µÄ»Ø¸´¡¢·ÇÕýʽµÄͨ¸æ¾³£°üÀ¨¸üÐÂÏßË÷¡£¹Ø×¢Ïà¹Ø°å¿é£¬²¢Ê¹ÓÃRSS¶©ÔÄ»òÒªº¦´Ê¼à¿Ø¡£
? ´úÂë¿ÍÕ»¼à²â£º ÈôÊÇ×ÊÁϹØÁª¿ªÔ´ÏîÄ¿£¬ÆäGitHub/GitLab¿ÍÕ»µÄCommit¡¢ReleaseÐû²¼ÊÇÊÖÒÕÎĵµ¸üеÄÏÈÐÐÖ¸±ê¡£
? É罻ýÌåÓëÊÖÒÕ²©¿Í¼àÌý£º ¹Ø×¢½¹µã¹¤³Ìʦ¡¢²úƷ˾Àí»ò¹Ù·½ÊÖÒÕÕ˺ŵĶ¯Ì¬¡£ËûÃÇ¿ÉÄÜÌáÇ°Í¸Â¶Ä³Ð©ÖØ´ó¸üС£
¸ßЧʹÓÃÖ¸ÄÏ£º´Ó»ñÈ¡µ½ÄÚ»¯µÄ×î¼Ñʵ¼ù
¿ìËÙ»ñÈ¡¸üÐÂÖ»ÊǵÚÒ»²½£¬ÔõÑù¸ßЧʹÓÃÕâЩ×ÊÁÏ£¬½«Æä¼ÛÖµ×î´ó»¯£¬²ÅÊÇ×îÖÕÄ¿µÄ¡£
1. ½¨Éè·Ö¼¶´¦Öóͷ£Óë¹éµµÏµÍ³
²¢·ÇËùÓиüж¼Ò»ÂÉÖ÷Òª¡£ÔÚÎüÊÕµ½¸üо¯±¨ºó£¬µÚһʱ¼ä¾ÙÐпìËÙ·ÖÀࣺ
? ½ôÆÈÒªº¦ÐÍ£º Éæ¼°Çå¾²Îó²î¡¢ÖØ´óÕþ²ß±ä»»¡¢½¹µãAPI·ÅÆú¡£ÐèÒªÁ¬Ã¦ÔĶÁ¡¢ÆÀ¹ÀÓ°Ïì²¢Æô¶¯Ó¦¶ÔÁ÷³Ì¡£
? Ö÷Òªµü´úÐÍ£º È繦ЧÐÂÔö¡¢ÐÔÄÜÓÅ»¯¡¢×î¼Ñʵ¼ù¸üС£Ó¦ÔÚµ±Ìì»ò±¾ÖÜÄÚ°²ÅÅʱ¼äÉîÈëѧϰ¡£
? ²Î¿¼Ôö²¹ÐÍ£º ÈçʾÀý¸üС¢ÎÄ×ÖÐÞÕý¡£¿ÉÄÉÈë֪ʶ¿â£¬´ýÓÐÐèҪʱ²éÔÄ¡£
Ϊ²î±ðÀàÐ͵Ä×ÊÁϽ¨ÉèͳһµÄÊý×ֹ鵵ϵͳ£¨ÈçʹÓÃNAS¡¢ÔÆÅÌ»ò֪ʶ¹ÜÀí¹¤¾ßÈçObsidian¡¢Notion£©£¬½ÓÄÉÇåÎúµÄÃüÃû¹æÔò£¨Èç¡°ÈÕÆÚ_×ÊÁÏÃû_°æ±¾¡±£©£¬²¢´òÉϱêÇ©£¬±ãÓÚÈÕºó¼ìË÷¡£
2. ²î±ð»¯ÔĶÁÓëÌõ¼ÇÒªÁì
Õë¶Ô²î±ðÀàÐ͵Ä×ÊÁÏ£¬½ÓÄɲî±ðµÄÔĶÁÕ½ÂÔ£º
? ¹ØÓÚÊÖÒչ淶/APIÎĵµ£º ½ÓÄÉ¡°±ÈÕÕÔĶÁ·¨¡±¡£½«Ð¾ɰ汾²¢ÅÅ·¿ª£¬Ê¹ÓñÈÕÕ¹¤¾ß»ò·ÖÆÁ¹¦Ð§£¬Ö±½Ó¾Û½¹²î±ðµã¡£ÖØµã¹Ø×¢¡°ÐÂÔö¡±¡¢¡°·ÅÆú¡±¡¢¡°Ð޸ġ±ºÍ¡°ÐÐΪ±ä»»¡±²¿·Ö¡£Á¬Ã¦ÔÚÄúµÄ´úÂë×¢ÊÍ»òÏîÄ¿ÎĵµÖбê¼Ç³öÊÜÓ°ÏìµÄ²¿·Ö¡£
? ¹ØÓÚÕþ²ßºÏ¹æÎļþ£º ½ÓÄÉ¡°Ìõ¿îÇåµ¥·¨¡±¡£½«¸üÐÂÄÚÈÝÌáÁ¶ÎªÒ»ÌõÌõÏêϸµÄºÏ¹æÒªÇó»òÐж¯ÏîÇåµ¥£¬Ã÷È·ÔðÈÎÈËÓë×èÖ¹ÈÕÆÚ£¬Ö±½Ó¶Ô½ÓÍŶӵÄÊÂÇéÁ÷¡£
? ¹ØÓÚÊг¡ÆÊÎö/ÄÚ²¿±¨¸æ£º ½ÓÄÉ¡°½¹µã¶´²ìÌáÈ¡·¨¡±¡£¿ìËÙä¯ÀÀÖ´ÐÐÕªÒªºÍ½áÂÛ£¬×½×¡½¹µã¿´·¨¡¢Êý¾ÝÇ÷ÊÆºÍÒªº¦Åжϣ¬½«ÆäÕûºÏµ½ÄúµÄÊг¡ÆÊÎö¿ò¼Ü»ò¾öÒéÄ£×ÓÖС£
3. ¹¹½¨ÍŶÓÐͬÏû»¯Á÷³Ì
×ÊÁϵļÛÖµÔÚÓÚ¹²ÏíÓëÓ¦Ó᣽¨ÉèÍŶÓÄÚ²¿µÄͬ²½»úÖÆ£º
? ÉèÁ¢Ò»¸ö¡°½¹µã×ÊÁϸüС±¹²ÏíÆµµÀ£¬½«×Ô¶¯»¯¾ç±¾·¢³öµÄ¾¯±¨Í¬²½ÖÁ´Ë¡£
? Ö¸¶¨²î±ðÁìÓòµÄ¡°ÐÅÏ¢¹Ù¡±£¬ÈÏÕæ¶ÔÌØ¶¨ÀàÐ͵ĸüоÙÐÐÉî¶È½â¶Á£¬²¢ÔÚÍŶÓÄÚ¾ÙÐмò¶Ì·ÖÏí¡£
? °´ÆÚ£¨Èçÿ˫ÖÜ£©¾ÙÐС°ÐÅÏ¢¸üлᡱ£¬»ØÊ×½üÆÚÖ÷Òª×ÊÁϱ任£¬ÌÖÂÛÆä¶ÔÄ¿½ñÏîÄ¿µÄÓ°Ï죬²¢¸üÐÂÍŶӵÄ֪ʶ¿â¡£
Σº¦¹æ±ÜÓëÂ×ÀíÌáÐÑ
ÔÚ×·ÇóЧÂʵÄͬʱ£¬±ØÐèã¡ÊؽçÏß¡£
1. ×ñÊØRobotsÐÒéÓë·þÎñÌõ¿î£º ÔÚʵÑé×Ô¶¯»¯¼à²âǰ£¬Îñ±Ø¼ì²éÄ¿µÄÍøÕ¾µÄ`robots.txt`Îļþ£¬×ðÖØÆäÅÀ³æÐÒé¡£×èÖ¹ÉèÖùý¸ßµÄÇëÇóƵÂÊ£¬ÒÔÃâ¶Ô¶Ô·½·þÎñÆ÷Ôì³ÉѹÁ¦£¬µ¼ÖÂIP±»·â½û£¬ÉõÖÁÒý·¢Ö´·¨Î£º¦¡£
2. Çø·Ö¹ûÕæÓë·Ç¹ûÕæÐÅÏ¢£º ±¾Ö¸ÄÏËùÊöÒªÁì½öÊÊÓÃÓÚÕýµ±¹ûÕæ»òÄúÒÑ»ñÊÚȨ»á¼ûµÄÄÚ²¿×ÊÁÏ¡£ÈκÎÊÔͼͨ¹ý·ÇÊÚȨÊֶΣ¨ÈçÆÆ½â¡¢Îó²îʹÓã©»ñÈ¡ÉñÃØÐÅÏ¢µÄÐÐΪ¶¼ÊDz»·¨ÇÒ²»Æ·µÂµÄ¡£
3. ÐÅÏ¢ÑéÖ¤ÖÁ¹ØÖ÷Òª£º ×Ô¶¯»¯¹¤¾ß»ñÈ¡µÄÊÇ¡°×ª±äÐźš±£¬¶ø·Ç¡°È¨Íþ½áÂÛ¡±¡£¹ØÓÚÈκÎÒªº¦¸üУ¬ÓÈÆäÊÇͨ¹ý¸¨ÖúÀ×´ïÍøÂç»ñÈ¡µÄÔ¤¾¯ÐÅÏ¢£¬Îñ±ØÒÔ¹Ù·½×îÖÕÐû²¼µÄÕýʽÎĵµÎª×¼£¬¾ÙÐжþ´ÎÑéÖ¤£¬×èÖ¹±»²»ÊµÐÅÏ¢Î󵼡£
ͨ¹ýÒÔÉϴӵײãÂß¼ÆÊÎö¡¢µ½¶À¼Ò×Ô¶¯»¯¼à²âϵͳ¹¹½¨¡¢ÔÙµ½¸ßЧÄÚ»¯ÓëÍŶÓÐͬµÄÈ«Á÷³ÌÖ¸ÄÏ£¬ÄúÒÑ¾ÕÆÎÕÁËÒ»Ì×Ô¶³¬Í¨Ë×Óû§ÊÖ¶¯Ë¢ÐÂģʽµÄרҵҪÁìÂÛ¡£ÕâÌ×ÒªÁìµÄ½¹µãÔÚÓÚ½«ÏµÍ³»¯Í·ÄÔÓëÊÖÒÕ¹¤¾ßÏàÍŽᣬ±ä±»¶¯Îª×Ô¶¯£¬´Ó¶øÔÚÐÅÏ¢»ñÈ¡µÄ¾ºÈüÖн¨ÉèÆðÒ»Á¬µÄÓÅÊÆ¡£¼Ç×Å£¬×î¿ìµÄ¸üÐÂʱ¼ä£¬²»µ«ÒÀÀµÓÚ¹¤¾ß£¬¸üÒÀÀµÓÚÄú¶ÔÐÅÏ¢Éú̬µÄÉî¿ÌÃ÷È·ºÍÒ»Ì×ÑϽ÷µÄÖ´ÐÐÁ÷³Ì¡£ÏÖÔÚ£¬ÊÇʱ¼äÖØÐÂÉóÔÄÄúµÄÐÅÏ¢»ñȡսÂÔ£¬²¢×îÏȰ²ÅÅÄúµÄרÊô¼à²âÍøÂçÁË¡£
±¾ÎÄÎÊÌ⣺¡¶½ÒÃØÐÂÃÅÄÚ²¿×ÊÁÏ×î¿ì¸üÐÂʱ¼ä£º¶À¼Òʵ²Ù°ì·¨Óë¸ßЧʹÓÃÖ¸ÄÏ¡·











½ÒÏþ̸ÂÛ