跳到主要內容

基於 abp vNext 和 .NET Core 開發博客項目 - 定時任務最佳實戰(三)_網頁設計公司


※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!



以設計的實用美學觀點,規劃出舒適、美觀的視覺畫面,有效提昇使用者的心理期待,營造出輕鬆、愉悅的網站瀏覽體驗。


系列文章



  1. 基於 abp vNext 和 .NET Core 開發博客項目 - 使用 abp cli 搭建項目

  2. 基於 abp vNext 和 .NET Core 開發博客項目 - 給項目瘦身,讓它跑起來

  3. 基於 abp vNext 和 .NET Core 開發博客項目 - 完善與美化,Swagger登場

  4. 基於 abp vNext 和 .NET Core 開發博客項目 - 數據訪問和代碼優先

  5. 基於 abp vNext 和 .NET Core 開發博客項目 - 自定義倉儲之增刪改查

  6. 基於 abp vNext 和 .NET Core 開發博客項目 - 統一規範API,包裝返回模型

  7. 基於 abp vNext 和 .NET Core 開發博客項目 - 再說Swagger,分組、描述、小綠鎖

  8. 基於 abp vNext 和 .NET Core 開發博客項目 - 接入GitHub,用JWT保護你的API

  9. 基於 abp vNext 和 .NET Core 開發博客項目 - 異常處理和日誌記錄

  10. 基於 abp vNext 和 .NET Core 開發博客項目 - 使用Redis緩存數據

  11. 基於 abp vNext 和 .NET Core 開發博客項目 - 集成Hangfire實現定時任務處理

  12. 基於 abp vNext 和 .NET Core 開發博客項目 - 用AutoMapper搞定對象映射

  13. 基於 abp vNext 和 .NET Core 開發博客項目 - 定時任務最佳實戰(一)

  14. 基於 abp vNext 和 .NET Core 開發博客項目 - 定時任務最佳實戰(二)

  15. 基於 abp vNext 和 .NET Core 開發博客項目 - 定時任務最佳實戰(三)

  16. 基於 abp vNext 和 .NET Core 開發博客項目 - 博客接口實戰篇(一)

  17. 基於 abp vNext 和 .NET Core 開發博客項目 - 博客接口實戰篇(二)

  18. 基於 abp vNext 和 .NET Core 開發博客項目 - 博客接口實戰篇(三)

  19. 基於 abp vNext 和 .NET Core 開發博客項目 - 博客接口實戰篇(四)

  20. 基於 abp vNext 和 .NET Core 開發博客項目 - 博客接口實戰篇(五)

  21. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(一)

  22. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(二)

  23. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(三)

  24. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(四)

  25. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(五)

  26. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(六)

  27. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(七)

  28. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(八)

  29. 基於 abp vNext 和 .NET Core 開發博客項目 - Blazor 實戰系列(九)

  30. 基於 abp vNext 和 .NET Core 開發博客項目 - 終結篇之發布項目


上一篇(https://www.cnblogs.com/meowv/p/12974439.html)完成了全網各大平台的熱點新聞數據的抓取,本篇繼續圍繞抓取完成后的操作做一個提醒。當每次抓取完數據后,自動發送郵件進行提醒。


在開始正題之前還是先玩一玩之前的說到卻沒有用到的一個庫PuppeteerSharp


PuppeteerSharp:Headless Chrome .NET API ,它運用最多的應該是自動化測試和抓取異步加載的網頁數據,更多介紹可以看GitHub:https://github.com/hardkoded/puppeteer-sharp 。


我這裏主要來試試它的異步抓取功能,同時它還能幫我們生成網頁截圖或者PDF。


如果沒有安裝可以先安裝一下,在.BackgroundJobs層安裝PuppeteerSharpInstall-Package PuppeteerSharp


在Jobs文件夾下新建一個PuppeteerTestJob.cs,繼承IBackgroundJob,同樣是在ExecuteAsync()方法中執行操作。


//PuppeteerTestJob.cs
using System;
using System.Threading.Tasks;

namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
public class PuppeteerTestJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
throw new NotImplementedException();
}
}
}

使用 await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision); 第一次檢測到沒有瀏覽器文件會默認幫我們下載 chromium 瀏覽器。


DownloadAsync(...)可以指定 Chromium 版本,BrowserFetcher.DefaultRevision 下載當前默認最穩定的版本。


然後配置瀏覽器啟動的方式。


using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
Headless = true,
Args = new string[] { "--no-sandbox" }
});

感興趣的可以自己看看LaunchOptions有哪些參數,我這裏指定了Headless = true 以無頭模式運行瀏覽器,然後加了一個啟動參數 "--no-sandbox"。針對Linux環境下,如果是運行在 root 權限下,在啟動 Puppeteer 時要添加 "--no-sandbox" 參數,否則 Chromium 會啟動失敗。


我們打開一個異步加載的網頁,然後獲取到頁面加載完后的HTML,以我個人博客中的某個單頁為例:https://meowv.com/wallpaper 。


//PuppeteerTestJob.cs
using PuppeteerSharp;
using System.Threading.Tasks;

namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
public class PuppeteerTestJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);

using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
Headless = true,
Args = new string[] { "--no-sandbox" }
});

using var page = await browser.NewPageAsync();

await page.SetViewportAsync(new ViewPortOptions
{
Width = 1920,
Height = 1080
});

var url = "https://meowv.com/wallpaper";
await page.GoToAsync(url, WaitUntilNavigation.Networkidle0);

var content = await page.GetContentAsync();
}
}
}

page.SetViewportAsync()設置網頁預覽大小,page.GoToAsync()語法打開網頁,WaitUntilNavigation.Networkidle0等待網頁加載完畢,使用page.GetContentAsync()獲取到HTML。


新建擴展方法,調用這個PuppeteerTestJobExecuteAsync()方法,調試看看效果。



HTML已經出來了,此時該幹嘛就幹嘛就可以了。


第一次運行可能會很慢,因為如果你本地不存在 Chromium 是會去幫我們下載的,因為網絡原因可能會下載的很慢,所以推薦大家手動下載。


可以使用淘寶的源:https://npm.taobao.org/mirrors/chromium-browser-snapshots/ 。


要注意的是,下載完成后的解壓的路徑不能出錯,默認下載地址是在啟動目錄下面。


Windows:..\.local-chromium\Win64-706915\chrome-win 、 Linux:../.local-chromium/Linux-706915/chrome-linux


接下來試試生成PDF和保存圖片功能,使用方式也很簡單。


await page.PdfAsync("meowv.pdf",new PdfOptions { });
await page.ScreenshotAsync("meowv.png", new ScreenshotOptions
{
FullPage = true,
Type = ScreenshotType.Png
});

這裏只做簡單的展示,page.PdfAsync()直接生成PDF文件,同時還有很多方法可以自己調用page.試試,PdfOptions選項中可以設置各種參數。


page.ScreenshotAsync()保存圖片,ScreenshotOptions中FullPage可以設置保存圖片為全屏模式,圖片格式為Png類型。



※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化



台中景泰電動車行只是一個單純的理由,將來台灣的環境,出門可以自由放心的深呼吸,讓空氣回歸自然的乾淨,減少污染,留給我們下一代有好品質無空污的優質環境




可以看到項目根目錄已經生成了圖片和PDF,感覺去試試吧。


接下里來實現發送郵件的功能。


我這裏發郵件的賬號是用的騰訊企業郵箱,也可以用普通郵箱開通SMTP服務即可。


appsettings.json配置收發郵件的賬號等信息。


//appsettings.json
"Email": {
"Host": "smtp.exmail.qq.com",
"Port": 465,
"UseSsl": true,
"From": {
"Username": "123@meowv.com",
"Password": "[Password]",
"Name": "MEOWV.COM",
"Address": "123@meowv.com"
},
"To": [
{
"Name": "test1",
"Address": "test1@meowv.com"
},
{
"Name": "test2",
"Address": "test2@meowv.com"
}
]
}

然後再AppSettings中讀取配置的項。


//AppSettings.cs
public static class Email
{
/// <summary>
/// Host
/// </summary>
public static string Host => _config["Email:Host"];

/// <summary>
/// Port
/// </summary>
public static int Port => Convert.ToInt32(_config["Email:Port"]);

/// <summary>
/// UseSsl
/// </summary>
public static bool UseSsl => Convert.ToBoolean(_config["Email:UseSsl"]);

/// <summary>
/// From
/// </summary>
public static class From
{
/// <summary>
/// Username
/// </summary>
public static string Username => _config["Email:From:Username"];

/// <summary>
/// Password
/// </summary>
public static string Password => _config["Email:From:Password"];

/// <summary>
/// Name
/// </summary>
public static string Name => _config["Email:From:Name"];

/// <summary>
/// Address
/// </summary>
public static string Address => _config["Email:From:Address"];
}

/// <summary>
/// To
/// </summary>
public static IDictionary<string, string> To
{
get
{
var dic = new Dictionary<string, string>();

var emails = _config.GetSection("Email:To");
foreach (IConfigurationSection section in emails.GetChildren())
{
var name = section["Name"];
var address = section["Address"];

dic.Add(name, address);
}
return dic;
}
}
}

分別介紹下每項的含義:



  • Host:發送郵件服務器地址。

  • Port:服務器地址端口號。

  • UseSsl:是否使用SSL方式。

  • From:發件人的賬號密碼,名稱及郵箱地址,一般郵箱地址和賬號是相同的。

  • To:收件人郵箱列表,也包含名稱和郵箱地址。


收件人郵箱列表我將其讀取為IDictionary<string, string>了,key是名稱,value是郵箱地址。


接着在.ToolKits層添加一個EmailHelper.cs,收發郵件我選擇了MailKitMailKit兩個庫,沒有安裝的先安裝一下,Install-Package MailKitInstall-Package MimeKit


直接新建一個發送郵件的方法SendAsync(),按照要求將基本的配置信息填進去,然後直接調用即可。


//EmailHelper.cs
using MailKit.Net.Smtp;
using Meowv.Blog.Domain.Configurations;
using MimeKit;
using System.Linq;
using System.Threading.Tasks;

namespace Meowv.Blog.ToolKits.Helper
{
public static class EmailHelper
{
/// <summary>
/// 發送Email
/// </summary>
/// <param name="message"></param>
/// <returns></returns>
public static async Task SendAsync(MimeMessage message)
{
if (!message.From.Any())
{
message.From.Add(new MailboxAddress(AppSettings.Email.From.Name, AppSettings.Email.From.Address));
}
if (!message.To.Any())
{
var address = AppSettings.Email.To.Select(x => new MailboxAddress(x.Key, x.Value));
message.To.AddRange(address);
}

using var client = new SmtpClient
{
ServerCertificateValidationCallback = (s, c, h, e) => true
};
client.AuthenticationMechanisms.Remove("XOAUTH2");

await client.ConnectAsync(AppSettings.Email.Host, AppSettings.Email.Port, AppSettings.Email.UseSsl);
await client.AuthenticateAsync(AppSettings.Email.From.Username, AppSettings.Email.From.Password);
await client.SendAsync(message);
await client.DisconnectAsync(true);
}
}
}

SendAsync(...)接收一個參數MimeMessage對象,這樣就完成了一個通用的發郵件方法,接着我們去需要發郵件的地方構造MimeMessage,調用SendAsync()


//WallpaperJob.cs
...
// 發送Email
var message = new MimeMessage
{
Subject = "【定時任務】壁紙數據抓取任務推送",
Body = new BodyBuilder
{
HtmlBody = $"本次抓取到{wallpapers.Count()}條數據,時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
}.ToMessageBody()
};
await EmailHelper.SendAsync(message);
...

//HotNewsJob.cs
...
// 發送Email
var message = new MimeMessage
{
Subject = "【定時任務】每日熱點數據抓取任務推送",
Body = new BodyBuilder
{
HtmlBody = $"本次抓取到{hotNews.Count()}條數據,時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
}.ToMessageBody()
};
await EmailHelper.SendAsync(message);
...

分別在兩個爬蟲腳本中添加發送Email,MimeMessage中設置了郵件主題Subject,正文Body,最後調用await EmailHelper.SendAsync(message)執行發送郵件操作。


編譯運行執行兩個定時任務,看看能否收到郵件提醒。



成功了,郵箱收到了兩條提醒。


還有一種比較特殊的用法,也介紹一下,如果想要發送帶圖片的郵件怎麼操作呢?注意不是附件,是將圖片內嵌在郵箱中。


一般常規都是有郵件模板的,將圖片的具體地址插入到img標籤中,這就不說了,這裏選擇另外一種方式。以前面添加的PuppeteerTestJob為例,正好我們生成了一張圖片的。將這種圖片以郵件的形式發出去。


public class PuppeteerTestJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
var path = Path.Combine(Path.GetTempPath(), "meowv.png");

...

await page.ScreenshotAsync(path, new ScreenshotOptions
{
FullPage = true,
Type = ScreenshotType.Png
});

// 發送帶圖片的Email
var builder = new BodyBuilder();

var image = builder.LinkedResources.Add(path);
image.ContentId = MimeUtils.GenerateMessageId();

builder.HtmlBody = "當前時間:{0}.<img src=\"cid:{1}\"/>".FormatWith(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss"), image.ContentId);

var message = new MimeMessage
{
Subject = "【定時任務】每日熱點數據抓取任務推送",
Body = builder.ToMessageBody()
};
await EmailHelper.SendAsync(message);
}
}

先確定我們生成圖片的路徑 path ,將圖片生成Message-Id,然後賦值給ContentId,給模板中<img src=\"cid:{1}\"/>圖片標籤cid賦上值在調用發送郵件方法即可。



成功收到郵件,搞定了,你學會了嗎?


開源地址:https://github.com/Meowv/Blog/tree/blog_tutorial


基於 abp vNext 和 .NET Core 開發博客項目,截止到本篇所用到的基礎模塊算是寫完了,如果對您有些許幫助請多多分享,我的所有原創文章都首發於我發個人公眾號:阿星Plus 。


下面有二維碼可以直接掃一掃,如果你不想關注也沒有關係,博客園我也會同步過來的。


不管因為什麼,如果你在學習這個項目或者跟着我一起做這個項目,裏面肯定還是有瑕疵的,大家可以根據自己的需求自行修改。


接下來應該還會更新博客所用到的接口,這個純屬於CRUD,可以自己先行開發,我這邊目前也不知道以什麼樣的方式展現給大家是最好的選擇。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面



網站的第一印象網頁設計,決定了客戶是否繼續瀏覽的意願。台北網動廣告製作的RWD網頁設計,採用精簡與質感的CSS語法,提升企業的專業形象與簡約舒適的瀏覽體驗,讓瀏覽者第一眼就愛上它。





Orignal From: 基於 abp vNext 和 .NET Core 開發博客項目 - 定時任務最佳實戰(三)_網頁設計公司

留言

這個網誌中的熱門文章

有了四步解題法模板,再也不害怕動態規劃!(看不懂算我輸)

導言 動態規劃問題一直是算法面試當中的重點和難點,並且動態規劃這種通過空間換取時間的算法思想在實際的工作中也會被頻繁用到,這篇文章的目的主要是解釋清楚 什麼是動態規劃 ,還有就是面對一道動態規劃問題,一般的 思考步驟 以及其中的注意事項等等,最後通過幾道題目將理論和實踐結合。 什麼是動態規劃 如果你還沒有聽說過動態規劃,或者僅僅只有耳聞,或許你可以看看 Quora 上面的這個 回答 。 How to explain dynamic 用一句話解釋動態規劃就是 " 記住你之前做過的事 ",如果更準確些,其實是 " 記住你之前得到的答案 "。 我舉個大家工作中經常遇到的例子。 在軟件開發中,大家經常會遇到一些系統配置的問題,配置不對,系統就會報錯,這個時候一般都會去 Google 或者是查閱相關的文檔,花了一定的時間將配置修改好。 過了一段時間,去到另一個系統,遇到類似的問題,這個時候已經記不清之前修改過的配置文件長什麼樣,這個時候有兩種方案,一種方案還是去 Google 或者查閱文檔,另一種方案是借鑒之前修改過的配置,第一種做法其實是萬金油,因為你遇到的任何問題其實都可以去 Google,去查閱相關文件找答案,但是這會花費一定的時間,相比之下,第二種方案肯定會更加地節約時間,但是這個方案是有條件的,條件如下: 之前的問題和當前的問題有着關聯性,換句話說,之前問題得到的答案可以幫助解決當前問題 需要記錄之前問題的答案 當然在這個例子中,可以看到的是,上面這兩個條件均滿足,大可去到之前配置過的文件中,將配置拷貝過來,然後做些細微的調整即可解決當前問題,節約了大量的時間。 不知道你是否從這些描述中發現,對於一個動態規劃問題,我們只需要從兩個方面考慮,那就是 找出問題之間的聯繫 ,以及 記錄答案 ,這裏的難點其實是找出問題之間的聯繫,記錄答案只是順帶的事情,利用一些簡單的數據結構就可以做到。 概念 上面的解釋如果大家可以理解的話,接    動態規劃 算法是通過拆分問題,定義問題狀態和狀態之間的關係,使得問題能夠以遞推(或者說分治)的方式去解決。它的幾個重要概念如下所述。    階段: 對於一個完整的問題過程,適當的切分為若干個相互聯繫的子問題,每次在求解一個子問題...

計算機本地文件快要滅絕了

   編者按: 文件是数字世界的基石,是我們基本的工作單位。但是,隨着互聯網的雲化、平台化、服務化,文件日益變得可有可無。這樣一種改變究竟好不好呢?喜歡懷舊的 Simon Pitt 開始回顧各種文件的好處,哪怕這讓他顯得不合時宜。原文發表在 medium 上,標題是:Computer Files Are Going Extinct   我喜歡文件。我喜歡對文件重命名、移動、排序,改變它們在文件夾中的显示方式,去備份文件,將之上傳到互聯網,恢復它們,對其進行複製,甚至還可以對文件進行碎片整理。作為信息存儲方式的一種隱喻,在我看來文件是很出色的。我喜歡把文件當作一個工作單位。如果我要寫篇文章,文章會放在文件裏面。如果我要生成圖像,圖像會保存進文件裏面。    謳歌 files.doc   文件是擬物化的。這是個很花哨的詞,只是用來表示文件是反映現實物品的一個数字概念。比方說,Word 文檔就像一張紙,躺在你的辦公桌上(desktop)。JPEG 就像一幅畫,等等。它們每個都有一個小圖標,圖標的樣子看起來像它們所代表的現實物品。一堆紙,一個畫框,一個馬尼拉文件夾。真的挺很迷人的。   我喜歡文件的一點是,不管裏面有什麼,跟文件的交互方式總是一致的。我上面提到的那些東西——複製、排序、碎片整理——我可以對任何文件進行那些處理。文件可能是圖像、遊戲的一部分、也可能是我最喜歡的餐具清單。碎片整理程序不在乎它是什麼。它不會去判斷內容。   自從我開始在 Windows 95 裏面創建文件以來,我就一直都很喜歡文件。但是我注意到我們已經開始慢慢地遠離把文件當作基本工作單位的做法。 Windows95。我的計算機    services.mp3 的興起   十幾歲的時候,我開始痴迷於收集和管理数字音樂:我收藏 MP3 文件。一大堆的 128 kbps MP3 文件。如果你足夠幸運,有自己的 CD 刻錄機的話,就可以將它們刻錄到 CD 上,然後在朋友之間傳遞。一張 CD 可以容納 700 MB。這相當於將近 500 張軟盤!   我會仔細端詳我的收藏,然後煞費苦心地給它們添加上 IDv1 和 IDv2 音樂標籤。隨着時間的流逝,大家開始開發可以在雲端自動獲取曲目列表的工具,這樣你就可以檢查和驗證 MP3 的質量。有時候我甚至會去聽那些該死的東西,儘管...

純電動 Mini Cooper SE 將成為中國國產車,年產 16 萬輛

BMW 集團與中國長城汽車合資,將於江蘇建立新廠,專門投入生產 MINI Cooper SE 和部分長城品牌電動車,預計於 2022 年完工並投入生產,每年將可生產 16 萬輛電動車。 靈動可愛的 Mini Cooper,在許多車迷心中都有著特殊的地位,今年 7 月發表了首款純電動版本的 Mini Cooper SE 之後,獲得熱烈迴響,預訂數量已接近 8 萬台,顯示大家對於純電 Mini 的熱愛,因為油電版的 Mini Cooper Countryman 的全球總銷售量也才 3 萬出頭。 Mini Cooper SE 之前公布了官方定價,最低從 27,900 歐元起算,美國售價約 29,900 美元。相比現有的三門款,只貴了一成左右。然而,三年後,中國消費者將有機會買到最便宜的電動 Mini。 電動 Mini Cooper SE 最低價是 27,900 歐元,扣掉全額補助最低可以到 24,400 歐元。 BMW 集團與中國長城汽車集團於 2018 年宣布,將組建合資公司光束汽車,投入在中國的電動車生產計畫,而現在他們正式宣布啟動計畫,於江蘇張家港打造一個新工廠,全部投入電動車的製造,包括了 Mini Cooper SE 和其他長城汽車旗下的電動車。 目前的電動 Mini 只在英國牛津工廠製造,不難想像當產能轉移到中國後,Mini Cooper SE 的價格將有機會進一步調降,來競爭全球最大的電動車市場。這座屬於合資公司光束汽車的新工廠,採用一個新的產銷模式,由 BMW 和長城共同合作開發、設計、製造新產品,但是銷售通路完全沿用原本的品牌渠道。 換句話說,2020 年到 2022 年銷售的電動 Mini,將會是英國製造,而 2022 年後就會有中國製造版本開賣,考量到 Mini 在中國每年約有 30 萬輛的銷售額,同時油電版的 Coutryman 銷量更佔了全球將近五分之一,無怪乎 BMW 會想在最接近主要市場的地方蓋工廠囉。 外型完美復刻油車版 最後,簡單介紹一下 Mini Cooper SE 這台車。Mini 在電動化的路上,盡力保持著跟經典造型一致的設計,畢竟大家愛的就是它的設計。電動版的 Mini 車頭、車身跟車屁股都多了一個黃色的插頭標誌,車頭的氣壩則變成封閉式設計,除此之外,幾乎看不出來差別,連馬達...