predictionio执行train、deploy、eval的命令和执行命令后的打印输出分别如下

最新推荐文章于 2024-08-07 10:23:18 发布
最新推荐文章于 2024-08-07 10:23:18 发布
阅读量2k 收藏
点赞数 1
分类专栏： predictionio 文章标签： predictionio部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zilongreco/article/details/73928728
版权

predictionio执行train、deploy、eval的命令和执行命令后的打印输出分别如下

1. train 

[root@cent65m MyRecommendation]#/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/pio train

[INFO] [Console$] Using existing engine manifest JSON at /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/manifest.json
[INFO] [Runner$] Submission command: /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/vendors/spark-1.5.1-bin-hadoop2.6/bin/spark-submit --class org.apache.predictionio.workflow.CreateWorkflow --jars file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/target/scala-2.10/template-scala-parallel-recommendation-assembly-0.1-SNAPSHOT-deps.jar,file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/target/scala-2.10/template-scala-parallel-recommendation_2.10-0.1-SNAPSHOT.jar --files file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf/log4j.properties --driver-class-path /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/lib/postgresql-9.4-1204.jdbc41.jar:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/lib/mysql-connector-java-5.1.37.jar file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/assembly/pio-assembly-0.10.0-incubating.jar --engine-id EaX0g27pu0MJruMHAnacq7VfNDiGMx7h --engine-version b6d0beede5fb6bb095015d9d26c90768d48c5428 --engine-variant file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/engine.json --verbosity 0 --json-extractor Both --env PIO_ENV_LOADED=1,PIO_STORAGE_SOURCES_MYSQL_PASSWORD=root,PIO_STORAGE_REPOSITORIES_METADATA_NAME=pio_meta,PIO_FS_BASEDIR=/root/.pio_store,PIO_STORAGE_SOURCES_MYSQL_URL=jdbc:mysql://192.168.107.1:3306/pio,PIO_HOME=/home/workspacepredictionio/apache-predictionio-0.10.0-incubating,PIO_FS_ENGINESDIR=/root/.pio_store/engines,PIO_STORAGE_SOURCES_MYSQL_TYPE=jdbc,PIO_STORAGE_REPOSITORIES_METADATA_SOURCE=MYSQL,PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE=MYSQL,PIO_STORAGE_REPOSITORIES_EVENTDATA_NAME=pio_event,PIO_STORAGE_SOURCES_MYSQL_USERNAME=root,PIO_FS_TMPDIR=/root/.pio_store/tmp,PIO_STORAGE_REPOSITORIES_MODELDATA_NAME=pio_model,PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE=MYSQL,PIO_CONF_DIR=/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf
[INFO] [Engine] Extracting datasource params...
[INFO] [WorkflowUtils$] No 'name' is found. Default empty String will be used.
[INFO] [Engine] Datasource params: (,DataSourceParams(MyApp1,None))
[INFO] [Engine] Extracting preparator params...
[INFO] [Engine] Preparator params: (,Empty)
[INFO] [Engine] Extracting serving params...
[INFO] [Engine] Serving params: (,Empty)
[INFO] [Remoting] Starting remoting
[INFO] [Remoting] Remoting started; listening on addresses :[akka.tcp://sparkDriver@127.0.0.1:57469]
[WARN] [MetricsSystem] Using default name DAGScheduler for source because spark.app.id is not set.
[INFO] [Engine$] EngineWorkflow.train
[INFO] [Engine$] DataSource: com.reco.DataSource@9dada78
[INFO] [Engine$] Preparator: com.reco.Preparator@57efc6fd
[INFO] [Engine$] AlgorithmList: List(com.reco.ALSAlgorithm@4e3e11b9)
[INFO] [Engine$] Data sanity check is on.
[INFO] [Engine$] com.reco.TrainingData does not support data sanity check. Skipping check.
[INFO] [Engine$] com.reco.PreparedData does not support data sanity check. Skipping check.
[WARN] [BLAS] Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
[WARN] [BLAS] Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
[WARN] [LAPACK] Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
[WARN] [LAPACK] Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK
[INFO] [Engine$] org.apache.spark.mllib.recommendation.ALSModel does not support data sanity check. Skipping check.
[INFO] [Engine$] EngineWorkflow.train completed
[INFO] [Engine] engineInstanceId=d8d66503-e43a-4c2d-9b0d-8cd2373d0dff
[INFO] [CoreWorkflow$] Inserting persistent model
[INFO] [CoreWorkflow$] Updating engine instance
[INFO] [CoreWorkflow$] Training completed successfully.
2. deploy
[root@cent65m MyRecommendation]#/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/pio deploy 
[INFO] [Runner$] Submission command: /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/vendors/spark-1.5.1-bin-hadoop2.6/bin/spark-submit --class org.apache.predictionio.workflow.CreateServer --jars file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/target/scala-2.10/template-scala-parallel-recommendation-assembly-0.1-SNAPSHOT-deps.jar,file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/target/scala-2.10/template-scala-parallel-recommendation_2.10-0.1-SNAPSHOT.jar --files file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf/log4j.properties --driver-class-path /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/lib/postgresql-9.4-1204.jdbc41.jar:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/lib/mysql-connector-java-5.1.37.jar file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/assembly/pio-assembly-0.10.0-incubating.jar --engineInstanceId d8d66503-e43a-4c2d-9b0d-8cd2373d0dff --engine-variant file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/engine.json --ip 0.0.0.0 --port 8000 --event-server-ip 0.0.0.0 --event-server-port 7070 --json-extractor Both --env PIO_ENV_LOADED=1,PIO_STORAGE_SOURCES_MYSQL_PASSWORD=root,PIO_STORAGE_REPOSITORIES_METADATA_NAME=pio_meta,PIO_FS_BASEDIR=/root/.pio_store,PIO_STORAGE_SOURCES_MYSQL_URL=jdbc:mysql://192.168.107.1:3306/pio,PIO_HOME=/home/workspacepredictionio/apache-predictionio-0.10.0-incubating,PIO_FS_ENGINESDIR=/root/.pio_store/engines,PIO_STORAGE_SOURCES_MYSQL_TYPE=jdbc,PIO_STORAGE_REPOSITORIES_METADATA_SOURCE=MYSQL,PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE=MYSQL,PIO_STORAGE_REPOSITORIES_EVENTDATA_NAME=pio_event,PIO_STORAGE_SOURCES_MYSQL_USERNAME=root,PIO_FS_TMPDIR=/root/.pio_store/tmp,PIO_STORAGE_REPOSITORIES_MODELDATA_NAME=pio_model,PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE=MYSQL,PIO_CONF_DIR=/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf
[WARN] [WorkflowUtils$] Non-empty parameters supplied to com.reco.Preparator, but its constructor does not accept any arguments. Stubbing with empty parameters.
[WARN] [WorkflowUtils$] Non-empty parameters supplied to com.reco.Serving, but its constructor does not accept any arguments. Stubbing with empty parameters.
[INFO] [Remoting] Starting remoting
[INFO] [Remoting] Remoting started; listening on addresses :[akka.tcp://sparkDriver@127.0.0.1:41579]
[WARN] [MetricsSystem] Using default name DAGScheduler for source because spark.app.id is not set.
[INFO] [Engine] Using persisted model
[INFO] [Engine] Custom-persisted model detected for algorithm com.reco.ALSAlgorithm
[WARN] [ALSModel] User factor does not have a partitioner. Prediction on individual records could be slow.
[WARN] [ALSModel] User factor is not cached. Prediction could be slow.
[WARN] [ALSModel] Product factor does not have a partitioner. Prediction on individual records could be slow.
[WARN] [ALSModel] Product factor is not cached. Prediction could be slow.
[INFO] [MasterActor] Undeploying any existing engine instance at http://0.0.0.0:8000
[ERROR] [MasterActor] Another process might be occupying 0.0.0.0:8000. Unable to undeploy.
[INFO] [HttpListener] Bound to /0.0.0.0:8000
[INFO] [MasterActor] Engine is deployed and running. Engine API is live at http://0.0.0.0:8000.
3. eval
[root@cent65m MyRecommendation]#/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/pio eval com.reco.RecommendationEvaluation \

> com.reco.EngineParamsList

[INFO] [Console$] Using existing engine manifest JSON at /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/manifest.json
[INFO] [Runner$] Submission command: /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/vendors/spark-1.5.1-bin-hadoop2.6/bin/spark-submit --class org.apache.predictionio.workflow.CreateWorkflow --jars file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/target/scala-2.10/template-scala-parallel-recommendation-assembly-0.1-SNAPSHOT-deps.jar,file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/target/scala-2.10/template-scala-parallel-recommendation_2.10-0.1-SNAPSHOT.jar --files file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf/log4j.properties --driver-class-path /home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/lib/postgresql-9.4-1204.jdbc41.jar:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/lib/mysql-connector-java-5.1.37.jar file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/assembly/pio-assembly-0.10.0-incubating.jar --engine-id EaX0g27pu0MJruMHAnacq7VfNDiGMx7h --engine-version b6d0beede5fb6bb095015d9d26c90768d48c5428 --engine-variant file:/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/bin/MyRecommendation/engine.json --verbosity 0 --evaluation-class com.reco.RecommendationEvaluation --engine-params-generator-class com.reco.EngineParamsList --json-extractor Both --env PIO_ENV_LOADED=1,PIO_STORAGE_SOURCES_MYSQL_PASSWORD=root,PIO_STORAGE_REPOSITORIES_METADATA_NAME=pio_meta,PIO_FS_BASEDIR=/root/.pio_store,PIO_STORAGE_SOURCES_MYSQL_URL=jdbc:mysql://192.168.107.1:3306/pio,PIO_HOME=/home/workspacepredictionio/apache-predictionio-0.10.0-incubating,PIO_FS_ENGINESDIR=/root/.pio_store/engines,PIO_STORAGE_SOURCES_MYSQL_TYPE=jdbc,PIO_STORAGE_REPOSITORIES_METADATA_SOURCE=MYSQL,PIO_STORAGE_REPOSITORIES_MODELDATA_SOURCE=MYSQL,PIO_STORAGE_REPOSITORIES_EVENTDATA_NAME=pio_event,PIO_STORAGE_SOURCES_MYSQL_USERNAME=root,PIO_FS_TMPDIR=/root/.pio_store/tmp,PIO_STORAGE_REPOSITORIES_MODELDATA_NAME=pio_model,PIO_STORAGE_REPOSITORIES_EVENTDATA_SOURCE=MYSQL,PIO_CONF_DIR=/home/workspacepredictionio/apache-predictionio-0.10.0-incubating/conf
[INFO] [CoreWorkflow$] runEvaluation started
[INFO] [Remoting] Starting remoting
[INFO] [Remoting] Remoting started; listening on addresses :[akka.tcp://sparkDriver@127.0.0.1:35291]
[WARN] [MetricsSystem] Using default name DAGScheduler for source because spark.app.id is not set.
[INFO] [CoreWorkflow$] Starting evaluation instance ID: 0cbd25f8-e7c2-439e-b808-f69c69e8f4e4
[INFO] [Engine$] DataSource: com.reco.DataSource@470d183
[INFO] [Engine$] Preparator: com.reco.Preparator@3e7b65d7
[INFO] [Engine$] AlgorithmList: List(com.reco.ALSAlgorithm@1a500561)
[INFO] [Engine$] Serving: com.reco.Serving@210d2a6c
[ERROR] [Common$] Invalid app name INVALID_APP_NAME
Exception in thread "main" java.lang.IllegalArgumentException: Invalid app name INVALID_APP_NAME
	at org.apache.predictionio.data.store.Common$$anonfun$appNameToId$2.apply(Common.scala:50)
	at org.apache.predictionio.data.store.Common$$anonfun$appNameToId$2.apply(Common.scala:48)
	at scala.Option.getOrElse(Option.scala:120)
	at org.apache.predictionio.data.store.Common$.appNameToId(Common.scala:48)
	at org.apache.predictionio.data.store.PEventStore$.find(PEventStore.scala:71)
	at com.reco.DataSource.getRatings(DataSource.scala:35)
	at com.reco.DataSource.readEval(DataSource.scala:72)
	at org.apache.predictionio.controller.PDataSource.readEvalBase(PDataSource.scala:45)
	at org.apache.predictionio.controller.Engine$.eval(Engine.scala:748)
	at org.apache.predictionio.controller.Engine.eval(Engine.scala:354)
	at org.apache.predictionio.core.BaseEngine$$anonfun$batchEval$1.apply(BaseEngine.scala:88)
	at org.apache.predictionio.core.BaseEngine$$anonfun$batchEval$1.apply(BaseEngine.scala:87)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
	at scala.collection.immutable.List.foreach(List.scala:318)
	at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
	at scala.collection.AbstractTraversable.map(Traversable.scala:105)
	at org.apache.predictionio.core.BaseEngine.batchEval(BaseEngine.scala:87)
	at org.apache.predictionio.workflow.EvaluationWorkflow$.runEvaluation(EvaluationWorkflow.scala:42)
	at org.apache.predictionio.workflow.CoreWorkflow$.runEvaluation(CoreWorkflow.scala:130)
	at org.apache.predictionio.workflow.Workflow$.runEvaluationViaCoreWorkflow(Workflow.scala:129)
	at org.apache.predictionio.workflow.Workflow$.runEvaluationTypeless(Workflow.scala:109)
	at org.apache.predictionio.workflow.Workflow$.runEvaluation(Workflow.scala:89)
	at org.apache.predictionio.workflow.CreateWorkflow$.main(CreateWorkflow.scala:270)
	at org.apache.predictionio.workflow.CreateWorkflow.main(CreateWorkflow.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)



                

        

        

    

  


    

      

        

            

              
                
                  zilong230905
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
maven中下载jar包源码和javadoc的命令介绍

				
			

			

				

					09-03
				

			

		

		

			
				
激活这个配置文件后，每次Maven执行install或deploy等目标时，都会自动下载源码和javadoc。  3. 配置Eclipse  对于Eclipse用户，可以通过以下步骤设置Eclipse以自动下载源码和javadoc：  1. 打开Eclipse，进入`...

			
		

	



                

              
                



	

		

			

				
					
tensorflow计算模型分类准确率的方法总结

				
			

			

				

					PanYHHH的博客
				

				

					05-04
					
					5370
					
				

			

		

		

			
				
1. 使用tf.equal():


import tensorflow as tf
import numpy as np

batch_size = 8
class_num = 10  # 类别数量

# 假设logits为神经网络前向传播输出
logits = tf.Variable([0, 5, 9, 1, 7, 1, 0, 1])
# 假设labels为真实样本号，这里设为全1
label...

			
		

	



                


  
              

                


	

		

			

				
					
tensorflow 下CNN卷积神经网络实现

				
			

			

				

					banana1006034246的博客
				

				

					06-22
					
					1121
					
				

			

		

		

			
				
tensorflow 下CNN卷积神经网络实现
简介：卷积神经网络原理其实就是基于感受野，感受野讲的是只需识别某个图片的一个小区域就知道有某个东西。比如，在一个会议室里，要识别里面是否有投影仪，只需要看放投影仪的那部分小区域就知道这个会议室有投影仪。在卷积神经网络中也是通过卷积和池化来减少计算的复杂度，正式基于感受野的原理。
什么是卷积神经网络？我们以奠基之作Lenet-5为例子

上图中

			
		

	





	

		

			

				
					
推荐使用 Apache PredictionIO：新一代机器学习框架

					
最新发布

				
			

			

				

					gitblog_01062的博客
				

				

					08-07
					
					789
					
				

			

		

		

			
				
推荐使用 Apache PredictionIO：新一代机器学习框架
 predictionioPredictionIO, a machine learning server for developers and ML engineers.项目地址:https://gitcode.com/gh_mirrors/pr/predictionio Apache PredictionIO 是一个强大的开放...

			
		

	



		

			
		



	

		

			

				
					
Tensorflow，CNN和MNIST数据 识别手写的数字（入门，完整代码，问题解析）

				
			

			

				

					玥晓珖的博客
				

				

					11-15
					
					2883
					
				

			

		

		

			
				
MNIST解析：



1. 导入所需模块：


#读图
from PIL import Image
#显示
import matplotlib.pyplot as plt
#TensorFlow
import tensorflow as tf
#MNIST数据
from tensorflow.examples.tutorials.mnist import input_data

2.下载并读入M...

			
		

	





	

		

			

				
					
TensorFlow学习笔记（八）—— TensorFlow基于MNIST数据集识别手写数字

				
			

			

				

					天空的博客
				

				

					09-26
					
					1万+
					
				

			

		

		

			
				
训练程序

参照Tensorflow中文社区教程：http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html


能在自己的环境中成功运行代码。
（注意一点：关于教程的print函数）
在博主用的Python3.6版本中，print已经成为了一个函数，而在Python2.7当中print不是一个函数，这里博主是需要加上括号。
所以根据自己所用的版...

			
		

	





	

		

			

				
					
重写transformers.Trainer的compute_metrics方法计算评价指标时，形参如何包含自定义的数据

				
			

			

				

					十一月廿七风雨大作
				

				

					06-11
					
					7050
					
				

			

		

		

			
				
使用transformers.Trainer就图个快和优雅，它包装了一整套的训练逻辑，让我们不用从数据加载、模型训练、评估、预测、保存模型、计算评价指标等等一整套写完。方法中，我们就可以使用自定义的列的数据了。但是显然，模型和任务一复杂的时候，loss的计算、评价指标的实现，我们还是需要重写的。Prompt最近这么火，一个方向的朋友一定会出现和我一样的问题，看到这篇帖子麻烦评论个1，哈哈哈哈。存的就不知原始标签了，现在存的是元组，就是你指定的。方法时，不会删除我们自定义的列。1、在构建输入的时候，除了。

			
		

	





	

		

			

				
					
remote-deploy:用于远程部署项目，通过xml配置，上传文件并执行指定命令

				
			

			

				

					05-11
				

			

		

		

			
				
成功构建后配置remote-config.xml，并执行start.bat即可完成部署操作。 日志配置文件内置在remote-deploy-*.jar中，默认输出到控制台。 ├─bin │ start.bat │ ├─config │ remote-config.xml │ └─lib  dom4j...

			
		

	





	

		

			

				
					
AgentDeploy:具有反向控制命令和这些命令的参数的部署代理

				
			

			

				

					03-30
				

			

		

		

			
				
代理部署用于管理样式部署和服务器管理脚本的执行的代理那怎么运作呢？ 您可以在容器中或直接使用可执行文件运行agentd服务。 该服务公开了一个REST端点，该端点可用于通过ssh或本地调用脚本。 这些脚本使用该变量的...

			
		

	





	

		

			

				
					
4.linux命令集之mkdir命令

				
			

			

				

					03-04
				

			

		

		

			
				
这一命令会创建一个典型的项目目录结构，包括`scf`下的`lib`、`bin`、`doc`、`logs`和`service/deploy`子目录，以及它们各自的子目录。  ### 总结  `mkdir`命令是Linux日常操作中不可或缺的一部分，尤其对于开发者和...

			
		

	





	

		

			

				
					
【Pytorch】【Transformers】一个基于transformers的自定义命名实体识别模型示例

				
			

			

				

					bqw的博客
				

				

					07-03
					
					3785
					
				

			

		

		

			
				
本篇博客希望展示如何基于transformers提供的功能进行模型的开发，减少代码量，提高开发速度。
import torch
import warnings
import torch.nn as nn

from torch import Tensor
from typing import List, Dict
from dataclasses import dataclass, field
from torch.nn.utils.rnn import pad_sequence
from torch.ut

			
		

	





	

		

			

				
					
浅谈caffe中train_val.prototxt和deploy.prototxt文件的区别

					
热门推荐

				
			

			

				

					fx409494616的博客
				

				

					11-02
					
					3万+
					
				

			

		

		

			
				
本文以CaffeNet为例：
在刚开始学习的时候，觉得train_val.prototxt文件和deploy.prototxt文件很相似，然后当时想尝试利用deploy.prototxt还原出train_val.prototxt文件，所以就进行了一下对比，水平有限，可能很多地方说的不到位，希望大神们指点批评~~

			
		

	





	

		

			

				
					
【机器学习】caffe:solver、train、val、deploy配置和线性回归神经网络

				
			

			

				

					artzers的专栏
				

				

					10-15
					
					2982
					
				

			

		

		

			
				
简单的线性回归是回归理论的入门基础。简单线性回归的公式为y=wTx+by=w^Tx+b，其中y、w、x均为多维向量数据。求解线性回归，就是在已知y和x的情况下，求解参数wTw^T和b。现在我用python版本的caffe，构建一个神经网络来拟合上述简单的线性回归。

			
		

	





	

		

			

				
					
修改train_val.prototxt为deploy.prototxt文件

				
			

			

				

					swiftfake的博客
				

				

					04-23
					
					2128
					
				

			

		

		

			
				
一.内容简介 
在caffe框架下的深度神经网络一般都会将train和val写在同一个prototxt文件中，然后执行solver文件进行调用执行，并得到最终的accuracy。val是验证的意思，在机器学习里，验证集是训练集的子集，但是我们在做测试的时候，测试集不能和训练集有交集。所有我们需要将train_val.prototxt文件修改成可以做测试的deploy.prototxt文件。在用ca...

			
		

	





	

		

			

				
					
对比 Caffe 中 train_val.prototxt 和 deploy.prototxt 文件

				
			

			

				

					黄飞的博客专栏
				

				

					06-18
					
					1672
					
				

			

		

		

			
				
首先，这两个文件有一个最大的不同点，train_val.prototxt 文件是网络配置文件，该文件是在训练的时候用的。deploy.prototxt 文件是在测试时使用的文件。下面以 Caffe 官方给出的 mnist 训练相关的文件作出详细注释说明：



name: "LeNet"
layer {
  name: "mnist"       #输入层的名称mnist
  type: "Dat...

			
		

	





	

		

			

				
					
机器学习基础--碎片知识点（2）

				
			

			

				

					wydbyxr的博客
				

				

					08-01
					
					575
					
				

			

		

		

			
				
K-mean与高斯混合模型（K-means算法和EM算法）

　　两者的差别在哪里？ 
　　答：CSDN博主JpHu说，K-Means算法对数据点的聚类进行了“硬分配”，即每个数据点只属于唯一的聚类；而GMM的EM解法则基于后验概率分布，对数据点进行“软分配”，即每个单独的高斯模型对数据聚类都有贡献，不过贡献值有大有小。 
　　参考资料：https://blog.csdn.net/tingyue_...

			
		

	





	

		

			

				
					
如何使用huggingface的trainer训练模型？

				
			

			

				

					chadqiu的博客
				

				

					02-03
					
					3591
					
				

			

		

		

			
				
使用trainer训练bert系列模型和T5系列模型

			
		

	





	

		

			

				
					
Huggingface-NLP笔记7：使用Trainer API来微调模型

				
			

			

				

					张伟的专栏
				

				

					02-06
					
					6937
					
				

			

		

		

			
				
「Huggingface NLP笔记系列-第7集」
最近跟着Huggingface上的NLP tutorial走了一遍，惊叹居然有如此好的讲解Transformers系列的NLP教程，于是决定记录一下学习的过程，分享我的笔记，可以算是官方教程的精简+注解版。但最推荐的，还是直接跟着官方教程来一遍，真是一种享受。

官方教程网址：https://huggingface.co/course/chapter1
	本期内容对应网址：https://huggingface.co/course/chapter3...

			
		

	





	

		

			

				
					
mvn deploy命令是怎么被解析执行的

				
			

			

				

					06-08
				

			

		

		

			
				
`mvn deploy` 命令是通过 Maven 命令行工具执行的，执行该命令时，Maven 会按照以下步骤解析并执行该命令：

1. 解析 `pom.xml` 文件。Maven 会读取项目根目录下的 `pom.xml` 文件，解析出项目的构建配置和依赖关系，并根据这些信息构建项目。

2. 执行 Maven 生命周期。Maven 有三个标准的生命周期，分别是 `clean` 生命周期、`default` 生命周期和 `site` 生命周期。`default` 生命周期是 Maven 的主要生命周期，包括了常用的编译、测试、打包、安装和部署等操作。当执行 `mvn deploy` 命令时，Maven 会按照 `default` 生命周期的顺序执行其中的阶段，包括编译代码、运行测试、打包构件、上传构件等操作。

3. 上传构件到远程 Maven 仓库。当执行 `deploy` 阶段时，Maven 会将构建好的 jar 或 war 文件上传到指定的远程 Maven 仓库中。在上传前，Maven 会根据 `settings.xml` 文件中的配置信息，确定要上传到哪个仓库以及使用哪个账号进行认证。

4. 记录元数据信息到远程 Maven 仓库。除了上传构件，Maven 还会将项目的元数据信息（如项目名称、版本号、依赖关系等）记录到远程 Maven 仓库中的相应位置，以供其他开发者或项目使用。

总之，`mvn deploy` 命令的执行过程是一个复杂的过程，Maven 需要根据项目的配置信息和依赖关系，将代码编译、测试、打包、上传，并记录元数据信息，以便其他开发者或项目使用。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值